Карл фон Рок родился 7 мая 1880 года во Франкфурте-на-Майне в семье потомственных дворян, чей род эмигрировал из Франции после отмены Нантского эдикта. Его отец, пехотный офицер Теодор фон Рок, дослужился до звания генерал-майора; о матери Хедвиге практически ничего не известно. В мае 1899 года, через два дня после получения аттестата зрелости, Карл поступает на военную службу фанен-юнкером кассельского пехотного полка. Через полтора года он производится в лейтенанты, в 1905 году становится полковым адъютантом, а затем три года проводит в Прусской военной академии.

Мировую войну фон Рок встречает гауптманом «Большого» германского генерального штаба и за участие в боях на западном фронте получает Железный крест 2-го и 1-го класса. Окончание войны застаёт его перемещённым по болезни в военное министерство, где он остаётся некоторое время и после падения монархии и относится к числу всего 4000 человек — из некогда 34-тысячного офицерского корпуса императорской армии, — перенятых на службу Веймарской республикой. Фон Рок переводится из гарнизона в гарнизон, поднимается всё выше по служебной лестнице и в 1931 году становится генерал-майором и командиром пехоты (нем. Infanterieführer) дивизии в Алленштейне. Но поскольку в ограниченной Версальским договором германской армии попросту не было достаточно должностей для высшего командного состава, в январе 1933 года он вынужден покинуть действительную военную службу, одновременно будучи произведённым в генерал-лейтенанты.

Вскоре после прихода к власти Гитлера фон Рок получает должность в Имперском союзе противовоздушной обороны (нем. Reichsluftschutzbund), организационно подчинённом Имперскому министерству авиации и объединявшем в своих рядах до 15 млн. членов. Там он становится сначала вице-президентом, а затем и президентом, пост которого сохраняет до мая 1939 года.

С началом Второй мировой войны фон Рок вновь призывается на военную службу и получает под своё начало формируемую 142-ю пехотную дивизию, а после Французской кампании занимается подготовкой охранных батальонов (нем. Landesschützenbataillone), дислоцировавшихся в Бельгии.

15 марта 1941 года при подготовке вторжения в Советский Союз Гитлер назначает фон Рока командующим тылового района группы армий 103 (нем. Befehlshaber des rückwärtigen Heeresgebietes 103), в будущем — группы армий «Юг», а 1 июля присваивает ему звание генерала инфантерии (пехоты). В сентябре — октябре фон Рок параллельно командует группировкой войск, в которую, среди прочего, входили итальянские и венгерские части, имевшей задачу удержания позиций на излучине Днепра. С началом наступления на Кавказ группа армий «Юг» была разделена на две части, а фон Рок возглавляет тыловой район группы армий «А». Однако уже в декабре 1942 года в рамках «омоложения» командного состава вермахта он переводится в резерв, а в марте следующего года окончательно увольняется с военной службы.

По окончании войны он оказывается в американской зоне оккупации и предстает в качестве подсудимого на Нюрнбергском процессе по делу военного командования Германии, на котором приговаривается к 20 годам лишения свободы. В связи с ухудшением состояния здоровья в мае 1949 года фон Рок переводится из Ландсбергской тюрьмы для военных преступников в госпиталь Нюрнберга, где после двух проведённых операций умирает 24 декабря 1949 года. Похоронен на кладбище в Касселе рядом со своей первой женой Каролиной (1882–1935); там же теперь покоится и вторая супруга фон Рока, Мария Гертруда (1893–1969), на которой он женился в 1936 году.

Долгое время остававшийся вдали от боевых действий фон Рок с большим воодушевлением встретил своё назначение командующим тылового района группы армий, отмечая, что теперь его «самые смелые военные мечты сбылись» и что он «горд и счастлив» в возрасте 61 года вновь участвовать в военной кампании.

В новой должности он непосредственно подчинялся командующему группой армий «Юг» фон Рундштедту, а зона его ответственности простиралась на востоке до тыловых районов действующих армий, а на западе до территорий, находившихся под административным управлением рейха (образованного 20 августа 1941 года имперского комиссариата Украина). По мере «умиротворения» отдельные области передавались под контроль гражданских администраций: как, например, 1 августа произошло с Восточной Галицией. В сентябре 1941 года территория, подконтрольная фон Року, достигала 330–390 тыс. км², что соответствует площади всей современной Германии.

Для выполнения порученных ему задач по управлению оккупированными районами, поддержанию в них спокойствия и порядка, а также обеспечению сохранности железных дорог и главных линий снабжения фронта в своем непосредственном распоряжении фон Рок имел 20–30 тысяч человек личного состава, в том числе охранные дивизии 213, 444 и 454 (а всего в его зоне ответственности действовало более 200 тысяч человек, включая прикомандированные части СС и СД). В первые дни войны, когда тыловой район группы армий ещё территориально не оформился, войскам, подчинённым фон Року (и в их числе словацкой «Быстрой дивизии»), нередко приходилось принимать участие и в непосредственных боевых действиях с подразделениями Красной армии.

14 июля он издал приказ, по которому с гражданскими лицами, задержанными по подозрению в принадлежности к Красной армии и отрицающими это, требовалось обращаться как с партизанами (то есть расстреливать). В этом же месяце, пытаясь привлечь к сотрудничеству украинцев как одну из «надёжных» этнических групп, он распорядился брать в заложники только русских и евреев, допустил создание невооружённой украинской милиции, а саму Украину называл жизненным пространством дружественного народа. Другой его приказ, от 23 августа, был направлен на борьбу с партизанами: «Если можно предположить участие широких кругов населения или если найден склад оружия, то по приказу офицера в чине не ниже командира батальона следует провести массовые карательные меры, например массовые расстрелы, а также частичное или полное сожжение деревень... Соображения безопасности войск, учитывая особенности русских условий, требуют от каждого командира беспощадных действий».

В отношении еврейского населения фон Роком было издано сразу несколько директив, согласно которым его представители в обязательном порядке должны были носить повязку со звездой Давида, увольнялись из всех государственных учреждений, платили контрибуцию и использовались для принудительного труда, заключались в гетто и получали пайки ниже, чем остальная часть населения, их религиозные службы запрещались, а предметы культа конфисковывались. Вовлечённость фон Рока — в том или ином виде — в многочисленные случаи массовых убийств еврейского населения (в Каменце-Подольском, Житомире, Киеве, Бердичеве, Кривом Роге) недостаточно полно задокументирована, однако предполагается с большой долей вероятности.

28 июля фон Рок распорядился запретить всякое участие подчинённых ему частей вермахта в еврейских погромах и подвергнуть «заслуженному наказанию» замеченных в них военнослужащих. Поскольку расстрелы еврейского населения солдатами и офицерами вверенных ему подразделений продолжались и дальше, в сентябре он был вынужден подписать ещё один приказ такого же содержания. Однако, запрещая активное участие в казнях военнослужащих вермахта, фон Рок одновременно предписывал оказывать всяческое содействие при транспортировке, расквартировании, оцеплении и обеспечении пайками частей СД, которые занимались подобными акциями.

Карл фон Рок оказался единственным командующим тыловыми районами группы армий, привлечённым к ответственности за свою деятельность на этой должности. Все остальные, в том числе сменивший его на этом посту Эрих Фридеричи (нем. Erich Friderici) и его двоюродный брат Франк фон Рок (нем. Frank von Roques), возглавлявший тыл группы армий «Север», не понесли никакого наказания. Этот факт добавлял Карлу фон Року, убеждённому, что «каждый из нас не делал ничего, кроме своего долга», ещё больше уверенности в своей невиновности. При этом он никогда не был членом нацистской партии и считал себя убеждённым протестантом.

В материалах суда в отношении фон Рока было отмечено, что он несет ответственность за действия подчиненных ему подразделений, а также за действия других учреждений, действовавших в его районе, которые были преступными и которые они могли выполнять только с его согласия и одобрения. Тысячи так называемых партизан, функционеров, евреев и комиссаров были казнены на территории, подконтрольной фон Року, при обстоятельствах, которые не могут оставить сомнений в том, что они были совершены с его ведома, согласия или одобрения. В доказательство приводились многочисленные случаи, подтверждённые различными докладами, как, например, расстрел 73 сдавшихся в плен красноармейцев, казнь 13 бежавших и вновь взятых в плен военнослужащих, а также убийство или смерть от истощения более 1000 советских военнопленных на марше в один из шталагов. А высокая смертность от антисанитарии и недостатка продовольствия среди военнопленных, содержавшихся в четырёх лагерях, вверенных фон Року, лишний раз показывала, что «он с большим пренебрежением относился к исполнению своих обязанностей, налагаемых нормами международного права, предусмотренных Женевской и Гаагской конвенциями».

По итогам процесса фон Рок был признан виновным по разделам обвинения II и III (Военные преступления и преступления против человечности: преступления против комбатантов противника и военнопленных, а также Военные преступления и преступления против человечности: преступления против гражданских лиц) и приговорён к 20 годам лишения свободы. Он умер в тюрьме.