До ноября 1941 года командовал 291-й дивизией, а затем 38-м корпусом. В этом качестве Герцог участвовал в «блокаде, бомбардировках и артиллерийском обстреле, в результате которых погибло много мирных жителей». Части дивизии Герцога в Новом Петродворце «приняли участие в варварском разрушении дворцов, музеев и разграблении исторических ценностей». В 1942—1943 годах Герцог был организатором «зверских расправ над советскими гражданами в Новгородской области»: по указанию Герцога систематически истребляли население (в деревне Жестяная Горка были расстреляны не менее 2 тысяч мирных советских граждан, а в деревне Черная было расстреляно и замучено 1,1 тысяча мирных советских граждан и военнопленных). По приказу Герцога в 1943 году из Новгорода, Новгородского и Батецкого районов были угнаны в Германию более 100 тысяч советских граждан. Герцог «организовал разрушение и разграбление города Новгорода и его исторических памятников»: по приказам Герцога его подчинённые в 1942—1943 годах разрушили все каменные здания и жилые дома в городе «не считаясь с их исторической ценностью», а кирпич использовали на строительстве оборонительных сооружений и дорог. Осенью 1943 года по приказу Герцога был разобран для отправки в Германию памятник «Тысячелетие России». В 1943 году по приказу Герцога с куполов Софийского собора и Георгиевского собора Юрьевского монастыря было снято золотое покрытие и пущено на сувениры (портсигары, пепельницы и другие). В 1944 году по приказу Герцога был разрушен город Остров и сожжены 180 деревень и сел.