В первые месяцы Первой мировой войны служил полковым адъютантом и тогда же получил звание обер-лейтенанта. После ранения в 1915 году был направлен на службу в Прусское военное министерство, а 22 марта 1916 года был произведён в капитаны. За службу и боевые отличия награждён Железным крестом 1-го класса и Железным крестом 2-го класса, орденом Дома Гогенцоллернов, Гамбургским Ганзейским крестом, Крестом «За военные заслуги» Австро-Венгрия. Окончание войны в 1918 году встретил на службе в Военном министерстве.

После войны остался в рейхсвере, служил при штабе 2-го Прусского пехотного полка (1921), с весны 1924 года служил в административно-хозяйственном управлении сухопутных сил Военного министерства. С весны 1925 года был командиром 3-го батальона 2-го прусского пехотного полка.

В 1928–1932 годах служил в штабе Военного министерства в Берлине, отвечал за работу с личным составом технических школ и материально-техническими службами. 1 февраля 1929 года был произведён в майоры.

В июне 1933 года произведён в оберстлейтенанты (подполковники). 1 мая 1935 года назначен начальником только что созданного отдела обеспечения Военного управления Военного министерства, 1 июня 1935 года произведён в полковники.

В 1937 году организовывал «национально-политические учебные курсы», призванные идеологически воспитывать офицеров Вермахта в духе нацистской идеологии. На этих курсах проводились регулярные встречи офицеров Вермахта с высокопоставленными функционерами НСДАП. Это позволяло Рейнеке поддерживать постоянные контакты с политическими руководителями Третьего рейха Р. Гессом, Й. Геббельсом, А. Розенбергом, Г. Гиммлером.

13 мая 1938 года возглавил отдел пенсионного обеспечения в составе Управленческой группы по общим вопросам (ABA) (Amtsgruppe Allgemeine Wehrmachtangelegenheiten) Верховного командования вермахта (ОКВ) (OKW). 1 июня 1938 года был назначен начальником управления в ABA ОКВ. После преобразования в октябре 1939 года Управленческой группы по общим вопросам в Общее управление Вермахта (АВА) (Allgemeines Wehrmachtsamt, AWA) 1 декабря 1939 года был назначен его главой и оставался им до конца войны.

На этой своей должности в обязанности Рейнеке входил контроль над идеологической и учебной подготовкой кадров военнослужащих. 1 января 1939 года был произведён в генерал-майоры, а 1 августа 1940 года — в генерал-лейтенанты.

После начала Второй мировой войны в Общем управлении Вермахта была создана подчинявшаяся Рейнеке Служба военнопленных (Wehrmacht Kriegsgefangenenwesen).

После начала войны с СССР Рейнеке заявлял, что главная цель каждого русского состоит в том, чтобы уничтожить Германию, следовательно, все советские люди должны рассматриваться как смертельные враги Рейха, и относиться к ним нужно соответственно. 8 сентября 1941 года Рейнеке отдал приказ: «Большевизм является смертельным врагом Национал-социалистской Германии. Впервые в истории германский солдат сталкивается с врагом, который имеет не только военную подготовку, но и опыт большевистской политической школы, пагубно отражающейся на людях. В связи с этим на русских не распространяются требования Женевского соглашения относиться к ним как честным солдатам». Исходя из таких установок, Рейнеке отдавал приказы о жёстком обращении с советскими военнопленными, в случаях отсутствия других возможностей размещении их под открытым небом, расстреле пытавшихся бежать из плена. Жёсткие меры Рейнеке привели к тому, что смертность среди советских военнопленных достигла 65 %.

В июле 1943 года Рейнеке стал начальником общевойскового управления кадров. Одновременно он продолжал заниматься идеологической и учебной подготовкой кадров военных. Он не уставал доказывать, насколько важно для офицеров ОКВ было иметь соответствующую теоретическую и политическую подготовку. В 1943 году он информировал А. Гитлера о том, что вместе с Мартином Борманом набирает несгибаемых воинов из ветеранов партии, с тем, чтобы они могли проводить необходимую работу среди «закаленных в боях» армейских офицеров. По мысли Рейнеке идеологически и теоретически подкованные офицеры должны были стать немецкими политкомисарами. Концепция Рейнеке нашла своё воплощение 1 января 1944 года, когда Гитлер одобрил назначение офицеров для национал-социалистского руководства (Nationalsozialistischer Führungsoffizier, NSFO) в Верховное командование вермахта (ОКВ) и Верховное командование сухопутных войск (ОКХ). В ОКВ начальником Национал-социалистического главного штаба Вермахта (Chef des NS-Führungsstabes der Wehrmacht) стал сам Рейнеке, а в сухопутных войсках штаб NSFO возглавил генерал горнострелковых войск Фердинанд Шёрнер. На этом посту Рейнеке подчинялся непосредственно А. Гитлеру и сразу после своего назначения он представил ему программу Национал-социалистского руководства офицерами. Тем не менее, очень скоро между Рейнеке и Шёрнером возникли трения из-за несовпадения взглядов на роль, которую должны были выполнять офицеры NSFO в регулярных частях армии. Нововведения Рейнеке вызвали всеобщее армейское негодование и недовольство, которые тогда публично озвучил генерал-майор Эрнст Мейзель из управления кадров ОКХ. Для реализации своих замыслов Рейнеке разработал учебную программу для призывников NSFO (большинство из них были офицеры запаса, являвшиеся одновременно и членами НСДАП). Основное внимание программа уделяла насаждению человеку в униформе так называемого боевого духа нации, патриотические чувства и веру в национал-социализм. Рейнеке настаивал также на том, чтобы политзанятия были включены в распорядок. Более того, он хотел, чтобы привилегии армейских офицеров распространялись и на офицеров NSFO. Общевойсковых офицеров эта идея приводила в негодование, поскольку они считали, что люди NSFO не заслуживали никаких привилегий, ибо не участвовали в боях.

Несмотря на не вызывающую никаких сомнений приверженность национал-социализму, Рейнеке довольно поздно вступил в НСДАП. Это произошло 25 октября 1943 года, хотя Золотой партийный знак НСДАП он получил ещё 30 января 1943 года.

Рейнеке способствовал более радикализируемой форме идеологической индоктринации вермахта НСДАП, которая ещё более усилилась после провала покушения на Гитлера 20 июля 1944 года. Тогда около 21.15 ч. Райнеке получил от Гитлера через Геббельса приказ взять на себя командование войсками берлинского гарнизона и направить их против штаба заговорщиков — здание бывшего Военного министерства на Бендлерштрассе. Тогда Рейнеке потребовал от коменданта Берлина генерал-лейтенанта Пауля фон Хаазе передать ему все полномочия, а самого Хаазе около 21.30 ч. отправил к Геббельсу, где тот был сначала задержан, а потом как участник заговора арестован. Взяв командование берлинским гарнизоном, Рейнеке руководил подавлением выступления заговорщиков. Тогда он быстро восстановил в Берлине порядок и довел до сведения берлинского гарнизона, что Гитлер жив и вполне вменяем.

Ещё с 1942 года Рейнеке был почётным членом Народной судебной палаты. После провала Июльского заговора начиная с июля 1944 до 25 октября 1944 года как заседатель Народной судебной палаты Рейнеке участвовал в 112 процессах против самых важных заговорщиков (в частности, Вильгельма Лёйшнера, Карла Гёрделера, Ульриха фон Хасселя, Йоханнеса Попица, фельдмаршала Эрвина фон Вицлебена, генералов Эриха Гёпнера, Пауля фон Хаазе, Гельмута Штифа). На этих процессах с участием Рейнеке рассматривались дела 185 подсудимых и было вынесено 50 смертных приговоров. Помимо этого Рейнеке исполнял обязанности вице-президента Народной судебной палаты и был президентом офицерского Суда чести.

В мае 1945 года Рейнеке сдался союзникам и был помещён в лагерь для высокопоставленных военных и функционеров НСДАП № 32 (Camp Ashcan) в люксембургской деревне Мондорф-ле-Бен. 30 декабря 1947 года предстал перед Американским военным трибуналом на процессе по делу высшего руководства ОКВ (Дело № 12). На суде он обвинялся в военных преступлениях и преступлениях против человечности. Ему вменялись в вину убийства политкомиссаров Красной армии, нарушение норм международного права в части обращения с военнопленными, истязания и убийства советских солдат, в результате которых погибло свыше 2 млн человек в немецком плену. 28 октября 1948 года был приговорён к пожизненному тюремному заключению. Затем срок сокращён до 27 лет. Наказание отбывал в тюрьме Ландсберга. 1 октября 1954 года был помилован и освобождён из заключения. После освобождения проживал в Гамбурге.