18 февраля 1913 года окончил высшее училище и был принят фанен-юнкером в 10-й полк пехотной артиллерии Нижней Саксонии. С августа 1913 по май 1914 года проходил обучение в военной академии в Данциге.

19 июня 1914 года в звании лейтенанта прикомандирован к 10-му полку пехотной артиллерии. Был офицером батареи, адъютантом и командиром батареи в Италии. В 1918 году лейтенант в составе Корпуса Меркера.

В 1922 году переведён в рейхсвер в Минден. Был временно откомандирован для учёбы в Генеральный штаб. В 1926 три месяца жил и обучался языку в Великобритании, осенью того же года повышен до капитана и назначен в Генеральный штаб на должность второго помощника начальника Генерального штаба, затем в экономический отдел министерства обороны и временно в отдел разведки (иностранные армии). В мае 1929 года был командирован в США, для изучения вопросов мобилизации.

С 1929 по 1933 годы командир батареи 1-го артиллерийского полка в Алленштайне, затем повышен до майора и переведён в отдел мобилизации промышленности в министерстве обороны. С 1935 года руководит экономическим отделом в управлении вооружений. В 1936 году состоял представителем вермахта при генерале Франко в Испании. В 1937 году, будучи полковником одного из управлений Военного министерства, Варлимонт разработал и подготовил план реорганизации вооруженных сил Германии, который привлек внимание Гитлера. Проект Варлимонта был взят за основу при создании в 1938 году новой структуры армии и высшего военного командования.

1 июля 1938 года назначен начальником Отдела обороны страны — важнейшего подразделения штаба оперативного руководства Верховного командования вермахта (ОКВ). С 10 ноября 1938 по 23 августа 1939 года не оставляя своего поста исполнял обязанности начальника штаба оперативного руководства вместо переведенного на строевой пост генерала Йодля.

8 августа 1940 года Гитлер поручил генералам Йодлю и подчиненному ему Варлимонту разработку плана Ауфбау Ост, состоящего в секретной переброске войск к границам Советского Союза. 6 декабря того же года им было поручено издание директивы о введении в действие разработанного ОКХ плана войны против СССР. В обязанности отдела входили все вопросы ведения войны, согласования пропагандистских мероприятий, сотрудничество вооруженных сил с гражданскими учреждениями. Кроме того, отдел должен был участвовать в разработке директив фюрера высшим государственным органам. Варлимонт — один из главных разработчиков «Директивы 21», имевшей кодовое название «Фриц», а затем — «Барбаросса». 1 апреля 1942 года, оставаясь начальником отдела, стал одновременно заместителем начальника штаба оперативного руководства ОКВ.

Во 2-й половине 1944 года, после покушения на Гитлера и последовавшей за этим чистки в армии, снят с занимаемых постов. В мае 1945 года арестован союзниками.

На процессе Американского военного трибунала по делу высшего командования вермахта 27 октября 1948 года приговорен к пожизненному заключению. В 1954 году освобожден.