Военную карьеру Лееб начал в 1895 году в качестве фанен-юнкера в 4-м Баварском полку полевой артиллерии. В марте 1897 года произведён в лейтенанты. Первое боевое крещение прошёл в Китае в 1900 году, участвуя в подавлении восстания боксёров. С августа 1900 года по сентябрь 1901 года командовал взводом 1-й горной батареи Восточно-Азиатского полка полевой артиллерии.

С 1903 года был слушателем Баварской военной академии, одновременно служил в центральном управлении Генерального штаба в Мюнхене, а В 1909 году — в «Большом» Генеральном штабе в Берлине. В марте 1912 года произведён в гауптманы.

В марте 1914 года Лееб стал заместителем начальника штаба 1-го Баварского армейского корпуса, расквартированного в Мюнхене. На этом посту он и встретил войну, приняв участие в боях в Лотарингии.

В марте 1915 года был переведен на должность начальника оперативного отдела штаба 11-й Баварской пехотной дивизии, вскоре переведенной на Восточный фронт. Дивизия участвовала в сражениях в Галиции, Сербии и Румынии. За проявленную храбрость в боях за Перемышль и во время Горлицкого прорыва в мае 1915 года был награжден баварским орденом Максимилиана Иосифа с присуждением пожизненного рыцарского звания.

Летом 1916 года произведён в майоры. Принимал участие в битве при Ковеле и Румынской кампании. С мая 1917 года и до конца войны служил в штабе группы армий кронпринца Рупрехта Баварского на Западном фронте.

Награждён Железными крестами обеих степеней и ещё одиннадцатью орденами Германии, Австрии и Турции.

В 1919 году фон Лееб служил в военном министерстве Баварии. После участия в подавлении Баварской Советской Республики перешёл в управление сухопутных войск министерства обороны Веймарской республики.

К моменту прихода Гитлера к власти в 1933 году фон Лееб стал генерал-лейтенантом, командующим 7-м военным округом с центром в Мюнхене и командиром 7-й баварской пехотной дивизии Рейхсвера.

Офицер старой школы, честный и бескомпромиссный, человек высоких моральных принципов, глубоко верующий католик, фон Лееб открыто выражал недовольство новым режимом и его лидерами, был против милитаризации страны, находился под негласным надзором Гестапо.

Тем не менее, фон Лееб продолжал продвигаться по карьерной лестнице и в октябре 1933 года был назначен командующим 2-й группой войск в Касселе. 1 апреля 1934 года получил звание генерала артиллерии.

1 марта 1938 года по требованию Гитлера ушёл в отставку в связи с «делом Бломберга-Фрича».

Позднее, в 1938 и 1939 годах возвращался на службу для командования оперативной группой «фон Лееб» (кодовое имя создаваемой для разрешения Судетского кризиса 12-й армии), принявшей участие в аннексии Судетской области и оккупации Чехословакии.

Фон Лееб опубликовал в 30-е годы труд по военной науке под названием «Оборона» (Die Abwehr). Книга выдержала несколько переизданий и переводов и позднее использовалась как учебное пособие в Армии США и Красной армии. Участвовал в разработке линии укреплений на западной границе Германии.

С 26 августа 1939 года вернулся на службу и возглавил группу армий «C», прикрывавшую Западный фронт. 1 ноября 1939 произведён в генерал-оберсты.

В 1940 году группа армий «С» участвовала во Французской кампании на южном участке фронта, прорвав линию Мажино и совместно с группой армий «A» окружив 700-тысячную Вторую группу армий Франции в Эльзасе. 24 июня того же года фон Лееб получил Рыцарский крест, а 19 июля — звание генерал-фельдмаршала.

В 1941 году для вторжения в СССР группа армий «C» была преобразована в группу армий «Север», перед которой стояла задача захвата Прибалтики и Ленинграда.

Группа армий за 2 месяца подошла к Ленинграду и с 8 сентября 1941 года заблокировала его от Финского залива до Ладожского озера с юга (с севера город был заблокирован войсками Финляндии).

9–13 сентября — 1-й штурм города войсками фон Лееба. 10 сентября генерал армии Жуков назначен командующим Ленинградским фронтом вместо Ворошилова и к вечеру вступил в должность (в поздних источниках называется дата 13 сентября). Создание мощной артиллерийской линии обороны на Пулковском и Колпинском участках. 12 сентября немецкие танки из 4ТГр заняли Красное Село, 13 сентября — пос. Володарский, Урицк и Финское Койрово, подойдя к Пулковским высотам. Тогда же была оставлена Гатчина из-за угрозы окружения. 14 сентября — контрудар Жукова — после советской артподготовки немцы были выбиты из Финского Койрова и Сосновки силами 3-х дивизий. Урицк (Лигово) и пос. Володарский по нескольку раз переходили из рук в руки.

16–18 сентября — 2-ой штурм (или — продолжение 1—го штурма). Немцы 16 сентября захватили Урицк и Стрельну, выйдя на небольшом участке к Финскому заливу, где не было никакой обороны. Но вдруг пришел приказ из Штаба Верховного главнокомандования Вермахта остановиться и не занимать город, вызвав недоумение и возмущение у генералов и высших офицеров — подчиненных фон Лееба. 16 сентября 1941 года фон Лееб, получив приказ фюрера (инициированный начальником Штаба Верховного Командования сухопутными войсками Фр. Гальдером) о передаче основных своих наступательных частей (в первую очередь всех танковых) в группу армий «Центр», наступающую на Москву, до последнего момента старался его не исполнять. 17 сентября — наступление фон Лееба на Павловск и взятие его, 18 сентября — взятие Пушкина и выход к его северным окраинам.

23 сентября — последнее, 3-е немецкое наступление на Западном участке, которое фон Лееб предпринял на свой страх и риск. После 2-х часовой артподготовки немцы атаковали на Галлерово и Кискино (сев. Ф. Койрова), но продвинуться вперед не смогли. Вечерняя атака тоже не принесла успеха. Но был взят Новый Петергоф до Троицкого кладбища. Именно тогда загорелось восточное крыло Петергофского дворца. Стабилизация фронта на юго-западных подступах к Ленинграду 24 сентября — неудачное наступление 16-й армии Вермахта у Ладожского Озера. Разнос фюрера в Ставке Верховного главномандования. 25 сентября — командующий Группой армий Север, фон Лееб, доложил в Ставку Верховного главнокомандования (OKW), что не может взять Ленинград без дополнительных подкреплений. Фюрером был отдан приказ о немедленной переброске части войск из-под Ленинграда к Москве (4 танковых и 2 моторизованные дивизии).

В декабре 1941 года фон Лееб отстраняется от командования группой армий «Север» (официально — под предлогом болезни, а реально — за разногласия с приказами Ставки Верховного главнокомандования, за поражение под Тихвином и протесты против расправ зондеркоманд СС над мирным населением).

16 января 1942 года 65-летний фельдмаршал отправлен в резерв Главного командования сухопутных сил. Командующим группой армий «Север» назначается генерал-полковник Георг фон Кюхлер.

2 мая 1945 года взят в плен американскими войсками.

Был судим по делу верховного главнокомандования Вермахта. В октябре 1948 года приговорён к 3 годам заключения за преступления против гражданского населения (в частности, передача подчинённым «Указа о военном судопроизводстве»). С учетом предварительного заключения и возраста, был освобожден после процесса.

После освобождения фельдмаршал вернулся в Баварию, в свое поместье в Хоэншвангау, где и умер 29 апреля 1956 года в возрасте 79 лет.