В июле 1903 года поступил на военную службу, фанен-юнкером (кандидат в офицеры), в пехотный полк. В октябре 1904 года произведён в лейтенанты, в октябре 1912 года — в обер-лейтенанты. С октября 1913 до августа 1914 года обучался лётному делу.

С начала Первой мировой войны служил лётчиком-наблюдателем. С ноября 1914 — капитан. В феврале 1916 года — тяжело ранен в авиакатастрофе. С июля 1916 года — командир 60-го авиаотряда. В 1917 году командовал авиагруппой, затем руководил училищем воздушных наблюдателей в Кёльне. С января 1918 — начальник авиации при 7-й армии.

После войны Шперле вступил в Добровольческий корпус. В Веймарской республике, которой согласно Версальскому договору запрещалось иметь военную авиацию, Шперле служил в штабе 5-й пехотной дивизии, с 1924 — в военном министерстве. В 1926 году произведён в майоры. В 1928 году прошёл курс авиаподготовки в секретной немецкой лётной школе в г. Липецк (СССР). С 1933 года — полковник, командир 8-го пехотного полка.

С марта 1934 переведён в военное министерство на должность офицера по особым поручениям (люфтваффе). При этом люфтваффе фактически находились на нелегальном положении. В марте 1935 Гитлер объявил о денонсации Версальского договора и создании люфтваффе. В октябре 1935 года Шперле получил звание генерал-майора. В 1935–38 годах Шперле командовал 5-м округом ВВС (Мюнхен).

17 июля 1936 началась гражданская война в Испании. В ноябре 1936 года был создан немецкий авиаконтингент — Легион «Кондор». Легион состоял из добровольцев, командный и лётный состав комплектовался из офицеров и унтер-офицеров люфтваффе, а в технический персонал входили гражданские специалисты немецких авиастроительных заводов (поскольку испытывалась новая авиатехника).

Шперле был назначен первым командиром легиона, начальником его штаба стал другой будущий генерал-фельдмаршал авиации — Вольфрам фон Рихтгофен. Шперле командовал легионом с ноября 1936 по октябрь 1937.

В апреле 1937 года Шперле был произведён в генерал-лейтенанты, 31 октября 1937 года передал командование легионом генерал-майору Гельмуту Фолькману и вернулся в Германию. 1 ноября 1937 года Шперле получил звание генерала авиации (нем. General der Flieger).

1 февраля 1938 года Шперле назначен командиром 3-й группы люфтваффе, которая через год была переименована в 3-й воздушный флот.

Во время Польской кампании 3-й воздушный флот под командованием Шперле взаимодействовал с Группой армий «C» генерал-полковника (General-oberst) фон Лееба. В мае 1940 года во время вторжения во Францию Шперле прикрывал Группу армий «А» генерал-полковника (фон Рундштедта), на которую легла основная задача по разгрому французских войск. По результатам Французской кампании Шперле был произведён в генерал-фельдмаршалы, минуя звание генерал-полковника.

С июля 1940 года Шперле командовал всеми силами люфтваффе на Западе. В июле — октябре 1940 года он принимал руководящее участие в «Битве за Британию».

В день высадки союзников в Нормандии, 6 июня 1944 год, под командованием Шперле было около 400 самолётов, боеготовых из них — менее 200, и они не имели возможности успешно противостоять действиям многократно превосходящей авиации союзников. Шперле впал в немилость Гитлера и 23 августа 1944 года снят с должности и отправлен в резерв фюрера (фактически — в отставку).

8 мая 1945 года Шперле был взят в американский плен. Вместе с тринадцатью другими высокопоставленными немецкими военными он предстал перед американским военным трибуналом (один из так называемых последующих Нюрнбергских процессов). Он, как и все подсудимые на этом процессе, был обвинён в ведении агрессивной войны, военных преступлениях и преступлениях против мирного населения. Процесс завершился 28 октября 1948 года, Шперле был полностью оправдан и отпущен на свободу. Единственный генерал-фельдмаршал, который предстал перед трибуналом, но был полностью оправдан.