Родился в семье плотника, владельца лесопилки. По отцовской линии происходил из древнего ремесленного рода, а с материнской — из крестьянского рода. После начала Первой мировой войны добровольцем пошёл на фронт. В августе 1914 года вступил в 127-й пехотный полк, 6 ноября 1916 года был произведен в лейтенанты. С 1917 по июнь 1918 года занимал должность адъютанта 3-го батальона 476-го пехотного полка. Был четырежды ранен, дважды — тяжело. 13 июля 1918 года переведен обер-лейтенантом в 124-й полк. С апреля 1921 года служил в пограничной охране «Восток». За Первую мировую войну награждён Железным крестом 2-го и 1-го классов, серебряным знаком «За ранение», орденом Фридриха с мечами, Вюртембергской медалью за военные заслуги в золоте, а также Рыцарским крестом Креста за военные заслуги.

После демобилизации работал учителем физкультуры народной школы, затем — директором реальной школы (до 1933 года). Принимал активное участие в деятельности фрайкора. В 1923 году был арестован за нарушение общественного спокойствия и создание военных организаций. В ноябре 1922 года вступил в НСДАП, после «Пивного путча» покинул партию и вторично вступил в неё 1 января 1931 года (билет № 426 875), тогда же стал членом СА. В 1924—1929 гг. состоял членом организации бывших фронтовиков. В 1931 году назначен командиром 125-го штандарта СА, 15 октября 1932 года произведен в оберфюреры СА. С ноября 1933 года — командир унтергруппы СА «Северный Вюртемберг». С 1 октября 1935 года — старший правительственный советник (оберрегирунгсрат) отдела образования в Министерстве культуры Вюртемберга.

30 января 1936 года вступил в СС (билет № 275 991), сразу же получил чин оберфюрера СС и назначен начальником штаба оберабшнита СС «Юго-Запад». С 25 февраля 1936 года был референтом по спорту в штабе оберабшнита СС «Юго-Запад». С 1 октября 1937 года — референт по спортивным вопросам в Личном штабе рейхсфюрера СС. С 1 июля 1938 года — начальник управления комплектования в составе Главного управления СС. 20 апреля 1939 года был произведён в бригадефюреры СС, а 20 апреля 1941 года — в группенфюреры СС.

26 сентября 1939 года рейхсфюрер СС Генрих Гиммлер поручил Бергеру сформировать на оккупированных польских территориях «самооборону» из польских немцев (фольксдойче).

С 1 апреля 1940 года до конца войны возглавлял Главное управление СС (нем. SS Hauptamt; SSHA) — ведущий орган управления СС (в том числе кадры, право, администрация и др.), фактически являясь одним из главных руководителей всей системы СС. Организовал широкомасштабную вербовку добровольцев в войска СС, не останавливаясь даже перед привлечением уголовников. Среди своих знакомых получил кличку «Швабский герцог» (нем. Schwabenherzog). По своей должности являлся одним из заместителей рейхсфюрера СС Генриха Гиммлера.

В 1941—1945 гг. Бергер одновременно состоял офицером связи рейхсфюрера СС в Имперском министерстве восточных оккупированных территорий, в июле 1942 года стал личным представителем рейхсфюрера СС в министерстве. С 20 августа 1943 года до 20 января 1945 года был статс-секретарём и, соответственно, заместителем рейхсминистра Альфреда Розенберга. В министерстве возглавлял 1-й главный отдел (Политический) (нем. Hauptabteilung I Politische) и носил чин министериальдиректора.

В 1942—1945 годах Бергер также одновременно был личным представителем Генриха Гиммлера в Имперском министерстве почт и начальником управления по охране корреспонденции (по другим данным руководил паспортной службой министерства). Помимо этого с августа 1943 года являлся депутатом Рейхстага от Восточного Дюссельдорфа.

31 августа 1944 года после начала Словацкого национального восстания был назначен высшим руководителем СС и полиции в Словакии. Ему было поручено руководить подавлением восстания. Прибыв в Братиславу, Бергер заявил, что «необходимо наводить кладбищенский покой после любого восстания». На посту высшего руководителя СС и полиции в Словакии Бергер находился до 20 сентября 1944 года, когда был заменён Германом Хёфле.

31 октября 1944 года назначен командующим резервными войсками и руководителем всей службы по делам военнопленных в Германии. Одновременно с 25 сентября 1944 года являлся начальником штаба германского Фольксштурма. 8 мая 1945 года арестован союзниками.

В качестве обвиняемого привлечён к суду Американского военного трибунала в Нюрнберге по Делу «Вильгельмштрассе».

Хотя на суде был признан виновным в уничтожении евреев и 11 апреля 1949 года приговорен к 25 годам тюремного заключения, но 31 января 1951 года срок заключения был сокращен до 10 лет, а 16 декабря 1951 года Бергер был освобожден, проведя в заключении всего чуть более шести лет.

После выхода из тюрьмы с 1952 года Бергер активно сотрудничал с располагавшимся в Кобурге неофашистским журналом «Нация Европы» (нем. «Nation Europa»).

Старший сын Бергера унтерштурмфюрер СС Вольф Бергер командовал взводом в 1-й роте «Лейбштандарта СС Адольф Гитлер» и погиб в бою 11 февраля 1943 года.