Карл Гебхардт родился 23 ноября 1897 года в городе Хаг (Верхняя Бавария). Ещё в школе подружился с будущим рейхсфюрером СС Гиммлером. В 1919 году начал изучать медицину в Мюнхене, в 1937 стал профессором и получил лицензию хирурга. Участвовал в «пивном путче» 9 ноября 1923 года.

1 мая 1933 года Гебхардт вступил в NSDAP, через 2 года — в СС. До начала Второй мировой войны был главным врачом в клинике Уккермарка, переоборудованной по его приказу из клиники для больных туберкулёзом в ортопедический центр. В 1938 году Гебхардт стал личным врачом Генриха Гиммлера и 20 апреля получил звание оберфюрера СС. С началом войны активно занимался экспериментами над заключёнными Аушвица и Равенсбрюка, а также занимал пост президента немецкого Красного креста. С 1943 года — главный клинический врач при имперском враче СС в составе Личного штаба рейхсфюрера СС. В 1944 году Гебхардту было поручено лечение Альберта Шпеера. В апреле 1945 года находился в бункере Гитлера, пытался вывезти оттуда детей Геббельса по линии Красного креста, но получил отказ. По окончании войны сопровождал скрывающегося Гиммлера. Был схвачен 21 или 22 мая 1945 года.

В 1946 году Гебхардт предстал в качестве одного из главных обвиняемых на Нюрнбергском процессе над врачами. За преступления против человечности, военные преступления и участие в преступной организации (СС) был приговорён к смертной казни через повешение. Приговор был приведён в исполнение 2 июня 1948 года в тюрьме Ландсберг.