Родился в семье почтового служащего. После окончания гимназии изучал медицину в военно-медицинской академии имени кайзера Вильгельма, а также в университетах Берлина и Бреслау. Сдаёт на отлично государственные экзамены и 16 мая 1922 года получает диплом врача. В 1921 году вступает в добровольческие отряды Росбаха, которые, согласно его высказыванию, являлись «защитой от польской экспансии в Верхней Силезии» (нем. Abwehr des polnischen Einfalls in Oberschlesien)[1].

С 1922 по 1926 годы Розе последовательно работает ассистентом в институте имени Роберта Коха в Берлине, в институте гигиены в Базеле и на кафедре анатомии университета Фрайбурга. В 1926 году переезжает в Гейдельберг, где открывает частную практику и одновременно работает в хирургическом отделении местного университета.

В 1929 году Розе покидает Германию и переезжает в Китай, где становится медицинским советником правительства Гоминьдан. В декабре 1929 года назначается директором организации здравоохранения провинции Чжэцзян и одновременно советником по медицине министра внутренних дел Чжэцзян.

1 ноября 1930 года Герхард Розе вступает в НСДАП (партийный билет 346 161).

Вследствие японо-китайской войны Розе в сентябре 1936 года возвращается в Германию, где становится заведующим отделения тропической медицины института имени Роберта Коха в Берлине. В сентябре 1938 года Розе начинает преподавать тропическую гигиену и тропическую медицину в Берлинском университете. 1 февраля 1943 года становится вице-президентом института имени Роберта Коха.

В 1939 году становится сотрудником санитарного отдела люфтваффе. В этом же году вступает в испанский Легион «Кондор». Под конец войны Розе становится генералом врачебной службы.

За преступления против человечности и военные преступления приговорён к пожизненному заключению — 31 января 1951 года срок был снижен до 15 лет. Досрочно освобождён 3 июня 1955 года. После освобождения Розе длительное время работал на фабрике по производству бутылок в Оберкирхене. Впоследствии научные заслуги (по исследованиям не на людях) Розе были оценены и в 1977 году он удостаивается медали Пауля Шурманна.