Руфф изучал медицину в университетах Бонна и Берлина. По окончании обучения работал в университетской больнице Бонна. С 1934 года стал одним из руководителей института воздушной медицины люфтваффе. В 1937 году вступил в НСДАП.

По заданию люфтваффе изучалась ситуация, когда пилот подбитого противником самолёта катапультировался с большой высоты и попадал в ледяную морскую воду. В ходе проведения эксперимента в концлагере Дахау была смонтирована камера в которой можно было смоделировать свободное падение с высоты 21 000 метров. Из 200 подопытных 70-80 погибли. Исследование влияния переохлаждения на организм изучалось путём погружения тела заключённого в ледяную воду.

Предстал в качестве одного из главных обвиняемых на процессе над врачами. Руффу было предъявлено обвинение в проведении экспериментов над людьми в концентрационном лагере Дахау.

Вместе с Руффом по этому делу были также обвинены Вельтц и Ромберг.

Суду не удалось доказать причастность Вельтца, Руффа и Ромберга к этим опытам, в связи с чем они были оправданы.

После освобождения организовал диагностическую лабораторию в Бонне. Стал одним из ведущих врачей Люфтганзы. С 1954 по 1965 годы — руководитель научно-исследовательского института воздушной медицины в Бонне. С 1952 года профессор университета в Бонне.