Сын подполковника. Образование получил в Гренобльском, Мюнхенском, Кильском и Лейпцигском университетах. После окончания учёбы служил референтом в Кёнигштайне, Дрездене, а также в германских миссиях в Китае.

Участник Первой мировой войны, обер-лейтенант. В 1918 году вернулся на государственную службу, ассистент. В 1918—1919 годы — на службе в Министерстве иностранных дел, секретарь посольства в Риге, поверенный в делах. В 1920—1923 годы был секретарём германского посольства в Мехико. В 1923—1928 годах в ранге советника посольства служил в центральном аппарате Имперского министерства иностранных дел Германии и «Бюро рейхспрезидента» (канцелярия президента Германии). В 1928—1929 годах — советник германского посольства в Пекине, в 1929—1933 года — советник германского посольства в Токио.

После прихода нацистов к власти в 1933 году был переведён в Берлин, где в ранге диригента стал одним из руководителей Восточно-Азиатского отдела МИДа. С 11 мая 1937 года — посланник Германии в Венгрии, добивался вовлечения Венгрии в зону влияния Германии. В русле политики рейхсминистра иностранных дел Иоахима фон Риббентропа по замене профессиональных дипломатов старой школы на убеждённых нацистов в июле 1941 года был заменён Дитрихом фон Яговом. С сентября 1941 года и до конца войны — министериальдиригент, заместитель начальника Политического отдела МИДа Эрнста Вёрмана.

После капитуляции Германии арестован. В качестве подсудимого был привлечён к суду Американского военного трибунала в Нюрнберге по делу «Вильгельмштрассе». Как сотрудник Политического отдела МИДа обвинялся в военных преступлениях и преступлениях против человечности, в частности в соучастии в депортациях евреев из Балканских стран в рамках т. н. «Окончательного решения еврейского вопроса». Однако, обвинению не удалось доказать его вину и 11 апреля 1949 года Отто фон Эрдмансдорф был оправдан. Суд определил, что у него не было достаточно влияния и сил, чтобы предотвратить преступления. Освобождён.