В ноябре 1902 года окончил Военную академию Императорской армии и получил звание младшего лейтенанта. В сентябре 1912 года получил звание капитана, позже окончил элитную Высшую военную академию Императорской армии, подготовившую многих военных деятелей милитаристской Японии.

В 1925 году получил звание полковника и был назначен командиром 26-го кавалерийского полка. В 1926 году — начальник штаба армии японских войск в Корее.

С июля 1927 по 1930 год служил в управлении связи 3-го бюро Генерального штаба Императорских вооружённых сил. В августе 1930 года произведён в звание генерал-майора и назначен начальником кавалерийской школы. В августе 1934 г. получил звание генерал-лейтенанта и до 1937 года занимал ряд административных должностей, в том числе возглавлял Японскую императорскую военную академию.

В марте 1937 года, с началом второй Японо-китайской войны, Отодзо Ямада принял командование 12-й пехотной дивизией, базировавшейся в Маньчжурии. В январе 1938 года назначен командующим 3-ей армии, в декабре — командующим Центральной экспедиционной армии в Китае. В 1940 году получил звание генерала армии и был переведён в Японию с назначением на должность Главного инспектора боевой подготовки, которую занимал до 1944 года, являясь всё это время членом Высшего военного совета страны.

18 июля 1944 года Ямада вернулся в Маньчжурию в качестве последнего главнокомандующего Квантунской армии. Готовясь к неизбежному вооружённому столкновению с Советским Союзом и осознавая, что помощи из истощённой Второй мировой войной Японии не последует, Ямада пытался усилить свои войска доступными ему средствами, сформировав 8 новых пехотных дивизий и 7 пехотных бригад из слабоподготовленных призывников и добровольцев. В ходе начавшейся 9 августа 1945 года Маньчжурской операции советские войска, обходя хорошо укреплённые районы и уничтожая японские подразделения, не имевшие достаточной поддержки танков и артиллерии, за несколько дней нанесли огромные потери и полностью разгромили оборону противника. После ряда неудачных контратак и оставшегося без ответа предложения о перемирии, 20 августа 1945 года главнокомандующий был вынужден отдать приказ о капитуляции Квантунской армии.

В числе около 600 тысяч японских военнослужащих Отодзо Ямада попал в плен, а затем был доставлен в Хабаровск. 25—30 декабря 1949 года Военный трибунал Приморского военного округа в открытом судебном заседании рассмотрел дело японских военнопленных, в том числе и Ямады. Бывший главнокомандующий Квантунской армии обвинялся в руководстве деятельностью по подготовке бактериологической войны. Его приговорили к 25 годам лишения свободы в исправительно-трудовом лагере. 12 марта 1950 года Ямада Отодзо был доставлен в лагерь N 48 в Чернцах.

В июле 1950 года по запросу правительства Китайской Народной Республики Ямада и другие бывшие японские военнослужащие были выданы Советским Союзом для привлечения к ответственности за военные преступления, совершённые на территории Китая. Ямада признал, что осознаёт свою ответственность за преступления, совершённые его подчинёнными, и более 5 лет содержался под стражей в городе Фушунь.

В июне 1956 года после объявления амнистии Отодзо Ямада был освобождён от отбывания наказания и репатриирован в Японию.

Умер 18 июля 1965 года в возрасте 83 лет.