Родился 8 ноября 1885 года в селе Осуги (大杉村, в настоящее время посёлок Отоё) префектуры Коти на острове Сикоку, в семье сельского врача. В 1905 году окончил Военную академию Императорской армии в Хиросиме. Служил в японской армии в звании лейтенанта. В 1913—1916 годах обучался в Высшей военной академии в Токио.

В 1919—1922 годах капитан Ямасита служил в качестве военного атташе в Берне (Швейцария) и Берлине (Германия). В 1927—1930 году в чине полковника служил при японской дипмиссии в Вене (Австрия).

В августе 1931 года Ямасита вернулся на родину для работы в военном министерстве Японии. В 1934 году получил звание бригадного генерала. После неудачной попытки военного переворота в феврале 1936 года Ямасита был заподозрен в причастности к заговору и отправлен в Корею командовать 40-й пехотной бригадой. Через год он получил звание генерал-лейтенанта и был переведен в Маньчжурию на должность начальника штаба Квантунской армии.

Став военным министром, Хидэки Тодзио снова отправил Ямаситу в Германию. Вернувшись, Ямасита доложил о своих наблюдениях. По его мнению, для укрепления своей военной мощи Япония должна была усилить авиацию и сформировать мобильные танковые и воздушно-десантные части.

В 1937 году по инициативе Ямаситы японская армия вторглась в Китай. Успешные действия против пробританского китайского правительства вывели его из-под подозрений в нелояльности, и он получил чин дивизионного генерала. В 1938 году Ямасита стал главнокомандующим японской экспедиционной армии со штабом в Шанхае.

6 ноября 1941 года Ямасита был назначен командующим 25-й армией. 15 ноября он перенес свой штаб в Сайгон. 8 декабря началось вторжением в Малайю. Преодолев 700 км джунглей армия Ямаситы вышла 31 января к южной оконечности полуострова Малакка. 9 февраля 1942 года японский десант высадился в Сингапуре, а 15 февраля британская крепость капитулировала. В плену оказалось 130 000 индийских, австралийских и британских солдат — самая крупная сдача в плен в истории британской армии. После этого Ямасита получил своё прозвище «Малайский тигр».

Однако вскоре Ямасита, ставший после Малайской кампании национальным героем, был снова отправлен в Маньчжурию (предположительно, по инициативе премьер-министра Тодзио) и долгое время оставался в тени. В 1943 году Ямасита получил звание генерала.

В 1944 году, после падения кабинета Тодзио, Ямасита был назначен командующим 14-й армией, готовившейся к обороне Филиппин. Американские войска высадились в заливе Лейте всего через десять дней после прибытия Ямаситы в Манилу. В условиях поражения японского флота и прекращения снабжения Ямасите удалось продержаться на Филиппинах год вплоть до капитуляции Японии. В ходе упорных боев за Манилу армия Ямаситы потеряла весной 1945 года до 16 тыс солдат, тогда как город был превращен в руины.

Американский военный суд приговорил Ямаситу к смертной казни. 27 февраля 1946 года он был повешен. Даже британская пресса сомневалась в справедливости суда над Ямаситой, считая процесс личной местью Дугласа Макартура.