В первой половине 30-х гг. под его непосредственным руководством было налажено сотрудничество с Германией в военной и разведывательной областях, он стал одним из ближайших друзей Эйгена Отта — впоследствии военного атташе и посла Германии в Японии. Военный атташе в Берлине (1936–1938), один из инициаторов Антикоминтерновского пакта (Осима подписал его как представитель Японии). В результате успешной деятельности по укреплению японо-германского союза назначен послом (1938), но был вынужден оставить эту должность сразу после подписания Пакта о ненападении между Германией и ССCP (1939).

Восторженный поклонник национал-социализма и лично Гитлера, особым расположением которого он пользовался. Участвовал в подготовке Тройственного пакта.

В начале 1941 г. Осима назначен послом в Берлин, оставался на этом посту до конца войны. После нападения Германии на СССР занимал довольно осторожную позицию в вопросе о вступлении в войну Японии, считая боевые действия на нескольких фронтах для нее неприемлемыми.

В мае 1945 г. интернирован в Европе союзниками. Международным военным трибуналом для Дальнего Востока в ноябре 1948 г. приговорен к пожизненному заключению. Освобожден в 1955 г.