В 1928 году вступил в НСДАП (партийный билет № 75 946). В 1929 году был зачислен в Штурмовые отряды (СА) и стал ортсгруппенляйтером в Лорше, Библисе и Бенсхайме. В 1930 году занялся адвокатской практикой в Лорше. После прихода к власти нацистов с марта 1933 года стал начальником полицейского управления в Вормсе, а с сентября 1933 года — в Гиссене. В это время познакомился с Вернером Бестом, который убедил Йоста перейти на службу в СД. В июле 1934 года вышел из СА и перешёл в СС (№ 36 243). Затем служил в Главном управлении СД, где был руководителем 3-го управления (контрразведка). В 1938 году возглавил айнзацгруппу «Дрезден», действовавшую во время оккупации Чехословакии, в задачи которой входили арест врагов государства и занятие чешских полицейских участков. Незадолго до начала Второй мировой войны присутствовал на встрече Рейнхарда Гейдриха, целью которого являлось планирование действий айнзацгрупп, которые должны были следовать за продвижением немецких войск в Польше.
В августе 1939 года по поручению Гейдриха занимался обеспечением польской униформой сотрудников СС, участвовавших в нападении на радиостанцию в Глайвице. С того же года был руководителем 6-го ведомства (Служба внешней разведки СД) Главного управления имперской безопасности (РСХА). В марте 1942 года был снят с должности, которую занял его бывший заместитель Вальтер Шелленберг.
В марте 1942 года сменил убитого партизанами Вальтера Шталекера на посту командира айнзацгруппы A, которая организовывала массовые убийства в Прибалтике. Штаб подразделения располагался в Красногвардейске. Кроме того, стал командиром полиции безопасности и СД в Остланде со штаб-квартирой в Риге. Изначально находился в подчинении армейского командования и сотрудничал с командующим Группы армий «Север» Георгом фон Кюхлером, но потом перешёл под руководство Высшего руководителя СС и полиции в Остланде Фридриха Еккельна. Согласно отчёту № 195 в конце апреля 1942 года айнзацгруппа казнила 1272 человека.
После того, как Йост в сентябре 1942 года оставил пост начальника айнзацгруппы, он был переведён в имперское министерство оккупированных восточных территорий во главе с Альфредом Розенбергом. Там он служил офицером связи между Розенбергом и Эвальдом фон Клейстом, командующим 1-й танковой армией на Восточном фронте. Работал в министерстве до апреля 1944 года, когда был разжалован Гиммлером и отправлен в Войска СС. Причиной послужило то, что подчинённые Йосту сотрудники айнзацгруппы после расстрела мужчин, женщин и детей приобрели психические расстройства. В июле 1944 года был демобилизован из СС по состоянию здоровья.
В апреле 1945 года был арестован в Гарделегене в Саксонии-Анхальт. Предстал перед американским трибуналом, рассматривавшем дело айнзацгрупп. На процессе пытался избежать ответственности за свои преступления, заявив, что массовые убийства произошли до того, как он принял руководство подразделением. Доказательством его вины трибунал представил письмо, написанное 15 июня 1942 года одним из его подчинённых в РСХА с просьбой отправить в Белоруссию газваген, как и рапорт от 17 апреля 1942 года, в котором указано, что 7 апреля 1942 года в Каунасе айнзацгруппой было расстреляно 22 человека, среди которых были 14 евреев, «распространявших коммунистическую пропаганду». Йост ответил, что по его приказу «эти меры должны были быть приняты, и что они были законны и правильны». Защитник подсудимого сказал, что те люди придерживались коммунистических взглядов до «последнего момента».
10 апреля 1948 года был приговорён к пожизненному заключению. Потом его срок был изменён на 10 лет заключения, а в декабре 1951 года был освобождён из Ландсбергской тюрьмы. Впоследствии работал юристом в фирме по торговле недвижимостью в Дюссельдорфе. Умер 12 ноября 1964 года в Бенсхайме.