Рудольф Леман родился 11 декабря 1890 года в протестантской семье в городе Позен, находившемся тогда на территории Германской империи. Решив вслед за отцом стать юристом, он изучает юриспруденцию в университетах Мюнхена, Фрайбурга, Лейпцига и Марбурга, а с августа 1914 года добровольцем принимает участие в Первой мировой войне и как фронтовой офицер награждается Железным крестом. По окончании войны Леман получает учёную степень доктора права и работает в министерствах почты и юстиции, а также в качестве судьи.

С приходом к власти Гитлера Леман принимает участие в разработке положений нового уголовного судопроизводства. В октябре 1937 года он зачисляется на военную службу и становится президентом Сената Имперского военного суда, а с июля 1938 года возглавляет юридический отдел вермахта, что делает его высшим военным юристом нацистской Германии. Такой стремительной карьере способствовала данная ему военным министром фон Бломбергом характеристика незаурядно способного и особенно дельного юриста, ревностно следящего за соблюдением военно-уголовного права. Леман участвует в качестве одного из судей на процессе обвинённого в гомосексуализме фон Фрича, является сотрудником нескольких газет, пропагандировавших идеи нового нацистского порядка, консультирует по юридическим вопросам Кейтеля, начальника Верховного главнокомандования вермахта. Однако его важнейшей задачей остаётся юридическая подготовка приказов фюрера и командования вермахта.

В мае 1944 года Леман получает высшее звание, предусмотренное для юристов Гитлеровской Германии: генералоберштабсрихтер (нем. Generaloberstabsrichter), по рангу соответствующее генералу от инфантерии.

По окончании войны он оказывается в американском плену.

На третьем «малом» Нюрнбергском процессе над нацистскими судьями Леман выступал ещё в качестве свидетеля. Но на двенадцатом (и последнем) из серии Нюрнбергских процессов, проведённом с 30 декабря 1947 года по 28 октября 1948 года, он сам оказался на скамье подсудимых. Среди основных пунктов обвинения, выдвинутых против Лемана, ему вменялись в вину разработка и распространение следующих преступных актов:

«Приказ о комиссарах» — предусматривающий немедленный расстрел взятых в плен политработников Красной Армии.

Приказ «О применении военной подсудности в районе Барбаросса» — по которому, в частности, преступления вражеских гражданских лиц выводились из компетенции военных и военно-полевых судов, а преступления вермахта против вражеского гражданского населения не влекли за собой обязательного преследования.

«Приказ о командос» (нем. Kommandobefehl) — согласно подготовленной в октябре 1942 года директиве военнослужащие противника в составе диверсионно-разведывательных групп должны быть убиты вплоть до последнего человека, даже если они были готовы сдаться в плен.

Приказ «Ночь и туман» — по нему участники движения Сопротивления на оккупированных Германией территориях должны быть судимы на месте только в том случае, если ожидался смертный приговор; иначе они должны быть вывезены в Германию и предстать перед военным судом.

Приказ «О борьбе против террора и саботажа» (нем. Terror — und Sabotageerlass) — в выпущенном в июле 1944 года распоряжении Гитлера говорилось, что гражданские лица на оккупированных территориях, обвиняемые в актах насилия, при задержании их «на месте преступления» должны быть расстреляны без суда и следствия, а в случае ареста — переданы в Службу безопасности (что — по сути — было равносильно казни).

В другой директиве Кейтеля, подготовленной для него Леманом в ноябре 1943 года, указывалось: «Виновные, которые были оправданы в ходе судебного разбирательства армией, или в отношении которых приостановлено судебное разбирательство, или которые во время войны полностью отбыли тюремное заключение, назначенное им военным судом, должны быть переданы гестапо для содержания под стражей на время войны».

По итогам процесса Леман был признан виновным по разделам обвинения II и III (Военные преступления и преступления против человечности: преступления против комбатантов противника и военнопленных, а также Военные преступления и преступления против человечности: преступления против гражданских лиц) и приговорён к 7 годам лишения свободы. В материалах суда в отношении Лемана было отмечено: «Не утверждается, что он лично отдал приказ стрелять в российских гражданских лиц... Но без общих приказов, которые разработал и издал Леман, ни один отдельный приказ не мог быть отдан... То, что уголовные преступления были совершены в результате законодательства, разработанного Леманом, не подлежит сомнению». Отдельно по директиве о военной подсудности в районе Барбаросса было записано: «Чтобы оградить военные суды от упрёков со стороны Гитлера, подсудимый явно был готов жертвовать жизнями ни в чём не повинных людей».

Леман приговаривается к 7 годам лишения свободы, однако, уже в августе 1950 года досрочно выходит на свободу из Ландсбергской тюрьмы для военных преступников в Баварии. После чего не восстановленный на государственной службе Леман работает управляющим экономического объединения Bergbau в Бад-Годесберге и одновременно вместе со своими бывшими коллегами по нацистской военной юстиции пытается создать её привлекательный облик в общественном мнении послевоенной Германии.

26 июля 1955 года Рудольф Леман умер в Бонне и был похоронен на Старом кладбище западногерманской столицы.