Член Чрезвычайной государственной комиссии академик Н. Н. Бурденко лично установил систематическое истребление фашистами военнопленных в лагере и в «лазарете» — тюрьме, где содержались раненые красноармейцы.
«Картины, которые мне пришлось видеть, превосходят всякое воображение, — рассказывал академик Н. Н. Бурденко. — Радость при виде освобожденных людей омрачалась тем, что на их лицах было оцепенение… Очевидно, пережитые страдания поставили знак равенства между жизнью и смертью. Я наблюдал три дня этих людей, перевязывал их, эвакуировал — психологический ступор не менялся. Нечто подобное в первые дни лежало и на лицах врачей. Гибли в лагере от болезней, от голода, от побоев, гибли в «лазарете» — тюрьме от заражения ран, от сепсиса, от голода. Гибли гражданские люди от расстрелов, которые производились в тюремном дворе с немецкой точностью, по расписанию — по вторникам и пятницам, группами по 5−6 человек. Немцы вывозили осужденных также в отдаленные места, где были траншеи, сделанные русскими войсками перед оставлением города, и там расстреливали. Расстрелянных в городе свозили и бросали в траншеи, преимущественно в лесистой местности. Казни в тюрьме совершались так: мужчины ставились лицом к стене, жандарм производил выстрел из револьвера в затылочную область. Этим выстрелом повреждались жизненные центры, и смерть наступала мгновенно. В большинстве случаев женщины ложились лицом вниз на землю, и жандарм стрелял в затылочную область. Второй способ: группы людей загоняли в траншею и, обернув их лицом в одну сторону, расстреливали из автоматов, направляя выстрел в ту же затылочную область. В траншеях обнаружены труппы детей, которых, по свидетельству очевидцев, закапывали живыми».
После освобождения города Орла от фашистских оккупантов на месте массовой гибели советских военнопленных и мирных граждан у северо-восточной стены бывшего каторжного централа было устроено Братское кладбище жертв фашизма (между ул. Октябрьской и ул. Красноармейской). На кладбище находятся три могильных холма высотой в 1 м, с крутыми склонами и травяным покровом. В 1973 г. кладбище было благоустроено, реконструирована ограда, проложены асфальтовые дорожки, могилы окаймлены каменным бордюром, посажены зеленые декоративные растения, сооружены мемориальная стена и обелиск. В центре бетонной мемориальной стены на плите из черного гранита имеется надпись: «Здесь захоронено 5000 советских граждан, замученных и расстрелянных фашистами в 1941—1943 годах». На обелиске выбиты слова: «Вечная память жертвам фашизма, погибшим в годы временной оккупации».
Мемориальный знак открыт 5 августа 1973 г.