Во время немецкой оккупации Киева в 1941–1943 годах Бабий Яр стал местом массовых расстрелов немецкими оккупантами мирного населения в абсолютном большинстве — евреев, которых расстреливали по этническому признаку, и которым было приказано явиться на территорию Бабьего яра. Кроме них убивали цыган (тоже по этническому признаку), а также некоторых партийных и советских активистов, подпольщиков и других.

Памятник был установлен 2 июля 1976 года (на территории впоследствии названной Национальный историко-мемориальный заповедник «Бабий яр») в г. Киеве, между ул. Дорогожицкой, Телиги, Ильенко и Оранжерейной. Расположен в верховьях Бабьего яра. До современной застройки здесь находился один из самых больших в Киеве оврагов — длина около 2,5 км, глубина свыше 50 м. По его дну протекал одноимённый ручей, взятый в настоящее время в коллектор.

Авторы монумента — скульпторы академик АХ СССР, народный художник СССР М. Г. Лысенко, А. Витрик, В. Сухенко, арх. А. Игнащенко, Н. Иванченко, В. Иванченков. Памятник представляет собой многофигурную композицию из бронзы. Перед ним установлена металлическая плита с надписью по-украински: «Здесь в 1941–1943 годах немецко-фашистскими захватчиками были расстреляны свыше ста тысяч граждан города Киева и военнопленных». В 1989 слева и справа от неё прикрепили такие же плиты с надписями на русском языке и на идише.