Своим именем город обязан верному соратнику В. И. Ленина — Феликсу Эдмундовичу Дзержинскому. «Я не умею наполовину ненавидеть или наполовину любить,— писал он в письме жене.— Я не умею отдать лишь половину души. Я могу отдать всю душу или не дам ничего».
За истинно сыновнюю любовь к Отчизне, безграничную преданность делу народа, ненависть к врагам, несгибаемую волю Дзержинского называли Рыцарем Революции, Железным Феликсом. Перед необыкновенной силой духа этого человека преклонялись даже недруги. Председатель ВЧК, нарком путей сообщения и внутренних дел… Казалось бы, занимать эти должности одновременно невозможно — не хватит сил. Но в груди его билось горячее большевистское сердце, которому до всего было дело: и до восстановления народного хозяйства страны, и до ликвидации саботажей, и до борьбы с детской беспризорностью.
В 1925 году неоценимую помощь оказал Дзержинский днепровским металлургам. Долгое время после окончания гражданской войны не удавалось пустить завод. Некоторые «спецы», поддерживаемые местными троцкистами и другими контрреволюционерами, всячески препятствовали его возрождению. И все же рабочие под руководством большевиков восстановили вспомогательные цехи, завершили ремонт и модернизацию доменной печи. Однако этого было недостаточно, чтобы полностью наладить металлургическое производство. Нужны были средства. И тогда по решению совместного собрания партийной и профсоюзной организаций завода в Москву к председателю ВСНХ СССР Ф. Э. Дзержинскому выехала делегация в составе председателя завкома, сталевара А. А. Белецкого и токаря А. В. Луковцева с просьбой сиять предприятие с консервации.
Феликс Эдмундович тщательно изучил материалы о состоянии Днепровского металлургического завода и распорядился послать туда специальную комиссию. Вскоре на восстановительные работы были направлены необходимые средства.
На следующий после пуска завода день это важное для страны событие Дзержинский отметил в своем докладе «О металлопромышленности» на XIV конференции РКП (б). А в ответ на поздравительную телеграмму рабочие и служащие возрожденного предприятия избрали Феликса Эдмундовича почетным горновым домны № 1.
После присвоения Днепровскому заводу имени Ф. Э. Дзержинского за предприятием твердо закрепилось название — Дзержинка.
Феликс Эдмундович так и не побывал в Каменском. 20 июля 1926 года перестало биться сердце Железного Феликса.
Дела и образ верного Рыцаря Революции навсегда остались в памяти жителей города. В 1936 году по их просьбе Каменское было переименовано в Днепродзержинск.
Одна из красивейших площадей города носит имя Дзержинского. В ее центре высится бронзовая фигура Феликса Эдмундовича (скульптор И. Г. Першудчев). Вокруг постамента — бронзовый барельеф, изобряжающий рабочих, солдат — с ними шел на борьбу с врагами несгибаемый чекист.
Это не единственный в городе памятник Ф. Э, Дзержинскому. Еще в сороковые годы, сразу же после окончания Велйкой Отечественной войны, скульптурный портрет Феликса Эдмундовича по эскизам И. П. Кавалеридзе был изготовлен из гипса и бетона рабочими ремонтно-строительного цеха Дзержинки и установлен возле проходной заводоуправления.
Одна из улиц в центре города также носит имя Дзержинского. Она словно отталкивается от проспекта В.И. Ленина и останавливает свой стремительный бег у Дворца культуры металлургов. Летом эта магистраль утопает в зелени, по обе ее стороны тянутся сады, цветочные грядки. Живут здесь преимущественно металлурги, одни из первых включившиеся в борьбу за превращение города в образцовый.