Своєю історією будівля сягає XІX століття. Згідно з науковим виданням «Бахмутський край: видатні сторінки історії», цю споруду, розташовану на одній із центральних вулиць міста, заснував відомий купець і підприємець Самійло Поляков, який стояв біля витоків будівництва залізниць на Донбасі.
Наприкінці 1800-х у Бахмуті Поляков побудував цей модерновий особняк — двоповерхову поштукатурену будівлю з червоної цегли. Початково будівля була приватним домом купця.
Поляков також став засновником Банку взаємного кредиту, тож до 1917 року в будівлі було перше відділення цього банку. У радянський період тут розміщувався один із корпусів учительського інституту, а пізніше його переобладнано під середню школу та Будинок піонерів.
Саме в Центрі дітей та юнацтва у 2015 році проходили громадські зібрання щодо повернення місту Артемівськ його історичної назви - Бахмут.