Єврейська громада Маріуполя молилася у найманих приміщеннях і лише 1864 року збудували синагогу з ініціативи ремісника Абрама Фреймана. Внутрішнє оздоблення цієї першої маріупольської синагоги було спершу вкрай примітивним. Пізніше тут збудували новий синагогальний ковчег для зберігання в ньому святих сувоїв тори (один із них зерігався я в Маріупольському краєзнавчому музеї), влаштовані лавки для тих, хто молиться, естрада для читання в ній по суботах Священного писання та галереї для жінок.
Наприкінці 1880-х років на будівлі звели купол, що відрізняв синагогу від суміжних із нею «пересічних» споруд.
Синагогу було зруйновано під час німецької окупації Маріуполя 1941—1943 років. До останнього часу (1994) від неї збереглися лише фундамент та арочні ворота. У 1995 році міськвиконком ухвалив рішення про передачу будівлі флігеля, синагогу єврейської релігійної громади Маріуполя