Svůj název Švarcův dům získal podle příjmení posledního majitele pana Švarce.
Celý komplex byl zbourán v roce 1985. Po demolici zůstala stát pouze budova vodárny v Bezručově ulici.
V současné době tam stojí nový jednopodlažní obchodní komplex, vestavěný do uvolněného prostranství mezi objekt bývalé vodárny (dnes prodejna barvy, laky a také rychlého občerstvení) a bývalé zahradnictví majitele pana Hájka.
Karel Lojka