1905-ben Vermes Ferenc földbirtokos, járási szolgabíró itt épített földszintes házát 1909-ben az akkori tulajdonos korszerűsítette, megnagyobbította és tornyokkal tette szebbé – az épület ekkor nyerte el mai formáját. A II. világháborúban német, majd orosz katonai parancsnokság volt, később úttörőotthonként szolgált, majd 1988-2002 között a Szlovák Nemzeti Galéria kihelyezett részlegének adott otthont. 2005-ben Dunaszerdahely Város Önkormányzata megvásárolta és az átalakítások után a Kortárs Magyar Galéria költözött az épületébe.