Zbudowany w latach 1611-1612 na południowym skraju wsi Gajtuniszki na lewym brzegu rzeki Żyżmy według własnego projektu jej właściciela Piotra Nonharta wspólnie z inżynierem fortyfikatorem Van Dadenem. W XVII wieku dom-zamek należał do Nonhartów, rodu nieznanego pochodzenia. Piotr Nonhart był inżynierem, pełnił funkcje Wileńskiego horodnicza i naczelnika budynków królewskich, za służbę otrzymał Gajtuniszki. Prawdopodobnie jedyna córka Piotra wyszła za mąż za wojewodę nowogrodzkiego Jerzego Chreptowicza i przekazała mu w posiadanie Gajtuniszki. Po śmierci Jerzego dom-zamek należał do jego najstarszego syna Adama. Później dom-zamek przeszedł w posiadanie malarza Schroettera, przy którym niektóre ściany domu zostały namalowane obrazami przedstawiającymi sceny łowieckie. Po zamku kolejno posiadali Putkamery, Osten-Sakery i Rimschi (od 1830). W czasie wojny północnej na zamku przed wojskami polskimi bronili się Szwedzi.