Построен в 1611-1612 годах на южной окраине деревни Гайтюнишки на левом берегу реки Жижма по собственному проекту его владельца Петра Нонхарта совместно с инженером-фортификатором Ван Даденом.

В XVII веке дом-замок принадлежал Нонхартам, роду неизвестного происхождения. Пётр Нонхарт был инженером, занимал должности виленского городничего и начальника королевских зданий, за службу получил Гайтюнишки. Вероятно, единственная дочь Петра вышла замуж за воеводу новогродского Юрия Хрептовича и передала ему во владение Гайтюнишки. После смерти Юрия дом-замок принадлежал его старшему сыну Адаму.

Позднее дом-замок перешёл во владение художника Шрёттера, при котором некоторые стены дома были расписаны картинами, изображавшими сцены охоты. После замком последовательно владели Путкамеры, Остен-Сакеры и Римши (с 1830). Во время Северной войны в замке от польских войск оборонялись шведы.