Каплица построена в середине ХIХ века напротив и теперь ещё частично сохранившегося дворца графов Биспингов, находящегося на противоположном берегу пруда. Считается, что этот маленький храм возведён в честь самой красивой женщины Литвы и Польши Натальи Кицкой (урождённой Биспинг, 1801-1888 гг.), которой посвящал свои творения молодой Фредерик Шопен, с которой любили дискутировать или просто вести светские разговоры Юлиуш Словацкий и Юлий Урсын-Немцевич. Но она всегда была верна своему мужу генералу Людвигу Кицкому, прославившемуся во время польского восстания в 1830-31 гг. и погибшего на поле брани.