Католический приход в Желудке был образован в конце 15 века, тогда же, по инициативе Казимира IV построили первый костёл, не уцелевший до наших дней. В 1853 году дочери последнего владельца Желудка из рода Тизенгаузов построили в местечке каменный приходской костёл из бутового камня и кирпича по проекту Кароля Подчашинского.

В костеле находится родовой склеп Тизенгаузов, в котором похоронен знаменитый гродненский меценат, политический деятель Великого княжества Литовского – Антоний Тизенгауз. Рядом с костелом построена двухъярусная четырехгранная бутовая колокольня.

Желудокская земля активно участвовала в национально-освободительном восстании 1863 года: викарий костёла Станислав Ищора был расстрелян по приказу Муравьева за патриотические речи за чтение повстанческого манифеста. Судьбу священнослужителя удалось узнать благодаря археологическим исследованиям на горе Гедимина (г.Вильнюс), проводившихся в 2017-2019 гг..