Его строительство началось в 1581 г., а закончено в начале XVII в. Замок был возведен из кирпича и камня на левом, укрепленном валунами высоком берегу Немана. С трех сторон был окружен рвом, который соединялся с рекой. Угловые башни, дворец и крепостные стены  образовывали внутренний двор. Двумя мостами замок соединялся с посёлком. До сегодняшнего дня сохранились две башни, флигель и здание, построенное в 20 веке на фундаментах бывшего дворца. В настоящее время в Любчанском замке ведутся реставрационно-восстановительные работы.