Лидский замок был построен в 1323-1328 гг. по приказу великого князя литовского Гедымина. В 1384 году после штурма замок взяли крестоносцы. В 1392 году отряды немецких и английских рыцарей и армии князя Витовта осадили и взяли замок. Замок неоднократно отбивался от нападений: в 1406 - от отрядов смоленского князя Юрия Святославича, в 1433 - князь Свидригайло, в 1506 - от крымских татар, летом 1659 года - армия Московского княжества, 1700-1721 замок был частично разрушен шведами. Замок был сооружён из бутового камня и кирпича, имел в плане форму неправильного четырёхугольника с двумя угловыми башнями и был поставлен на песчаном холме, окружённом поймами рек Лидейки и Каменки.