Во время русско-польской войны в середине XVII в. дворец был значительно повреждён. После перестройки он приобрёл барочный декор. Дворец продолжал выполнять роль королевской резиденции, и к тому же стал местом проведения генеральных сеймов Речи Посполитой, которые проходили тут в 1678, 1688 и 1699 годах. После разрушений, полученных во время Северной войны и пожара 1735 года, дворец снова перестраивается.
Саксонский архитектор Карл Фридрих Пёпельманн проводит коренную перепланировку: внешняя лестница заменяется внутренней, исчезает щипец, уменьшаются окна. Здание получает четырехскатную крышу. Теперь тут размещается часть свиты короля и хозяйственные службы. Дальнейшее упрощение архитектуры дворца произошло в 19 и 20 вв., когда с фасадов окончательно исчез декор и был надстроен дополнительный объем над бывшим столовым залом. На протяжении порядка 120 лет Старый замок принадлежал военному ведомству Российской империи, а в 1924 году был передан музею.
В 2017 году началась масштабная реставрация Старого замка. В рамках 1-й очереди реставрационных работ были восстановлены замковая часовня и купол въездной башни, средняя башня, галерея, так называемая “мерная изба”, а также возведено здание при средней башне.
В 2021 году в восстановленных помещениях была создана экспозиция. Она рассказывает об основных этапах застройки Замковой горы: детинец XI–XII вв., готический замок великого князя Витовта, ренессансный дворец Стефана Батория, перестройки XVII–XIX вв. Экспозиция знакомит с занятиями и ремёслами горожан в XI–XIII вв., рассказывает о нападениях крестоносцев и обороне замка в XIII–XV вв., об избрании Стефана Батория королём польским и великим князем литовским и о его роли в истории Гродно. В экспозиции представлены орудия труда и предметы быта, строительные материалы, оружие и военное снаряжение, найденные во время археологических исследований, которые проводились на Замковой горе с 1930-х годов и продолжаются в наши дни, а также кресла XVIII ст. из Старого замка, реконструкции гетманского прапора Стефана Батория и гродненской городской гайдуцкай хоругви, сундук XVIII в. и многие другие интересные предметы.
По галерее можно попасть в сувенирный магазин, а также подняться на обзорную площадку, с которой открываются красивые виды на Неман и город.