Побудували замок на замовлення Станіслава Жолкевського в 1594–1606 роках як оборонну споруду у стилі ренесансу. Замок витримував облоги, хоча кілька разів його здобували козаки. Наприкінці XVII століття був улюбленою резиденцією польського короля Яна III Собеського, за якого пережив період найбільшого розквіту.
Замок побудований з цегли і каменю. Чотирикутний у плані із вежами на кутах, оточений ровом із водою не тільки зовні, а й з боку міста, замок був добре захищений від ворожих нападів. Проте сучасний вигляд не відповідає давньому — «бракує» колон, арок, вишуканих скульптур, рову, що доходив у ширині до 17 метрів, та й сам замок просів у землю на 6–7 метрів.
Сучасного вигляду замок набув внаслідок багатьох перебудов та недбалого ставлення протягом XIX–XX століть. Нині замок реконструюють, проте для огляду відкрита лише його частина - внутрішнє подвір'я та музей.