Zamek został zbudowany w linii średniowiecznych obwarowań, z wykorzystaniem baszty zamkniętej od strony miasta oraz odcinka kurtyny muru obronnego. Podobno kiedyś włączona była doń również i druga baszta. Zamek spełniał funkcję arsenału miejskiego, aczkolwiek mógł być także rezydencją zastawnika miejskiego Fryderyka Cytrycza, który przebudował obiekt na swą rezydencję. Wkrótce jednak sprzedał go miastu. W XVII i XIX wieku siedziba ta była kilkukrotnie przebudowywana, co poskutkowało zatraceniem jej cech rezydencjonalnych i obronnych. W latach 80-tych budynek Zamku został odremontowany i włączony do ekspozycji muzealnej jako budowla historyczna.