Kazimierz Wielki polecił zbudować tutaj murowany zamek obronny. Z tej fazy do dzisiaj pozostał jedynie ślad w postaci fundamentów ośmiobocznej wieży od strony miasta wraz z fragmentem przylegającego do niej budynku; przyziemie tej wieży jest najstarszą widoczną dziś częścią zamku. Kazimierz Wielki był na zamku w Sandomierzu 18 razy i łącznie spędził na nim 25 miesięcy. Prawdopodobnie to właśnie na zamku w 1389 król Władysław Jagiełło przyjął hołd lenny z ziem Nowogrodu Wielkiego od swojego brata Lingwena. W XV wieku zamek rozbudowano, a w XVI w stylu renesansowym. W czasie Potopu szwedzkiego zamek i miasto zostały 13 października. Zamek został przez Szwedów wysadzony. W 1768 roku podczas konfederacji barskiej zamek został uszkodzony przez stacjonujące na nim wojska rosyjskie. W czasach Królestwa Kongresowego około 1825 roku przebudowano wnętrza gmachu zamkowego, dzieląc barokowe piano nobile z czasów Sobieskiego na dwie kondygnacje. W 1932 roku otynkowano gmach zachodni pełniący nadal funkcje więzienne. Więzienie na zamku zlikwidowano w 1959 roku. WAŻNE: W poniedziałki nieczynne