Zamek był świadkiem wielu bitew. Przechodził z rąk do rąk; raz władały nim wojska polskie, raz pruskie. Dłuższy okres stabilności rozpoczął się tuż po wojnie trzynastoletniej. Wtedy wrócił do Polski i stał się siedzibą starostów grudziądzkich.

Blisko dwustuletni czas spokoju przerwał potop szwedzki. Wykorzystywane podczas walk armaty mocno uszkodziły jego mury, a wnętrza zostały zrabowane. Największa tragedia wydarzyła się jednak po rozbiorach, gdy zamek ponownie trafił w ręce Prus. Oto pod koniec XVIII wieku Fryderyk Wilhelm II zarządził jego rozbiórkę, a uzyskane w ten sposób cegły posłużyć miały m.in. budowie nowej twierdzy.
Z XIII-wiecznej budowli ostały się jedynie resztki murów i wieża. Niestety i ona nie przetrwała do dziś. Podczas kapitulacji w 1945 roku wysadzili ją uciekający Niemcy. Był to symboliczny koniec ponad 700 letniej historii grudziądzkiej fortecy.

Na szczęście dzięki pasjonatom i miłośnikom historii najwyższą zamkową wieżę, od wieków zwaną Klimkiem, odbudowano. Wraz z przyległym parkiem jest jednym z najchętniej odwiedzanych zakątków Grudziądza. To doskonałe miejsce, by odpocząć od miejskiego zgiełku i zobaczyć, gdzie niegdyś biło serce naszego miasta.