Barczewo było miastem pruskim. W XVI wieku, po wystąpieniach Marcina Lutra, pruskie klasztory szybko pustoszały. Ten w Barczewie znalazł się wtedy pod opieką biskupów warmińskich, którzy byli właścicielami miasta. Biskup Andrzej Batory nie tylko wyremontował kościół i przyległy opuszczony klasztor, ale także sprowadził do niego Bernardynów.

Biskup Andrzej to ważna postać w historii miasta. Obok kościoła postawiono mu pomnik. W samym kościele natomiast zachował się renesansowy grobowiec biskupa, powstały z wdzięczności dla jego zasług. Stworzył go wybitny flamandzki rzeźbiarz i architekt Willem van den Blocke. Ozdobny nagrobek jest jednym z najcenniejszych zabytków rzeźby manierystycznej w Polsce.

W 2019 roku o kościele św. Andrzeja zrobiło się głośno. Pod posadzką prezbiterium archeolodzy odkryli skrytkę z około tysiącem srebrnych monet. [odgłos uderzających o siebie monet] Pochodziły z pierwszej połowy XVII wieku. Wśród znalezisk są monety koronne z czasów króla Zygmunta III Wazy - grosze, półtoraki, trojaki i rzadziej szóstaki, bite w latach 20. XVII w. Jest również wiele szelągów pruskich księcia Jerzego Wilhelma Hohenzollerna, który był lennikiem Rzeczypospolitej.

Tuż przy kościele archeolodzy natknęli się na fragmenty oryginalnego muru obronnego z XIV wieku. Miasto było bowiem silnie obwarowane. W średniowieczu posiadało dwie bramy miejskie: Olsztyńską i Jeziorańską oraz Furtę Zamkową. W 2011 roku podczas prac rewitalizacyjnych przy ulicy Kopernika odkryto i zakonserwowano mury kamienic mieszczańskich. W tych miejscach zorganizowano dwa stałe stanowiska archeologiczne i udostępniono je dla zwiedzających.

W Barczewie znajduje się także słynne więzienie. Przetrzymywany był w nim niemiecki zbrodniarz wojenny, były gauleiter i nadprezydent Prus Wschodnich, Erich Koch. W latach 80. ubiegłego wieku było to natomiast więzienie polityczne. Trzymano w nim działaczy antykomunistycznych.