Nie wiadomo dokładnie kiedy zbudowano pierwszy. Wiemy jednak, że gdy dwadzieścia lat później wielki mistrz Karol z Trewiru zapewnił miastu kolejne przywileje handlowe - m.in. swobodę obrotu suknem i odzieżą - przy murach stało ich już kilka. Dlaczego powstały? Otóż miasto stało się wtedy ważnym ośrodkiem handlowo-rzemieślniczym, a największe zyski czerpano z handlu zbożem. Wysokiej jakości pszenicę i żyto transportowano Wisłą z Kujaw i Mazowsza. Oprócz tego importowano z zachodniej Europy wysokiej jakości wyroby rzemieślnicze, przyprawy przywożone z Niderlandów i Anglii, sukna, a także wina. Towary trzeba było gdzieś magazynować, a najbardziej nadawały się do tego właśnie takie spichlerze.

Do dziś przetrwało ich 26 choć dawniej spichlerzy było prawdopodobnie znacznie więcej. Niektóre z nich nadal funkcjonują jako magazyny czy mieszkania.  Większość miejskich spichlerzy zaadaptowana jest na cele muzealne, użyteczności publicznej bądź biura magistratu.

W listopadzie 2017 roku Spichlerze zostały wpisane na listę Pomników Historii przez Prezydenta RP.