Im Jahre 1241 überfielen die Burg die ersten Feinde. Es waren Tataren, die aber die Zipser Burg nicht einnahmen. Wahrscheinlich deshalb, weil sie aus Stein gebaut war, im Unterschied zu den meisten Burgen in Ungarn, die sie niederbrannten. Nach einem Jahr Plünderungen verließen die Tataren Ungarn plötzlich. „… Außerdem überlasen wir dem Probst Matěj einen schönen Platz auf der Zipser Burg für den Bau eines Turms und eines Palastes, die er zum Schutz der Burg und Nutzung der erwähnten Kirche erbauen, befestigen und warten kann Wir fügen hinzu, dass den Ort und die Gebäude, die er hier errichtet, er selbst und seine Nachkommen mit Sachrecht halten werden…“
Sie hörten ein Zitat aus dem Dokument des Königs Bela IV. aus dem Jahre 1249. Es ist die erste direkte schriftliche Erwähnung über die Existenz der Zipser Burg. Die Burg wurde damals nur auf der höchst gelegenen Fläche des Burghügels erbaut und war königliches Eigentum. Hier saß der königliche Verwalter, der im Namen des ungarischen Königs das Gebiet verwaltete. Der Probst ließ sich nach erwähntem Dokument gerade hier auf dem Platz unter der höchsten Burgakropolis einen eckigen dreigeschossigen Wohnturm bauen. Vom Turm sind nur die Fundamente mit engem romanischen Eingang erhalten. Sie stehen gerade davor. Unmittelbar danach wurde hier eine neue Burgmauer errichtet und so stehen Sie heute schon nicht mehr vor der Burg, aber auf dem kleinen romanischen Burgvorhof. Der Eintritt war durch das Tor, durch welches auch Sie eben gekommen sind. In diesem Turm wohnte der Probst bis für ihn neben den Klosterruinen ein viel repräsentativerer Sitz, das heutige Zipser Kapitel errichtet wurde. Der Turm wurde später als Schießpulverlager benutzt – deshalb steht er heute nicht mehr. An die Nacht im 16. Jh., als der Turm in die Luft flog, wird diese Sage über den Ritter Scharschko gebunden.