An der nordwestlichen Seite des Burghügels ist der Eingang in eine geheimnisvolle Höhle. Direkt unter der Burg befindet sich eine Unterwelt, die im Jahre 2003 interessante Geheimnisse aufdeckte. Sie wurde von Speleologen und Archäologen entdeckt. Am Ende einer schmalen Spalte entdeckten sie ein menschliches Skelett, einen Lederbeutel, mehrere Münzen und Keramikscherben aus dem 1. bis 2. Jahrhundert unserer Zeitrechnung.
Auf der Steinebene, auf welcher heute die Zipser Burg steht, befand sich eine ausgedehnte Burgstätte der Menschen der Puchauer Kultur. Dieses Volk schloss sich aktiv der Händlertätigkeit an und unterhielt rege Geschäftsbeziehungen auch mit der damaligen Großmacht in Rom. Ende des 2. Jahrhunderts überraschte den Besitzer der Münzen, wahrscheinlich ein geehrter Geschäftsmann, auf diesem Gebiet ein unerwartetes Ereignis und er suchte eine Zuflucht. Er fand sie in einer dunklen Höhle, die nur von oben zugänglich war. Vielleicht ist er allein hineingekrochen, vielleicht auch hineingefallen. Das werden wir nicht mehr erfahren. Es ist aber sicher, dass er nicht mehr herauskam. Er blieb in der Höhle gefangen und starb dort an den Folgen tödlicher Verletzungen. Lange Jahrhunderte bewachte er seinen für die damalige Zeit großen Besitz – einen Lederbeutel, aus dem wie im Märchen silberne römische Münzen fielen. So gibt nach und nach auch die Höhle unter der Burg ihr Geheimnis preis und zeugt von der Bedeutung dieses Gebiets schon seit Urzeiten.