Η τοποθεσία πιθανώς οχυρώθηκε για πρώτη φορά από τους Άραβες τον 9ο ή 10ο αιώνα. Κατά τη δεύτερη βυζαντινή περίοδο , ένας πύργος γνωστός ως Castellum Comunis βρισκόταν στην τοποθεσία. [ 1 ] Το 1303, ο πύργος καταστράφηκε σε σεισμό αλλά επισκευάστηκε. [ 2 ]
Το 1462, η Βενετική Γερουσία ενέκρινε ένα πρόγραμμα για τη βελτίωση των οχυρώσεων της Χάνδας . Τελικά, ο βυζαντινός πύργος κατεδαφίστηκε το 1523 και αντί αυτού άρχισε να χτίζεται το Castello a Mare. Παλιά πλοία γέμισαν με πέτρα και βυθίστηκαν για να σχηματίσουν έναν κυματοθραύστη και να αυξήσουν την έκταση της πλατφόρμας στην οποία ήταν χτισμένο το φρούριο. Το φρούριο ολοκληρώθηκε το 1540. [ 1 ]
Το 1630, το φρούριο οπλίστηκε με 18 κανόνια...