Εκεί που βρίσκεται σήμερα το ΞΕΝΙΑ βρίσκονταν οι φυλακές, (Σωφρονιστήριο έγραφε απ’ έξω)  τις όποιες είχε κατασκευάσει ο Τσαρλς Τζεημς Νάπιερ το 1826 από πελεκητούς πωρόλιθους .Διέθετε 120 κελιά μοιρασμένα σε 5 ακτίνες , ο τύπος αυτός ονομαζόταν ” πανοπτικός ” γιατί μπορούσε ο φύλακας να επιβλέπει παντού. Κάθε κρατούμενος είχε δοκό του κελί. Υπήρχε εκκλησία, αναρρωτήριο , διάφορα εργαστήρια και μεγάλο προαύλιο . Στο πίσω μέρος υπήρχε ένα χωράφι που έθαβαν τους κρατούμενους και τους επαναστάτες του 1848 Και εκεί τους πετούσαν χωρίς την θρησκευτική ιεροτελεστία. Η φυλακή – κάστρο όπως την έλεγαν ” Σωφρονιστήριο Αργοστολίου ” ήταν στην άκρη του Αργοστολίου πίσω από το Περιβολάκι και πάνω από το Μέτελα.  Συνυπήρξαν παραβάτες ποινικοί, ριζοσπάστες, αντιφρονούντες, αιρετικοί και πάσης φύσεως παραβάτες. Ανάμεσα τους και ο Ανδρέας Λασκαράτος που καταδικάστηκε ερήμην το 1860 σε 4 μήνες φυλάκιση για την δριμεία κρητική που έκανε από τις εφημερίδες του εναντίον του Ριζοσπάστη Κ Λαμπαρδου που ήταν υπερ της ένωσης, μιας και ο Λασκαράτος είχε την άποψη ότι τα Επτάνησα θα έπρεπε να παραμείνουν για ένα μεγαλύτερο χρονικό διάστημα υπό το καθεστός της Βρετανικής προστασίας.  Λειτουργούσε 130 χρόνια περίπου μέχρι τους σεισμούς του 53 τότε υπήρχαν 350 – 400 πολιτικοί κρατούμενοι. Μετά τον πρώτο σεισμό ο τότε διευθυντής Μανώλης Μπουζάκης εκκενώνει τις φυλακές και έτσι επέζησαν όλοι οι κρατούμενοι οι οποίοι βοήθησαν τον κόσμο.