Aρκετά χρόνια πριν από την πρώτη Σταυροφορία, ζούσε στην Ιερουσαλήμ ένας πολεμιστής που ονομαζόταν Βερνάρδος ο Ξένος.

Γιος ενός Ρωμαίου πατρικίου και μίας Νορμανδής ευγενούς καταγωγής, λόγω των πολεμικών αναταραχών που επικρατούσαν στην περιοχή την εποχή εκείνη, αναγκάστηκε να εγκαταλείψει την περιουσία της οικογενείας του στην κεντρική Ιταλία και να ζητήσει άσυλο στην ναυτική δημοκρατία της πόλης Αμάλφι, που τότε ανθούσε.

Έμπειρος πολεμιστής, δυνατός και ικανός, στάλθηκε από τις αρχές και τις πιο σημαντικές οικογένειες των εμπόρων της πόλης, να εκπροσωπήσει και να υπερασπίσει τα συμφέροντα των κατοίκων της πόλης Αμάλφι στην Ιερουσαλήμ, όπου και παρέμεινε μέχρι το 1098.

Καθώς ο πρώτος στρατός των Σταυροφόρων πλησίαζε, οι κυβερνώντες του Ισλάμ στην Ιερουσαλήμ, αναγκάσανε όλους τους χριστιανούς να εγκαταλείψουν την πόλη κι έτσι ο Βερνάρδος κατευθύνθηκε προς τα βόρεια με ένα τάγμα ιπποτών.
Συνάντησε τους Σταυροφόρους στα νότια της Αντιόχειας κι εκεί συνδέθηκε φιλικά με τον Τανκρέδη της Αλταβίλλα, στον οποίο έδωσε σημαντικές συμβουλές στρατηγικής για το πώς να διασπάσει την άμυνα της Ιερουσαλήμ.

Ο Βερνάρδος δεν θέλησε να ενωθεί με τον στρατό του Τανκρέδη κι επέλεξε να περάσει τα επόμενα τρία χρόνια πολεμώντας τους Άραβες μεταξύ της Σιλικίας και της Συρίας.

Κατά τη διάρκεια του χειμώνα του 1102 κι ενώ ο Βερνάρδος κυριαρχούσε στην Ταρσό, την οποία είχε κατακτήσει, έφθασε στην πόλη από την Κωνσταντινούπολη ο κόμης της Τουλούζης Ραϊμόνδος του Saint Gilles.

Ο Ραϊμόνδος ήταν αρχηγός των Λομβαρδών, κατά τη διάρκεια όμως της μάχης του Μαρσιβάν, εγκατέλειψε τον στρατό του αφήνοντάς τον να σφαγιασθεί και για τον λόγο αυτό θεωρήθηκε άτιμος και προδότης.

Ο Βερνάρδος μαθαίνοντας την άφιξη του κόμη και οργισμένος από την συμπεριφορά του, διέταξε να τον συλλάβουν και να τον παραδώσουν, έναντι λύτρων, στον Τανκρέδη, ο οποίος ήταν κυβερνήτης της Αντιοχείας όσον καιρό απουσίαζε από την πόλη ο θείος του Βοεμόνδος.

Ο Βερνάρδος αποφασίζει να εγκαταλείψει τη Μέση Ανατολή και να ταξιδέψει προς τις ιταλικές ακτές καθώς πολλά γεγονότα που συνέβαιναν σ’ εκείνα τα μέρη του κόσμου διατάραζαν τον τρόπο ζωής του.

Περνώντας από την Κύπρο, ο άρχοντας του νησιού, Μανώλης Βουτομίτης, του εμπιστεύθηκε ένα απόρρητο αυτοκρατορικό μήνυμα μεγίστης σημασίας για τον ηγούμενο του μοναστηριού της Χοζοβιώτισσας στην Αμοργό. Ο Βερνάρδος που ήταν συνδεδεμένος με τον άρχοντα με βαθιά φιλία και εκτίμηση απεδέχθη την αποστολή.

Το βράδυ πριν από την αναχώρησή του, περπατώντας στην προκυμαία του λιμανιού της Πάφου, συνάντησε έναν μοναχό που τον ευλόγησε με τα εξής λόγια: "Ποτέ και Πάντα Ξένος, εκεί που το λουλούδι θα συναντήσει το σπαθί, θα χτίσεις ένα κάστρο, από το οποίο θα ελέγχεις την Ανατολή και την Δύση. Να είσαι γερός πνεύμα ανήσυχο."

Το βενετσιάνικο πλοίο που μετέφερε τον Βερνάρδο, τους ιππότες και τις αποσκευές του, αγκυροβόλησε σε έναν όρμο του νότιου μέρους της Αμοργού και από εκείνο το σημείο ο Βερνάρδος, δίχως φρουρά, συνέχισε προς το μοναστήρι.

Λέγεται ότι από την στιγμή που παρέδωσε το μήνυμα, ο Βερνάρδος έμεινε έκπληκτος μπροστά στην εικόνα της Παναγίας της Χοζοβιώτισσας, που φυλασσόταν εκεί.

Κανείς δεν έμαθε ποτέ τον λόγο για τον οποίο η μορφή αυτή συντάραξε τόσο τον Ξένο, που όπως λεγόταν, ήταν άθεος.
Ίσως κάτι να τον έκανε να κάνει καινούργια όνειρα, ίσως κάτι να ξύπνησε μέσα του παλιές αναμνήσεις ίσως τα μάτια της Παναγίας της Χοζοβιώτισσας να ηρέμησαν την ανήσυχη ψυχή του.

Πάντως κάτι τον μάγεψε και αφού έφυγε από το μοναστήρι, προτού γυρίσει στο πλοίο, θέλησε να περάσει την νύχτα μόνος με τις σκέψεις του.

Βρήκε καταφύγιο σε ένα μαντρί πάνω σε έναν λόφο κοντά στο μοναστήρι και αφού παρέμεινε αρκετές ώρες ατενίζοντας τον έναστρο ουρανό, ετοίμασε το κρεβάτι του με άχυρα, άφησε το σπαθί του χάμω, σε μια άκρη του μαντριού και αποκοιμήθηκε.

Όταν ξύπνησε προς μεγάλη του έκπληξη, είδε ότι στο σημείο που είχε αφήσει το σπαθί του είχε φυτρώσει μια άσπρη πικροδάφνη και το μοναδικό της λουλούδι ακουμπούσε την κόψη του σπαθιού.
Πήρε το σπαθί και το λουλούδι της άσπρης πικροδάφνης και αφού έκανε λίγα βήματα γύρω, ανακάλυψε ότι από την κορυφή του λόφου μπορούσε κανείς να ελέγχει τόσο την ανατολική όσο και τη δυτική ακτή του νησιού.

Η παράδοση λέει ότι ο Βερνάρδος παρακινούμενος από μία άγνωστη δύναμη, σαν το χέρι του να υπάκουε σε μία απόκοσμη θεϊκή εντολή, χάραξε πάνω σε μία μεγάλη πέτρα που βρισκόταν εκεί, με το λουλούδι της πικροδάφνης που έγινε ξαφνικά σκληρό σαν ατσάλι, τη λέξη "castelmorgo".
O Βερνάρδος αποφασιστικά σήκωσε μία άλλη πέτρα και τοποθετώντας την πάνω στην πέτρα με τα μυστηριωδώς χαραγμένα γράμματα, είπε τα εξής λόγια: "Καστελμόργκο, με το σπαθί και το λουλούδι".

Κάλεσε τους ιππότες του να κατέβουν από το πλοίο και τους έδωσε εντολή να χτίσουν έναν οχυρωμένο πύργο.

Ο Βερνάρδος παρέμεινε στην Αμοργό για πολλά χρόνια, υπερασπίζοντας το νησί, το μοναστήρι και την εικόνα της Παναγίας της Χοζοβιώτισσας από τις συχνές επιθέσεις των Σαρακινών.

Ηλικιωμένος πιά, αλλά πάντα με τρομακτική δύναμη, οδήγησε τους ιππότες του και ένα μικρό μέρος του Βυζαντινού στρατού στην μάχη του Αρκεσσινίου, όπου σκοτώθηκαν πάνω από χίλιοι Σαρακινοί.
Ύστερα από την μάχη αυτή και χωρίς φανερό λόγο ο Βερνάρδος έφυγε από την Αμοργό.

Θέλοντας να δείξει την ιδιαίτερη σχέση του με το νησί, πριν αναχωρήσει, έθαψε το σπαθί του κάτω από την είσοδο του κάστρου.
Ο Βερνάρδος ο Ξένος, έφυγε από την Αμοργό ύστερα από 11 χρόνια παραμονής στο νησί, την ίδια ημερομηνία της άφιξής του.

Όταν το πλοίο ανέβασε την άγκυρα και απομακρύνθηκε, το κάστρο εξαφανίστηκε, αφήνοντας όμως στον χώρο σημάδια που, κατά τον μύθο, μόνο ένας ιππότης με το αίμα και το πνεύμα του Βερνάρδου θα μπορούσε, μελλοντικά, να ανακαλύψει και να ερμηνεύσει.

Για το Καστελμόργκο και τον Βερνάρδο άρχισαν να μιλάνε σε όλα τα λιμάνια της Μεσογείου, αλλά κανείς δεν ξέρει τι απέγινε αφότου έφυγε από την Αμοργό.