Ο λόφος του Καστελμόργκο βρίσκεται στην νοτιο δυτική ακτή του νησιού, κοντά στο Μοναστήρι της Παναγίας της Χοζοβιώτισσας, ακριβώς πάνω απο την ακτή της Αγίας Αννας.

Μόλις περάσετε την Χώρα, με προορισμό την νότιο – ανατολική ακτή,περίπου 1 χμ μετά, θα βρείτε στα δεξιά σας την διακλάδωση για το Καστελμόργκο, το οποίο, απο αυτό το σημείο απέχει περίπου 500 μ.