Γύρω στα μέσα του 14ου αιώνα, λόγω των συνεχών πειρατικών επιδρομών και της αναποτελεσματικότητας της οχύρωσης στο Μπούρτζι, οι Σκιαθίτες αναγκάστηκαν να εγκαταλείψουν την αρχαία πόλη Σκιάθο. Μετέφεραν λοιπόν την πόλη τους στο Κάστρο, μια χερσόνησο στο βόρειο τμήμα του νησιού, η οποία ήταν φυσικό φρούριο. Εκεί σήμερα υπάρχουν τα ερείπια της μεσαιωνικής οχύρωσης και κάτω μια άγριας ομορφιάς παραλία.