Η βυζαντινή εκκλησία της Παναγίας της Γκρεμνώτισσας πήρε το όνομά της επειδή βρίσκεται σκαρφαλωμένη σ' έναν απόκρημνο βράχο στο νησάκι Ίος. Η εκκλησία της Παναγίας χτίστηκε το 1797.



Η παράδοση λέει ότι στα χρόνια της Τουρκοκρατίας, όταν η Κρήτη στέναζε υπό το ζυγό των Τούρκων, κάποιοι Κρητικοί θέλοντας να σώσουν την θαυματουργή εικόνα της Παναγίας την έβαλαν σε μια σχεδία και την εμπιστεύτηκαν στη θάλασσα, για να την φυγαδεύσουν από το νησί τους. Η θαυματουργή εικόνα, που ονομάζεται και "Οδηγήτρια", έφτασε στη Ίο. Την βρήκαν οι νησιώτες στα βράχια του Μυλοπότα και την μετέφεραν στον Ναό του Αγίου Νικολάου. Το πρωί η εικόνα βρέθηκε ψηλά στον βράχο δίπλα στον Ναό του Αγίου Ελευθερίου, την ξαναμετέφεραν και η εικόνα ξαναβρέθηκε στον βράχο. Αυτό έγινε 3 φορές μέχρι που την τοποθέτησαν στην εκκλησία του Αγίου Ελευθερίου.

Λόγω των θαυμάτων που έκανε αποφάσισαν να φτιάξουν το Ναό της δίπλα στην εκκλησία της Αγίας Αικατερίνης η οποία βρίσκεται επίσης ψηλά. Εκεί όμως παρουσιάστηκε νέο θαύμα. Κάθε πρωί τα θεμέλια έλειπαν από τη θέση τους και τα έβρισκαν κάτω από τον Άγιο Ελευθέριο, σε μέρος απόκρημνο. Οι κάτοικοι κατάλαβαν ότι εκεί έπρεπε να κτίσουν την εκκλησία για να βλέπει προς την Κρήτη, οπότε όλοι μαζί οι κάτοικοι βοήθησαν να χτιστεί κουβαλώντας πέτρες και λάσπη.