Η Παναγιά η Σπηλιανή είναι το δεύτερο καστρομονάστηρο της Δωδεκανήσου. Χτισμένο πάνω στο ηφαιστειογενές ύψωμα, στέκεται επιβλητικά και επικίνδυνα πάνω στο βράχο. Τα 270 σκαλοπάτια οδηγούν στην ιερή Σπηλιά και μπροστά στη θαυματουργή εικόνα της Μεγαλόχαρης. Η παράδοση αναφέρει ότι γύρω στο 1400 μ.Χ. ένας γεωργός ανακάλυψε σ' ένα σπήλαιο κοντά στα Λουτρά Μανδρακίου τη θαυματουργή εικόνα της Παναγίας και την μετέφερε στο ναό της Παναγιάς της Ποταμίτισσας. Την επόμενη μέρα διαπιστώθηκε ότι η εικόνα έλειπε. Μέσα σε λίγες μέρες βρέθηκε από κατοίκους σε σπηλιά πάνω στο βράχο. Αφού την μετέφεραν στο ναό της Ποταμίτισσας η εικόνα θαυματουργικά επέστρεψε στο σπήλαιο του βράχου. Το περιστατικό αυτό επαναλήφθηκε τρεις φορές και οι κάτοικοι αποφάσισαν να μετατρέψουν τη σπηλιά σε ιερό ναό. Η μονή χρονολογείται γύρω στο 1600 μ.Χ. Η εικόνα της Παναγίας είναι αμφιπρόσωπη. Στην πίσω όψη εικονίζεται ο Άγιος Νικόλαος που χρονολογείται το 1400 μ.Χ. και στην άλλη η εικόνα της Παναγίας που χρονολογείται το 1600 μ.Χ. Η εικόνα είναι επενδυμένη από ασήμι. Το αριστερό χέρι της Παναγίας είναι κατασκευασμένο πιο ογκώδες από το δεξί. Η παράδοση αναφέρει πως εκεί κρατάει η Παναγία το πρώτο εικονισματάκι που είχε βρεθεί στην περιοχή των Λουτρών. Το αριστερό χέρι της Παναγίας εκπέμπει συνεχώς θερμότητα και γίνεται αντιληπτό εάν ακουμπήσει κάποιος ταυτόχρονα και στα δυο χέρια της Μεγαλόχαρης. Η εικόνα είναι θαυματουργή. Κάτοικοι του νησιού, προσκυνητές, ναυτικοί, άρρωστοι, άτεκνες μητέρες διηγούνται τα θαύματα και τη βοήθεια της Παναγίας που πήραν. Το 15 Αύγουστο πολλοί προσκυνητές κατακλύζουν το νησί για να προσκυνήσουν τη χάρη της