Η εγχώρια παράδοση έχει μια ιστορία για το πως χτίστηκε πάνω στο βράχο, αρκετά μακριά από το χωριό της Γλώσσας και σε σημείο αρκετά δύσκολο, αναλογικά και με τα μέσα που υπήρχαν σε παλιές εποχές. Η ιστορία μιλά για ένα ψαρά, που καθώς επέστρεφε από το ψάρεμα διέκρινε το βράδυ στην κορυφή του βράχου ένα φως, που το ξαναείδε και τα επόμενα βράδια, αλλά δεν έδωσε αρχικά ιδιαίτερη σημασία στο περίεργο αυτό συμβάν. Ώσπου κάποια νύχτα εμφανίστηκε στον ύπνο του μια γυναίκα με αστραφτερό πρόσωπο και του είπε πως στην κορυφή του βράχου, εκεί που είδε το φως, υπάρχει μια εικόνα και του είπε να καλέσει και τους άλλους να πάνε να την δουν. Ο ψαράς, μαζί με κατοίκους που είδαν και αυτοί το φως πάνω στο βράχο, ξεκίνησαν να σκαλίζουν ένα ένα τα σκαλιά πάνω στον απότομο βράχο για να φτάσουν ως την κορυφή του. Όταν ανέβηκαν πραγματικά βρήκαν μια εικόνα του Αι Γιάννη την οποία και μετέφεραν στο κοντινό εκκλησάκι. Την άλλη μέρα όμως διαπίστωσαν ότι η εικόνα έλειπε από τη θέση της. Μετά από μερικές μέρες ανακάλυψαν ότι ήταν στην πρωταρχική της θέση, πάνω δηλαδή στο βράχο. Κατάλαβαν τότε πως ο Άγιος ήθελε να μείνει στην κορυφή του βράχου αυτού. Έτσι οι κάτοικοι έχτισαν το "σπίτι" του εκεί.