Η εκκλησία της Παναγίτσας Σπηλαιώτισσας λέει η παράδοση ότι χτίστηκε από τον βυζαντινό αυτοκράτορα Αλέξιο Κομνηνό (1081-1118), που ως γνωστόν ασπάστηκε τον μοναχικό βίο και έγινε άγιος και προστάτης του Βοιτύλου. Μάλιστα έλεγαν ότι κάθε φορά που έπεφτε βαριά επιδημία στο Βοίτυλο, παρουσιαζόταν ο καλόγερος Αλέξιος στον ουρανό με λαμπάδα στο χέρι και έδιωχνε τον λοιμό.