Ο ναός ιδρύθηκε κατά τους πρώτους χριστιανικούς αιώνες και επισκευάστηκε το 1836.
Το θαυματουργό νερό
Ο Γενικός Διοικητής Δωδεκανήσου Μάριο Λάγκο έστειλε το 1931 για χημική εξέταση νερό από την πηγή αυτή και η ανάλυση έδειξε, ότι το νερό περιείχε συστατικά που το έκαναν άριστο για πόση, καθώς διακρινόταν για τις αντισηπτικές του ιδιότητες σε μερικά μολυσματικά εντερικά νοσήματα.
Η «Επιθεώρηση της νέας θεραπείας και πρακτικής ιατρικής» δημοσίευσε τον Οκτώβριο του ίδιου έτους τα αποτελέσματα της ανάλυσης αυτής «Πηγή Αγίου Σουλά – Ύδωρ ψυχρό, υπότονο, νατροδιοανθρακικομαγνησιακό μετά μονίμου ξηρού υπολείμματος γρ. 0,584ο/οο. Άριστο, ως ύδωρ επιτραπέζιο, ειδικώς τα νοσήματα της ανταλλαγής και ενέργειας αντιφοραματικής και αντισηπτικής, διαρκούσης της εξέλιξης μερικών μολυσματικών εντερικών νοσημάτων (ελίτυφος, γαστρεντερίτιδα, δυσεντερία κ.λ.π.)».
Αφού λοιπόν ο Διοικητής είδε τα συστατικά και τις ιδιότητες του νερού του Αγίου Σίλα, κατασκεύασε υπόγεια δεξαμενή, λίγα μέτρα από τη νότια πλευρά του μοναστηριού, για την αποταμίευση του νερού. Από τη δεξαμενή αυτή οδήγησε το νερό σε βρύση.
Θαύματα
Τα θαύματα που αναφέρονται στη θεραπεία δερματικών παθήσεων, και ιδιαίτερα της ψώρας, όσων πιστών – αρρώστων χρησιμοποίησαν το νερό του Αγίου Σίλα, για να πλυθούν, είναι πολλά. Κάποια αξιοσημείωτα αναφέρονται παρακάτω:
-
Σύμφωνα με μαρτυρία του ίδιου, ο Ηλίας Σταματέλλου από το χωριό Καλαβάρδα, όταν ήταν μαθητής, περίπου 12 ετών εκανοναρχούσε (σημ.: υπαγόρευε στον ψάλτη έναν έναν τους στίχους ενός τροπαρίου, απαγγέλλοντάς τους μελωδικά) στον Άγιο Σίλα την ημέρα του πανηγυριού. Όταν οι ιερείς έβγαλαν τα άγια, το νερό της πηγής που βρισκόταν μέσα στο μοναστήρι φούσκωσε και βράχηκαν τα παπούτσια του, όπως και όλων των άλλων προσκυνητών που ήταν μέσα στο μοναστήρι. Ύστερα τα νερά στράφηκαν προς τα πίσω.
-
Ένας Μπέης από την Αίγυπτο, ο οποίος έπασχε από κάποιο δερματικό νόσημα, ήρθε στη Ρόδο και διέμεινε στο ξενοδοχείο του κυρίου Ανδρίκου Καλλίγερου στο Νιοχώρι. Ο ξενοδόχος είδε τα χέρια του γεμάτα πληγές και τον ρώτησε σχετικά με αυτό. Ο Μπέης του απάντησε ότι πάσχει από ψώρα και ότι επισκέφτηκε πολλούς γιατρούς, αλλά καμιά θεραπευτική συμβουλή δεν τον ωφέλησε.
Τότε ο ξενοδόχος του έδειξε τον παπά – Ιωάννη Οικονόμο, ιερέα από τη Σορωνή, ο οποίος, κατά τύχη, είχε διαμείνει στο ίδιο ξενοδοχείο και του είπε ότι στο χωριό του παπά υπάρχει κάποιος καλός γιατρός γι’ αυτή την αρρώστια. Στη συνέχεια του διηγήθηκε διάφορα θαύματα του Αγίου Σίλα που είχε ακούσει. Ο Μπέης πήγε στον Άγιο Σίλα, λειτουργήθηκε, λούστηκε με το αγίασμα της πηγής και μετά από μερικές μέρες ήταν εντελώς υγιής. Όταν γύρισε στην Αίγυπτο έστελνε, κατά καιρούς, διάφορα δώρα στο μοναστήρι.
Ονομασία
Το ξωκλήσι είναι αφιερωμένο στον Άγιο Σίλα, τον αχώριστο συνοδοιπόρο του Αποστόλου Παύλου. Με το πέρασμα των χρόνων, οι ντόπιοι έδωσαν την ονομασία "Άγιος Σουλάς", τροποποιώντας το όνομα του Αγίου, ώστε να ταιριάζει στη δική τους τοπική διάλεκτο. Έκτοτε το μοναστήρι έμεινε γνωστό με αυτή την ονομασία.
