Ο γερω-Φιλάρετος ο Καρουλιώτης γεννήθηκε το 1889 στο Ρύσιον Κωνσταντινουπόλεως από τον Απόστολο Μπασματσίδη και την Μαρία. Στην βάπτιση του δόθηκε το όνομα Φώτιος. Φαίνεται ότι έλαβε καλές αρχές από τους γονείς του και έμαθε αρκετά γράμματα.
Αισθάνθηκε πόθο για την μοναχική ζωή και άφησε σε ηλικία 19 ετών γονείς και πατρίδα και ήρθε στο Άγιον Όρος στην Μονή Σταυρονικήτα στις 17 Αυγούστου 1908. Το επόμενο έτος έγινε μοναχός ονομασθείς Φιλήμων από τον ιεροδιάκονο Ιερεμία. Στις 10 Αυγούστου 1918 εκάρη μεγαλόσχημος από τον γέροντα Κύριλλον (αόμματον) μετονομασθείς Φιλάρετος.
Στις 8 Μαρτίου 1919 έγινε προϊστάμενος. Στην αρχή είχε το διακόνημα του Εκκλησιαστικού και στο κελλί του έκανε μεγάλους αγώνες. Επιθυμούσε να ζήση στην έρημο ως ερημίτης ασκητής και βρήκε το ιδιόρρυθμο ως κατάλληλο περιβάλλον για να προετοιμασθή.