Alojzy urodził się 9 marca 1568 r. koło Mantui jako najstarszy z ośmiu synów margrabiego Ferdynanda di Castiglione. Ojciec pokładał w nim duże nadzieje. Chłopiec urodził się jednak bardzo wątły, a matce groziła przy porodzie śmierć. Rodzice uczynili więc ślub odbycia pielgrzymki do Loreto, jeśli matka i syn wyzdrowieją. Tak się też stało. Ojciec marzył o ostrogach rycerskich dla syna. W tym właśnie czasie flota chrześcijańska odniosła świetne zwycięstwo nad Turkami pod Lepanto (1571). Ojciec Alojzego brał udział w wyprawie. Dumny ze zwycięstwa ubrał swojego trzyletniego syna w strój rycerza i paradował z nim w fortecy nad rzeką Padem ku radości żołnierzy. Kiedy ojciec podążył na wyprawę wojenną do Tunisu (1573), pięcioletni Alojzy wrócił pod opiekę matki.
Kiedy Alojzy miał 7 lat, przeżył swoje "nawrócenie", jak sam twierdził. Poczuł nicość ponęt tego świata i wielką tęsknotę za Panem Bogiem. Odtąd duch modlitwy, otrzymany od matki, wzrósł w nim jeszcze silniej. Codziennie z budującą pobożnością odmawiał na klęczkach oprócz normalnych pacierzy rannych i wieczornych siedem psalmów pokutnych i oficjum do Matki Bożej. Ojciec był z tego niezadowolony. Po swoim powrocie z wyprawy wziął syna do Florencji na dwór wielkiego księcia Franciszka Medici, by tam nabrał manier dworskich. Alojzy jednak najlepiej czuł się w słynnym sanktuarium, obsługiwanym we Florencji przez serwitów, w kościele Annuntiata. Tu też przed ołtarzem Bożej Matki złożył ślub dozgonnej czystości. Jak głoszą jego żywoty, w nagrodę miał otrzymać przywilej, że nie odczuwał pokus przeciw anielskiej cnocie czystości.