Il Collegio delle Vergini di Gesù è un complesso edilizio dai caratteri architettonici compositi, frutto della fusione e dell'accostamento di edifici costruiti in momenti successivi e con finalità diverse. Inizialmente era la dimora della famiglia Aliprandi da cui nacque Elena, sposa di Rodolfo Gonzaga e madre delle fondatrici del Collegio. Il nucleo principale dell'edificio si può far risalire con certezza al '500. Nelle sue linee generali rispetta la tipica struttura della casa padronale del mantovano. La facciata è seicentesca ed occupa l'intera via Perati, su cui si apre il principale ingresso. Ad ovest l'edificio si affaccia ad un vasto orto che domina la campagna sottostante, mentre a sud si trova la corte, a cui si accede da un portone. Nella parte signorile dell'edificio si può individuare l'androne (su cui si aprivano le sale) che immette nel porticato, dal quale si accede ai piani superiori per mezzo di una scala ellissoidale. Il motivo del porticato è ripreso in una loggia, chiusa da grandi vetrate, su cui immettevano le camere da letto. Tutti questi locali sono attualmente adibiti a museo.
Il Collegio delle Vergini di Gesù fu fondato il 21 Giugno 1608 dalle tre nipoti di S.Luigi: Cinzia, Olimpia, Gridonia e da altre sette donne castiglionesi. Ben presto la loro regola ebbe l'approvazione canonica, pur essendo l'istituzione piuttosto insolita in Italia. Nella sua realizzazione fu tenuto presente il modello del Collegio di Hall (Innsbruck), avviato dalle figlie dell'imperatore Ferdinando. Questa "riunione di nobili donne" intendeva dedicarsi alla preghiera e all'educazione delle "giovinette". Fu la sua configurazione secolare a risparmiare il Collegio dalle soppressioni degli istituti religiosi, operate da Napoleone. Fin dagli inizi l'assistenza spirituale delle "signore" fu affidata ai Padri Gesuiti, che l'assicurarono, inizialmente, con la presenza di Padre Cepari in Castiglione. Fino a pochi decenni fa lo statuto prevedeva che ogni novizia, oltre alla dote personale, portasse al Collegio un'opera di valore artistico. All'istituzione potevano accedere anche donne non nobili, purché disposte a porsi al servizio delle varie necessità in qualità di "oblate". Determinante fu l'apporto del Collegio nei momenti di calamità, di pestilenza e di difficoltà politica. Nel 1859 anche le "signore" si prodigarono nell'assistenza dei feriti della battaglia di Solferino e S.Martino. Nel 1952 l'istituto si è trasformato in Congregazione religiosa, approvata dalla Santa Sede. Oggi le "suore" dirigono una scuola elementare ed una scuola materna, ed ospitano un convitto per studentesse.