1762-ben Migazzi Kristóf püspök egy nevelőintézetet (Collegium pauperum nobilium) állított fel nemes ifjak képzésére. A kollégium csak pár éven át működött, mert 1767-ben Mária Terézia beolvasztotta a bécsi iskola mintájára megszervezett nemesi akadémiába, a Teréziánumba. Az új intézményt Kisvácon, a középkori Szentlélek templom, ispotály és temető helyén két épülőfélben levő épületből alakították ki, és a hallgatók 1777-ben költözhettek be az egyemeletes, koraklasszicista épületbe. Az intézmény rövid idő múlva megszűnt, és 1784-ben már átvonuló katonai szállásként használták. 1836-ban megvásárolta az épületet gr. Nádasdy Ferenc váci püspök, de a tervezett elmegyógyintézet nem kezdte meg itt működését. Az épület az 1850-es évek elején katonai szekerészek kaszárnyája volt. 1855-ben építették át fegyháznak Reitter Ferenc tervei alapján. A Migazzi által 1766-ban épített kápolnát részben lebontották és helyébe nagyméretű háromhajós, neogótikus, a Szent Szűzről elnevezett kápolnát emeltek. Az 1890-es évek végén U-alakú üzemépülettel zárták le az épületet a Duna-part felől.