In 1942 bouwde de Duitse bezetter in de bossen bij Vught een concentratiekamp, Durchgangslager Herzogenbusch genaamd. Na de oorlog fungeerde het kamp als interneringsplaats voor politieke gevangenen onder gezag van het Directoraat Generaal voor de Bijzondere Rechtspleging. In 1953 werd een deel van het terrein in gebruik genomen als gevangenis voor jeugdige veroordeelden met een lange gevangenisstraf

De gevangenis voor jeugdigen bood toen nog plaats aan 120 à 140 veroordeelden. Het regiem in de gevangenis had een vrij progressief karakter. Gedetineerden verbleven over het algemeen alleen gedurende de nachtelijke uren in de cellen van het centrale hoofdgebouw. Overdag verbleven zij overwegend in verblijfspaviljoens en namen zij zelfs deel aan activiteiten buiten het gevangenisterrein.

Ook het "centrale ziekenhuis" was gevestigd op het terrein van Nieuw Vosseveld. Pas in 1970 verhuisde dit naar het penitentiaire complex in Scheveningen.

In 1971 wijzigde de bestemming van Nieuw Vosseveld in een gevangenis voor kortgestrafte jeugdigen. Ook toen gold als uitgangspunt dat de jeugdigen via een progressief systeem een vrijer en aantrekkelijker regiem konden verwerven, maar ook konden verliezen.

Al in de loop van de jaren zestig en zeventig ontwikkelde de directie plannen voor vervanging van de verouderde behuizing door nieuwbouw. De plannen kregen pas in 1983 duidelijker gestalte, omdat de behoefte aan celcapaciteit begon te stijgen. Dit was een rechtstreeks gevolg van de eind jaren ’70 sterk opkomende drugscriminaliteit.

In 1986/87 vond de eerste uitbreiding plaats. Het 96 cellen tellende Huis van Bewaring De Leij werd gebouwd. Hiermee werd de trend gezet voor een reeks uitbreidingen en vervangingen van verouderde gebouwen. Gelijktijdig met de bouw van "De Leij" werd ook een gebouw met 48 cellen verwezenlijkt, dat in 1988 nog eens met 48 cellen werd uitgebreid. In 1989/90 vielen de keuken, bezoekruimte en personeelskantine onder de slopershamer. Op die plaats herrees een centraal entreegebouw, compleet met onder andere een bezoekzaal, een keuken en het personeelsrestaurant.

Door om het totale complex een zes meter hoge muur te bouwen en daarbinnen een detectiehek te plaatsen, konden de tot dan aanwezige bewapende buitenposten verdwijnen. Kort daarna kreeg Nieuw Vosseveld de beschikking over een stuk grond dat tot dan bij het Molukse woonoord Lunetten behoorde. Hierop werd in 1993 unit 3 met 144 celplaatsen gebouwd. De aankoop van een stuk grond aan de noordzijde van het complex stelde het gevangeniswezen in staat om in 1995 de bouw van unit zes te realiseren, eveneens een inrichting met 144 plaatsen.

In dezelfde tijd werd een oud gebouw met 24 cellen vervangen door nieuwbouw van 48 plaatsen Verslaafden Begeleidingsafdeling. Ook voor de bouw van het nieuwe administratiegebouw moesten een aantal oude barakken verdwijnen. Begin 1999 kwam de bouw gereed van de Individuele Begeleidingsafdeling, een complex met 48 cellen voor gedetineerden met een psychische stoornis.

In bovenstaande opsomming ontbreekt nog de Extra Beveiligde Inrichting, beter bekend als de EBI. Naar aanleiding van een groot aantal ontsnappingen begin jaren ’90, veelal gepaard gaand met geweld en gijzeling van personeel, kreeg Nieuw Vosseveld in 1993 de opdracht het oude hoofdgebouw te verbouwen tot een Tijdelijke Extra Beveiligde Inrichting. In augustus van dat jaar kon de TEBI in gebruik worden genomen. Sindsdien hebben zich geen ontsnappingen met geweld of gijzeling meer voorgedaan. Vervolgens is op het terrein van Nieuw Vosseveld gestart met de nieuwbouw van de EBI. In 1997 kon dit 25 cellen tellende gebouw in gebruik worden genomen. In de EBI verblijven gedetineerden die extreem vluchtgevaarlijk zijn en die bij ontvluchting een onaanvaardbaar risico vormen voor de maatschappij in termen van recidivegevaar voor ernstige geweldsdelicten en/of in termen van grote maatschappelijke onrust.