Der Bau des Barackenkomplexes, mit einer speziellen Abteilung für Juden, wird mit geraubtem jüdischem Vermögen finanziert. Im Januar 1943 ist es fertig gestellt.
Am 6. und 7. Juni 1943 werden fast 1300 jüdische Kinder mit einem oder beiden Elternteilen mit den so genannten Kindertransporten aus Vught über Westerbork in die Vernichtungslager deportiert, die meisten nach Sobibor.
Insgesamt waren mehr als 31.000 Männer, Frauen und Kinder in Vught interniert, unter ihnen 12.000 Juden, von denen nur einige den Krieg überlebt haben. Im Lager sterben mindestens 421 Kinder, Frauen und Männer durch Hunger, Krankheit und Misshandlung. 329 Häftlinge werden erschossen.
Unter dem Druck des alliierten Vormarsches wird das Lager Anfang September 1944 in aller Eile durch den Besatzer geräumt. Circa 3.500 Häftlinge werden Hals über Kopf auf Transport nach Deutschland geschickt, während die Lagerleitung sich aus dem Staub macht und in Sicherheit bringt. Am 26. Oktober 1945 erreichen die Kanadier das Lager Vught.