Hoewel Breendonk formeel geen concentratiekamp is, zijn de levensomstandigheden voor de gevangenen er uitzonderlijk slecht. De bewaking, aanvankelijk bestaande uit Wehrmacht-soldaten die te oud worden geacht voor dienst aan het front en later ook uit Duitse, Belgische, Roemeense en Hongaarse SS-ers, maakt zich geregeld schuldig aan mishandelingen.
Op 20 september 1940 worden in Breendonk de eerste gevangenen binnengebracht. Het aantal gevangenen varieert in de loop van de oorlog tussen de 20 en 600. Sommigen verblijven er slechts één dag, anderen drie jaar. Het gemiddelde is ongeveer drie maanden. In totaal hebben er circa 3.600 mensen in Breendonk gevangengezeten, onder wie 400 à 500 joden. 300 gevangenen komen in Breendonk om.
Aanvankelijk wordt Breendonk vooral gebruikt voor de opsluiting van overtreders van anti-Joodse wetten, smokkelaars, zwarthandelaren en mensen die door de Duitsers als ‘asociaal’ worden bestempeld. Nadat Duitsland in juni 1941 de aanval op Rusland heeft geopend, worden er ook communisten en socialisten gevangengezet, en vanaf 1942 – als de Joodse gevangenen worden afgevoerd naar de Dossin-kazerne in Mechelen – ook gijzelaars en verzetsmensen.
Op 6 mei 1944 ontruimen de Duitsers Breendonk, maar kort daarna worden er opnieuw leden van het Belgische verzet opgesloten. Bij het naderen van de Geallieerden wordt Breendonk op 31 augustus 1944 definitief ontruimd. De gevangenen worden overgebracht naar het kamp in het Nederlandse Vught en van daaruit naar concentratiekampen in Duitsland, Oostenrijk en Polen.
Op 2 september 1944 komt het fort in de handen van de bevrijders.
Alleen in het begin mogen gevangenen van Breendonk zo nu en dan een brief sturen. In het Duits en onder censuur. Al snel mogen alleen terdoodveroordeelden dat nog. Of de kampleiding deze brieven altijd liet bezorgen, is twijfelachtig.