La polizia segreta di Stato (Gestapo) e la polizia criminale (Kripo) incarceravano principalmente oppositori politici del regime nazista e le persone che non soddisfacevano i criteri razziali della "Volksgemeinschaft” (comunità razziale) nazionalsocialista. Il novanta per cento dei deportati di Flossenbürg erano "detenuti in custodia protettiva" della Gestapo. Gli ebrei ne facevano egualmente parte. Circa 6.000 uomini furono stati incarcerati come "detenuti preventivi” della polizia criminale. Inoltre, almeno 6.000 prigionieri di guerra sovietici detenuti dalla Wehrmacht furono trasportati al campo.
Detenuti in custodia preventiva furono trasferiti a Flossenbürg come "criminali di professione" e costretti a indossare il triangolo verde. Ai prigionieri provenienti da altri gruppi sociali emarginati, come senzatetto, disoccupati, mendicanti, prostitute, Sinti e Rom, fu assegnato il triangolo nero di "asociali" dalla SS. Ad almeno 4.000 tedeschi e agli oppositori stranieri fu assegnato il triangolo rosso dei "politici".
La grande parte dei prigionieri erano lavoratori forzati stranieri, principalmente dall'Europa dell'Est. Anche loro ricevettero il triangolo rosso. La loro nazionalità era indicata da una lettera sul triangolo rosso. Gli ebrei indossavano un triangolo giallo aggiuntivo. Il colore del triangolo e l’iniziale furono determinanti all’interno della gerarchia nel campo.