Même si, comme beaucoup d'agents de la fonction publique, le personnel de l'administration pénitentiaire bénéficie d'une indemnité de résidence, il rencontre de vraies difficultés pour accéder au logement. Certes, des dispositifs d'aide et de prêt pour faciliter l'accession au logement sont mis en œuvre, et l'administration réserve des logements pour ce personnel auprès des bailleurs sociaux ou auprès des collectivités locales. Toutefois, ces solutions sont très loin d'être suffisantes et, bien souvent, les logements proposés sont situés dans des zones où les agents sont en contact direct avec les familles des personnes détenues ou avec d'anciens détenus – c'est bien le problème. Dès lors, leurs propres familles sont bien sûr régulièrement harcelées, voire agressées. Les logements doivent être répartis de façon juste entre les services de l'État ; une priorité doit être donnée aux agents de la surveillance pénitentiaire, auxquels les préfectures doivent affecter des contingents supplémentaires de logements de fonction.