Bien que le droit pénal soit peu traité en géographie, l’espace constitue un déterminant essentiel du processus judiciaire qui aboutit à la peine. Si les travaux d’Étienne Cahu ont souligné l’importance du « territoire d’appartenance » dans le procès pénal (2017), le présent article entend mettre en lumière le rôle du « territoire de la peine », soit le cadre spatial dans lequel la peine est appelée à se dérouler. Il prend pour objet d’étude un dispositif juridique particulier, l’aménagement des peines de prison, et s’appuie principalement sur un matériau empirique constitué d’entretiens semi-directifs réalisés auprès de juges d’application des peines et de conseillers pénitentiaires d’insertion et de probation. Après avoir mis en lumière l’hétérogénéité géographique du recours aux aménagements de peine en France, l’article montre que le territoire de la peine constitue un critère qui informe fondamentalement les décisions des magistrats et fonctionnaires du ministère de la Justice en matière d’aménagements de peine. Entre contraintes administratives et imaginaires spatiaux, les magistrats profitent du caractère « peu juridicisé » de ce domaine du droit (Faget, 2008) pour adapter leurs décisions aux spécificités de l’espace dans lequel le justiciable purgera sa peine.