Model and Estimation Risk in Credit Risk Stress Tests

Abstract

Research questionThis paper deals with stress tests for credit risk and shows how exploiting the discretion when setting up and implementing the underlying model can drive the results of a quantitative credit risk stress test for default probabilities. ContributionWe contribute to the scarce literature on model and estimation risk in stress tests. We employ several variations of a CreditPortfolioView-style model using US data ranging from 2004 to 2016 and compare the forecasted default probabilities of these models. Our clear focus on stress tests is the aspect that differentiates our paper from existing studies most. This is particularly relevant against the background of regulatory stress tests which have become more important in recent years. Results and policy implicationsThis paper shows that stress forecasts of default probabilities highly depend on the modelling assumptions and that seemingly only minor variations can affect the results of stress tests considerably. That said, our findings reveal that the conversion of a shock (i.e., stress event) increases the (non-stress) default probability by 20% to 80% -this high range can be explained by the sensitivity of stress test models to model and estimation risk. Interestingly, forecasts for non-stress default probabilities are less exposed to model and estimation risk. In addition, the risk horizon over which the stress default probabilities are forecasted and whether we consider mean stress default probabilities or high quantiles seem to play only a minor role for the dispersion between the results of the different model specifications. These findings emphasize the importance of extensive robustness checks for model-based credit risk stress tests, particularly in regulatory stress tests.

Évolution des méthodes de gestion des risques dans les banques sous la réglementation de Bale III : une étude sur les stress tests macroprudentiels en Europe

“…Dans beaucoup d'articles faisant référence aux modèles à variable qualitative (Logit et/ou Probit), les chocs sont appliqués à la fois sur les facteurs de risque systématique (notamment sur le résidu des modèles autorégressifs AR construits pour modéliser les variables macro-économiques) et sur un facteur de risque spécifique sectoriel (représenté par le résidu de la fonction reliant la variable latente introduite (souvent un indice de crédit ou macroéconomique/sectoriel), aux facteurs de risque systématique) afin de calibrer la probabilité de défaut stressée (cf. Sorge and Virolainen (2006) ; Jokivuolle, Virolainen et Vähämaa (2008) ; Grundke, Pliszka et Tuchscherer (2015) ; Schechtman et Gaglianone (2011) etc.). D'une part cette modélisation rend difficile l'isolation de l'effet du choc spécifique, d'autre part la variable spécifique est habituellement représentative d'un risque spécifique sectoriel et pas individuel auquel nous nous intéressons dans notre modèle de stress test (spécifique) pour les portefeuilles concentrés de crédit.…”

“…Wilson (1997a.,b. ), Sorge and Virolainen (2006) , Jokivuolle, Virolainen et Vähämaa (2008), Grundke, Pliszka et Tuchscherer (2015), Schechtman et Gaglianone (2011), Jiménez et Mencia (2009), Breuer, Jandacka, Mencia, Summer (2010), Simons et Rolwes (2009) etc.) et très probablement dans beaucoup de banques pour calibrer la probabilité de défaut en fonction de plusieurs facteurs de risque systématique, en scénario normal ou de stress.…”

“…Ces mesures consistent à évaluer respectivement la rentabilité (de long-terme) de l'action émise par un établissement bancaire et le capital supplémentaire que cet établissement doit détenir, suite à un choc sur la rentabilité de l'indice boursier. En termes de pertes espérées, les résultats obtenus par les auteurs en utilisant laSiemsen et Vilsmeier (2018) introduisent dans leur modèle un critère de filtrage qui permet d'éliminer les augmentations de la probabilité de défaut jugées comme "improbables", en se référant sur les valeurs obtenues par le modèle mono-factoriel de Gordy-Vasicek ou par le modèle multifactorielde Bonti, Kalkbrener, Lotz et Stahl (2006) Grundke, Pliszka et Tuchscherer (2015). affirment, de leur côté, que l'estimation des paramètres de risque de crédit stressés (PD stressée et LGD stressée) suite à un exercice de stress test macro-prudentiel, dépend sensiblement des modèles internes que les banques utilisent pour « traduire » le scénario de choc sur les variables macro-économiques en changement de ces paramètres de risque.…”

“…Cependant,Schwaab et al (2016) n'ont pas implémenté leur modèle multifactoriel dans un nouveau cadre de calibration de stress test.Les modèles à variable qualitative (Logit ou Probit) sont utilisés largement dans la littérature (cf.Wilson (1997a.,b. ),Sorge and Virolainen (2006),Jokivuolle, Virolainen et Vähämaa (2008),Grundke, Pliszka et Tuchscherer (2015),Schechtman et Gaglianone (2011),Jiménez et Mencia (2009),Breuer, Jandacka, Mencia, Summer (2010),Simons et Rolwes (2009) etc.) et très probablement dans beaucoup de banques pour calibrer la probabilité de défaut en fonction de plusieurs facteurs de risque, en scénario normal ou de stress.…”