Schätzgütemaße für ordinale Insolvenzprognosen messen die Qualität ordinaler Insolvenzprognosen. Ordinale Insolvenzprognosen sind Prognosen über die relativen Ausfallwahrscheinlichkeiten der bewerteten Unternehmen wie „Unternehmen Y fällt mit größerer Wahrscheinlichkeit aus als Unternehmen X aber mit geringerer Wahrscheinlichkeit als Unternehmen Z“.Dieser Artikel basiert auf Bemmann (2005).
Zwar könnten ordinale Insolvenzprognosen theoretisch beliebig differenziert sein, in der Praxis haben sich aber ordinale Ratingsysteme durchgesetzt, die ihre Ergebnisse auf eine diskreten, 7- oder 17-stufigen Skala17-stufige Skala: 1=„AAA“, 2=„AA+“, 3=„AA“, 4 =„AA-“, 5=„A+“, 6=„A“, 7=„A-“, 8=„BBB+“, 9=„BBB“, 10=„BBB-“, 11=„BB+“, 12=„BB“, 13=„BB-“, 14=„B+“, 15=„B“, 16=„B-“, 17=„CCC/C“, 7-stufige Skala: „AAA“, „AA“, „A“, „BBB“, „BB“, „B“, „C“. in einer von Standard & Poor’s (S&P) übernommenen Notation kommunizieren.In Basler Ausschuss (2000c, S. 23f) werden die Ratingsymbole von 30 Ratingverfahren unterschiedlicher internationalen Ratingagenturen untersucht. 22 Agenturen verwenden Buchstabenkombinationen, um ihr Ratingurteil auszudrücken (ca. 75 %), 6 Agenturen kommunizieren ihre Ratings in Form von Noten (20 %), nur zwei Agenturen geben ihr Urteil in Form von Ausfallwahrscheinlichkeiten an. Von den 22 „Buchstaben-Ratings“ entsprechen 14 exakt der ausführlichen S&P-Notation (17-stufige Skala), 2 der verkürzten S&P-Notation (7-stufige Skala). Bei Banken überwiegen hingegen numerische Ratingklassenbezeichnungen (ca. 85 %) anstelle von Buchstabenkombinationen (ca. 15 %), siehe Englisch, Nelson (1998, S. 4).Standard & Poor’s verwendet seit 1974 die um Plus- und Minuszeichen modifizierte Ratingklassendarstellung. Moody’s hingegen erst seit 1982, siehe Cantor, Packer (1994, S. 2)
Bedeutung ordinaler Schätzgütemaße Auch wenn ordinale Insolvenzprognosen allgemeiner als kategoriale Insolvenzprognosen sind, genügen für die meisten Anwendungen keine nur vergleichenden Aussagen über das relative Ausfallrisiko von Unternehmen. Benötigt werden vielmehr auch quantitative Ausfallprognosen, beispielsweise um angeben zu können, ob eine Risikoprämie von 1,5 % p. a. für einen endfälligen, unbesicherten und vorrangigen Kredit mit drei Jahren Laufzeit bei einem Unternehmen angemessen ist, dessen Ratingeinstufung besagt, dass es „derzeit die Fähigkeit hat, seinen finanziellen Verpflichtungen nachzukommen. Allerdings würden ungünstige Geschäfts-, Finanz- oder gesamtwirtschaftliche Bedingungen vermutlich seine Fähigkeiten und Bereitschaft seinen finanziellen Verpflichtungen nachzukommen beeinträchtigen“.Siehe die Definition für die Ratingstufe B gemäß S&P (2003b, S. 7, eigene Übersetzung)Siehe auch Frerichs, Wahrenburg (2003, S. 13): „Under what circumstances is such a measure Area Under the ROC-curve useful? The ranking of borrowers is sufficient for credit risk management if banks are not able to charge different credit risk premiums for different customers in the market. In this case, banks maximize their risk-adjusted returns by not granting credit to customers with negative expected returns which is equivalent to defining a minimum credit score. Yet, this line of thought does not lead us to the AUC as a measure of system quality, but to the concept of minimized expected error costs. The AUC measures the quality of the complete ranking and not only of one threshold. Only if the threshold is difficult to define in practice, the AUC may be a sensible measure.“- oder kurz und prägnant: „There are no bad loans, only bad prices.“, siehe Falkenstein, Boral, Kocagil (2000, S. 5). mini|hochkant=2.0|Durchschnittliche historische Einjahresausfallraten nach modifizierten Ratingklassen gemäß Standard and Poor's (1981–2005) und Moody's (1983–2005), Quelle: S&P (2006, S. 18), Moody's (2006, S. 35)
Trotzdem lohnt sich die Auseinandersetzung mit Schätzgütemaßen für ordinale Insolvenzprognosen: Sie entsprechen von der Intention her dem, was die Ratingagenturen zu liefern versprechen.Cantor, Mann (2003, S. 6): „Moody's primary objective is for its ratings to provide an accurate relative (i.e., ordinal) ranking of credit risk at each point in time, without reference to an explicit time horizon.“ und Cantor, Mann (2003, S. 1): „Moody’s does not target specific default rates for the individual rating categories.“, allerdings auch: „Moody’s also tracks investment-grade default rates and the average rating of defaulting issuers prior to their defaults. These metrics measure Moody’s success at meeting a secondary cardinal or absolute rating system objective, namely that ratings be useful to investors who employ simple rating ‘cutoffs’ in their investment eligibility guidelines.“, siehe ebenda.Basler Ausschuss (2000c, S. 2) „Most firms report that they rate risk on a relative – rather than absolute – scale, and most indicate that they rate ‘across the business cycle’, suggesting that ratings should in principle not be significantly affected by purely cyclical influences.“ Von den 15 Ratingagenturen, die hierzu Angaben machten, gaben 13 an, mit ihrem Rating das „relative Risiko“ von Unternehmen zu messen, nur 2 Agenturen messen nach eigenen Angaben das „absolute Risiko“ von Unternehmen (KMV Corporation und Upplysningscentralen AB), siehe ebenda (S. 23f).
Sie stellen mittlerweile eine dominante Methode zur Beurteilung der Qualität von Ratingergebnissen dar.Siehe beispielsweise McQuown (1993, S. 5ff), Keenan, Sobehart (1999, S. 5 ff.), Stein (2002, S. 5 ff.), Fahrmeir, Henking, Hüls (2002, S. 22f), Engelmann, Hayden, Tasche (2003, S. 3ff), Deutsche Bundesbank (2003a, S. 71 ff.), OeNB (2004a, S. 113 ff.). Auch die Ratingagenturen Standard and Poor’s (2006, S. 48) und Moody’s (2006, S. 11 ff.) messen die Qualität ihrer Ratingsysteme mittels der in diesem Abschnitt vorgestellten Methoden und Kennzahlen.
Es existieren zahlreiche Möglichkeiten der grafischen Darstellung für die ordinale Schätzgüte von Ratingsystemen, was auch die Kommunizierbarkeit der aus diesen Darstellungen abgeleiteten Kennzahlen erleichtert.
Eine hohe Trennschärfe, wie sie durch Gütemaße für ordinale Insolvenzprognosen gemessen wird, ist auch für die Qualität kardinaler Insolvenzprognosen wichtig – und zwar wichtiger als eine korrekte Kalibrierung. Es ist leichter, „richtige“ (kalibrierte) als trennscharfe Ausfallwahrscheinlichkeiten zu generieren.Blochwitz, Liebig, Nyberg (2000, S. 3): „It is usually much easier to recalibrate a more powerful model than to add statistical power to a calibrated model. For this reason, tests of power are more important in evaluating credit models than tests of calibration. This does not imply that calibration is not important, only that it is easier to carry out.“, analog Stein (2002, S. 9)Die Kalibrierung eines Ratingsystems wird in Sobehart et al. (2000, S. 23 f.) oder Stein (2002, S. 8 ff.) beschrieben.
Beim empirischen Vergleich verschiedener Ratingverfahren auf Basis identischer Stichproben entspricht die Reihenfolge der Güte der einzelnen Verfahren gemäß ordinaler Schätzgütemaße häufig auch der Reihenfolge der Güte bei Zugrundelegung kardinaler Schätzgütemaße.Siehe beispielsweise Krämer, Güttler (2003) für den Vergleich der Schätzgüte der Ausfallprognosen von S&P und Moody’s oder Sobehart, Keenan, Stein (2000, S. 14) für den Vergleich der Schätzgüte von sechs unterschiedlichen Verfahren mittels ordinaler und kardinaler Schätzgütekennzahlen. Somit scheinen Qualitätsunterschiede verschiedener Verfahren weniger in einer unterschiedlich guten Befähigung zur Abgabe kalibrierter Ausfallprognosen zu liegen, was nur für kardinale Gütemaße relevant ist, sondern in einer unterschiedlich guten Befähigung zur Abgabe trennscharfer Prognosen, was sowohl für ordinale als auch kardinale Schätzgütemaße relevant ist.
Für diejenigen Aspekte kardinaler Insolvenzprognosen, die nicht bereits mit dem Instrumentarium, das für die Beurteilung ordinaler Insolvenzprognosen entwickelt wurde, gemessen werden können, insbesondere für den Aspekt der Kalibrierung von Insolvenzprognosen, stehen derzeit keine aussagekräftigen Testverfahren zur Verfügung – wenn die Ausfallwahrscheinlichkeiten der verschiedenen Unternehmen nicht unkorreliert sind.siehe Basler Ausschuss (2005a, S. 31 f.): „These [cardinal] measures appear to be of limited use only for validation purposes as no generally applicable statistical tests for comparisons are available. [...] The [Basle Committee's Validation] Group has found that the Accuracy Ratio (AR) and the ROC measure appear to be more meaningful than the other above-mentioned indices because of their statistical properties. For both summary statistics, it is possible to calculate confidence intervals in a simple way. [...] However, due to the lack of statistical test procedures applicable to the Brier score, the usefulness of this metric for validation purposes is limited.“ und ebenda, S. 34: „At present no really powerful tests of adequate calibration are currently available. Due to the correlation effects that have to be respected there even seems to be no way to develop such tests. Existing tests are rather conservative […] or will only detect the most obvious cases of miscalibration […]“Schon bei moderaten Ausfallkorrelationen (zumindest verglichen mit den aufsichtsrechtlich unterstellten Benchmarkwerten) können die realisierten Ausfallquoten - selbst bei beliebig großen Portfolien - erheblich von den erwarteten Ausfallquoten abweichen, siehe hierzu Huschens, Höse (2003, S. 152 f.) oder Blochwitz et al. (2004, S. 10). Die tatsächliche Relevanz dieses theoretischen Einwands ist jedoch noch umstritten. Es existieren empirische Hinweise darauf, dass die entsprechenden im Rahmen von Basel II unterstellten segmentspezifischen Korrelationsparameter um den Faktor 15 bis 120 (im Durchschnitt rund 50) zu hoch angesetzt werden.Siehe hierzu Scheule (2003, S. 149). Die Untersuchungen basieren auf einem Datensatz der Deutschen Bundesbank, der den Zeitraum 1987-2000 umfasst und über 200.000 Jahresabschlüsse von über 50.000 (westdeutschen) Unternehmen enthält, von denen 1.500 insolvent wurden, siehe ebenda (S. 113 ff.). Die auf Basis der von Scheule (2003, S. 156) ermittelte Portfolioverlustverlustverteilung (eines konkreten Modellportfolios mit einer erwarteten Ausfallrate von 1,34 %) ist weitgehend symmetrisch und unterscheidet sich erheblich von dem typischen linkssteilen-rechtsschiefen Verteilungstyp, der sich bei starken Ausfallkorrelationen ergibt. Das 99,9-%-Quantil beider Verteilungen, welches gemäß dem Basel-II-Regelwerk für die Ermittlung der Eigenkapitalanforderungen herangezogen wird, unterscheidet sich im gewählten Beispiel um den Faktor 5 bis 6!
mini|hochkant=2.0|Durchschnittliche historische kumulierte Ein- bis Zehnjahresausfallraten nach modifizierten Ratingklassen gemäß Standard and Poor's (1981–2005) und Moody's (1983–2005) Quelle: S&P (2006, S. 18), Moody's (2006, S. 35) Auch wenn die Ratingagenturen ex-ante mit den von ihnen vergebenen, ordinalen Ratingnoten keine kardinalen Ausfallprognosen für irgendeinen spezifizierten Zeitraum abgeben wollen,S&P (2005, S. 28): „Many practitioners utilize statistics from this default study and CreditPro® to estimate probability of default and probability of rating transition. It is important to note that Standard & Poor's ratings do not imply a specific probability of default; however, Standard & Poor's historical default rates are frequently used to estimate these characteristics.“ demonstrieren sie die Güte ihrer Ratingeinschätzungen u. a. mit deren Fähigkeit, Unternehmen mit deutlich unterschiedlichen, monoton steigenden Ausfallhäufigkeiten identifizieren zu können (siehe die beiden folgenden Abbildungen für die durchschnittlichen ratingklassenspezifischen Ein- und Mehrjahresausfallraten nach S&P und Moody’s).