信用リスクモデルの評価：識別力・キャリブレーション・時系列検証・説明性・ドリフトを一通りそろえる

1. 何のためのモデルか：用途で評価が変わる

融資で使う信用リスクのモデルの多くは、取引先が一定期間（例：12か月）内にデフォルトする確率（PD）を推定します。使い道は大きく3つです。

• 審査の一次判定・格付：順番に並べる力（識別力）が重要。
• 金利・条件の設定、引当：PDの水準そのものが合っていること（キャリブレーション）が重要。
• 期中の早期警戒：短い期間での変化を捉える力が重要。

期待損失はPD×LGD×EADで表すのが一般的で、PDが2倍ずれれば期待損失も2倍ずれます。だから識別力だけの報告では不十分です。評価の結果をもとに使用を承認するのは独立検証の担当（第2線）で、開発者ではありません（モデル・リスク管理の記事）。

2. 識別力：AUC・Gini（AR）・KS

バーゼル銀行監督委員会のワーキングペーパー14号「内部格付制度の検証に関する研究」（2005年）は、識別力の指標として累積精度曲線（CAP）とその要約であるAR（Accuracy Ratio）、ROC曲線とその下の面積（AUC）を扱い、信頼区間の求め方も示しています。ARとAUCには AR＝2×AUC−1 の関係があり、実務でGini係数と呼ぶものはこのARと同じ値です。

デフォルト件数が少ないと指標のばらつきが大きくなります。値だけでなく、信頼区間や、期間・業種・規模別の値も並べます。

3. キャリブレーション：予測と実績が合っているか

同じワーキングペーパーは、キャリブレーションの検証手法は識別力の手法に比べて発展途上で、デフォルトのサンプルが小さいほどノイズが大きな問題になると述べています。手法としてはブライア・スコア、二項検定、カイ二乗（ホスマー・レメショウ）検定などが取り上げられています。二項検定はデフォルトが互いに独立という前提に依存するため、景気で同時にデフォルトが増える現実では、検定の結果だけで判断しないことが大切です。

検算：予測件数 10＋45＋80＋50＝185、実績 8＋52＋95＋70＝225、225÷7,500＝3.00%。実績は予測の約1.22倍（225÷185）。D等級を二項分布で見ると、期待50件・標準偏差√(500×0.1×0.9)≒6.7件で、実績70件は期待から約3標準偏差上（独立の前提つき）。

この例では順番は正しく並んでいる（識別力はある）のに、悪い等級ほど過小評価です。報告では「並び順は保たれているが、C・D等級のPDを引き上げる再推定が必要か検討」と書き、景気の局面が開発期間と違う可能性も添えます。

4. 時系列の検証（アウトオブタイム）

決算書を使うモデルでは、決算期末から一定期間（例：12か月）の間にデフォルトしたかを正解にします。したがって、ある決算の正解が確定するのは早くても1年後です。分割は次のようにします。

1. 学習期間：例として決算期が2019〜2022年度の先。
2. 観測の待ち期間：各決算から12か月が経過しないと正解が出ない。検証期間の決算はその分だけ古いものに限る。
3. アウトオブタイム検証期間：学習期間より後の決算。ランダム分割の結果と並べて、劣化の幅を報告する。

同じ会社の複数年の決算が学習と検証の両方に入ると、結果が良く見えます。会社単位で重複の扱いを決め、報告書に書きます。また、否決した申込先はその後の結果が観測できないため、承認先だけで学習・検証した結果は申込全体には当てはまらない可能性があります。この限界も明記します。

決済の不正検知でも「正解が遅れて届く」ことを前提に時系列で分ける考え方は共通です（不正検知モデルの評価）。

5. 説明性：理由を示せるか

欧州銀行監督機構（EBA）のIRBモデルへの機械学習の適用に関するフォローアップ報告は、複雑なモデルは結果の説明に課題があり、金融機関が全体と個別の説明手法を使い、シャープレイ値が最も多く使われていると報告しています。米国の消費者金融保護局（CFPB）は、否決の具体的で正確な理由を示す義務は複雑なアルゴリズムでも変わらず、事後的な説明手法はモデルの近似にすぎないため、その近似が正しいか確かめる必要があると述べています。

実務では、(1) 変数ごとの寄与を全体で示す、(2) 個別の先について点数を下げた上位の理由を出す、(3) その理由が実際にモデルが使った要因と一致しているかを確かめる、の3段で成果物にします。

6. ドリフト：入力の分布の変化を監視する

実績のデフォルトは遅れて出るため、先に入力と点数の分布の変化を見ます。よく使われる指標にPSI（母集団安定性指標）があります。PSI＝Σ（今回の比率−基準の比率）×ln（今回の比率÷基準の比率）。

検算：(0.15−0.20)×ln(0.75)＝0.0144、(0.28−0.30)×ln(0.933)＝0.0014、(0.32−0.30)×ln(1.067)＝0.0013、(0.25−0.20)×ln(1.25)＝0.0112、合計≒0.0282（四捨五入した各項の和は0.0283）。

どの値で調査・再開発に進むかの目安は組織によって異なり、承認時に決めておきます。数値が小さくても、悪い点数帯が増えている方向の変化は、申込の層の変化として営業部門と原因を確認します。

7. 合成データでの演習（実在企業のデータは使わない）

1. データを作る：架空の企業1万社×5年分の財務指標（売上高増加率・営業利益率・自己資本比率・EBITDA有利子負債倍率など）を乱数で作る。業種を3つ置き、業種で分布を変える。
2. 正解を作る：指標の組み合わせからデフォルトしやすさを決め、年ごとに景気の項を加えて12か月以内のデフォルトを確率的に発生させる。後半の年は関係を少し変え、ドリフトを仕込む。
3. 分割する：前半を学習、後半をアウトオブタイム検証に。ランダム分割の結果も並べる。
4. 基準線を作る：自己資本比率と営業利益率だけのロジスティック回帰。
5. 比較モデルを作る：勾配ブースティングなど。識別力の差が説明性の損失に見合うかを書く。
6. 評価する：AUC・Gini・KS（信頼区間つき）、等級別の予測と実績の表、PSI。
7. 説明を出す：全体の寄与と、架空の3社について点数を下げた理由。
8. 報告書を書く：A4で2枚。結論、使い方の提案（どの範囲に使えるか）、限界、監視指標と停止の基準。

8. よくある誤りと、延期すべき場面

• 未来の情報が混ざる：決算の数字に、決算期末より後に分かった情報（例：その後の延滞の有無を反映した区分）を特徴量として入れてしまう。特徴量ごとに「いつ時点で分かる情報か」を表にします。
• デフォルトの定義が途中で変わる：延滞の日数や対象の区分の定義が期間の途中で変わると、ドリフトに見えて実は定義の変更ということがあります。定義の版を記録します。
• 件数の少ない区分で結論を出す：デフォルトが数件しかない業種のAUCは大きくぶれます。区分別の値は件数と並べて出します。
• 延期の判断：アウトオブタイム検証ができるだけの期間のデータがない、デフォルトの件数が少なすぎる、説明の手段が用意できない場合は、判定への利用を見送り、参考情報としての表示や、人の審査の補助にとどめる提案も成果物として価値があります。

9. 成果物の評価基準

10. 学ぶ順番

1. 融資の業務と金額構造（信用コスト・PD・LGD・EAD） → 企業向けの解説
2. 財務諸表の読み方と主要な指標
3. ロジスティック回帰と、識別力・キャリブレーションの指標（バーゼル委員会WP14）
4. 時系列の検証、サンプルの偏り（否決先が観測できない問題）
5. モデル・リスク管理（金融庁の原則）と説明の義務

求人の必須要件・年収は企業ごとに異なるため、この記事では断定しません。応募先の募集要項で確認してください。

11. 関連する記事

出典（2026年10月12日確認）

1. Basel Committee on Banking Supervision「Studies on the Validation of Internal Rating Systems (revised)」Working Paper No. 14（2005年）
2. European Banking Authority「Follow-up report on machine learning for IRB models」（2023年）
3. CFPB「Consumer Financial Protection Circular 2022-03」（2022年5月26日）
4. 金融庁「モデル・リスク管理に関する原則」（2021年11月12日）
5. 経済産業省「ローカルベンチマーク ガイドブック（支援機関編）」（演習の財務指標の参考）