数年前、ある大手銀行のモデル・リスク・マネージャーが、気まずい質問を投げかけました。同銀行は、与信判断を不透明な機械学習モデルに委ねていました。しかし、公正な融資に関する規則では、銀行は融資を断られた申請者に対してその理由を説明することが義務付けられており、そして銀行が提示していた理由は、その目的のために十分に検証されていないメソドロジーによって生成されたものでした。

そのリスクマネージャーと彼のチームが調査を深めるほど、事態は深刻になっていきました。顧客に伝えられていた理由は、実際に決定を下す要因とはほとんど無関係であり、銀行が法令違反に陥る可能性さえあったのです。彼は数ヶ月にわたりこの問題を提起しましたが、その声は無視され続けました。最終的に彼は上層部に報告しました。その直後、その幹部は銀行を去るよう求められました。

私の最高リスク責任者は、私たちを「コーチ」と呼んでいます―