AIの説明可能性に関する障壁は低くなってきている

4月、金融分野におけるAI活用を監視対象としているイングランド銀行の金融政策委員会は、機械学習モデルが将来的に「人間の管理者の意図や認識なしに」共謀し市場を操作する可能性があると推測しました。これはクオンツアナリストがRisk.net で言及した内容とも一致しています。

同報告書では、不正なAIボットが市場の混乱を誘発することを学習する可能性さえ示唆されています。なぜなら、それによって利益を得る機会が生まれると学習したためです。

この論文の執筆者たちの想像力は業界平均よりも奔放かもしれません。しかし、こうした懸念は孤立したものではありません。金融市場の関係者のほぼ全員が、最も複雑な機械学習モデル内部で何が起きているのか、より深く理解したいと考えているのです。

AIの導入を推進する関係者にとって、理解が困難なモデルは理論的課題だけでなく実務上の課題も生み出します。つまり、実稼働環境での承認に時間を要するのです。モデル理解が遅れがちな企業は競争優位性を失う可能性があります。Risk.netは2018年、当時銀行を悩ませていたこの問題を「説明可能性の障壁」と表現して報じています。

説明可能性の障壁が明らかに低下していることは、機械学習技術を利用している、あるいは利用を希望している多くのヘッジファンドにとって朗報です。

こうした背景から、説明可能なAI（XAI）が注目を集める分野となっています。これは、運用担当者がモデルの実行内容を理解するための「事後分析」ツールを開発する領域です。朗報としては、XAIツールが現在では容易に入手可能となり、認知度も高まっている点が挙げられます。

ロンドン大学クイーン・メアリー校の金融学准教授、ダニエレ・ビアンキ氏によれば、過去には説明可能性の確保は専任の開発者やエンジニアの役割でした。しかし今日では、オープンソースのコードライブラリがほぼそのままの状態でこの課題に対応できるとのことです。ビアンキ氏は昨日ロンドンで開催されたQuant Strats Europeカンファレンスにおいて、Risk.netの取材に応じました。

説明可能性技術にはもちろん不完全な点もあります。しかし、それらを組み合わせて使用することで、モデルを本番環境に移行するまでの時間を短縮できると彼は述べています。「ツールは非常に利用しやすくなっています。もはや言い訳は通用しません。」

例えば、いわゆるシャプレー値は、モデルの出力を生成する上で、モデル内の異なる特徴量がどの程度貢献したかを評価する方法を提供します。モデルが特定の時点で特定の予測を行った理由を特定するのに理想的です。モデルのタイプは関係ありません。特徴量は、消費者物価指数（CPI）の数値やニュースのセンチメント、株価のモメンタムなどの要因である可能性があります。

サロゲートモデル

もう一つの巧妙な手法は、より複雑なモデルの出力と同じ入力値を与えられた際に、その出力を模倣するように学習する代理AIモデルを作成することです。例えば決定木学習のようなシンプルで理解しやすい手法を用いる代理モデルは、より複雑なモデルが何を行っているかを理解するための足掛かりを管理者に提供します。

サロゲートモデルは、モデルがより一般的に何を行っているかを理解することを可能にします。ビアンキ氏は自身の研究でこれを活用し、市場における取引コストの影響についてニューラルネットワークを訓練した後、モデルを解釈するためにサロゲートモデルを使用しました。

もちろん、こうしたツールはそれぞれ不完全です。ビアンキ氏は「解釈が難しいものを解釈するための、より解釈可能なレンズ」と表現しています。シャプレー値の計算には膨大な計算能力が必要となる場合があります。これは基本的に、モデルの様々な特徴の組み合わせを排除した場合にモデルがどのように動作するかをシミュレーションすることで機能します。その組み合わせは数千、ひいては数百万もの計算に及ぶ可能性があります。

しかし、組み合わせの一部を計算し、重要なものに焦点を当てるなど、プロセスを迅速化する方法は現在一般的です。生成敵対ネットワークのような複雑な機械学習モデルであっても、この作業は数日ではなく数時間で完了します。ほとんどの場合、分析は数分で終わります。

説明可能性の障壁が明らかに低下していることは、機械学習技術を活用している、あるいは活用を望む多くのヘッジファンドにとって朗報です。ブローカー会社IGが100社以上を対象に行った調査では、約3分の1が今後3年間でAIが自社ビジネスに「画期的な影響」を与えると予測しています。

かつて、機械学習の支持者たちは、市場を完全に説明できないが解釈しやすいモデルと、市場をより良く説明できるが開発者がほとんど説明できないモデルとの選択を迫られていました。

カンファレンスで登壇したビアンキ氏は、この状況はもはや過去のものだと述べました。「単純性と説明可能性か、複雑性と有効性のどちらを選ぶかという従来のジレンマは、偽りのジレンマです」と同氏は語りました。

編集：クリス・デヴァサバイ