AIエージェントが、信頼できないスタッフのような存在である理由

クオンツは通常、エージェント型人工知能システムについて、あたかもそのシステムが人間であるかのように語ることには消極的です。しかし、リスク管理に関しては、専門家たちがこの比較をますます積極的に行うようになっています。

まず第一に、これらのモデルは――文字通り――予測不可能です。業界関係者が最近Risk.netに説明したように、ある期間完璧に動作していたモデルであっても、将来は――まったく同じ要求や指示に対してさえ――異なる反応を示す可能性があります。

もちろん、リスク管理者は、GenAIのように不確実性を含むモデルの検証には慣れています。

しかし、大規模言語モデル（LLM）における不確実性は、プロンプトや文脈、ユーザーの行動が変化するにつれて、時間とともに変化します。これは、ユーザーには見えないモデルの内部構造を反映したものです。また、言語モデルが参照する情報のコーパスが変化するにつれて、その不確実性も変化します（そして、その情報のコーパスにはインターネット全体が含まれており、インターネットは絶えず変化しています）。

他にも、人間と同様の懸念材料があります。リスクモデルプロバイダー「CompatibL」の創業者であるアレクサンダー・ソコル氏は、AIがテストに合格したり、導入された状態を維持したりするために、嘘をついたり悪意を持って行動したりすることが示されていると指摘しています。モデルは、相手に気に入られようとする「迎合バイアス」といった認知バイアスを示し、それが役に立たない結論につながる可能性があります。

エージェント型システムを管理する人々は、文字通り「グリュイエールチーズ」にあり得るあらゆる穴に注意を払う必要があります。そして、そのグリュイエールチーズは、非常に穴だらけになるでしょう。

ミケル・ノゲル・イ・アロンソ氏、人工知能金融研究所

「ジェネレーティブAIモデルは、『人間が脆弱であるのと同じように』脆弱です」と、人工知能金融研究所の創設者であるミケル・ノゲル・イ・アロンソ氏はRisk.netに語っています。これは、モデルの管理方法に明確な示唆を与えています。

AIと金融に関する著書を6冊執筆し、ニューヨークのコーネル大学で客員講師を務めるノゲル・イ・アロンソ氏は、エージェント型システムによって、リスク管理担当者が2010年代に自身が銀行の上級幹部として経験したのと同じような眠れない夜を過ごすことになるだろうと予測しています。同氏は、トレーダーが巨額の損失を招くようなポジションを取るのではないかと心配して、夜も眠れずにいたと語っています。

ノゲール・イ・アロンソ氏の見解では、例えば投資会社などのワークフローにLLMを導入することは、新たなスタッフチームを採用することと同じだといいます。

「LLMに対しては懐疑的であるべきです」と彼は言います。「しかし、ポートフォリオ・マネージャーに対しても懐疑的であるべきですよね？」

リスク管理担当者が、プロジェクトマネージャーの行動に不注意や判断ミス、あるいは悪意の兆候がないか注意深く見守るのと同様に、LLMに対しても注意を払い、しかも綿密に監視する必要があります。

「エージェント型システムを管理する人々は、文字通り『グリュイエールチーズ』にあるありとあらゆる穴に注意を払う必要があります」とノゲール・イ・アロンソ氏は言います。「そして、そのグリュイエールチーズは、非常に穴だらけになるでしょう。」

実際には、これはLLMの出力を何らかの「グラウンド・トゥルース」と照合して何度も確認したり、人間がエージェントの行動をレビューしてエラーを監視したりすることを意味する可能性が高いようです。

かなりの手間がかかりそうです。「エージェントが行うすべての行動について、何らかの評価を行う必要があります」とノゲル・イ・アロンソ氏は述べています。「LLMはポートフォリオ最適化アルゴリズムを呼び出しましたか？ ポートフォリオ最適化の結果は、現実的で妥当なものに見えましたか？」

専門家によると、ユーザーはエージェント型モデルについても、ベンチマークに対するモデルのパフォーマンスを単に測定するのではなく、弱点を探るという別の方法でテストしなければならないとのことです。（従業員を、集計値のみに基づく指標で評価する雇用主はほとんどいないでしょう。）

ウェルズ・ファーゴで11年間モデル・リスク管理を統括し、現在は金融分野のAIに関するアドバイザーを務めるアグス・スジアント氏は、8月に開催されたオンラインワークショップの参加者に対し、次のように指摘しました。「ベンチマークは、システムが正しい判断を下す頻度を測るものです。「あらゆる条件を平均化してしまうため、モデルが失敗する箇所が隠れてしまうのです。」

スジアント氏によると、クオンツはエージェント型システムをテストし、潜在的な失敗点がどこにあるかを明らかにするために、一連の実験を構築する必要があるとのことです。その一部は必然的に自動化されることになるでしょう。

エージェント型AIを安全に導入するには、敵対的リスク分析が必要だとソコル氏も同意しています。これは、彼が言うところの「戦略的に、必ずしもユーザーと足並みを揃えていない」形でエージェントが行動するリスクを軽減するための枠組みです。

考え方を変えなければなりません。リスク管理者は、モデルが持つ可能性のある目標の全範囲と、それらを追求するためにモデルが取る可能性のある行動をすべて考慮しなければならないと、ソコル氏は述べています。「取引戦略の場合と同じように、確率分布全体、つまり同時に、あるいは別々に起こり得る事象のすべての組み合わせについて考えなければなりません。テストでは、これらの結果をすべて網羅する必要があります。」

クオンツたちは、エージェント型システムを従業員のように捉えることに慣れなければならないようです――しかも、決して完全に信頼することのできない従業員としてです。