バークレイズは、暴走する可能性のあるAIエージェントを検知するシステムを構築した

バークレイズのクオンツたちは、AIエージェントの「思考」を読み取り、過度にリスクの高い行動に出る前にそれを未然に防ぐためのプロトタイプの監視システムを構築しました。

アリエ・シェイター氏とハリオム・タツァット氏は、いわゆる「メカニスティックな解釈可能性」に関する研究を参考にし、シェイター氏が「ツール・リスク」と呼ぶ、エージェント型システムにおけるリスクに対処しました。これは、AIエージェントがソフトウェアツールを、取引相手への誤った支払いを行うなど、無駄やリスクを伴ったり、損害を与えたりするような方法で呼び出すリスクを指します。

バークレイズをはじめとする銀行各社は、コーディング、リサーチ、顧客コンプライアンスなどの分野でAIエージェントの活用を模索しています。こうしたシステムによる誤った判断を事後的に検証しても、リスクの軽減やコスト削減にはほとんどつながりません。

「この分類器は