人間だけ：信頼できるLLMワークフローの秘密

金融機関は、効率性の向上、意思決定の改善、より効果的なリスク管理を目指し、人工知能（AI）や大規模言語モデル（LLM）の活用を試みています。本記事では、 CompatibLのアレクサンダー・ソコル執行会長兼クオンツ・リサーチ部門長が行ったRisk Live Europeのセッションに反映された調査結果を紹介します 。LLMの長所と限界を検証し、ビジネス・ワークフローに効果的に組み込む方法についての洞察を提供します。

資本市場の可能性

ソコルは、資本市場部門におけるLLMの大きな可能性について概説しました：「この業界は、膨大な量のデータと非構造化自然言語テキストの両方を分析・理解する必要があるという点で非常にユニークです。このため、自然言語を処理し、テキストとデータの橋渡しをする能力を持つLLMにとって、資本市場は完璧な分野なのです」。

セッション中に行われた聴衆の世論調査では、業界がこのような前向きな姿勢をほぼ共有していることが明らかになりました。聴衆の86%は、企業内でAIを使用することによる具体的なメリットをすでに実感しているか、今後2年以内に実感することを期待しており、4分の3以上は、コード、文書、データの生成など特定のビジネス目的でAIを信頼したいと考えています。

しかし、ソコル氏は、LLMの能力に対する信頼に影響を与えた「幻覚」や一見単純なミスなど、遭遇したいくつかの問題から逃げませんでした。「データ抽出などのタスクでLLMが失敗し、これらの問題を解決するのに苦労した経験がある人は多く、AIにデータ生成を任せたいと考える聴衆の割合が比較的低い（28％）のも、おそらくこのためでしょう」と同氏は指摘します。

LLMの人間らしい特徴を理解すること

これらの問題に取り組むため、ソコルはCompatibLの研究結果を概説しました。この研究結果は、AIベースの製品群の設計と構築に使用されており、幅広いLLMのユースケースに適用できます。「LLMベースのワークフローを構築する際に理解すべき重要な概念は、LLMは従来のコンピュータプログラムよりも人間の脳と共通点が多いということです。LLMが失敗するときは、人間と同じように失敗します。

人間と同じように、LLMは構造化されていないテキスト、音声、画像を処理する優れた能力を持っています。入力形式の変化にも強く、ロジックを使って不正確な指示に従うことができます。

しかし、 LLMは人間の認知の限界もいくつか受け継いでいます。 Sokolは、LLMが発達するにつれてこれらの弱点の一部は軽減されるでしょうが、完全になくなることはないと強調しました。したがって、これらの課題を克服する方法を理解することは、効果的で正確なLLMベースのワークフローを開発する上で極めて重要です。

LLMの限界への取り組み

想起の制限

重要な例として、LLMは長い文章を正確に記憶し、思い出すことができません。「テキストを意味に変換するプロセスは、入力の正確な保持が保証されていないことを意味し、テキストの量が増えるほどその可能性は低くなります」とソーコルは説明します。「人間と同じように、LLMは300ページの本全体の一般的な意味を記憶することができますが、半分のページの正確な単語を暗唱することは難しいでしょう」。

、大規模な文書からデータを抽出し、出力に挿入することは、エラーの重大なリスクを伴う可能性があることを意味します。

ビジネス・アプリケーションでLLMをうまく利用するために、ソーコル氏は、人間が実行できないタスクを設定しないようにアドバイスしています。例えば、LLMに広範なタームシートを記憶させ、取引の詳細を "記憶から "入力するよう要求するよりも、タスク中にドキュメントを参照できるようにした方が、LLMのパフォーマンスは向上します。

ソーコルはまた、マークアップ（LLMに文書内のデータ要素の場所を特定するよう依頼し、抽出に従来のコードを使用すること）やチェックリスト（取り込んだデータフィールドを記録し、必要なデータがすべて含まれていることを確認すること）などの戦略も提案しました。

レスポンスのばらつき

LLMが人間の意思決定と共有するもう1つの固有の特性は、反応のばらつきです。「ある社員が午前10時に作成した文書と午前10時1分に作成した文書をまったく同じにすることはないでしょうし、同じように有能な2人の社員が一字一句まったく同じ文書を作成することもないでしょう。

LLMの回答にも同様のばらつきがあるため、一貫性を必要とするビジネス・ワークフローでは課題が生じます。「このような課題に対処するには、人間によるばらつきやエラーに対処するのと同じ対策を講じる必要があります。「これには、LLMの能力の範囲内でタスクを割り当てること、LLMの基本的な限界を認識すること、継続的な人間による監督や検証ワークフローの下で確実に作業させることが含まれます。

認知バイアス

LLMと人間に影響を与えるその他の限界には、区別バイアスなどの認知バイアスや、"喜ばせようとする "潜在的な悪影響があります。「有害な認知バイアスを回避する方法を学ぶことは極めて重要です。「例えば、関連性をランク付けするタスクでは、LLMに単独で文書に絶対的なスコアを割り当てるよう求めると、信頼性の低い、ばらつきのある結果になります。しかし、文書同士の相対的な比較とランク付けをモデルに求めることで、はるかに正確で一貫性のある結果を得ることができます。

「LLMが、ユーザーが特定の答えを欲しがっていると感じた場合に現れる幻覚に対処するために、重要なのは、何を探しているのかを漏らさずに情報を得る方法を見つけることです。

高まるLLMへの信頼

ソコル氏は、CompatibLのような企業が自社のソリューションを公表し始め、LLMの能力に対する認識が高まるにつれて、データ抽出などのタスクに取り組むLLMの能力に対する業界の信頼は急速に高まると考えています。

「CompatibLは、データ抽出（自然言語の非構造化テキストを厳密にフォーマットされたデータに変換）と検証という、最も成功したユースケースを目にする分野に重点を置いてきました。「データ抽出は、最も迅速な進展が期待でき、LLMが信頼性の高い方法で作業できる場所です。成功か失敗かの厳密な基準があり、正確さのゴールポストも明確です。さらに、LLMの関与がユーザーから高く評価される分野でもあります。データ抽出と検証のケースの大半は、ユーザーが退屈で繰り返しが多く、やりがいがないと感じるものです」。

その一例として、ソコル氏はCompatibLのSecurity Prospectus Analyzerソリューションに注目しました。「私たちは、膨大な量の非常に反復的で退屈な作業が続くLLMにとって、これは素晴らしいチャンスだと考えています。

概要

「信頼性が高く、成功するLLMベースのワークフローを構築する鍵は、その限界を理解し、どこで失敗する可能性があるかを認識することにあります。「人間と同じように、LLMは結果にばらつきがあり、時にはミスを犯します。だからといって、人間に頼ることを止めることはできませんし、LLMに頼ることを止めるべきではありません。むしろ、人間が同じタスクを成功させるのに役立つような方法でLLMを設定する必要があるのです」。この重要な洞察は、資本市場分野でLLMを効果的に利用するための基本的な構成要素となるはずです。"

スポンサーコンテンツ