LLMの普及に伴い、クオンツは「語彙リスク」に直面している

今年初め、大規模言語モデル（LLM）の信頼性に関する問題に取り組んできたクオンツ兼研究者のマシュー・ディクソン氏は、これらのモデルがどれほど信頼できるかを検証したいと考えました。そこで彼は、OpenAIのGPT-4.1 Miniに対し、今後5日間の米国株式市場のムードを予測させる実験を行いました。

最初の実験では、かつてRisk.netの 「クオンツ・オブ・ザ・イヤー」に選ばれたディクソン氏は、モデルに対して「リスクオン」や「リスクオフ」が何を意味するかといった定義を提示し、S&P 500のリターンやボラティリティ水準など、直近数日の市場データのスナップショットを学習データとして与えました。その結果、人工知能は市場の見通しについて「まちまち」との判断を下しました。

2回目の実行では、ディクソン氏はクエリの順序を入れ替え、まず過去の要約情報を提供し、その後に定義を提示しました。すると今回は