AIチャットボット向け「うそ発見器」、LLMの幻覚見抜く

大規模言語モデル（LLM）は、でっち上げの能力で有名だ。実際、それがいちばんの得意技である。大規模言語モデル自体に事実とフィクションを区別する能力はないため、リスクを負ってまで利用する価値があるだろうかと迷っている企業は多い。

マサチューセッツ工科大学（MIT）の量子コンピューティング研究室からスピンアウトした人工知能（AI）スタートアップ企業、クリーンラボ（Cleanlab）が開発した新ツールは、大規模言語モデルの現実の信頼性のレベルを、できるだけ明確に把握できるように設計されている。同社の「トラストワージー・ランゲージモデル（TLM：Trustworthy Language Model）」は、大規模言語モデルが生成した出力に対して、その内容の信頼性の高低に応じて0から1までのスコアを出してくれる。ユーザーはこの数値を見て、信じていい回答と捨てるべき回答を選択できる。つまり、チャットボット用うそ発見器だ。

このツールを使うことで、捏造ぶりを懸念する企業も大規模言語モデルの活用を検討するようになってほしい、とクリーンラボは期待している。「大規模言語モデルで世界が変わることは誰でも分かっていると思います。ただ、ハルシネーション（幻覚）がネックになっているのです」と、クリーンラボのカーティス・ノースカットCEOは言う。

人間がコンピューター上で情報を検索する方法として、チャットボットは急速に主流になりつつある。検索エンジンも、チャットボットのテクノロジーを念頭に設計し直されている。毎日数十億人が、学校の課題からマーケティング用コピー、財務報告書に至るまであらゆる書類の作成に使用しているオフィスソフトウェアにも、最近ではチャットボットが組み込まれている。だが、元グーグル社員が立ち上げたスタートアップ企業、ベクタラ（Vectara）が2023年11月に発表した研究報告によると、チャットボットは少なくとも3%の確率で情報を捏造することが分かった。そのくらいなら、と言われるかもしれないが、多くの企業にとっては許容できない誤りかもしれない。

クリーンラボのツールは、企業間紛争と調査が専門の英国のコンサルタント会社、バークレーリサーチグループ（Berkeley Research Group）など数社ですでに採用されている。バークレーリサーチグループのスティーブン・ゴーソープは、これまでに見られたようなハルシネーションの問題に対して実効性があるソリューションは、TLMが初めてだと言う。「クリーンラボのTLMは、数千人のデータ科学者の仕事に匹敵します」。

2021年、クリーンラボは、機械学習アルゴリズムの訓練に使われる34の一般的なデータセットのエラーを検出するテクノロジーを開発した。同データを用いて訓練したさまざまなモデルの出力の差分を測定する仕組みである。このテクノロジーはすでに、グーグル、テスラ（Tesla）、銀行大手チェース（Chase）をはじめ、複数の大企業で使用されている。TLMも、基本的には、モデル間の不一致をシステム全体の信頼性の尺度として使えるという同じ発想をチャットボットに適用したものだ。

MITテクノロジーレビューが先日、クリーンラボにデモを …