ミシガン州立大学が主導した先駆的な研究により、AI ペルソナは人間の欺瞞を検出するにはまだ信頼性が高くないことが明らかになり、現在の AI テクノロジーの能力には将来性があると同時に重大な限界があることが示されました。
人工知能は、人が嘘をついていることを効果的に見抜くことができるのか？ミシガン州立大学を率いる研究者たちは、この挑発的な問いを探求し、人間の嘘を見抜くAIの能力と限界を検証する野心的な研究に着手した。
掲載 『Journal of Communication』に掲載されたこの研究では、19,000人以上のAI参加者による12の実験が行われ、AIペルソナが人間の被験者が語った真実と嘘をどれだけ正確に区別できるかが精査されました。
「この研究は、AIが社会科学研究においてどれだけ嘘の検出を助け、人間のデータをシミュレートできるかを理解するとともに、嘘の検出に大規模言語モデルを使用する際に専門家に注意を促すことを目的としています」と、ミシガン州立大学コミュニケーション芸術科学部のコミュニケーション学准教授で筆頭著者のデビッド・マーコウィッツ氏はニュースリリースで述べた。
研究者らは分析を実行するために、真実デフォルト理論（TDT）を利用した。これは、人間は一般に他人が正直であると信じる傾向があり、それが進化上有利であると考えられる特性であることを示唆している。
この自然な「真実バイアス」を理解することで、AI の検出応答を人間のものと比較するためのベンチマークが得られました。
「人間には生まれながらに真実バイアスがあり、実際にそうであるかどうかに関わらず、私たちは一般的に他人が正直であると想定します」とマーコウィッツ氏は付け加えた。「この傾向は進化論的に有益だと考えられています。なぜなら、常に誰かを疑うことは多大な労力を要し、日常生活を困難にし、人間関係に負担をかけることになるからです。」
この研究では、Viewpoints AI研究プラットフォームを採用し、AI審査員に被験者の視聴覚メディアと音声のみのメディアを提示しました。
AIのタスクは、発言の真偽を判断し、その判断を正当化することでした。メディアの種類、文脈的背景、嘘と真実のベースレート、AIペルソナといった変数を操作し、それらが検出精度に与える影響を評価しました。
本研究で注目すべき発見の一つは、AIが「嘘バイアス」を示し、真実（19.5%の精度）よりも嘘（85.8%の精度）の識別において著しく優れた性能を示したことです。AIは短時間の尋問状況では人間の嘘検出能力と同等でしたが、尋問以外の状況では人間と同様の真実バイアスを示し、その差は歴然としていました。
「私たちの主な目的は、AIを嘘検出実験に参加させることで、AIについて何が学べるかを検証することでした。この研究と私たちが使用したモデルでは、AIは文脈に敏感であることがわかりました。しかし、だからといって嘘を見抜く能力が向上するわけではありませんでした」とマーコウィッツ氏は付け加えました。
この調査結果は、AIの現状の能力が欺瞞検知において人間の精度に及ばないことを強調しています。これは、AIの現状の限界、そしてAIがこのような用途に効果的に活用できるようになるまでにはかなりの進歩が必要であるという重要な疑問を提起します。
「人々が嘘を見抜くためにAIを活用したい理由は容易に理解できます。AIはハイテクで、公平で、おそらくは偏りのない解決策のように思えるからです。しかし、私たちの研究は、まだそこまでには至っていないことを示しています」とマーコウィッツ氏は結論付けました。「AIが真に嘘を見抜く能力を持つようになるには、研究者と専門家の両方が大幅な改善を行う必要があります。」
オクラホマ大学のティモシー・レバイン氏がこの研究の共著者である。
出典： ミシガン州立大学