豆蔵の研究グループ、「誤った規則性を認識可能なLLMの現象」を明らかに

重要な研究成果とその意義

この研究では、Large Language Model（LLM）が実際には存在しない誤った規則性を見出してしまう現象を発見しました。これは、LLMが自身で誤りを認識できるにも関わらず、誤った規則性を出力することがあるという点で、社会的な利用において重要な問題を提起します。

研究の背景と応用

LLMは、情報に基づいて論理的に判断する能力が不可欠です。豆蔵と立教大学の研究では、LLMが数列から規則性を導出する課題において、誤った規則性を認識する事例を評価しました。試みの結果、全ての評価対象LLMが誤った規則性を示すことがあり、システムの誤応答につながるリスクがあることが明らかになりました。
具体的な研究成果として、「The Idola Tribus of AI: Large Language Models tend to perceive order where none exists」という論文が、自然言語処理分野の国際会議EMNLP 2025に採択され、https://2025.emnlp.org/ および https://aclanthology.org/2025.findings-emnlp.681/ にて公開されています。

社会への影響と今後の展望

LLMの誤った判断は、社会的なディシジョンメーキングプロセスにおいて深刻な結果を招く可能性があります。豆蔵では、このリスクを最小限に抑えるための戦略として、適切な情報を参照できるようシステムを設計することがカギとなると強調しています。
また、豆蔵ではAI技術の研究開発だけでなく、生成AI活用サポートサービスを提供し、https://www.mamezou.com/services/strategic/genai_consul で詳細が確認できます。さらに、AI技術を活用した数多くのサービスを提供し、実社会でのAI導入を積極的に支援しています。