【AIファクトチェック時代の常識アップデート・前編】AIは流暢になるほど、間違いは埋もれる

国立情報学研究所・相澤彰子教授が語る、"流暢さ"に潜む編集者への罠と、生成AI時代の情報検証

記事執筆、要約、下調べ、翻訳──生成AIは、すでに編集・報道の現場に深く入り込んでいます。そのなかで無視できないのが、AIが自信満々に事実と異なる回答を返す「ハルシネーション」です。

厄介なのは、生成AIが書き出す文章が、編集者でも一読では違和感を覚えないほど流暢に整うようになったことです。自然になるほど、そのなかに紛れ込んだ事実の入れ替わりや実在しない引用は、目に留まりにくくなります。これが、生成AI時代の編集者が最初に直面する新しい難所です。

前後編の前編では、国立情報学研究所（NII）で自然言語処理・大規模言語モデル研究に取り組む相澤彰子教授に、"流暢さこそが罠になる"生成AIの本性、賢いモデルほど検証コストが上がる逆説、そして編集現場が意識すべき運用の勘所をうかがいました。

流暢になるほど、間違いは埋もれる──賢いAIほど、なぜ検証が難しくなるのか

生成AIは、日々賢くなっています。ChatGPTやClaudeが書き出す文章は、いまや専門の編集者でも一読しただけでは違和感を覚えないほど流暢に整っています。しかし、この"流暢さの進化"は、編集現場にとって手放しに歓迎できる変化ではありません。相澤教授は、モデルの性能向上と、記事の検証の難易度が、実は反比例で結びついていると指摘します。

問題は、この"流暢さ"が事実性をまったく保証しないことです。むしろ流暢に書かれているからこそ、記事の中で数字が微妙にずれていたり、実在しない引用が混ざっていたり、要約の途中で結論が入れ替わっていたりしても、編集者の目を素通りしてしまいます。相澤教授は、この背景にLLMの設計原理そのものがあると指摘します。

「モデルが賢くなるほど、文章は自然になり、もっともらしく説明する力も高くなります。その結果、間違いが含まれていても人間が気づきにくい場面が出てくる。『賢いモデルを使えば安全』という単純な話ではありません」（相澤教授）

「もっともらしさ」を最大化するように設計された装置が、いまや「もっともらしすぎて疑う気にならない」水準に到達している──これが、生成AI時代の編集現場が最初に受け止めるべき前提です。読みやすさを"文章として読む"だけでは、事実の入れ替わりや実在しない引用は素通りしてしまいます。残されているのは、内容の一つ一つを一次資料と突き合わせる、地道な検証作業です。

「AIの原稿は日本語として整っているから、細部までは見なくていい」──この一瞬の判断が、そのままハルシネーションを通過させる判断になります。「書き手として乗り気になれる自然な文章」ほど、原典を開き直す──AIアシストが標準化した編集現場ほど、このシンプルなルールをいま徹底しておく必要があります。なお、研究の世界ではハルシネーションを4つのタイプ（①事実誤認／②資料との食い違い／③指示への不忠実／④推論の筋道の誤り）に分類する整理があり、業務ごとに出やすい型は明確に偏ります。生成された記事案の事実性チェックでは①、要約・翻訳では②、指定した文字数や構成を守らせる場面では③、記者の取材メモから因果関係を組み立てさせる場面では④が顔を出す──というように、業務単位でどの型が出やすいかを棚卸ししておくと、検証工程の設計がブれるません。ハルシネーション対策を「一括で導入」しようとすると、必要な検証を取り違えかねない、という点も編集組織として押さえておきたいところです。

生成AIの浸透は、編集現場の"検証の総量"を減らしたのではなく、"検証の対象と質"を根本から変えました。文字面のズレは校正ツールで拾えても、意味レベルで事実がすり替わっているかを見抜く工程は、これまで以上に人間の頭を消耗させます。「AIで作業が楽になった」と感じている現場ほど、誤情報を通過させるリスクは静かに高まっている──ハルシネーションを軽視できない理由は、この非対称性にあります。

AIは「正しさ」ではなく「それらしさ」を最大化している

なぜAIは、こうも自信たっぷりに間違えるのでしょうか。相澤教授は、LLM（大規模言語モデル）の設計原理そのものを挙げます。

「LLMの仕組みそのものが、もともと「正しい出力」を出すように設計されてはいなくて、「流暢でそれらしい答え」を出すように設計されているんです」（相澤教授）

LLMは、これまでに学習した膨大な文書から「次に来そうな単語」の確率分布を計算し、その分布に従って一つずつトークン（単語のかたまり）を選ぶ、という処理を延々と繰り返しています。ここで最大化されているのは「もっともらしさ」であって、「事実性」ではありません。

つまりハルシネーションは、システムの故障やバグというより、LLMの設計原理から避けがたく生じる振る舞いだと考えたほうが実態に近いということになります。相澤教授は「ハルシネーション自体は絶対にやってはいけないことではない」とすら語ります。アイデアの壁打ちや相談相手として、多少の"嘘"は柔軟な応答の源にもなるからです。

「LLMの「豊かさ」とハルシネーションは、ちょっと表裏一体のところがあるんです。ハルシネーションが一切起きないシステムは、多分とても使いにくい」（相澤教授）

編集の現場から見れば、この非対称性は覚悟すべき前提になります。AIは「流暢さ」で編集者に信頼を要求してきます。しかし、その流暢さと「事実性」は、そもそも別の話なのです。

編集現場において特に気をつけたいのは、AIの出力の"読みやすさ"が、一次資料と突き合わせる労力を減らしてくれるように錯覚させる点です。書き手として乗り気になれる自然な文章が返ってきたときこそ、原典を開き直す──というルールを、AIアシストが標準化した現場ほど徹底する必要があります。「AIの原稿は日本語として整っているから、細部までは見なくていい」という判断は、そのままハルシネーションを通過させる判断になります。

加えて忘れてはならないのが、AIには元来、"検算"の概念がないという一点です。人間の書き手は、原稿を書き終えたあとに数字の裏を取り、疑わしい断言を弱め、引用の再確認まで済ませるという自己検証の作法を持ちますが、AIは「生成した瞬間に処理が終わる」仕組みです。書き手の中に自浄作用がない以上、その"検算"は編集の側で完全に肩代わりする覚悟が要ります。ファクトチェックの重心が、書き手から編集・校閲へと大きく移っている──この移行を組織として認識できているかどうかが、AI時代のジャーナリズムの品質を分けます。

「賢いモデル」ほど、間違いが埋もれる

同じAIでも、精度の高い最新モデルを使えば少なくとも安全度は上がる──そう考えたくなるところですが、相澤教授はここでも一段のブレーキをかけます。前章で見たとおり、モデルが賢くなるほど文章は流暢になり、間違いが埋もれやすくなる。加えて教授が最近特に警鐘を鳴らすのが、"量"の問題です。

「私が最近特に問題だと感じているのは、モデルが賢くなり、人間が読み解ける量を超えた大量の応答を返してくるケースです。その内容を確認するためにさらにLLMの支援が必要になり、結果として人間は要約だけを見る、という状況も出てきます」（相澤教授）

もう一つ、教授が最近特に警鐘を鳴らすのは、賢いモデルほど「読み解ける量を超えた大量の応答」を返してくる問題です。内容確認のためにさらにAIの支援が必要になり、結果として人間は要約しか見ない──こうした状況が、編集現場でもすでに始まっています。

「答えが間違っているかどうか」だけではなく、「そもそも人間が全文を検証できているか」というレイヤーで、AIの誤りは編集現場の目をすり抜けるようになってきています。ファクトチェッカーにとってのハードルは、AIの性能向上と反比例して上がっているとも言えるでしょう。

具体的な運用としては、AIに長文を一気に書かせない、要約させても検証可能な粒度で戻す、出力が長くなった段階で自動的にファクトチェック工程を挟む──といった、生成量そのものを制御する設計が有効です。「どれだけ賢いAIを使うか」よりも、「人間が全文を読み切れる粒度に切り分けられるか」が、編集品質を左右する時代に入りつつあります。

すでに「AI執筆論文」が科学の場に流入している

生成AIの浸透は、報道や編集の現場だけの話ではありません。相澤教授によれば、科学論文の世界でもすでにAIによる執筆が現実になっており、研究者コミュニティは危機感を隠しません。

「科学も危ないです。論文はAIが執筆できますので、論文そのものの信頼性をいかに保っていくかはとても重要ですが、そのためにもAIの技術が必要という、逆説的な状況が生じています。AIツールが論文をレビューする、信頼性をチェックする。人間ではとてもカバーしきれない」（相澤教授）

一次資料としての論文すら「AIに書かれ、AIに査読される」時代──その構造は、ジャーナリズムや編集出版の現場と同じ課題を抱えています。人間が全量を検証できない以上、AIによる検証の輪を組み込まざるをえません。しかし、その検証AIが正しいかどうかは、また別の話です。

相澤教授は、「ハルシネーションで世界は滅ばなかったから、もしかしたら何とかなるのかもしれない」とも言います。半分は諦めではなく、対応が追いついてきた事実に対する評価でしょう。しかし、それが人任せ・AI任せで達成されたわけではないことは、編集の仕事に携わる者ほど痛感するはずです。

編集出版・報道の現場でも、査読プロセスや校正フローに「AI利用の申告」「生成物と原稿の履歴保存」「AIが生成した記述の色分け」といった仕組みを組み込む動きが出始めています。ハルシネーションを「個々の記事の問題」から「組織のワークフローの問題」へと引き上げる発想が、これから問われる編集の仕事の要件になっていくでしょう。

もう一段、意識しておきたいのが、生成AI由来の誤情報が"独自の広がり方"をする可能性です。AIが誤って書いた事実は、AI同士の学習・要約の連鎖のなかで別の記事にも流入し、SNSに乗れば「複数のソースが同じことを書いている」という錯覚を生みます。一次資料に立ち返るという編集の基本動作は、ハルシネーション時代においては個人の職人技ではなく、"組織としての防御ライン"の意味を帯びていきます。ファクトチェックが機能不全に陥った編集組織は、単発の誤報を出すだけでは済まず、誤りに気づけないまま次の原稿を作り続ける──情報の信頼性を静かに蝕む慢性疾患のような状態に陥ります。

後編では、対策の本命とされるRAG（検索拡張生成）の限界、「出典付き」の危うさ、AIをAIに検証させる技術の現在地、そしてファクトチェックの現場に残された「気づける力」について、相澤教授の見立てを追っていきます。