本文へスキップ
Fact Check Lab
存在が確かめられない参考文献を挙げた科学論文、2023年の1,600本に1本から2026年1〜3月は435本に1本へ 米コロンビア大などが50万本を調査

存在が確かめられない参考文献を挙げた科学論文、2023年の1,600本に1本から2026年1〜3月は435本に1本へ 米コロンビア大などが50万本を調査

公開日 更新日

米コロンビア大学などの研究チームは2026年10月26日、物理や化学など5分野の科学論文50万本を調べた結果を、米国科学アカデミー紀要(PNAS)に発表しました。(出典①)存在が確かめられない文献を参考文献に挙げていた論文は、2023年には1,600本に1本でしたが、2026年1〜3月には435本に1本まで増えていました。

調べた論文は、どれも専門家の審査(査読)を通って学術誌に載ったものです。研究チームは原因の候補にAIの文章作成ツールの使い方を挙げつつも、増えた原因をAIとは決めつけていません。

この記事でわかること

  • ・研究チームが、50万本の論文の参考文献をどう調べたか
  • ・存在が確かめられない文献の引用が、年ごと・分野ごとにどれだけあったか
  • ・数字を読むときの条件と、論文やAIが示した文献を確かめる方法

50万本の論文の参考文献のうち、2,160万件を照合した

論文を書いた研究者は、主張の根拠にした先行研究を参考文献として挙げます。研究チームは論文の冒頭で、参考文献は「確かめられる資料が存在し、その文を支えている」と示すものであり、発表されていない研究を指す参考文献は、読者やのちの研究者を誤らせかねないと書いています。

同じ研究チームは以前、生物医学の論文で同じような調査を行い、存在しない文献の引用が大規模に見つかったと報告しています。医学以外でも、別のチームが査読前の論文などで見つけた例はありました。一方、物理や工学、コンピューター科学などの学術誌の論文でどのくらいの割合で起きているかは、まだ測られていませんでした。今回の調査は、その割合と分野ごとの違いを確かめたものです。この論文は10月27日に、科学ニュースサイトStudyFinds(スタディファインズ)でも紹介されました。(出典②)

研究チームが調べたのは、2023年1月から2026年3月31日までに発表された、化学、物理、材料科学、工学、コンピューター科学の5分野の論文です。学術論文の情報を集めた公開のデータベース「OpenAlex(オープンアレックス)」から、分野ごとに無作為に選んだ50万本で、査読前の論文(プレプリント)は含みません。

50万本から取り出した参考文献は2,620万件です。このうち、論文ごとに付く識別番号(DOI)が付いていて、たどれる2,160万件(約82%)を対象にしました。DOIからたどった論文の題名と、参考文献に書かれた題名を機械で突き合わせ、食い違うものを絞り込んでいます。

絞り込みの途中では、AI(米Anthropic(アンソロピック)の「Claude 3.5 Haiku」)を使い、書式の違いにすぎないものを除きました。残った題名は、OpenAlex、Crossref(クロスレフ)、PubMed(パブメド)、Semantic Scholar(セマンティック・スカラー)、Europe PMC、Google Scholar(グーグル・スカラー)、検索エンジンのDuckDuckGo(ダックダックゴー)の7つで探しています。どこにも見つからなかったものを、研究チームは「fabricated(捏造された)」と分類しました。ただし研究チームは、この分類は「確かめられるかどうか」を表すもので、著者にだます意図があったかどうかは表さないと明記しています。

存在が確かめられない文献は1,135件、論文619本で見つかった

7つのどこにも見つからなかった参考文献は1,135件で、論文619本にわたっていました。分類の正しさを確かめるため、2人の専門家が、機械の判定を知らされないまま、その中から無作為に選んだ400件を別々に調べています。分類どおり見つからない文献だと専門家が確かめたのは、そのうち85.8%でした。機械の分類には誤りも含まれており、1,135件のすべてを専門家が確かめたわけではありません。

こうした文献を含む論文の割合は、調べた期間を通して上がり続けています。

  • ・2023年:1,600本に1本(1万本あたり6.3本)
  • ・2025年:650本に1本(1万本あたり15.4本)
  • ・2026年1〜3月:435本に1本(1万本あたり23.0本)

2026年は3月31日までの途中の期間です。研究チームは、調べた期間全体の分野ごとの割合を、同じ期間にOpenAlexに載っている5分野の論文約700万本に当てはめると、約8,500本が存在の確かめられない文献を少なくとも1件含む計算になるとしています。

分野による差も大きく、期間全体で見ると、物理と化学では約6倍の開きがありました。1万本あたりの本数は以下のとおりです。

分野調べた論文の数見つかった論文の数1万本あたり
物理43,75611225.6
材料科学52,7849718.4
コンピューター科学とAI116,10712911.1
工学211,50821710.3
化学37,496164.3

注:PNAS掲載の論文(2026年10月26日発表)の表1。分野は学術誌ごとの分類によるもので、50万本のうち5分野に入るのは46万1,651本。619本のうち48本は、5分野以外に分類された学術誌の論文か、分野が割り当てられていない論文のため、表には入っていない

化学の数字は、実際より低く出ている可能性があります。OpenAlexが、分析化学や物理化学の一部の学術誌を生化学の分野に振り分けているためです。研究チームは、そのため実際の分野の差は約6倍より小さいかもしれないとしています。分野の差が生まれる理由について、研究チームは次のような可能性を挙げています。

  • ・掲載までの期間:期間が短い分野ほど、同じ調査期間の中で早く、高い割合で見つかりやすい
  • ・査読前の論文の使われ方:物理では査読前の論文を公開するサイト(arXiv)が研究者の情報交換の中心で、査読前の資料を引くのが当たり前な分、確かめられない文献が見過ごされやすいかもしれない
  • ・AIの使われ方:文章を作るAIが論文の執筆に使われる度合いが、分野によって違う

ただし、どれも確かめられたわけではなく、理由を説明するにはさらに研究が要るとしています。

1本に1〜2件の論文が9割、5件以上の27本に全体の3分の1以上が集まっていた

619本の内訳を見ると、存在の確かめられない文献が1件だけの論文が518本、2件が47本で、1〜2件の論文が565本(91.3%)を占めました。一方、5件以上を含む論文は27本しかありませんが、見つかった文献全体の3分の1以上がこの27本に集まっていました。

1〜2件だけの論文は、引用の単純な間違いの可能性もあると研究チームはみています。1件あるというだけで、論文の訂正や撤回が必要かどうかは決まらず、出版社が1本ずつ判断する必要があるという立場です。そのうえで、5件以上を含む27本は、優先して確かめるべきだとしています。

調べた時点で撤回されていた論文は、619本のうち2本だけでした。2本とも5件以上を含む27本には入っておらず、撤回の理由に存在しない文献の引用が挙がっていたのは1本です。残る617本(99.7%)には、撤回、訂正、編集部からの懸念の表明のいずれも記録されていませんでした。

研究チームは、発表から日が浅い論文も多く、この数字は調べた時点のもので最終的な数ではないと断っています。また、掲載の前に編集者や査読者が何を見つけていたかは、この記録からは分からないとしています。

研究チームは、増えた原因をAIだと結論づけていない

論文は、存在しない文献が入り込む経路として、偽の論文を量産する業者(ペーパーミル)、そのほかの研究不正、AIの文章作成ツールを確かめずに使うことを挙げています。大規模言語モデル(ChatGPTなどの文章を作るAIのもとになる技術)は、もっともらしいが架空の参考文献を作ることがあるとも書いています。

それでも、増えた原因をAIだとは結論づけていません。論文の投稿から掲載までには数か月かかることが多く、増えた時期の重なりだけでは、ほかの原因と区別できないためです。論文は、今回の結果は大規模言語モデルが関わったことを示すものではないとしています。

数字の読み方にも条件があります。たどれるDOIの無い約18%の参考文献は調べておらず、見落とした文献がどれだけあるかも見積もっていません。研究チームは、実際の割合はこの数字より高い可能性も、低い可能性もあるとしています。また、専門家の確認で分類どおりだったのは85.8%で、機械の分類には、専門家が分類どおりとは認めなかったものも含まれています。

研究チームは、投稿の時点での自動の照合を提案している

存在しない文献は、発表された論文の記録と照らし合わせれば見つけられます。研究チームはこの点を挙げ、論文が投稿された時点で参考文献を自動で確かめることと、すでに発表された論文をさかのぼって調べることを挙げました。さらに、存在しない文献の引用を、盗用やデータの改ざんとは別の種類の問題として、論文のデータベースや研究不正の記録に残すよう提案しています。

問題の論文や著者が分かる個別の記録は、公開されていません。出版社が確かめる前に、存在しない文献を特定の著者のものとして広めないためです。個別の記録は、編集者や査読者が求めれば提供するとしています。

論文やAIが示した参考文献は、原典を開いて確かめる

今回の結果は、査読を通って学術誌に載った論文でも、参考文献がすべて実在するとは限らないことを示しています。仕事の資料やレポートで、ある論文が挙げている参考文献を孫引きするときは、その文献を自分で開いて、実在するか、書かれた内容を本当に支えているかを確かめてから使うのが安心です。

ChatGPTなどのAIに参考文献を挙げてもらったときは、研究チームが使った照合の方法が参考になります。DOIが付いていれば、そのDOIで開いた論文の題名が、AIが示した題名と同じかを見ましょう。DOIが無ければ、題名をそのままGoogle Scholarなどで検索し、同じ著者と発表年の論文が出てくるかを確かめておくと安心です。

まとめ

米コロンビア大学などの研究チームが科学論文50万本を調べたところ、存在が確かめられない文献を参考文献に挙げた論文は、2023年の1,600本に1本から、2026年1〜3月の435本に1本へと増えていました。撤回されていたのは619本のうち2本だけで、研究チームは投稿の時点での自動の照合を提案しています。

増えた原因がAIだとは、まだ分かっていません。それでも、査読を通った論文やAIが示した参考文献を使うときは、DOIで開いた題名が同じか、題名で検索して同じ論文が出てくるかを、自分で確かめてから使いましょう。

出典
Fact Check Lab編集部

この記事を書いた人

Fact Check Lab編集部

世の中で話題になっている情報のみならず、生成AIの精度やハルシネーションの検証・分析を行う編集部。誤情報は、意図的な嘘だけでなく、事実の一部が伝わる過程で欠け落ちたり、文脈から切り離されたりすることでも生まれる。だからこそ、疑うことよりも確かめることを大切にする。不偏不党の精神で発信元をたどり、一次情報にあたる。

ファクトチェック

AIやライターが見逃す誤りを、根拠から正す

精鋭のベテラン

校閲者の平均経験年数 15年以上

全ジャンル対応

分野に特化した校閲者が在籍

ファクトチェックサービスを見る

関連記事