litlas
ログインアカウント作成
AI の活用

論文要約AIの使い方：出典ではなく、過度な一般化を確かめる

論文を検索してから答える仕組みによって、存在しない出典を作る問題はほぼ防げるようになりました。防げていないのは、実在する論文を読み違えるほうです。しかも、その読み違えは「原文より広く一般化する」という形で測定されています。AIに何を渡すか、出てきた要約のどこを確かめるか、そして投稿に使うときの責任の所在をご紹介します。

執筆 Litlas 編集部確認 Litlas 編集部

この記事は AI を使って下書きし、公開前に人が内容を確認しています。

AIによる論文要約についての注意は、そのほとんどが「存在しない出典を作ってしまう」という話です。2023 年にはそれが正しい心配でしたが、現在では当てはまらなくなりつつあります。この用途に作られたサービスは、先に文献を検索し、検索した結果だけを材料にして答えるため、出典を作り出す段階そのものが無くなっているためです。

残っているのは、もっと目立たない誤りです。実在する論文を取ってきて、出典も正しく示したうえで、その論文が述べた範囲より少し広く一般化する、という誤りです。確かめるべきなのはこちらであり、しかもこの誤りには測定された形があります。

AI要約の壊れ方 3 通りと、検索では防げない 1 つ

Consensusは、文献を検索してから答えることを中心に据えたサービスです。この問題を自社のページで 3 つに分けています[2]。

  1. 存在しない出典：実在しない論文を引用してしまう。
  2. 誤った事実：出典を示さず、モデルの記憶から答えて、内容が誤っている。
  3. 出典の読み違え：実在する論文を要約し、正しく引用したうえで、内容を取り違える。

Consensusの説明では、前の 2 つは同サービスの仕組みでは構造上起こりません。生成の前に検索が実行され、引用される論文は必ず検索で得られたものだからです。そのうえで、3 つ目についてはこう認めています。「完全なAIシステムは存在しません。モデルが論文を誤って解釈し、誤った要約を出すことはあり、それはConsensusでも起こりえます。」

この但し書きが、現在の到達点を正直に表しています。検索を先に実行する仕組みが解決するのは、その出典がどこから来たかです。その出典が何を示していたとモデルが述べたかは解決しません。

検索を伴わない汎用のチャットボットは事情が違うので、古い心配がそのまま当てはまります。WaltersとWilderは、ChatGPTに 42 の主題で文献レビューを書かせ、出てきた 636 件の引用をすべて確認しました[8]。GPT-3.5 が挙げた引用の 55%、GPT-4 が挙げた引用の 18%が、実在しない文献でした。検索機能を持たないチャットボットに質問を貼り付けているなら、他の何よりも先に、挙げられた文献が実在するかどうかを確認してください。

読み違えは過度な一般化として現れる

PetersとChin-Yeeは、ChatGPT-4o・ChatGPT-4.5・DeepSeek・LLaMA 3.3 70B・Claude 3.7 Sonnetを含む 10 のモデルを対象に、生成された 4,900 件の要約を、もとになった科学的文章と比べました[5]。覚えておく価値のある結果が 3 つあります。

  • 正確さを明示して指示しても、モデルは原文より広く一般化します。正確さを求める指示を与えても、この傾向は消えませんでした。DeepSeek・ChatGPT-4o・LLaMA 3.3 70Bでは、 26%から 73%の事例で一般化が起きています。
  • 人が書いた要約よりはるかに多く起こります。同じ研究を人が要約したものと比べると、LLMによる要約に広い一般化が含まれる確率は約 5 倍でした（オッズ比 4.85、95%信頼区間は 3.06 から 7.70）。
  • 新しいモデルのほうが安全とは限りません。一般化の正確さについては、新しいモデルのほうが以前のモデルより成績が悪い傾向が見られました。

具体的には、留保を示す語が消えるという形で現れます。「関連が見られた」が「減少させる」になります。「240 名の成人からなるこのコホートでは」が「成人では」になります。「示唆される可能性がある」が「示している」になります。1 つ 1 つの書き換えは小さく、それ単独では弁護もできます。しかし積み重なると、慎重に述べられた知見が、著者が述べていない主張に変わります。

抄録ではなく本文を渡す

短くて誰でも読めるので、貼り付けたくなるのは抄録です。しかし論文の中で、抄録は要約の材料として最も危険な部分です。

Pitkinらは、主要な医学雑誌 6 誌について、抄録の記述を本文と照合しました[6]。本文と食い違う数値、あるいは本文に存在しない数値が含まれていた抄録は、雑誌によって 18%から 68%にのぼりました。Boutronらはさらに踏み込み、主要評価項目に統計的な有意差が出なかった試験を調べています[1]。その抄録の結論のうち 58.3%にスピン、つまり有意差が無くても治療が有益に見えるように書く報告上の工夫が含まれていました。

したがって、抄録だけを渡して要約させると、2 つの歪みが重なります。まず著者による見せ方があり、そのうえにモデルの一般化が加わります。

本文を渡し、そのうえで範囲を絞ってください。Tangらは、モデルが「重要な情報を特定することに苦労し、長い文脈を要約するときほど誤りやすい」と報告しています[7]。ゆえに、PDF全体を渡すことが常に最善とは限りません。実際には次のように使います。

  • 正確さが必要な問いでは、1 つの節ずつ渡します。方法の節、結果の表、限界の節といった単位です。
  • 結論の前に引用させます。「述べる主張ごとに、その根拠となる文を原文から引用してください」と指示します。
  • 標本と設定を明示的に尋ねます。この 2 つが最初に消えるためです。

出力を確かめる 3 か所

  1. 範囲を示す語を確かめます。要約の主語と、論文の対象集団を比べてください。論文が 1 つの病院の成人 240 名を調べているのに、要約が「患者」と書いていれば、範囲が動いています。
  2. 述語を確かめます。関連を示す述語は、そのまま残っていなければなりません。「関連する」「相関する」「予測する」などです。要約に因果を示す述語が現れているなら、論文の側に因果を示せる研究デザインが必要です。
  3. 数値を表と照合します。Tangらは、自動評価指標が要約の実際の質とあまり対応しないことも報告しています[7]。これは一般的な警告として受け取ってください。この作業を代わりに採点してくれるものはありません。表を開いて確かめます。

この 3 か所では、要約ではなく原文の該当箇所を読みます。その原文が英語で、そこで時間を取られるのであれば、1 本目を最後まで読み通す手順を英語論文の読み方にご紹介しています。

投稿に使うときの責任の所在

ここまでの作業の結果が原稿に入るなら、責任の所在は動きません。ICMJEの勧告は 1 文で述べています[3]。「AI支援技術の利用を含む投稿物について、責任を負うのは人間である。」Nature Portfolioの方針も構造として同じことを述べており[4]、「人間の説明責任は移転できない」としたうえで、著者は「独創性・正確性・完全性について全面的に責任を負い続ける」と求めています。

この 2 つは注意書きではなく、自分が何に署名するのかについての説明として読んでください。

設定なしで、論文をAIに渡す方法

ここまでの手順で面倒なのは、機械的な部分です。論文を見つけ、そこから実際の本文を取り出し、モデルを開き、貼り付け、プロンプトをもう一度書く、という流れです。

Litlasには、この流れを 1 クリックにまとめる✨ボタンがあります。いま開いている論文の本文を渡します。保存したWebページでも、執筆中のドキュメントでも構いません。プロンプトを用意した状態で、ChatGPT・Claude・Gemini・Gemini Notebookのいずれかを新しいタブで開きます。ボタンを右クリックまたは長押しすると、何を渡すかをその場で変更できます。受け渡しは論文 1 本ごとなので、同じ論文を 2 つのモデルに渡し、同じ方法の節について何を述べるかを比べられます。片方のモデルだけが行った一般化に気づくための、手軽なやり方です。

論文そのものは、16 の学術ソース（OpenAlex・Crossref・DataCite・OpenCitations・ROR/ORCID・arXiv・DBLP・OpenReview・ACL Anthology・PubMed・PMC Open Access・DOAJ・CORE・OpenAIRE Graph・Unpaywall・Common Crawl）を 1 回の検索で横断して集められます。残した論文はボードへ入れて自分のメモを付けられ、BibTeX・RIS・CSL-JSONで書き出せます。

無料プランはカード登録なしで今すぐ使えます。

→いますぐLitlasを試す

覚えておくべき 3 つのこと

  1. 先に検索してから答えるサービスは、存在しない引用をほぼ防げるようになりました。実在する論文を読み違える問題は防げておらず、各社自身がそう述べています。
  2. 測定されている誤りは過度な一般化です。正確さを求める指示では消えません。範囲を示す語と述語を、論文自身の文と照合してください。
  3. 抄録を要約させると、著者による見せ方の上にモデルの一般化が重なります。本文から作業してください。

参考文献

  1. Boutron, Isabelle; Dutton, Susan; Ravaud, Philippe; Altman, Douglas G. Reporting and interpretation of randomized controlled trials with statistically nonsignificant results for primary outcomes. JAMA, 2010, 303(20), p. 2058-2064. https://doi.org/10.1001/jama.2010.651
  2. Consensus. How Consensus Works. https://framer.consensus.app/home/blog/how-consensus-works/, (参照 2026-08-22).
  3. ICMJE. Use of Artificial Intelligence by Authors. Recommendations for the Conduct, Reporting, Editing, and Publication of Scholarly Work in Medical Journals. https://www.icmje.org/recommendations/browse/artificial-intelligence/ai-use-by-authors.html, (参照 2026-08-22).
  4. Nature Portfolio. Artificial Intelligence (AI). Editorial Policies. https://www.nature.com/nature-portfolio/editorial-policies/ai, (参照 2026-08-22).
  5. Peters, Uwe; Chin-Yee, Benjamin. Generalization bias in large language model summarization of scientific research. Royal Society Open Science, 2025, 12(4), 241776. https://doi.org/10.1098/rsos.241776
  6. Pitkin, Roy M.; Branagan, Mary Ann; Burmeister, Leon F. Accuracy of data in abstracts of published research articles. JAMA, 1999, 281(12), p. 1110-1111. https://doi.org/10.1001/jama.281.12.1110
  7. Tang, Liyan; Sun, Zhaoyi; Idnay, Betinaほか. Evaluating large language models on medical evidence summarization. npj Digital Medicine, 2023, 6, 158. https://doi.org/10.1038/s41746-023-00896-7
  8. Walters, William H.; Wilder, Esther Isabelle. Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 2023, 13, 14045. https://doi.org/10.1038/s41598-023-41032-5

関連記事

記事一覧へ