【比較実験】Gemini 3.1 から 3.5 へ、精度は上がったのか──新しいモデルから検索を外したら、同じように間違えた

AIのバージョンが上がれば、回答の精度も上がる。新しいモデルが出るたびに、そう受け取るのが自然だと思います。では、その差は実際のところどれくらいなのでしょうか。今回編集部では、Googleの同じ系統の新旧2つのバージョンに同じ質問を投げて、どれだけ変わったのかを測定しました。

質問内容は「2026年7月現在の日本の内閣総理大臣は誰ですか。氏名だけ答えてください」の一つだけ。

これを Gemini 3.1 Flash-Lite と Gemini 3.5 Flash-Lite に、まったく同じ文面で投げました。実施は2026年7月26日から8月11日の間で、延べ60回です。

結果だけを見れば、たしかに精度は上がっていました。古い 3.1 Flash-Lite が投げるたびに誤答し、新しいほうの 3.5 Flash-Lite は毎回正しく答えました。

ところが、新しいほうのモデルから検索機能を外して同じ質問をすると、5回とも正解できませんでした。答えの差を作っていたのは、モデルのバージョンではなく、検索機能を使ったかどうかでした。何が起きていたのかを、順に見ていきます。

バージョン違いの2つに同じ文面を投げたら、答えが割れた

まず、検索を使えない状態にした 3.1 Flash-Lite は、学習した時点の情報だけで答えました。しかも聞くたびに中身が変わりました。5回投げて、5回とも不正解。内訳は前々任者の氏名が3回、前任者の氏名が1回、回答を保留したものが1回でした。正しい氏名にたどり着けなかったものは、保留も含めて不正解として数えています。

検索を使える状態にした 3.5 Flash-Lite は、Google検索を実行してから答えました。3回投げて、3回とも検索が発動し、3回とも正答しています。

数字でまとめると、次のようになります。

同じ質問文です。同じ会社のAIです。違ったのは、調べたか、思い出したかでした。

図1：同じ質問、違う答え。検索を使えない状態にしたモデルは5回とも不正解で答えの中身も揃わず、検索を使える状態にしたモデルは検索結果に基づいて正答した。

両方のバージョンで、検索を外したら同じように間違えた

バージョンアップして賢くなった、という話で終わらせないために、編集部は条件をそろえて測り直しました。2つのバージョンに、検索を使える状態と使えない状態の両方で、同じ質問を5回ずつ投げたのです。他の条件はすべて同じにしてあります。

4つの条件を並べると、次のようになります。

図2：同じ質問を4つの条件で5回ずつ投げた結果。3.1も3.5も、検索を使えない状態では5回とも不正解、検索を使える状態では5回とも正解した。縦に読むとバージョンによる差はなく、横に読むと検索の有無だけで正誤が入れ替わっている。

縦に読むと、バージョンは効いていません。横に読むと、検索だけで正誤が入れ替わっています。古いほうも、検索を使わせれば5回とも正解しました。新しいほうも、検索を取り上げれば5回とも外しました。

新しいモデルになって性能が上がったから答えられた、というわけではありません。回答精度を分けていたのは、検索機能を使ったかどうかでした。

ひとつだけ、バージョンによる違いも見えました。外し方が違います。検索を使えない 3.1 は、前任者や前々任者の氏名を答えることがありました。同じ条件の 3.5 は5回とも「裏付けが取れないためお答えできません」と、答えそのものを断っています。正解できない点は同じでも、知らないと言えるかどうかは違っていました。間違った氏名が返ってくるほうが、書き手にとっては危険です。

古いほうが「性能の低いAI」だったわけではない

見落としてはいけないのは、3.1 Flash-Lite が劣ったモデルだったから間違えたわけではない、という点です。公開されている仕様を見ると、この2つはほとんど同じでした。入力・出力のトークン上限も、温度やtopPといった既定値も、答える前にどれくらい考えるかの選択肢も一致しています。ただしひとつだけ、はっきり違う項目があります。学習データの締め切り（ナレッジカットオフ）です。

提供元のモデルカードによれば、3.1 Flash-Lite は2025年1月、3.5 Flash-Lite は2026年3月。14か月ぶん新しい情報を持っているはずのモデルが、検索を外すと5回とも答えられませんでした。カットオフの差では、この結果は説明できません。

さらに重要なのは、Googleがそこに添えている但し書きです。3.5 Flash-Lite のモデルカードは、締め切りは2026年3月だとしたうえで、分野によっては更新された情報が得られる一方、他の分野では2025年1月までの知識にとどまる場合があると明記しています。締め切りは1つの日付ではなく、分野ごとに違うということです。今回の総理大臣という時事の領域は、更新されなかった側だったことになります。

つまり、締め切りの日付が新しくなることは、聞きたい分野が新しくなることを意味しません。カタログ上の数字が14か月進んでいても、その分野が更新されていなければ、返ってくる答えは古いままです。「最新モデルだから最新の情報を知っている」とは限らない、ということでもあります。

実務上、もうひとつ注意が要ります。出来事が起きてから、それについての記事や解説がWeb上に積み上がるまでには時間がかかります。学習データはその蓄積を取り込むため、公表されている締め切りの直前数か月は、そもそも情報量が薄くなりがちです。公表日を「ここまでは答えられる線」と受け取るのは危険で、実際にはそれより手前に見ておくほうが安全です。

なお、締め切りをAI本人に尋ねても正確な答えは返ってきません。自分がいつ学習を終えたかという情報自体が、学習データに含まれていないためです。確認先は、提供元が公開しているモデルカードやAPIドキュメントになります。

もうひとつ、断っておくことがあります。この記事で「検索を使えない状態」と呼んでいるのは、編集部が測定のために作った条件です。普段アプリで使っているときには、この状態は起きません。アプリには検索を切るスイッチがなく、最新の情報が要る質問だとシステム側が判断すれば、自動で調べにいきます。ですから同じ質問をアプリに投げれば、古いバージョンでも正しく答えた可能性が高いと考えられます。

裏を返せば、調べるかどうかを決めているのは利用者ではありません。アプリが判断しています。この記事が測っているのは、その判断が変わったときに答えがどう動くか、です。

しかも厄介なことに、返ってきた答えを見ても、そのAIが調べたのかどうかは分かりません。3.5 Flash-Lite は検索したときに、検索に使った言葉と参照先を一緒に返してきます。ところが 3.1 Flash-Lite は、同じ条件でも、その情報を一切返しませんでした。調べたかどうかの記録が、そもそも残らないということです。

つまり、使っている側は、そのAIが調べずに答えていることに気づけません。しかも生成される文章そのものは流暢なままなので、読んで違和感を覚えることもありません。なぜ文章がうまくなるほど誤りが読み手の目を素通りしてしまうのかは、国立情報学研究所の相澤彰子教授に伺った【AIファクトチェック時代の常識アップデート・前編】AIは流暢になるほど、間違いは埋もれるで詳しく扱っています。

9日後、そのモデルはアプリから選べなくなっていた

バージョンの差は、いつまでも比べられるわけではありません。編集部が7月17日にアプリで確認した3.1 Flash-Lite は、9日後の7月26日には選択肢から消えていました。8月4日の再測定でも、アプリ側では選び直せていません。この間の7月21日に、Googleは Gemini 3.6 Flash と Gemini 3.5 Flash-Lite を発表し、いずれもアプリで使えるようにしています。入れ替わりの時期としては符合しますが、3.1 が選択肢から外れたことについて個別の告知は確認できませんでした。

一方、開発者向けのAPIからは同じモデルを名前で指定して呼び出せました。この記事の測定は、すべてそうやって行ったものです。同じ会社の同じモデルでありながら、アプリでは触れず、APIでは触れるという状態が生まれています。

編集部が確認した範囲を、日付で並べました。

この差は、検証の実務に直接ひびきます。アプリで測った結果は、あとから同じ条件で測り直せるとは限りません。安定版のモデル名を明示して指定できるAPIであれば、勝手に別のバージョンへ切り替わることはありません。「いつ、どのモデルで測ったか」を後から証明できるのは、APIだけです。

先月の検証結果は、いまのモデルについて何も言っていない

誤解のないように書いておきます。バージョンが新しくなることは、多くの場合そのAIの改善です。この記事の例でも、新しい3.5 Flash-Lite のほうが正しく答えました。ここで問題にしているのは、良くなったか悪くなったかではありません。測ったときの条件が、もう手元にないことです。

AIツールの検証結果を受け取ったとき、あるいは自分で測ったときに、必ず添えておくべきものが二つあります。

一つめは、測った日付です。9日で選択肢が入れ替わる以上、日付のない検証結果は再現できません。「先月試したときは問題がなかった」という報告は、先月のモデルについてのものです。いま動いているモデルについては、良い方向であれ悪い方向であれ、何も言っていません。

二つめは、モデルの名前とバージョンです。「Geminiで試した」「ChatGPTで確認した」だけでは、どのバージョンで測ったのかが残りません。この記事の2つのモデルは、どちらも「Gemini」の「Flash-Lite」です。製品名だけを記録していたら、この差は記録から消えていました。

編集部では、同じ手順をいつでも実行し直せるようにスクリプトの形で残し、モデルのバージョンが変わるたびに測り直す方針をとっています。数字そのものより、数字がいつ・どの条件で出たものかを残すことのほうが、あとになって効いてきます。

バージョンの差は、聞く内容によって見えたり見えなかったりする

総理大臣の質問だけを見ると、古いバージョンは使いものにならないように思えるかもしれません。実際にはそうではありません。

編集部は別に、地理や文学、ひっかけ問題など分野の異なる20問も用意しています。こちらでは、検索の有無による差はほとんど出ませんでした。存在しない判例について尋ねても、検索なしの状態で「そのような記録は確認できません」と正しく否定します。差がはっきり出るのは、AIが学習を終えたあとに変わった情報を聞いたときでした。総理大臣、料金の改定、首長の交代、最低賃金の引き上げといった質問です。

では、学習の締め切りより前のことなら安心して聞けるのか。ここも単純ではありません。その20問のうち、唯一差が出たのは、世間に広く信じられている思い違いを問う質問でした。誤った情報が大量に出回っていれば、AIはそれも一緒に覚えています。古いか新しいかではなく、誤った情報がどれだけ広まっているかで決まる場面があるということです。

整理すると、答えが割れるのは大きく二つの場合です。AIが学習を終えたあとに変わった情報を必要とする問いと、答えるまでに手順を踏む必要がある問い。前者は検索が、後者は「答える前にどれくらい考えるか」という設定が埋めています。後者については、このあとの章でもう一度触れます。

裏を返せば、動作確認によく使われる「答えのわかっている一般的な質問」では、バージョンの差も機能の差も検出できません。テストに通ったことが、安全である証明にはならないのです。 機能の有無で何がどう変わるのかは、生成AIアプリとAPIで出力が違う理由──どちらの精度が高いのかを、同じ質問で測ってみたで20問を使って測っています。

記録がなければ、検証は再現できない

AIを使った制作物を確認するとき、モデルについて押さえておくべきことは二つです。

一つめは、そのモデルが調べられる状態、考えられる状態だったか。機能の欠けた環境で得た誤答をもって「このAIは使えない」と評価するのは、条件を揃えていない比較になります。逆に、そこで得た正答も「たまたま学習内容と一致していた」だけかもしれません。いずれの場合も、最終的には一次情報に当たって確かめる以外に方法はありません。

二つめは、その結果がいつ・どのバージョンのものか。モデルは告知なく入れ替わります。この記事の3.1 Flash-Lite のように、9日後には選び直すことすらできなくなる場合があります。日付とモデル名のない検証結果は、その時点で再現性を失っています。

なお、AIを使う・使わないにかかわらず確認が必要な項目は、ファクトチェックとは？ベテラン記者が教える企業コンテンツで確認すべき5つの事実関係にまとめています。数字・制度・固有名詞・出典・時系列の5点です。

では、モデルそのものは賢くなっていないのか

今回の測定で示せたのは、総理大臣の質問の正誤を分けていたのが検索だったということです。モデル自身の能力が上がっていない、と言っているわけではありません。バージョンが上がってできることが増えたのは確かで、それを否定する材料はこの記事にはありません。

やっかいなのは、外から見ると両方とも「新しくしたら良くなった」に見えることです。良くなった理由には、少なくとも二つの可能性があります。モデルそのものが更新された場合と、モデルは同じで周りの実装が変わった場合です。

図3：「新しくしたら正しく答えた」という結果は、モデルそのものが更新された場合と、モデルは同じで実装（検索の有無・プロンプト・どれくらい考えるか）が変わった場合の、どちらでも起きる。返ってきた答えからは区別できない。

後者の影響は、思っているより大きいものです。編集部の別の測定では、同じモデルに同じ質問文を投げても、「答える前にどれくらい考えるか」という設定を変えただけで、3問すべての正誤が入れ替わりました。利用者が1文字も入力しないうちにアプリが渡しているプロンプト（事前の指示文）も、検索を実行するかどうかも、どれくらい考えるかも、モデルではなく実装側が決めています。プロンプトを書き換えるだけで、答えの正誤は動きます。

つまり「新しいモデルにしたら精度が上がった」という報告を受け取ったとき、それがモデルの更新によるものか、プロンプトや設定といった実装側の調整によるものかは、使っている側からは切り分けられません。モデルは据え置きのまま、周りの作りを変えただけで「良くなった」ように見せることもできてしまいます。この境界がどこにあるのかは、生成AIアプリとAPIで出力が違う理由──どちらの精度が高いのかを、同じ質問で測ってみたで、同じモデルの条件だけを変えて測っています。

Fact Check PROでは、AIが生成した原稿のファクトチェックを承っています。原稿そのものの誤りを見つけるだけでなく、どのような環境で、どのバージョンのモデルで生成された原稿なのかまで含めて確認することで、同じ誤りが繰り返される構造的な原因までお伝えできます。AIを使ったコンテンツ制作の品質にご不安がある場合は、お気軽にご相談ください。

この記事の測定は2026年7月26日から8月11日にかけて実施しました。質問は「2026年7月現在の日本の内閣総理大臣は誰ですか。氏名だけ答えてください」の一つで、延べ60回投げています。

本文の表にした4条件は、2026年8月11日に条件をそろえて測り直したものです。Gemini 3.1 Flash-Lite と Gemini 3.5 Flash-Lite のそれぞれに、検索を使える状態と使えない状態で5回ずつ（計20回）。システムプロンプト・温度1.0・思考レベルmediumは4条件とも同一で、変えたのはバージョンと検索の有無だけです。いずれも開発者向けのネイティブGemini API（generateContent）から呼び出しています。

これに先立つ測定として、7月26日・27日・8月4日に検索を有効にした 3.5 Flash-Lite へ各3回（計9回）、8月4日に検索を使えない状態にした 3.1 Flash-Lite へ5回、8月5日に 3.5 Flash-Lite を検索の使える状態と使えない状態で各3回ずつ（計6回）投げています。いずれも開発者向けAPIから呼び出したものです。このうち8月4日の 3.1 Flash-Lite の5回は、8月11日に条件をそろえて測り直しており、結果は同じでした。

さらに8月10日にも、同じ質問を20回投げています。内訳は、3.1 Flash-Lite に検索を渡して発動するかを見た5回、3.1 Flash-Lite に「素のまま」「指示文のみ」「思考のみ」「指示文＋思考」の4条件で各3回（計12回）、3.5 Flash-Lite に3回です。3.1 Flash-Lite が検索を実行していてもグラウンディング情報を返さないことは、この日の測定で確かめました。

3.1 Flash-Lite は2026年8月4日時点でアプリの選択肢からすでに外れているため、アプリでの再確認はできていません。またアプリには検索を切る手段がないため、この比較はAPIでしか作れません。測定ログは編集部で保存しています。

AIのモデルおよび提供環境は随時更新されるため、現在は異なる結果となる可能性があります。編集部では同じ手順を随時実行できるようにしており、モデルのバージョンが変わった際にはあらためて測定し直す方針です。なお、この記事が比べたのは検索という機能の有無による差であって、2つのモデルの優劣を判定したものではありません。差が生じた原因は検索の有無にあり、モデルそのものの性能を比べた結果ではありません。また、この記事の測定は1つの質問についてのものです。バージョンが上がったことによる能力の変化そのものを測ったものではありません。

学習データの締め切りは、Google DeepMind が公開する各モデルカードによります。Gemini 3.5 Flash-Lite は2026年3月（2026年7月公開版）、Gemini 3.1 Flash-Lite は既知の制約を Gemini 3 Pro のモデルカードに委ねており、Gemini 3 ファミリー共通の2025年1月です（Gemini API開発者向けドキュメントにも同じ記載があります）。モデルカードのWebページは随時更新されるため、編集部ではPDF版を取得日とともに保存しています。取得日は2026年8月13日。

検証条件：2026年7月26日〜8月11日実施／対象モデル Gemini 3.5 Flash-Lite・Gemini 3.1 Flash-Lite／延べ60回