生成AIアプリとAPIで出力が違う理由──どちらの精度が高いのかを、同じ質問で測ってみた

「同じAIのはずなのに、アプリのチャット上で聞いたときと、業務システムに組み込んだAPI（開発者向けに用意された、AIを直接呼び出すための仕組み）から返ってきたときとで、答えが違う」

編集の現場でこうした経験をされた方は少なくないと思いますが、決して気のせいではありません。同じ会社の、同じAIモデルであっても、プロンプトを一字一句変えなくても、答えの出し方そのものが変わります。

では、どちらの精度が高いのでしょうか。編集部では2026年7月から8月にかけて、同じ質問を両方に投げて測定しました。結果は予想と違い、しかも測っている途中で、私たち自身が条件を取り違えていたことが判明しました。この記事はその記録です。

どう測ったのか──テストの方式と、用意した20問

対象は、スマートフォンのアプリと同じバージョンのAIモデル（Googleの Gemini 3.5 Flash-Lite）です。分野の異なる20問を、機能のない素の状態と、アプリの条件に近づけた状態の両方に、それぞれ3回ずつ投げ、3回のうち2回以上外した場合を誤答として数えました。実施は2026年7月26日と27日で、同じ20問を8月4日にも測り直しています。

「近づけた」と書いたのには理由があります。編集部が揃えたのは事前の指示文・検索・思考の深さの3つですが、揃い方が同じではありません。

検索は、仕組みごと同じにできます。APIで検索を有効にするというのは「毎回必ず検索させる」ことではなく、検索という手段を持たせたうえで、使うかどうかはAIに決めさせるという状態だからです。アプリにも検索を切るスイッチはなく、必要だとシステム側が判断したときに自動で調べにいきます。実際、編集部が9問を検索の使える状態で測ったときも、3問は一度も検索が走りませんでした。

一方、事前の指示文と思考の深さは、中身が公開されていません。指示文はこちらで用意した文面で、アプリが渡しているものと同じではありません。思考の深さも、アプリがどのレベルで動いているかは公表されていないため、中程度に置いたのは推測です。過去の会話を参照する機能は、測定では切っています。

そして「機能のない素の状態」のほうは、APIでしか作れません。アプリでは検索を外せないからです。この記事が比べているのは、その2つです。

なおこの記事はバージョンをそろえたうえで、機能の有無だけを比べたものです。バージョンを変えても答えは変わらず、分かれ目は検索の有無だったことは【比較実験】Gemini 3.1 から 3.5 へ、精度は上がったのか──新しいモデルから検索を外したら、同じように間違えたで測っています。

用意した20問は次のとおりです。正解が機械で判定できるものだけを選び、人の解釈が入る問題は除きました。

生成AIのアプリとAPIは、そもそも別のものである

答えの出し方が変わる理由は、製品の作りにあります。前提として、一つ整理しておく必要があります。

私たちが「ChatGPT」や「Gemini」と呼んでいるものは、AIの本体そのものではありません。学習を終えたAIの本体に、いくつもの機能が重なった「製品」です。この記事ではこれを生成AIアプリと呼びます。スマートフォンのアプリだけでなく、ブラウザで使う画面も同じものを指しています。

生成AIアプリで質問したとき、その裏では、利用者が1文字も入力していない段階で、まずアプリが今日の日付や答え方の方針を書いた指示文をAIに渡しています。必要に応じてウェブ検索が実行され、過去の会話の内容も参照されます。さらに、答える前にどれくらい考えるかという設定も、アプリ側が決めています。

一方、開発者向けのAPIを通してAIを呼び出す場合、これらは何一つ、最初から用意されてはいません。日付も渡されません。検索もしません。過去の会話も残りません。考える時間も、指定しなければ最小限です。編集部の測定でも、APIに送られていたのは「モデルの名前」と「質問文1行」だけで、それ以外は空でした。

つまり、生成AIアプリが完成品だとすれば、APIは素材です。世の中にあるAI搭載のライティングツールや要約ツールは、この素材を仕入れて自社で組み立てたものです。その精度は、中で使われているAIの優劣だけでなく、周りにどれだけの仕組みが用意されているかで決まります。

図1：生成AIアプリとAPIは、同じものではない。生成AIアプリは複数の機能を重ねた製品で、APIはモデル本体だけを使う。

では、どちらの精度が高いのか──20問で測った結果

機能を足していないAPIのほうが精度は低いはずだ──編集部もそう考えていました。ところが、測ってみると違いました。

先ほどの20問を、両方の条件で答え合わせしました。

結果は、素の状態が20問中1問、条件を揃えた状態が0問。ほとんど差は出ませんでした。

数字でまとめると、次のようになります。誤答数は「その問題を3回投げて、2回以上外した場合」に1問と数えています。

存在しない判例について尋ねても、素の状態のAPIは「そのような記録は確認できません」と正しく否定しました。受賞していない作家について「受賞講演の内容を教えてください」と尋ねても、機能を足していない状態のまま、前提そのものを訂正して返してきました。別に用意した59問を3回ずつ投げた検証でも、3回とも間違えた問題は1問も残りませんでした。現行のモデルは、一般的な知識を問われる限り、そう簡単には転びません。

なお、この20問は日を変えて3度測定しており、1度目と3度目は両方とも0問でした。同じ条件で測り直しても1問ぶん揺れる──その程度の差だとお考えください。AIの答えは毎回わずかに変わるため、1回の測定結果を確定値として扱うことはできません。これはこの記事の結論そのものにも関わる点なので、あとでもう一度触れます。

ちなみに、唯一差が出たその1問は「ピカチュウの尻尾の先端に黒い部分はありますか」でした。実際には黒い部分はなく、世間に広く信じられている思い違いです。素の状態のAPIは3回中2回その通説に引きずられ、条件を揃えた状態では3回とも正しく否定しました。流布している誤りは、AIも一緒に覚えている──1問だけの結果なので断定はできませんが、示唆的ではあります。

つまり「どちらの精度が高いか」という問いへの答えは、「ふだんは変わらない」になります。ただし、条件がつきます。差が出るのは、AIが学習を終えたあとに変わった情報を聞いたときでした。総理大臣が誰かという質問が、まさにそれにあたります。

言い換えれば、こうです。両者の差は、ふだん表に出てきません。差が顔を出すのは、時事や制度、価格、人事といった「変わる情報」を聞いたときだけです。

この点は、あとから9問で測り直しました。料金の改定、首長の交代、最低賃金の引き上げなど、AIの学習後に変わったことが公式に確認できる9問です。同じモデルに同じ2条件で投げたところ、機能のない条件では9問中7問を外し、アプリに近づけた条件では1問も外しませんでした。20問のときとは正反対の結果です。たとえば熊本市電の大人運賃は2025年6月に180円から200円へ改定されていますが、機能のない条件は3回とも「180円」と答えました。

ここで一つ補足が要ります。「学習を終えたあと」がいつなのかは、実は一つの日付では決まりません。Gemini 3.5 Flash-Lite のモデルカードは、学習データの締め切りを2026年3月としたうえで、分野によっては2025年1月までの知識にとどまる場合があると断っています。熊本市電の改定は2025年6月で、公表されている締め切りよりは前の出来事です。それでも答えられなかったのは、この分野の知識が更新されていなかったためと考えられます。公表された締め切りより前のことでも、外すことはあります。締め切りの日付は、そのまま「ここまでは答えられる線」にはなりません。

これは、ツールを選ぶときに実務上の意味を持ちます。社内でAIツールを試すとき、動作確認によく使われるのは、答えのわかっている一般的な質問です。しかしその種の質問では、両者の差は検出できません。テストに通ったことが、安全である証明にはならないのです。

図2：同じモデル（Gemini 3.5 Flash-Lite）に、機能のない条件とアプリに近づけた条件の両方で投げた結果。AIがすでに知っていることを問う20問ではほとんど差が出ず、料金改定や人事など学習後に変わった9問では、機能のない条件が9問中7問を外した。

差が出たのは、もう一つありました──「どれくらい考えたか」という見えない設定

当初お伝えしようとしていた結論は、前章までの内容でした。ところが、この検証を終えた直後に、それを書き換える出来事がありました。

方角の回転を問う問題──「西を向いて左に90度、次に右に180度まわったら、どちらを向いていますか」といった、順を追って考えれば解ける類の質問です。3問を用意してAPIに投げたところ、すべて間違えました。

この3問を、そのままスマートフォンのチャットアプリでも試してみたところ──

全問正解となりました。

原因は、AIの側ではなく、こちら側にありました。「答える前にどれくらい考えるか」という設定を、送っているつもりで送れていなかったのです。指定がなければ、AIは最小限の思考で即答します。設定を中程度以上に変えて投げ直すと、同じモデルが、同じ質問文で、3問とも正解しました。

ここで注目していただきたいのは、その設定が届いていなかったことに、返ってきた答えからはまったく気づけなかったという点です。エラーも警告も出ません。文章は流暢で、自信を持って断言されています。

機能は欠けていても、AIはそれを教えてくれません。 これが、この検証で得られたいちばん重要な発見でした。

そして「どちらの精度が高いか」への答えも、ここで精密になります。AIがすでに知っていることを聞く限り、両者にほとんど差はありません。差がはっきり出るのは、AIが学習後に変わった情報を必要とする問いと、答えにたどり着くまでに複数の手順を踏む必要がある問いの、2種類です。 前者は検索という機能が、後者は思考という機能が埋めています。どちらも、素のAPIには最初から付いていません。

図3：同じモデル、同じ質問文でも、「どれくらい考えるか」の設定一つで正誤が入れ替わった。しかもエラーは出ない。

APIは「劣化版」なのか──検証に向いているのは、むしろこちら

機能を足していないAPIは、生成AIアプリの劣化版のように思えるかもしれません。しかし、これも正確ではありません。

まず、中身のAIは同一です。機能が付いていないだけで、性能そのものが落とされているわけではありません。前章で、設定を一つ変えただけで全問正解に転じたのは、そのためです。生成AIアプリが完成品、APIが素材だとすれば、素材が完成品より劣っているわけではないという関係です。

そのうえで、APIには「自由に組み立てられる」以外の利点が3つあります。いずれも、検証という目的においては生成AIアプリより優れている点です。

一つめは、条件を固定できること。生成AIアプリのモデルは、利用者に告知されないまま更新されます。編集部が7月17日に確認したモデルは、9日後には選択肢から消えていました。一方APIでは、安定版のモデル名を明示して指定すれば、勝手に別のバージョンへ切り替わることはありません。「いつ、どのモデルで測ったか」を後から証明できるのは、APIだけです。

二つめは、やりとりの記録が残せること。送った指示文、設定した値、返ってきた答えのすべてを自社側に保存できます。生成AIアプリの画面では、条件の大半が見えないまま消えていきます。

三つめは、入力した内容の扱いです。多くの提供元では、有料のAPI利用について入力内容を品質改善に使わないと定めていますが、無料枠や個人向けのプランでは使われる場合があります。顧客から預かった原稿を扱う現場では無視できない違いですので、契約中のプランの規約は必ずご確認ください。

整理すると、生成AIアプリは「使う」ための道具、APIは「測る・組み込む」ための道具です。優劣ではなく、目的が違います。

「ハルシネーションしないでください」と書いても効かない理由

プロンプトに「必ず検索してから答えてください」と書けばよいのではないか──ハルシネーション対策として、そう考える方もいるかもしれません。

それでは解決しません。

検索の機能が使えるかどうかは、リクエストの組み立て方によって決まります。AIへのお願いではありません。検索が有効になっていない環境で「検索してから答えてください」と書いても、AIには検索する手段がないのです。手元にない道具を使えと指示されているのと同じ状態で、AIは持っている知識だけで答えます。しかもその際、「検索できませんでした」とは言いません。

ここはアプリと、業務システムに組み込んだAIとで事情が違います。アプリには検索を切るスイッチがなく、必要だとシステム側が判断すれば自動で調べにいきます。ですからアプリを使っている限り、この状態は起きません。一方、AIを組み込んだツールや自社のシステムでは、検索が用意されているかどうかは作り手が決めています。外から見ても分かりませんし、プロンプトで足すこともできません。

「ハルシネーションしないでください」という指示も同じです。この種の指示に一定の効果があることは今回の測定でも確認できましたが、効くのは、指示文を送る仕組みが用意されている場合だけです。ツールによっては、利用者が入力できるのは質問文だけで、事前の指示文は開発側が固定していることがあります。

そしてもう一つ、検索という機能そのものにも死角があります。編集部が2,000字程度の議事録や就業規則を貼り付けて内容を質問したところ、検索は一度も発動しませんでした。当然です。答えは貼られた文書の中にしかなく、外を調べても出てきません。つまり手元の原稿について尋ねる使い方では、検索という防御は構造的に働きません。原稿を貼って要約させる、整合を確認させるという、編集現場でもっとも一般的な使い方が、まさにこれにあたります。

検索を付けて出典を示させる方式がどこまで頼りになるのか、そしてプロンプトで防げることと防げないことの境界がどこにあるのかは、国立情報学研究所の相澤彰子教授に伺った【AIファクトチェック時代の常識アップデート・後編】「AIの出典」を信じるな──気づける力こそが、AI時代のライター・編集者を分けるで論じています。

では、精度の高いAIを選べばよいのか

機能の有無で答えが変わるのなら、機能の整った製品を選べば済むのでしょうか。編集部は2026年8月6日、同じ質問を複数の生成AIアプリに投げて確かめました。

質問は一つだけです。「島根県立古代出雲歴史博物館の常設展の一般（大人）の観覧料は何円ですか」。この博物館は公式サイトで、2026年4月に観覧料を680円へ改定したと明記しています。

Claude Haiku 4.5は「ウェブを検索しました」と表示したうえで、620円と答えました。620円は改定前の額です。Gemini 3.5 Flash-Liteは同じ質問に680円と答え、出典として島根県の公式観光情報サイト「しまね観光ナビ」を示しました。

ここで見ていただきたいのは、Haikuも検索していたことです。画面に出典として出ていたのも、同じ「しまね観光ナビ」でした。ただしその出典が付いているのは休館中であることを伝える一文だけで、金額には出典が付いていません。編集部が2026年8月10日に実物を確認したところ、しまね観光ナビに載っている額は680円で、Haikuの挙げた620円も、大学生410円も、団体490円も、このページのどこにもありませんでした。一致していたのは改定前の公式サイトの料金表のほうで、団体料金にいたるまでそのままでした。検索という機能は動いています。動いているのに、肝心の金額はそこから取られていません。

620円という数字自体は、いまもネット上に大量に残っています。この博物館は2025年4月から耐震改修のため休館しており、新しい料金で入館した人がまだ一人もいません。そのため体験記も、旅行予約サイトも、割引クーポンサイトも、620円のまま更新されていないのです。正しい額が載っているのは公式サイトと県の観光サイトだけで、数の上では圧倒的に少数派です。ただし今回の620円がそこから来たのかどうかは、画面からは分かりません。分かるのは、出典が示されていても、それが答えのどこを支えているかは別問題だということです。正しい出典が画面に出ている以上、読み手には「調べたうえでの620円」に見えます。見抜くには、出典を開いて金額を突き合わせるほかありません。

図4：同じ質問に、Claude Haiku 4.5は620円、Gemini 3.5 Flash-Liteは680円と答えた。正しいのは680円で、620円は2026年4月の改定前の額。どちらも検索している。Haikuが出典として示した「しまね観光ナビ」は休館の一文に付いているだけで、金額には出典が付いていない。その金額は改定前の公式サイトの料金表と、団体料金まで一致していた。

この記事の前半で触れたピカチュウの質問も、同じ日に3つの製品へ投げました。Claude Haiku 4.5は3回とも「先端に黒い部分があります」と答え、しかも「ポケモンの公式デザインでは」と根拠まで添えていました。

Gemini 3.5 Flash-LiteとChatGPTは正しく否定しています。観覧料の例と、共通するところがあります。どちらも、答えの中身が検索の結果に由来していません。ただしそこに至る道筋は逆でした。観覧料は検索したうえで金額だけが検索結果の外から出てきており、ピカチュウのほうは検索した表示そのものが出ていませんでした。編集部が続けて「学習した記憶で答えたのか」と尋ねると、Haiku 4.5 自身が「ウェブ検索を使わず訓練データから答えた」と認めています（ただしこれはAI自身の申告なので、画面に検索の表示が出ていなかったことを補強する材料にとどめています）。機能が付いていることと、機能が使われることは別です。

このことは、APIでの測定でも数字に出ています。検索を使える状態にした9問に3回ずつ投げたところ、3問は一度も検索が走りませんでした。使うかどうかを決めているのはAI自身で、こちらが渡せるのは手段までです。「検索できる設定にしてある」は、「検索した」の証明にはなりません。

図5：ピカチュウの尻尾について、Claude Haiku 4.5は3回とも「先端に黒い部分がある」と答え、「ポケモンの公式デザインでは」と根拠まで添えた。実際の尻尾は付け根を除いて黄色で、黒いのは耳の先端。Gemini 3.5 Flash-LiteとChatGPTは正しく否定した。

同じ日に、別の質問でも試しました。2026年8月2日に市長選の投開票があった茨城県下妻市について「現在の市長は誰ですか」と尋ねたところ、ChatGPTは4回のうち1回だけ、前市長の急逝にともない職務代理者を務めていた副市長の氏名を返しました。残りの3回は正しく答えています。設定は4回とも同じでした。この種の誤りは、もう一度尋ねれば正しい答えが返ってくるため、聞き直しでは見つけられません。

つまり「精度の高いAIを選ぶ」という対処は、いずれにも効きません。3つとも、失敗の仕方が違います。ピカチュウは機能が付いていても使われないことがある問題、観覧料は使われたのに答えがそこから来ていない問題、市長の例は同じ製品の中で答えが揺れる問題です。選んだ時点では、どれも防げていません。

なお、ここで挙げた3製品はいずれも各社の最速・軽量のモデルであり、問題数も限られます。製品の優劣を示すものではありません。

この記事で個別に取り上げた質問の結果を、一覧にしておきます。20問と9問の集計は前掲の表をご覧ください。

見るべきは精度ではなく、「どんな条件で答えたのか」

AIを使った制作物を検証するときに確認すべきなのは、次の3点です。

一つめは、そのAIが調べられる環境、考えられる環境だったかどうか。機能の欠けた環境で得た誤答をもって「このAIは使えない」と評価するのは、条件を揃えていない比較になります。逆に、そこで得た正答も、「たまたま学習内容と一致していた」だけかもしれません。いずれの場合も、最終的には一次情報に当たって確かめる以外に方法はありません。

二つめは、いつ測ったかです。前章で触れたとおり、モデルはわずか9日で入れ替わりました。「先月試したときは大丈夫だった」は、根拠になりません。検証結果には必ず日付を添えてください。

三つめは、その情報がAIの学習後に変わりうるものか、あるいは複数の手順を踏む必要があるものか。単純な知識を問う部分では、両者の差はほとんど問題になりません。差はこの2つの場所に集中します。そして一本の原稿の中には、この2種類とそれ以外が混ざって並んでいます。

この検証を通じて、確認の仕方そのものについて分かったことが2つあります。

一つは、条件を揃えたつもりでも、揃っているかどうかを内側から確かめる方法はないということです。唯一の検算は、同じ質問を実際のチャットアプリでも試し、答えを突き合わせることでした。自動化された検証は速く、多くの回数を回せますが、それが正しい条件で回っているかどうかは、人がアプリで確かめるまで分かりません。

もう一つは、1回の測定を確定値として扱わないことです。この記事の20問も、同じ日に測り直すと結果がずれ、日を改めるとさらにずれました。「いつ、どの条件で測ったかを記録しなければ再現できない」と述べる記事である以上、1回きりの数字を断定するわけにはいきません。AIの挙動を数字で語るときは、必ず複数回測ってください。

なお、AIを使う・使わないにかかわらず確認が必要な項目は、ファクトチェックとは？ベテラン記者が教える企業コンテンツで確認すべき5つの事実関係にまとめています。数字・制度・固有名詞・出典・時系列の5点です。

Fact Check PROでは、AIが生成した原稿のファクトチェックを承っています。原稿そのものの誤りを見つけるだけでなく、どのような環境で生成された原稿なのかまで含めて確認することで、同じ誤りが繰り返される構造的な原因までお伝えできます。AIを使ったコンテンツ制作の品質にご不安がある場合は、お気軽にご相談ください。

この記事の検証は2026年7月26日から8月6日にかけて実施しました。中心となる測定の対象は、Googleの提供するAIモデル（Gemini 3.5 Flash-Lite）です。分野の異なる20問を、同一のモデルに対して「事前の指示文・検索・思考の深さの設定を付けた状態」と「付けない状態」の両方で、それぞれ3回ずつ投げ、機械的に答え合わせをしました。AIの回答は同じ質問でも毎回わずかに変わるため、3回のうち2回以上外した場合を誤答として数えています。この20問の検証は26日と27日に実施し、さらに2026年8月4日にも同じ20問を同じ手順で測り直しました。3度の結果は、素の状態が0問・1問・0問、条件を揃えた状態は3度とも0問です。本文に示した数字は、思考の深さの設定をアプリに合わせた27日のものです。方角の問題については、思考の深さの設定のみを変えて3問を各2回ずつ投げました。

観覧料の一次情報は、島根県立古代出雲歴史博物館の公式サイト「開館時間・料金」ページ（https://www.izm.ed.jp/cms/cms.php?mode=v&id=103 ）です。料金表の見出しに「観覧料（2026年4月改定）」とあり、常設展は一般680円（団体530円）、大学生450円（団体350円）、小中高生220円（団体170円）と記載されています。2026年8月13日に確認しました。なお改定は独立した「お知らせ」としては告知されておらず、料金表の見出しに改定月が添えられているだけです。旧料金が各所に残り続けている一因と考えられます。

生成AIアプリ3製品での確認（2026年8月6日）の条件は、Gemini 3.5 Flash-Lite、Claude Haiku 4.5、ChatGPTは応答性能「最速」（5.5）です。ChatGPTのモデル名は製品側の表示がこの形式のため、そのまま記録しています。ただし下妻市長の質問をChatGPTに投げた4回については、このときの応答性能の設定を記録できていません。同じ設定だった可能性は高いものの確認が取れていないため、断定を避けて記しておきます。

AIのモデルおよび提供環境は随時更新されるため、現在は異なる結果となる可能性があります。編集部では同じ手順を随時実行できるようにしており、モデルのバージョンが変わった際にはあらためて測定し直す方針です。この記事はモデルのバージョンをそろえたうえで機能の有無だけを比べたもので、バージョンによる差は「【比較実験】Gemini 3.1 から 3.5 へ、精度は上がったのか──新しいモデルから検索を外したら、同じように間違えた」にまとめています。

この記事の数字は、延べ616回の応答を数えたものです。内訳は、20問の比較を3日ぶんで360回、学習後に変わった9問で54回、質問バンク59問の棚卸しで177回、思考の深さの設定を変えた方角3問で12回、生成AIアプリ3製品での確認が13回です。このほかに、素材を探す段階で外れなかった質問も多数あります。

検証条件：2026年7月26日〜8月6日実施／対象モデル Gemini 3.5 Flash-Lite（生成AIアプリ3製品の確認では Claude Haiku 4.5・ChatGPT〈応答性能「最速」5.5〉を含む）／延べ616回