医療機器管理のスペシャリストに聞く、AIの答えを疑う3つの場面

〜機種名だけを聞いても、AIは無難な答えしか返さない〜

生成AIに「この人工呼吸器はどう設定すればいいですか」と尋ねると、たいていは整った日本語で答えが返ってきます。ですがその答えは、目の前の1台がどのソフトウェアの版で動いているかも、これまでどう点検されてきたかも、つながれている患者さんがいまどんな状態かも知らないまま書かれています。

医療機器管理のスペシャリストで、臨床工学技士（人工呼吸器や人工透析装置など、命を支える医療機器を扱う国家資格）として40年近く現場に立ってきた小林靖雄氏は、そうした質問には「本当にスタンダードなところの回答しか返ってこない」と話します。

この記事で聞くのは、専門家がどこで信じるのをやめるのか、という1点です。AIの答えが危うくなる3つの場面と、それでもAIを使うときに踏む確認の順序を伺いました。医療の現場に限らず、専門的なことをAIに尋ねる人が、明日から手元で使える判断の順序として読めます。

小林靖雄

フリーランス臨床工学技士／医療機器管理のスペシャリスト。臨床工学技士として医療機関に勤務し、人工呼吸器や血液浄化装置をはじめとする生命維持管理装置を運用・管理。医療現場で培った知識と実務経験をもとに、医療・介護・在宅医療分野を中心とした情報発信や監修業務を行っている。専門的な内容を正確かつ分かりやすく伝えることを心掛けており、読者目線を意識したコンテンツ制作を得意とする。医療従事者ならではの視点で、読者や利用者に価値ある情報を届けることを大切にしている。

機種名だけの質問に返ってくる「スタンダードな回答」

医療機器は、製品名が同じでも中身が1つとは限りません。発売後に機能が追加され、内部のソフトウェアが更新され、製造された時期によって仕様が違います。同じ棚に並んでいる2台が、じつは別の状態にあるということが起こります。

小林氏がまず挙げたのは、その前提を伝えないまま質問を投げたときに起きることでした。

同じ機械でも、例えば人工呼吸器でAという機械があったとしても、そのAという大元の番号はあるのですが、バージョンが変わっていくことで結構いろいろ更新されているんです。目の前にあるその機械がどういうロットで、今どういうソフトバージョンになっているか。そこまで詳しく入力してあげると答えてくれるかもしれませんが、ただ「人工呼吸器Aについて、こういう設定にしたらいいですか」と聞くと、本当にスタンダードなところの回答しか返ってきません。

「スタンダードな回答」は、間違ってはいません。ただ、それは「その名前の製品一般について、いちばんありふれた前提を置いたときの説明」であって、目の前の1台の説明ではない、ということです。危ないのはその先だと小林氏は続けます。

それをそのまま鵜呑みにしてやってしまうと、その機械には本当にその機能がなかったりということもあり得ますので、そこは危ないなと感じます。

存在しない機能の使い方を、もっともらしい日本語で説明されます。文章としては破綻していないので、その製品を知らない人ほど気づけません。医療機器の情報はもともとAIが学習している量が少ないと小林氏は見ていて、そのぶん取り違えも起こりやすい、といいます。

そしてもう1つ、機種を特定してもなお足りないものがあります。機械の側ではなく、つながれている人の側です。

その機械自体もそうですが、それを使う患者さんの状態がどうなのかというところをAIは分かりません。患者の状態はどうであるというところをしっかり入力してあげる。こちらからちゃんと投げかけてあげないと、表面のことだけでやると、間違った答えが出てくることがたくさんあります。

小林氏の話から、機器についてAIに尋ねる前に手元で特定しておく項目を整理すると、次の5つになります。

• ・メーカー名と製品名（型式まで）
• ・製造ロットと、その1台を導入した時期
• ・現在動いているソフトウェアの版
• ・使う場所と使い方（病院内か、在宅か、介護施設か）
• ・つないでいる相手の状態（呼吸の様子、体の向きなど）

この5つが空欄のまま返ってきた答えは、一般論として読むにとどめます。それが1つ目の線引きです。

10年前のベンツと、10年前のトヨタ

2つ目の場面は、機種も版も特定したうえで、それでもAIには見えないものがあるという話です。小林氏はここで、医療機器から離れて自動車のたとえを持ち出しました。

例えば10年前の年式のベンツであっても、トヨタの車であっても、そこから10年経ったときに、すべてのベンツが同じ状態であることはありませんよね。走行距離も違いますし、どういうメンテナンスをしたのかも違います。オイル交換をして、パーツも毎年チェックして、定期点検をしてオーバーホールもしている機械なのか、ほったらかしで埃をかぶっていたベンツなのか。全然、状態は違うんです。

医療機器も同じです。カタログ上の型番が同じでも、10年動いた個体には10年ぶんの履歴があります。その履歴を記録したものを、小林氏は「機械のカルテ」と呼びます。

10年前の新品の時の機能としては、こういう機能があって、こういうふうに動作するはずです、という答えにはなるんです。でも10年経った今の機械は新品ではないので、今の状態がどうなのかは、普段から見ている人とか、点検記録がちゃんとあって、機械のカルテみたいなものを見たうえで、この機械はここが消耗しているから、このチューブが劣化しているから、と現場で普段から触っている人が見ないと、そこはAI、絶対わからないですよね。

差が出るのは、年数を経た機械だけではありません。小林氏によれば、同時に買った同型機のあいだにも個体差は出るといいます。

同じ時に購入した同じ年式の同じタイプの機械であっても、ちょっとした差がありますので、この機械はこういうふうになりやすいな、というのはあります。本当に機械なんですけど、何か生き物みたいな感じのところはありますね。

AIが答えられるのは、設計上そうなっているはずの姿までです。実際にそうなっているかどうかは、点検記録と、その機械を日常的に触っている人の記憶の側にあります。2つ目の線引きは、ここに引かれます。

• ・AIの答えは「新品時の仕様」として受け取る（現状の説明ではない）
• ・点検記録・修理履歴を先に開き、消耗部品の交換時期を突き合わせる
• ・その機械を普段扱っている人に、機器固有の特徴の有無をひとこと確認する

説明書に書いていない「外れています」というアラーム

それなら、取扱説明書のPDFをAIに読み込ませて、そこから答えさせればよいのではないか。取材では記者からそう尋ねました。返ってきたのは、半分は肯定、半分は否定の答えでした。

取扱説明書もデジタルになっている部分がたくさんありますので、そこから引っ張ってくるんですけど、でも本当にこの機械にそれがふさわしいのかを判断する基準としては、少し弱い感じがするんですよね。取扱説明書どおりにいかないこともありますので。それは生身の人間に使っているからこそです。

小林氏が挙げたのは、勤務先でも起きたという人工呼吸器のアラームでした。回路は外れていないのに、機械が「外れています」と鳴ります。

外れていないのに「外れています」というアラームが人工呼吸器から出るんです。人工呼吸器のシステムのところで、その値がかなりの範囲以上に逸脱した場合には、外れていなくても外れているというアラームを出しますよ、という動きがプログラムの中に入っているんですね。

では、なぜ値が大きく逸脱するのか。患者さんが安静に仰向けで眠り続けているわけではないから、というのが答えです。咳をする、急に深く息を吸う、自分の呼吸と機械の送気がぶつかる。そして、床ずれを防ぐために体の向きを変えるとき、圧力や流量が大きく動きます。

つまり、アラームは誤作動ではありません。設計どおりに鳴っています。ただ、その鳴り方が「この患者さんのこの場面では想定内」だと分かるのは、記録と説明書の外側にいる人だけです。

その時に機械はアラームを発するんですけど、見ている人は「いつもそうだよね、こっちになったらこうなるよね」と分かるんです。そういう細かいところに関しては、メーカーの取扱説明書には書いていないので、そこはAIでは絶対に回答できないところがあります。

書かれていないなら、書けばよいのです。小林氏が自分たちの仕事だと位置づけているのは、まさにそこでした。

この機械はこういうときにこういうアラームが鳴りやすいですよ、でもそれは大丈夫なんですよ、というところを、現場の人が、特に私たち医療機器の専門家が看護スタッフや臨床のスタッフに伝える。独自のマニュアルを作るべきだと思うんですけどね。

メーカーの説明書は、その機械を使うすべての施設に向けて書かれています。目の前の1台と、目の前の1人に向けた注意書きは、そこには載りません。3つ目の線引きは、この「載らないもの」の手前にあります。

出典をたどり、複数のAIに当て、最後に人へ見せる手順

3つの場面を踏まえたうえで、それでもAIは使います。小林氏はAIを「すごく便利なツール」と繰り返し呼び、業務の効率化には役立っていると話します。問題は使うかどうかではなく、どんな順序で確かめるかです。若い技士に伝えているという手順は、出典をたどるところから始まります。

まず、そのAIが出してきた情報がどこから出ているのかをチェックするというのが、とても大事だと思います。確かな論文から引っ張ってきているのか、その論文はいつのものなのか。20年、30年前の論文から出してくると、それはおそらく間違っていることですし。

次に、答えを1つのAIに委ねないこと。小林氏は複数のサービスに同じことを尋ね、返ってきた答えを突き合わせているといいます。ただし、それで終わりにはしません。

1つのAIツールだけでなく、チャットGPTだけでなくジェミニも見て、クロードとかジェンスパークとか、複数のAIのツールを使って、その情報がすべて同じ回答であれば、かなり信憑性は高いのかなと思います。それでも出典元のところをしっかりチェックして、本当にそれでやっていいのかというところを、もう1度専門家にチェックしてもらう。そういう流れを忘れずにやっていくと、大きな間違いにはならないのではないかなと思います。

複数のAIが揃って同じことを言っても、それは「確からしさが上がった」という以上のことは意味しません。だから最後に人を挟みます。この一手間を省いてよい場面と、省いてはいけない場面の違いを、小林氏は損の行き先で説明しました。

大学のレポートを書くようなレベルでやったら、自分がミスをして嘘を書いても、自分が損をするだけで済むんですけど、それを医療行為としてやっていくと、自分ではなく患者さんの命に関わることになるんです。

医療に限った話ではありません。間違いの代償を自分以外の誰かが払う仕事なら、どの分野でも同じ順序が要ります。実務に落とすと、次の順番になります。

• ・根拠の所在を聞き直す（何を出典にしたのか、それはいつのものか）
• ・20年、30年前の資料を根拠にしていないか、日付で切る
• ・同じ質問を別のAIにも投げ、答えが割れないか見る
• ・揃っても出典そのものを開き、原文に当たる
• ・実行する前に、その分野の専門家に確認する。

なお、その機械を誰が点検し、誰が管理しているのか——AIの答え以前にある現場の問題については、別記事「フリーランス臨床工学技士が語る、点検されない医療機器とAIの限界」で伺っています。

AIの答えが危うくなるのは、AIが嘘をつくときだけではありません。機種の版が指定されていないとき、その1台が10年ぶんの履歴を背負っているとき、説明書に書かれていない癖が出ているとき。3つに共通しているのは、AIが見ていないのが情報そのものではなく、目の前の1台と、その先にいる人だという点です。出典をたどり、答えを突き合わせ、最後に人に見せる。小林氏が若い技士に伝えているその順序は、機械を扱わない仕事にもそのまま置き換えられます。

取材日：2026年8月19日