今日は「AIをどこまで信頼できるか」を考えさせるニュースがそろいました。医療の診断、AIの見張り役、ソフトウェアの安全確認、そして日本の行政での活用まで、4本を紹介します。

1. マイクロソフトの診断AI、難しい症例で一般の医師の2倍以上の正答率

何が起きた?

マイクロソフトのAI部門は、診断を手助けするAIシステム「MAI-DxO」の研究結果を、科学誌『Science』で発表しました。複数のAIが「医師チーム」のように役割を分け、患者への質問、検査の注文、診断の議論を順番に進める仕組みです。

医学誌に載った難しい症例を使ったシミュレーションでは、MAI-DxOの正答率は約83%でした。参考資料を使いながら1人で取り組んだ一般の医師(かかりつけ医や総合内科医)は約36%だったと報じられています。

なぜ重要?

AIが、症状から原因を絞り込む「診断」という医師の中心的な仕事で高い成績を出したことは大きな話題です。ただし、注意点もはっきりしています。

  • あくまでシミュレーションで、実際の患者を診たわけではありません。
  • 比べた相手は一般の医師で、こうした難しい症例をふだん担当する専門医やチームとは比べていません。
  • 成績の伸びの多くは、土台に使ったAIモデル(OpenAIのGPT-5系)そのものの力によるもので、MAI-DxOの仕組みはそれに上乗せした形だと分析されています。
  • 救急外来の症例では、ほとんど改善が見られなかったとされています。

製品としてはまだ提供されておらず、今後は米ボストンの病院と組み、同意した患者で医師の判断と比べる検証を進めるそうです。

ひとこと解説

シミュレーションは、実際の現場ではなく、用意した症例データの上で試すことです。医療AIは、実際の診療の場で安全に役立つかを確かめるまで、長い検証が必要になります。

2. 外部の専門家が見つけた、OpenAIの「AIの見張り役」の穴

何が起きた?

AIの安全性を調べる団体METR(メーター)とRedwood Researchは10月22日、OpenAIの社内に3週間入り込み、社内で動くAIエージェントを見張る仕組みを試した結果を公表しました。

報道によると、いくつもの新しい弱点が見つかりました。たとえば、AIエージェントが直近の数百件の行動を見張りの目から隠せてしまうおそれのある方法や、新しく動かすエージェントの見張りを切ってしまえる設定などです。また、強力なモデルの社内での動きのうち、見張りの対象になっていたのは推定で約75〜94%にとどまったとされています。

OpenAIは、本番の安全対策に関わる弱点はすべて直したと説明しています。ただし、METRはその修正をまだ自分たちでは確かめていないとしています。

なぜ重要?

AI企業は、社内で強力なAIエージェントに仕事をさせるようになっています。そのAIが想定外の動きをしないよう、別の仕組みで常に見張るのが安全対策の柱です。今回の結果は、その見張りにも抜け穴があり得ることを示しました。

一方で、外部の専門家が企業の内部システムに深く入って調べるという、新しい「監査」の形を試した点も注目されています。AIの安全性を会社の自己申告だけに頼らない仕組みづくりの一歩といえます。

ひとこと解説

AIエージェントは、指示を受けて複数の作業を自分で進めるAIのことです。**監査(かんさ)**は、第三者が中立の立場で、決まりどおりに運用されているかを調べることです。

3. Anthropic、Claudeでソフトの「壊れないこと」を数学的に証明

何が起きた?

Anthropicの研究チームは10月22日、AIのClaudeを使って、オープンソースのソフトウェア123個について安全性を数学的に証明する取り組みを公表しました。Googleが進めるソフトのテスト活動(OSS-Fuzz)で使われている確認項目をもとに、「64MB未満のどんな入力を与えても落ちない」ことを、合計239か所の入り口について証明したとしています。

その途中で、Claudeは何百件ものバグを見つけて直したと説明しています。中には、何年も見つかっていなかった不具合も含まれていたそうです。証明に使ったデータの一部と、開発者が自分のコードを検証するための道具も公開されました。

なぜ重要?

ふつうのテストは「試した入力では動いた」ことしか言えません。これに対して証明は、「条件の範囲なら、どんな入力でも大丈夫」と言い切れるのが強みです。ただ、人の手では膨大な手間がかかるため、これまでは一部の重要なソフトに限られていました。

AIがこの作業をこなせるようになれば、ふだん使うアプリの土台となる部品の安全性が上がる可能性があります。今週はAIを使った攻撃や欠陥探しのニュースが続いており、守る側の新しい道具として注目されます。

ただし、Anthropic自身も「証明したからバグがゼロとは限らない」と限界を示しています。証明の前提(コンピューターの動き方のモデルなど)が現実と合っていないと、見落としが出るためです。

ひとこと解説

**形式検証(けいしきけんしょう)**は、プログラムが決められた性質を満たすことを、数学の証明のように確かめる方法です。オープンソースは、設計図にあたるプログラムが公開され、誰でも使ったり改良したりできるソフトのことです。

4. デジタル庁、政府職員約18万人向けにAIエージェントの環境を提供

何が起きた?

デジタル庁は10月20日、政府の生成AI利用環境「ガバメントAI 源内(げんない)」で、職員が言葉で指示するだけで複数の作業をまとめて進められるAIエージェントの機能を、各府省庁へ順次導入すると発表しました。対象は約18万人の政府職員です。

あわせて、安全に使うためのルール「源内基準」(53ページ)も公表しました。AIの出力をそのまま信じずに人が確認すること、外部の情報に紛れ込んだ不正な指示に注意すること、重要な操作は人が確かめることなどを定めています。

今後は、専門知識がなくても簡単な業務アプリを作れる「源内工房」を12月ごろまでに導入する予定です。さらに2027年2月ごろには、仕組みを無償で公開し、自治体や民間企業でも使えるようにする計画だと報じられています。

なぜ重要?

行政の仕事は文書づくりや調べものが多く、AIエージェントが役立つ場面がたくさんあります。一方で、扱う情報が重要なぶん、安全のルールづくりが欠かせません。今回は道具とルールをセットで公開した点が特徴です。仕組みが無償公開されれば、自治体などでの活用が広がるきっかけにもなりそうです。

ひとこと解説

プロンプトインジェクションは、ウェブページや文書の中に「AIへの指示」をこっそり紛れ込ませ、AIに意図しない動きをさせる攻撃のことです。AIエージェントが外の情報を読むほど、この対策が大切になります。

まとめ

今日の4本に共通するのは、「AIの力が上がるほど、どう確かめ、どう見張るか」が大事になるという点です。診断AIは実際の病院での検証へ進み、AIの見張り役は外部の目でチェックされ、ソフトの安全確認にはAIが証明という形で関わり始めました。日本の行政でも、道具と安全ルールを一緒に整える動きが出ています。便利さと確かさの両方をどう高めていくか、引き続き注目です。

出典: