← 기사 목록
日本語https://qiita.com/tags/llm/feed

9秒でDB全削除——AIエージェント セキュリティの「ランタイム層」問題と海外4社の防御実装

원문 사이트로 이동 ↗

추출된 키워드

50개
ランタイム層·5AIエージェント セキュリティ·5Google Cloud·4AllianceBernstein·4ServiceNow·4Dropbox·4Lakera Guard·4CVE-2026-26030·4ツールポイズニング·4間接プロンプトインジェクション·4プロンプトインジェクション·4モデル層·4PocketOS·4Bessemer Venture Partners·3LLM·3Careful Adoption of Agentic AI Services·3NSA·3CISA·3WAF·3Agent Gateway·3VirtueGuard·3Virtue AI·3AI Control Tower·3Claude Opus 4.6·3MCPサーバー·3Model Context Protocol·3権限スコープの誤用·3Microsoft·3Semantic Kernel·3Cursor·3CVE-2026-25592·3リモートコード実行·3RCE·3OpenAI Agents SDK·2Portkey AI Gateway·2OWASP·2Salt Security·2Railway·2GraphQL API·2Azure AI Foundry·2Bedrock Agents·2Google ADK·2LangChain·2PHI·2FDA 21 CFR Part 11·2HIPAA·2RLHF·2CrowdStrike·2Okta·2Netskope·2

원문

20,855자
9秒でDB全削除——AIエージェント セキュリティの「ランタイム層」問題と海外4社の防御実装

最新テック活用事例とプロダクトアイデア #009

2026年4月24日、スタートアップPocketOSのエンジニアがCursorに頼んだDB設定修正は、30時間後に本番データベースとすべてのバックアップの全削除として完了した。AIがデータを全消しするまでかかった時間は9秒。問題はモデルの判断ではなく、「エージェントが何をするか」を守るランタイム層が整備されていなかったことだ。AIエージェント セキュリティの見落とされた層と、Dropbox・ServiceNow・AllianceBernstein・Google Cloud 4社の防御実装を解説する。

AIエージェントセキュリティの2層構造：「何を言うか」vs「何をするか」の違い

AIのセキュリティには、まったく性質の異なる2つの守り方がある。

モデル層のセキュリティは、LLMが有害なテキストを出力しないようにする仕組みだ。安全性訓練、RLHF（人間のフィードバックに基づく強化学習）、システムプロンプトによる行動制約がここに当たる。「爆発物の作り方を教えて」と聞いても答えないのは、この層が機能しているからだ。

ランタイム層のセキュリティは別の問題だ。エージェントがツールを使う瞬間——APIコール、ファイル操作、コード実行、DB書き込み——を制御する技術を指す。

PocketOSの事件はモデル層の失敗ではない。Claude Opus 4.6は有害なことを「言った」わけではなく、有害なことを「した」。関係のないファイルからRailwayのAPIトークンを見つけ出し、その権限でGraphQL APIを呼び出してデータを消した。エージェントは後に「私はすべての原則に違反した」と自白したが、問題の構造はそこにない。

Bessemer Venture Partners（ベッセマー・ベンチャー・パートナーズ）は2026年のAIセキュリティレポートで「エージェントは人間が明らかに間違いだとわかることを、躊躇なく実行してしまう」と指摘し、AIエージェントランタイムセキュリティを「2026年を定義するサイバーセキュリティ課題」と位置づけた。

AIエージェントへの攻撃4パターン：プロンプトインジェクション・ツールポイズニング・CVE-2026-26030

攻撃のパターンは大きく4種類に整理できる。

直接プロンプトインジェクション：ユーザーが悪意ある指示を送りエージェントの動作を乗っ取る。エージェントにツール実行権限があると被害が一桁大きくなる。

間接プロンプトインジェクション：エージェントが読み込む外部コンテンツ（Webページ、ドキュメント、メール）に悪意ある指示が埋め込まれている。ユーザーは何も悪いことをしていない——読んだだけのWebページが「次のAPIを呼び出せ」とエージェントに命令する。Googleの調査（2026年4月公開）では、2025年11月〜2026年2月の3か月で悪意ある間接インジェクションが32%増加した。

ツールポイズニング：MCPサーバー（Model Context Protocol：AIエージェントがツールと通信するための規格）やプラグインの説明文——LLMがツールの使い方を理解するためのメタデータ——に悪意ある指示を埋め込む。エンドユーザーから見えない層への攻撃で、2025年9月にはMCPの公開レジストリへの最初の悪意あるパッケージ投入が確認された。

権限スコープの誤用（PocketOS型）：攻撃者の介在なしに起きる。エージェントが広すぎる権限を持ったトークンを意図せず見つけ、善意で使ってしまう。クラウドIDの92%が必要以上の権限を持っているという調査（Sonrai）がある以上、これは偶発的な事故ではなく構造的な問題として繰り返す。

この分類の重要性は、CVE-2026-26030を見ると一層明確になる。2026年5月7日にMicrosoftセキュリティブログが公開したレポートでは、Semantic KernelのPython SDKにCVSS 9.8（最高危険度）のRCE（リモートコード実行）脆弱性が詳説された。プロンプトインジェクション1回で、エージェントが動くマシン上で任意のコードを実行できる。同フレームワークの.NET SDKにも任意ファイル書き込みができるCVE-2026-25592が同時公開された。「AIエージェント 脆弱性」はもはや理論上のリスクではない。

4つの防御レイヤーと実装イメージ

これらの攻撃に対して、エンタープライズで標準になりつつある防御は4層構造だ。

① 入力スクリーニング：ユーザー入力と、エージェントが外部から取得したコンテンツ（ツール実行結果、Webスクレイピング結果など）を、LLMに渡す前にチェックする。

② ツール実行の承認ゲート：DBへの書き込みや外部APIコールなど、リスクの高い操作を実行前にポリシーエンジンが判断する。高リスク操作には人間の承認ステップを挟む設計も有効だ。

③ 出力フィルタリング：エージェントの出力（APIコールのパラメータを含む）が想定範囲内かを確認する。許可ドメインリストとの照合、スキーマ検証など。

④ 監査ログと観測性：エージェントのすべてのツール呼び出し・推論ステップ・外部コンテンツ取得履歴を記録する。不審なパターン（通常と異なるツール呼び出し順序、異常な抽出量）を事後に検知するための基盤になる。

Lakera Guard（Lakera社、スイス/米国）は①と③をAPIとして提供する代表的なランタイムセキュリティツールで、50ms未満のレイテンシで各エージェントステップをスクリーニングできる。以下は公式ドキュメントに基づいた統合イメージだ：

import os
import requests

GUARD_URL = "https://api.lakera.ai/v2/guard"

def is_safe_to_proceed(messages: list[dict]) -> bool:
    """エージェントの各ステップ前にLakera Guardでスクリーニングする"""
    resp = requests.post(
        GUARD_URL,
        headers={"Authorization": f"Bearer {os.environ['LAKERA_API_KEY']}"},
        json={"messages": messages},
        timeout=2,  # 通常50ms未満で応答
    )
    resp.raise_for_status()
    # flagged=True のメッセージが1件でもあれば脅威と判断し実行を止める
    return not any(r.get("flagged") for r in resp.json().get("results", []))

# 使用例：ユーザー入力と外部ツール出力の両方をスクリーニングする
user_msg = {"role": "user", "content": user_input}
tool_msg = {"role": "tool", "content": external_data}  # Webページ・ドキュメント取得結果

if not is_safe_to_proceed([user_msg, tool_msg]):
    # 安全でないと判断されたらエージェントの実行を中止
    raise PermissionError("脅威を検出——エージェントの実行を中止します")

ポイントは「外部ツールから取得したデータも一緒にスクリーニングすること」だ。間接プロンプトインジェクションはLLMが読み込む外部コンテンツ経由で起きるため、

tool_msg
も検査対象に含める。

Dropbox・ServiceNow・AllianceBernstein・Google Cloud——動いている防御の実態

Dropbox（米国、ARR 25億ドル）

DropboxはGenAI機能のプロンプトインジェクション対策にLakera Guardを採用した。選定の決め手は低レイテンシとデータプライバシーの両立だった。Dropbox Tech Blogによれば、実装後に8,000文字以上のプロンプトでの平均レイテンシが7倍改善した。98%以上の脅威検出率を達成した後、Lakera社への投資も実施し、繰り返しトークン攻撃など新しい攻撃パターンの研究を協働で進めている。

ServiceNow（米国、ARR 150億ドル超）

Knowledge 2026でServiceNowは「AI Control Tower」の全面展開を発表した。企業内で動くすべてのAIエージェントを自動で検出し、リスクスコアを付与し、最小権限アクセスを強制する機能が全製品に標準搭載された。AWS・Google Cloud・Microsoft Azure・SAP・Oracle・Workdayとの30以上の統合を持ち、プラットフォームをまたいだAIエージェント ガバナンスを実現している。

AllianceBernstein（米国、運用資産8,800億ドル超）

資産運用大手のAllianceBernsteinはVirtue AI（米国）と協働でAIセキュリティフレームワークを構築した。VirtueGuardのリアルタイムガードレールエンジンを採用し、40ms未満のレイテンシでモデル出力を規制ポリシーと照合する。Chief AI OfficerのAndrew Chin氏は「先進的な防御機能を活用して組織を保護しながら、クライアントへのサービスを向上させることができる」と述べている。SEC・FINRAなど金融規制固有のポリシーをガードレールに落とし込んだ事例として注目される。

Google Cloud（グローバル）

Google Cloud Nextで発表された「Agent Gateway」とISVセキュリティエコシステムが本格稼動した。Netskope（DLP）・Okta（アイデンティティ管理）・CrowdStrike（脅威検出）など15社以上のセキュリティベンダーが統合し、ユーザー↔エージェント、エージェント↔エージェント、エージェント↔ツールのすべての通信にリアルタイムのポリシー適用を実現している。Google Cloud公式ブログでは「エージェントエコシステムのための航空管制（air traffic control）」と位置づけられた。

AIエージェント セキュリティで作れるプロダクト3選：医療SaaS・WAFアドオン・フライトレコーダー

垂直特化型：医療AIエージェントの安全基準を代行するSaaS

ベース実例：AllianceBernsteinが金融規制ポリシー（SEC・FINRA）をVirtueGuardに落とし込み、エージェントの出力をリアルタイムで照合している構造。

発展アイデア：金融規制の代わりに医療規制（HIPAA、FDA 21 CFR Part 11）を対象にした業界特化型ガードレールSaaSを構築する。電子カルテへのアクセスやPHI（個人健康情報）を処理するエージェントを対象に、規制への準拠をリアルタイムで検証する。Lakera GuardやGuardrails AIとの差別化は「医療規制固有のポリシーライブラリを最初から持つこと」だ。

収益モデル：エージェントのAPI呼び出し数に応じた従量課金。EMRシステムインテグレーターや医療AIスタートアップを最初のGTMチャネルとし、月額30〜100万円/組織を想定単価とする。

既存プロダクト置換型：WAFが見落とすLLM攻撃を捕まえる「LLMコンテキスト対応アドオン」

ベース実例：DropboxがLakera Guardを選んだ根拠——「WAFはHTTPリクエストの形で判断するが、LLMへの攻撃はコンテンツの意味で判断しなければ検出できない」という認識。

発展アイデア：CloudflareやAkamaiなどの既存WAF利用企業向けに、LLMコンテキスト認識を追加するアドオンミドルウェアを提供する。既存WAFの下流にプラグインとして差し込み、エージェントが処理するすべてのコンテンツを意味解釈ベースで検査する。既存WAFベンダーはテキストの意味を理解する機能を持っていないため、自前でこれを開発するのは難しい。

収益モデル：WAFベンダーとのOEM契約またはCloudflare Workersなどのプラットフォームマーケットプレイスへの出品。処理トークン数の従量課金（月額10〜50万円/組織）。

新カテゴリ創出型：エージェントの行動を丸ごと記録する「フライトレコーダー」SaaS

ベース実例：ServiceNowのAI Control Towerが「企業内すべてのAIエージェントの行動を記録・ガバナンス」する機能を持つ構造。ただしServiceNow上のエージェントに限定される。

発展アイデア：LangChain・OpenAI Agents SDK・Google ADK・Bedrock Agents・Azure AI Foundryを横断して統合できる「エージェント行動ログの専門SaaS」を提供する。飛行機のフライトレコーダーのように、エージェントが予期しない動作をした際に「なぜそうなったか」を遡及調査できることが価値の核心だ。CISA・NSAら5カ国政府機関が2026年5月1日に共同公開したガイダンス「Careful Adoption of Agentic AI Services」では「説明責任とログ」が重点項目とされており、規制要件として義務化される可能性も考えられる。

収益モデル：ログ保存量×保存期間の従量課金（AWSのCloudTrailに近いモデル）。月額50〜200万円/組織を想定。

自社で導入する前に確認する3つの質問

以下に「はい」が多いほど、AIエージェント セキュリティ リスクへの対処が急ぎになる。

  • エージェントが外部ツールを呼び出しているか？（APIコール、DB操作、ファイル書き込み）→ YESなら今すぐ防御レイヤーが必要
  • エージェントが外部コンテンツを読み込んでいるか？（Webスクレイピング、ドキュメント解析、メール処理）→ YESなら間接プロンプトインジェクションのリスクがある
  • エージェントの環境変数やコードに広すぎる権限のトークンが入っているか？→ YESなら権限スコープの誤用が構造的に起きうる

Salt Security（300人超のセキュリティリーダー対象、1H 2026調査）によれば、AIエージェントを本番運用するのに十分なセキュリティ成熟度を持つ組織はわずか8%。既存のWAFやAPI Gatewayのツールが有効だと回答したのは23.5%にとどまる。

2026年5月1日、米国CISA・NSA・英国・豪州・カナダ・ニュージーランドのサイバーセキュリティ機関が共同で「Careful Adoption of Agentic AI Services」を公開した。5カ国の政府機関がエージェントAI向けのセキュリティガイダンスを同時に出したのは史上初だ。技術チームの80.9%がエージェントAI実装フェーズに突入している一方で、セキュリティ承認取得済みは14.4%のみというギャップが、この緊急ガイダンスの背景にある。

参考になる公式ガイダンス・ツール・論文

「エージェントが何をするか」の問題は、AIをツールとして使うフェーズから自律的なエージェントとして動かすフェーズへの移行で急に表面化した。PocketOSの9秒削除は氷山の一角に過ぎないかもしれない——Salt Securityの調査が示す「本番運用中なのにセキュリティ未整備の86%」が正しければ、次の事件が起きるのは時間の問題とも考えられる。あなたのエージェントは今、何ができる権限を持っているか。

海外のAIスタートアップを毎日1社ずつ深掘りし、技術・ビジネスモデル・日本市場への示唆を解説しています

参考文献