生成AIアプリのリスクと対策～Prisma AIRSのAI Runtime Security

AIの利用拡大と求められるセキュリティ対策

近年、生成AIのビジネス利用は増加しており、自社でAIアプリケーションを構築する企業も増えています。カスタマーサポートからコード生成、意思決定支援まで、AIアプリケーションは企業の様々な活動に浸透し、生産性向上に寄与しつつあります。しかしこの急速な普及は、従来のサイバーセキュリティでは対処が困難な新たな脅威を生み出しています。

IPAの2024年調査 によると、生成AI利用企業の7割がセキュリティ対策を重要視し、6割が脅威を認識している一方、実際に規則策定・組織的検討を行っているのは2割未満に留まります。AI利用が加速する中、組織におけるガバナンス体制や適切な対策の整備が追いついていない現状が伺えます。AI活用における「攻め」と「守り」のバランスを適切にとるためには、具体的にどのような脅威があり、どのような対策が有効なのかを把握する必要があります。

OWASP Top 10 for LLM 2025に見る代表的な脅威

2024年11月18日にOWASPが発表した2025年版「OWASP Top 10 for LLM Applications」は、LLMアプリケーションの最も重要なセキュリティリスクを体系化しており、現在のLLMセキュリティの全体像を理解する上で重要な指針となります。

最も深刻な脅威として位置づけられているプロンプトインジェクションは、悪意のあるユーザが巧妙に作成した入力によってLLMの動作を意図しない方向に操作する攻撃です。2つめの機密情報の漏洩は、2023年版のOWASP Top 10では6番目の脅威に位置付けられていましたが、LLMアプリケーションの実運用が拡大するにつれ実際の漏洩リスクが顕在化し、順位が上昇しています。

上記の図は主要な脅威をLLMサービスのアーキテクチャ例にマッピングしたものです。非常に単純化すると、LLMサービスはOpenAIなどのモデルやエージェントに様々なデータソースやサーバ機能を補助的に紐づけ最適化された上、フロントエンドのアプリ経由でユーザにサービスを提供します。サービスをセキュアに提供し、悪意あるユーザからシステムを保護するには、システムを可視化し、リスクを特定し、攻撃可能面を生産性とのバランスを取りながら矮小化する機構が必要です。

AI Runtime Securityによる防御

これらの脅威への対策として、セキュリティベンダ大手のPalo Alto Networks社は、2025年4月に包括的AI保護プラットフォームPrisma AIRSを発表しました。AIアプリケーションの可視化・監査・保護機能を含む 5つのモジュールが統合されたパッケージとなる予定ですが、リリースに先行し、そのうちの1つであるAI Runtime Securityに触れる機会がありましたので、軽くご紹介します。

AI Runtime Securityは稼働中のAIシステム内にセキュリティ機能をインラインで挟み込むことにより、LLMプロンプトの入力制御やレスポンスの出力制御をリアルタイムで行えるものです。プロンプトインジェクションなどAI特有の脅威からアプリケーションやモデルを保護する機能を持ち、Next Generation Firewall (NGFW)でも利用されるエンタープライズレベルの DLP、高度なURLフィルタリング、各種脅威防御でのフィルタリングが可能です。構成としては、ネットワークの経路上にAI保護専用の仮想NGFWをデプロイするパターンと、API連携があります。今回は後者のAPI連携に関して、ローコードで簡単にAIチャットのワークフローが作成できるDifyとの連携を試してみます。

Palo Alto Networks社はDify向けのPrisma AIRSプラグインを提供しており、今回はこのプラグインを利用してDify内でPrisma AIRSのAI Runtime Securityを利用しています。具体的にはDifyでチャットのワークフローを作成し、入り口と出口でランタイム制御をかけてみます。こちらがオリジナルのチャットのワークフローです。プロンプトに何かしらのメッセージを入力すると、ナレッジ検索、LLM処理を経て、回答が返ってきます。

ワークフローの入り口と出口にランタイムセキュリティAPIのツールを組み込み、プロンプトとレスポンスのガードレールを引いてみます。

その状態で、まずは入り口のプロンプトの制御を試すべく、典型的なプロンプトインジェクションに当たる文言を入力してみましょう。下記図のワークフロー上では緑の線を辿り、ユーザに「インジェクトするな！」というカスタムメッセージが返されました。これはAI Runtime Securityがインジェクションを検知し、それを受けてのDifyの条件分岐にて、プロンプトをLLMに渡さずブロックしていることを示します。悪意のあるプロンプトを、LLMに至る手前で止めることができました。

止められるのはプロンプトインジェクションだけではありません。クレジットカード番号などセンシティブな情報、悪意のある文言、エージェントに対する攻撃など様々な脅威を検知し、アラートやブロックが可能です。ちなみに日本語での微妙な悪意もToxic Word検知で認識してくれました。

入り口の制御が十分にできても、LLMが参照するナレッジデータベースが汚染された場合、LLMの出力にフィッシングサイトのURLなど利用者を危険にさらす情報が混在する可能性があります。そこでLLMレスポンスの出力手前でもAI Runtime Securityの制御を加えてみましょう。LLMがフィッシングサイトのURLを含むレスポンスを返すと、出力側のAI Runtime Securityが内容を検査し、URLフィルタリング検査を行います。悪意あるカテゴリに該当した場合、危険なURLを返さずレスポンスを止めることができます。

止めるまではしたくないが、機密情報が漏れないようにマスク掛けることも可能です。DLP機能との連携により、代表的なPII情報のマスク掛けはできるようです。

このようにAI Runtime Securityは、悪意のある入力からシステムを保護し、不適切な出力から利用者を保護するリアルタイム対策が可能です。尚、今回ご紹介した内容はAI Runtime Security機能の中の一部分です。Palo Alto Networksが発表したPrisma AIRSには、他にもAIモデルの脆弱性を検知するAI Model Scanning、AIシステムの可視化と継続的な監査を実現するPosture Management、AI Red Teaming 機能によるプロアクティブなシステムテスト、エージェントを保護するAI Agent Security機能が含まれる予定です。OWASP Top 10をはじめとするLLMのリスクに対応するには、実行環境の保護だけでなく、AIシステム全体を可視化し、プロアクティブな監査を継続的に行うことが重要です。これらがパッケージ化されたソリューションを検討することで、AI活用における「攻め」と「守り」のバランス最適化が期待できるでしょう。

おわりに

ビジネスにおけるLLMアプリの活用が本格化しつつあり、従来のセキュリティ対策では防ぎきれないリスクも顕在化しています。多様化するAIモデル、アーキテクチャ、AIアプリをセキュリティの憂いなく有効活用するには、AIシステムに対応した可視化・監査・保護のガードレールが必要です。弊社では引き続きこの領域の動向および最適な商材に関する調査を継続していきます。

※本記事の内容は執筆者個人の見解であり、所属する組織の見解を代表するものではありません。