ＪＢサービス株式会社 SOCチーム
ＪＢサービス株式会社では、24時間365日稼働の運用センター「SMAC」を運営しており、その中にセキュリティオペレーションセンター（SOC）チームを有しています。SOCチームは、認定ホワイトハッカー（CEH：Certified Ethical Hacker）を中心としたセキュリティ専門家集団として、契約中のお客様に定期的なセキュリティレポートを提供し、最新の脅威動向や対策ポイントを共有しています。
本シリーズ「SOCセキュリティニュース」では、そのレポートの中から多くのお客様にも知っていただきたい重要なトピックを毎月ご紹介します。日々の業務やセキュリティ対策にぜひお役立てください。
ChatGPTの脆弱性を利用した機密情報の抽出
ChatGPTなどの生成AIを狙った攻撃は日々研究されており、さまざまな攻撃手法が発見されています。ChatGPTに不正URLを生成させ、ユーザーにクリックさせる手法「リンクトラップ」もその一つです。今回発見された攻撃手法は、「リンクトラップ」を進化させたもので、ユーザーによるクリックを必要としません。
攻撃に利用されるChatGPTの機能
ChatGPTには以下のような機能があり、今回の攻撃に利用されます。
- サードパーティアプリへの接続を行う「Connectors」
Googleドライブ、SharePoint、GitHubなどのサードパーティアプリケーションに接続する機能であり、この機能を有効にすると、ChatGPTがこれらのアプリに保存された文書に、自由にアクセスすることが可能になります。 - 画像のレンダリング機能
画像のURLをつけてレンダリングをお願いすると、チャット画面で画像を表示してくれる機能です。レンダリング時、ChatGPTからURLに対してリクエストが送信されます。URLが不審なものであった場合、ChatGPTはURLに対してリクエストを行わないという緩和策が搭載されていますが、Azure Blobなどの正規のURLの場合、問題なくリクエストが行われます。
攻撃手法
今回発見された攻撃は以下のような流れで行われます。
- 攻撃者は、任意の専門的な文書の文頭に、ユーザーには見えない形でプロンプトを埋め込み、人目に付くよう配布します。プロンプトには以下のようなChatGPTへの依頼内容が記載されています。
- 接続されているサードパーティアプリへアクセスし、パスワードなどのセンシティブ情報を見つけること
- 攻撃者が用意したAzure Blobにホストされている画像のURLに、見つけたセンシティブ情報をパラメータとして付与し、画像のレンダリングを行うこと
- 上記依頼内容には一切言及しないこと
- サードパーティアプリへの接続機能を利用している被害者は、上記専門文書を取得し、ChatGPTへ要約を依頼します。
- 依頼されたChatGPTは1に記載された依頼内容を遂行します。
- Azure Blob のアクセスログにセンシティブ情報が付与されたChatGPTからのリクエストが残り、攻撃者が確認できます。
今後の展望
この攻撃手法において、攻撃者はAzure Blobを用意し、細工した文書をばらまくだけなので、非常に労力の少ない手法となっています。ChatGPT側も不審なURLへのリクエストを行わないなどの緩和策が日々追加されていますが、攻撃側は様々な迂回方法を見つけるため、今後も完全に安全なものになることはないと考えられます。ユーザー各々が、ChatGPTへの依頼に問題がないか注意することが大切です。
参考：AgentFlayer: ChatGPT Connectors 0click Attack https://labs.zenity.io/p/agentflayer-chatgpt-connectors-0click-attack-5b41
セキュリティ運用でお困りがあればＪＢサービスへ
今回は、ChatGPTの脆弱性を利用して機密情報が抽出される可能性についてお伝えしました。この機会に、社内でのChatGPTの利用状況を確認し、社員への注意喚起を行っていみてはいかがでしょうか。
ＪＢサービス株式会社のSOCチームでは、セキュリティアナリストを有するSecurity Operation Center（SOC）機能を備え、お客様に代わって重要なセキュリティイベントの早期発見・分析・対応支援を行っています。セキュリティ対策の運用体制に課題をお持ちのご担当者様は、ぜひお気軽にお問い合わせください。
