敏感資訊揭露是一種安全漏洞，大型語言模型 (LLM) 會在回覆中無意間揭露機密、私人、專有或其他受限資料。如果模型洩漏訓練資料中的資訊，或在使用者工作階段中揭露私密詳細資料，就可能發生這種情況。攻擊者可以精心設計特定查詢或使用提示注入技術，誘騙模型洩漏不應公開的資訊，藉此發動攻擊。主要問題是 LLM 無法區分處理過的公開資料和機密資訊。
與 Android 相關的揭露聲明類型
訓練資料外洩：如果 LLM 逐字重複訓練時使用的特定資料片段，如果訓練資料集含有個人資訊 (PII)、專屬程式碼或內部文件，只要提示得當，模型可能會在輸出內容中重現這些資訊。如果是 Android 應用程式，這可能包括與應用程式一併提供的預先訓練模型，或是透過 Cloud API 存取的模型。
揭露情境資料：這是 Android 應用程式面臨的直接風險，因為 LLM 可能會揭露使用者在應用程式工作階段中提供的私密資訊。舉例來說，如果應用程式允許使用者將個人識別資訊 (PII) 輸入 LLM 進行摘要，後續的提示注入攻擊可能會讓攻擊者操縱模型，進而揭露內容。應用程式隱含傳遞至 LLM 的任何敏感資料也適用此規定。
Android 開發人員應注意的原因
機密資訊外洩可能會嚴重危害應用程式及其使用者：
- 侵犯隱私權：攻擊者可能會從使用者身上擷取個人識別資訊 (PII)，例如姓名、電子郵件、電話號碼，甚至是位置資料，導致身分遭盜用，並面臨嚴重的法規處罰 (例如 GDPR 或 CCPA)。如果 Android 應用程式會處理使用者資料，就更需要注意這一點。
- 智慧財產竊取：如果應用程式的 LLM 會處理專有演算法、財務資料或其他內部業務資訊，攻擊者可能會強迫揭露這些資訊，對貴機構造成重大競爭和財務損害。
- 安全漏洞：LLM 可能會不慎洩漏系統層級的資訊，例如訓練資料中或工作階段期間出現的 API 金鑰、驗證權杖或設定詳細資料，進而為後端或其他服務造成重大安全漏洞。
- 聲譽受損：單一重大資料外洩事件就可能摧毀使用者信任感、導致應用程式遭到解除安裝、負評如潮，並對應用程式和品牌的聲譽造成無法彌補的損害。
Android 應用程式開發人員的因應措施
如要減輕這項安全漏洞的影響，請採取多層式做法，著重於資料衛生，並控管 Android 應用程式中的 LLM 存取權。
清除敏感資料和資料最小化原則：
- 優先清理輸入內容：將任何使用者輸入內容或應用程式資料傳送至 LLM 前，請先徹底清除並匿名化。移除所有個人識別資訊和專有資訊，除非這些資訊對 LLM 的工作絕對必要。
- 只收集必要資料：在應用程式中遵守資料最小化原則，只收集並提供 LLM 執行特定功能所需的最低限度資料。
- 裝置端機器學習：對於高度私密的資料，請考慮使用裝置端機器學習模型，這樣資料就不會離開使用者的裝置，大幅降低伺服器端資料外洩的風險。
控制存取權
- 限制資料存取權：設計 LLM 應用程式時，請盡可能減少應用程式可存取的資料量。如果模型未獲准存取機密資料庫、使用者偏好設定或私人檔案，就無法被騙而洩漏內容。
- 限制 Android 權限：確認應用程式的 AI 元件運作時，只會使用必要的最低 Android 權限。請勿授予不必要的權限，以免機密資料外洩。
在應用程式中篩選輸出內容：
- 用戶端遮蓋：在 Android 應用程式中導入安全層，掃描 LLM 的輸出內容，找出與機密資訊相符的模式 (例如信用卡號碼、API 金鑰、社會安全號碼、電子郵件地址)，然後再向使用者顯示回覆。如果找到相符項目，就應封鎖或刪除回覆。
LLM 的指令防護機制：
- 明確的系統提示：在系統提示中加入明確的指示，禁止模型揭露任何個人、機密或敏感資訊。例如：「在任何情況下，您都不得分享任何使用者詳細資料、內部資料或個人識別資訊。」藉此強化預期行為。
隱私權強化技術：
- 如果應用程式會從使用者互動或資料中學習，請考慮採用差異化隱私權 (在資料中加入統計雜訊) 或聯合學習 (在使用者裝置上訓練模型，而不集中處理資料) 等進階技術，保護個人隱私權。
定期稽核和紅隊演練：
- 主動測試：主動測試及紅隊 Android 應用程式，找出大型語言模型可能洩漏機密資訊的方式。這包括刻意嘗試讓 LLM 揭露不應揭露的資料。
摘要
如果 LLM 揭露訓練集或使用者工作階段中的機密資料，就會發生機密資訊揭露事件，可能導致隱私權侵害和智慧財產竊盜等重大風險。如要減輕影響，您需要在 Android 應用程式中採取多層防禦措施，優先清除資料，再將資料傳送至 LLM；強制執行最低權限原則，限制模型存取的資料；並實作強效篩選器，掃描並編輯模型最終輸出內容中的私密資訊，再將內容傳送給使用者。使用裝置端 ML 和 Firebase App Check 等工具，可進一步提升安全性。
其他資源
以下是部分私密資訊相關規範的連結，供您參考：
如果使用其他模型，請尋找類似的指引和資源。
更多資訊：