2025年4月10日，歐洲數據保護委員會（EDPB）發(fā)布《AI隱私風險與緩解措施-大型語言模型（LLMs）》，聚焦于大語言模型（LLMs）在數據流動過程中的隱私風險，并提出了全面的風險評估與管理框架，為保障用戶數據安全提供了關鍵指引。

一、LLMs 基礎與技術概述

1、定義與架構

 大語言模型（LLMs）基于Transformer架構，通過注意力機制處理上下文關系，典型模型包括 GPT、BERT、DeepSeek-V3等。

訓練流程：數據集收集（如 Common Crawl）→預處理（分詞、嵌入）→模型訓練（損失計算、反向傳播）→微調（監(jiān)督學習、RLHF）。

新興技術：Agentic AI（自主決策代理）結合LLMs與工具調用，涉及感知、推理、記憶模塊，2027 年預計 50% 企業(yè)試點。

2、應用場景

垂直領域：客戶支持（Chatbot）、內容生成（Jasper AI）、醫(yī)療診斷輔助、代碼生成（GitHub Copilot）。

服務模式：

即服務（SaaS）：如 OpenAI GPT-4 API，用戶通過API調用，數據流經提供商服務器。

現成模型（Off-the-Shelf）：如Hugging Face開源模型，用戶可本地部署并微調。

自研模型：企業(yè)自主開發(fā)，如DeepSeek 自研670億參數模型。

二、隱私風險與數據流動分析

1、LLMs生命周期各階段的隱私風險

數據收集階段：訓練、測試和驗證集可能包含可識別的個人數據、敏感數據或特殊類別數據。若收集的數據未經嚴格篩選，可能會將個人詳細信息、機密文件等敏感內容納入其中，比如從網絡爬取的數據中可能包含個人身份證號、醫(yī)療記錄等。此外，數據收集過程可能存在違反隱私權利、缺乏適當同意或侵犯版權等法律問題，如在未獲得用戶明確授權的情況下收集其數據。

模型訓練階段：模型可能會無意中記住敏感數據，一旦這些數據在輸出中暴露，就會導致潛在的隱私侵犯。例如，模型在訓練過程中學習到了用戶的敏感信息，當生成輸出時，可能會意外地將這些信息包含在內。

推理階段：生成的輸出可能會無意中泄露私人信息或包含錯誤信息。比如，在回答用戶問題時，可能會泄露其他用戶的隱私數據，或者由于模型的局限性，生成的答案存在事實錯誤，誤導用戶。在使用RAG過程中，如果知識bases包含敏感數據且未實施適當的安全措施，可能會導致敏感數據的泄露。此外，反饋循環(huán)中用戶交互可能未得到充分保護，存在隱私風險。

部署階段：模型與實時數據輸入交互，這些實時數據可能包含高度敏感的信息，需要對收集、傳輸和存儲進行嚴格控制。例如，在實時聊天應用中，用戶輸入的信息可能涉及個人隱私，若處理不當，容易造成數據泄露。

運行和監(jiān)控階段：監(jiān)控系統(tǒng)的日志可能會保留個人數據，如用戶交互記錄，這增加了數據泄露或濫用的風險。若日志管理不善，被未經授權的人員獲取，就會導致用戶隱私泄露。

重新評估、維護和更新階段：使用實時用戶數據進行更新時，如果沒有獲得適當的同意或采取安全措施，可能會違反隱私原則。例如，在模型更新過程中，未經用戶同意使用其最新數據，可能會侵犯用戶的隱私權。

退休階段：與模型及其操作相關的數據在存檔或刪除時，如果未能正確擦除個人數據，可能會導致長期的隱私漏洞。比如，刪除數據不徹底，使得個人數據在后續(xù)仍有被恢復和泄露的風險。

2、LLMs不同服務模式下的隱私風險

LLM作為服務（LLM as a Service）：用戶通過API與模型交互，數據流經提供商系統(tǒng)?？赡艽嬖诘娘L險包括用戶輸入時敏感數據披露、未經授權訪問、缺乏透明度和對抗攻擊等；提供商接口和API可能出現數據攔截、API濫用和接口漏洞等問題；LLM處理過程中可能存在模型推理風險、意外數據記錄、匿名化失敗、未經授權訪問日志、數據聚合風險、第三方暴露和缺乏數據保留政策等；處理后的輸出可能存在不準確或敏感響應、重新識別風險和輸出濫用等問題。以OpenAI GPT-4 API為例，用戶依賴其隱私保障，但難以獨立驗證其合規(guī)性。

LLM“現成的”（LLM ‘off - the - shelf’）：部署者可自定義權重和微調模型，與LLM 作為服務模式有相似之處，但也有獨特風險。例如，組織在使用 “現成的” 模型時，可能因對原始訓練數據集內容缺乏了解，引入偏見、不準確或未知的隱私風險；同時，依賴原始提供商進行模型更新，可能會延遲關鍵改進或修復。此外，在使用 RAG 時，可能存在不安全的日志記錄或緩存、第三方數據處理和敏感數據暴露等風險。

自行開發(fā)的LLM（Self - developed LLM）：組織自行負責模型的設計、訓練和部署，雖然有更多控制權，但也面臨諸多風險。在數據集收集和準備階段，可能會包含敏感信息、存在法律合規(guī)問題、數據有偏差和受到數據投毒攻擊等；模型訓練階段，訓練環(huán)境可能存在安全漏洞、模型可能出現過擬合并暴露敏感信息；微調階段，可能會暴露專有或敏感數據、存在第三方風險；部署階段，可能出現未經授權訪問和不安全的托管等問題。

基于LLM的Agentic系統(tǒng)（LLM-based Agentic Systems）：AI Agents與其他系統(tǒng)和應用有更多交互，數據流動更復雜。在感知階段，可能會收集和暴露敏感用戶輸入、預處理不當保留可識別信息、輸入接口存在安全風險和缺乏透明度；規(guī)劃階段，敏感數據可能在傳輸過程中缺乏保護、第三方系統(tǒng)可能不符合隱私和安全標準；記憶階段，長期存儲用戶數據增加風險、保留敏感數據可能違反法規(guī)；行動階段，生成的輸出可能包含敏感信息、輸出共享可能被攔截或濫用、多個Agent協同可能增加幻覺概率；反饋和迭代循環(huán)階段，用戶反饋可能在未經同意的情況下被用于模型再訓練、敏感反饋信息可能在日志或數據集中持續(xù)存在。

三、風險評估與管理框架

1、風險識別

風險因素考量：借助多種風險因素來識別LLMs使用中的風險，如處理敏感數據和大量數據會增加風險等級。同時，需考慮數據質量、系統(tǒng)安全防護措施等因素，低質量數據可能導致模型輸出錯誤，而缺乏足夠安全防護則易引發(fā)數據泄露。此外，還應關注弱勢群體在數據處理中的權益保護，確保其基本權利不受侵害。

相關概念剖析：深入理解《AI法案》中引入的安全概念，如危險（潛在危害源）、危險暴露（個體或系統(tǒng)暴露于危害的程度）、安全（降低危害的措施）、威脅（可能利用系統(tǒng)漏洞的外部因素）和漏洞（系統(tǒng)中可被利用的弱點）等。這些概念相互關聯，共同構成評估LLMs風險的基礎框架，有助于全面把握風險的本質和來源。

目的與背景的關鍵作用：明確系統(tǒng)的預期用途和運行背景對風險識別至關重要。《通用數據保護條例》（GDPR）強調依據數據處理的性質、范圍、背景和目的來評估風險；《AI 法案》則突出定義和評估AI系統(tǒng)預期運行方式的重要性。只有精準把握這些方面，才能發(fā)現系統(tǒng)在特定場景下的潛在風險，如系統(tǒng)被誤用或在特定環(huán)境中產生意外漏洞等。

威脅建模的運用：威脅建模是系統(tǒng)識別隱私風險的有效方法，它通過利用特定的AI威脅、危害和漏洞庫，對AI系統(tǒng)生命周期中的風險進行結構化評估。通過該方法，可識別潛在的攻擊面、誤用案例和漏洞，為風險評估提供有價值的參考，如發(fā)現數據訪問權限設置不當可能導致的未經授權訪問風險。

證據收集的重要性：為有效管理風險，需基于可靠證據進行評估。這包括收集系統(tǒng)運行數據（如日志和使用模式）、評估結果（來自指標測試、紅隊演練和外部審計）以及用戶或舉報人反饋等多方面信息。這些證據相互補充，能全面反映系統(tǒng)潛在的危害和漏洞，為風險識別提供有力支持。

2、風險評估

評估流程與利益相關者協作：在風險識別后，需對風險進行估計和評估，包括依據概率和嚴重程度對風險進行分類和排序。利益相關者的協作在這一過程中至關重要，由于AI的跨學科特性，需要技術、法律、倫理等多領域專業(yè)人員共同參與，從不同角度審視風險，確保評估的全面性和準確性。

概率評估標準：采用四級風險分類矩陣來確定風險概率，即非常高（事件發(fā)生可能性大）、高（有較大可能性發(fā)生）、低（發(fā)生可能性較?。?、不太可能（幾乎無發(fā)生跡象）。通過考慮系統(tǒng)使用頻率、暴露于高風險場景的程度、歷史先例、環(huán)境因素、系統(tǒng)穩(wěn)健性、數據質量和完整性以及人為監(jiān)督和專業(yè)知識等標準，對每個風險進行評估并打分，進而計算出綜合概率得分，以確定風險的概率等級。

嚴重程度評估標準：同樣使用四級風險分類矩陣評估風險嚴重程度，即非常嚴重（影響基本權利和公共自由，后果不可逆等）、嚴重（上述情況影響可逆，但存在數據主體對個人數據失控等問題）、嚴重但有限（對部分個人數據失去控制等較小影響）、非常有限（上述有限影響可完全逆轉）。評估時考慮基本權利性質、個人數據敏感性、數據主體類別、處理目的、影響范圍和數量、上下文和領域敏感性、危害的可逆性、持續(xù)時間和速度、透明度和問責機制以及連鎖反應等標準，其中部分標準具有 “阻斷” 作用，若達到最高級別，整體嚴重程度將直接判定為最高等級。

風險分類與接受標準：綜合概率和嚴重程度評估結果，將風險分為非常高、高、中、低四個等級。通常，非常高和高等級風險應優(yōu)先緩解。在風險評估階段，還需依據組織的風險承受能力和合規(guī)要求，確定風險是否可接受，確保風險在組織可控范圍內。

3、風險控制

風險處理標準：風險處理包括緩解、轉移、避免和接受四種策略。選擇合適的策略需綜合考慮風險類型、可用緩解措施、實施成本和效果、對系統(tǒng)預期用途的影響以及受影響個體的合理期望等因素。例如，對于數據泄露風險，可通過實施加密技術、加強訪問控制等措施來緩解；對于一些無法完全避免的風險，若在可接受范圍內，組織可選擇接受。

緩解措施示例：針對 LLMs 常見的隱私風險，如個人數據保護不足、訓練數據匿名化錯誤等，提出了一系列具體的緩解措施。包括確保 API 安全實施、加密數據傳輸和存儲、實施訪問控制和匿名化措施、進行定期安全審計、培訓員工安全最佳實踐等。同時，不同風險的緩解措施在提供商和部署者之間可能存在不同的責任分配，雙方需密切協作，共同應對風險。

四、案例分析與工具標準

1、案例分析

虛擬助手（Chatbot）用于客戶查詢：某廚房設備公司欲部署基于 “現成的” LLM并使用RAG技術的聊天bot。在設計與開發(fā)階段，詳細梳理了數據流程，包括用戶輸入、數據預處理與API交互、RAG檢索、LLM處理、數據存儲、個性化響應生成、數據共享和反饋收集等環(huán)節(jié)。通過分析系統(tǒng)架構和與利益相關者協作，識別出如個人數據保護不足、訓練數據匿名化錯誤等風險。采用FRASP框架評估風險概率和嚴重程度，多數風險被評為高風險。針對這些風險，采取了如加密數據傳輸、限制數據收集、審核第三方數據保護實踐等一系列緩解措施。實施緩解措施后，風險等級降為中等。若風險仍不可接受，可進一步強化預防控制、探索額外緩解措施或重新評估風險容忍度。同時，要持續(xù)監(jiān)測聊天bot，確保風險始終處于可控范圍內。

LLM系統(tǒng)用于監(jiān)測和支持學生進步：某學校計劃采用第三方基于“現成的”LLM模型的系統(tǒng)來監(jiān)測學生學業(yè)表現。由于涉及未成年人敏感信息，存在諸多隱私風險。如數據保護措施薄弱可能導致學生敏感數據泄露，訓練數據可能存在非法處理個人數據的情況，模型輸出可能存在偏差影響學生等。針對這些風險，建議學校采取的措施包括實施強加密協議、進行安全審計和滲透測試、驗證供應商合規(guī)性、審核訓練數據、監(jiān)測模型偏差、確保人類監(jiān)督、保障數據主體權利、明確數據保留政策、評估數據傳輸風險以及嚴格控制數據收集等。這些措施旨在全面降低風險，保護學生的隱私和權益。

AI助手用于旅行和日程管理：該AI助手基于多種“現成的”LLMs和SLMs開發(fā)，用于管理旅行計劃和日常日程。在運營和監(jiān)測階段，識別出的隱私風險包括處理特殊類別數據（如從旅行模式推斷出的健康狀況）、操縱或過度依賴建議、用戶對系統(tǒng)操作不了解、缺乏人類監(jiān)督、數據主體權利行使困難、數據再利用風險、數據保留過長以及跨境數據共享風險等。針對這些風險，采取的緩解措施有文檔化數據匿名化方法、實施明確同意機制、監(jiān)測輸出偏差、確保關鍵決策有人工確認、提供用戶友好的數據操作界面、限制數據使用目的、定義數據保留期、驗證第三方服務合規(guī)性等。這些措施有助于保障用戶數據安全和隱私，提升系統(tǒng)的可靠性和用戶信任度。

2、工具和標準

評估指標：LLM評估分為內在評估和外在評估。內在評估在受控環(huán)境下測試模型性能，外在評估則在實際應用中評估模型的泛化能力和相關性。常用的評估指標包括準確率、精確率、召回率、F1分數、AUC、AUROC等傳統(tǒng)指標，以及針對LLM的特定指標，如BLEU、ROUGE用于評估文本生成質量，MoverScore評估語義相似性。此外，還有用于評估模型效率和可用性的指標，如每分鐘完成請求數、首次令牌生成時間等。同時，通過一些工具和框架，如GLUE、MMLU、ChatbotArena等基準測試來評估模型在不同任務和場景下的表現。

保障措施和工具：LLMs中的保障措施（或護欄）用于確保模型安全、符合道德和可靠運行。例如，內容過濾器可阻止或標記有害內容，提示拒絕可防止對危險提示的響應，偏差緩解可減少不公平輸出，人在回路方法用于高風險應用中的人工監(jiān)督，后處理解毒可去除有害內容，對抗測試可評估模型應對有害提示的能力。此外，還介紹了一些開源工具，如Anthropic Model Context Protocol用于構建安全連接，llmperf用于評估 LLM API性能，以及OWASP AI Exchange 提供的AI安全指導等。在隱私保護方面，有Clio、RAG with differential privacy guarantees等技術和工具，以及用于標記或匿名化敏感信息的工具，如Google Cloud Data Loss Prevention、Microsoft Presidio、OpenAI Moderation API 等。

方法和指導：介紹了一些用于識別數據保護和隱私風險的方法和工具，如 Practical Library of Threats (PLOT4ai) 用于 AI 系統(tǒng)風險識別，MITRE ATLAS 提供對抗策略知識，Assessment List for Trustworthy Artificial Intelligence (ALTAI) 指導開發(fā)者實施可信 AI 原則。同時，還列舉了一些相關的指導文件和標準，如 OECD 關于 AI 語言模型的報告、NIST 的 GenAI Security 和 AI Risk Management Framework、FRIA 方法以及 AI Cyber Security Code of Practice 等，這些指導和標準為 LLM 系統(tǒng)的開發(fā)、部署和風險評估提供了重要的參考依據。

轉載鏈接：https://www.tbtguide.com/c/mypt/gwxw/595823.jhtml

關注“廣東技術性貿易措施”，獲取更多服務。