歐盟執委會發布《受禁止人工智慧行為指引》
資訊工業策進會科技法律研究所
2025年02月24日
歐盟繼《人工智慧法》[1](Artificial Intelligence Act, 下稱AI Act)於2024年8月1日正式生效後,針對該法中訂於2025年2月2日始實施之第5條1,有關「不可接受風險」之內容中明文禁止的人工智慧行為類型,由歐盟執委會於2025年2月4日發布《受禁止人工智慧行為指引》[2]。
壹、事件摘要
歐盟AI Act於2024年8月1日正式生效,為歐盟人工智慧系統引入統一之人工智慧風險分級規範,主要分為四個等級[3]:
1. 不可接受風險(Unacceptable risk)
2. 高風險(High risk)
3. 有限風險,具有特定透明度義務(Limited risk)
4. 最低風險或無風險(Minimal to no risk)
AI Act之風險分級系統推出後,各界對於法規中所說的不同風險等級的系統,究竟於實務上如何判斷?該等系統實際上具備何種特徵?許多內容仍屬概要而不確定,不利於政府、企業遵循,亦不利於各界對人工智慧技術進行監督。是以歐盟本次針對「不可接受風險」之人工智慧系統,推出相關指引,目的在明確化規範內涵規範,協助主管機關與市場參與者予以遵循。
貳、重點說明
一、AI Act本文第5條1(a)、(b)-有害操縱、欺騙與剝削行為
(一)概念說明
本禁止行為規定旨在防止透過人工智慧系統施行操縱與剝削,使他人淪為實現特定目的工具之行為,以保護社會上最為脆弱且易受有害操控與剝削影響的群體。
(二)禁止施行本行為之前提要件
1.該行為必須構成將特定人工智慧系統「投放於歐盟市場」(placing on the market)[4]、「啟用」(putting into service)[5]或「使用」(use)[6]。
2.應用目的:該人工智慧系統所採用的技術具有能實質扭曲個人或團體行為的「目的」或「效果」,此種扭曲明顯削弱個人或團體做出正確決定的能力,導致其做出的決定偏離正常情形。
3.技術特性:關於(a)有害的操縱與欺騙部分,係指使用潛意識(超出個人意識範圍)、或刻意操控或欺騙的技術;關於(b)有害地利用弱勢群體部分,是指利用個人年齡、身心障礙或社會經濟狀況上弱點。
4.後果:該扭曲行為已造成或合理可預見將造成該個人、另一人或某群體的重大傷害。
5.因果關係:該人工智慧系統所採用的技術、個人或團體行為的扭曲,以及由此行為造成或可合理預見將造成的重大傷害之間,具備相當因果關係。
二、AI Act本文第5條1(c)-社會評分行為
(一)概念說明
本禁止行為規定旨在防止透過人工智慧系統進行「社會評分」可能對特定個人或團體產生歧視和不公平的結果,以及引發與歐盟價值觀不相容的社會控制與監視行為。
(二)禁止施行本行為之前提要件
1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。
2.應用目的:該人工智慧系統必須用於對一定期間內,自然人及群體的社會行為,或其已知、預測的個人特徵或人格特質進行評價或分類。
3.後果:透過該人工智慧系統所產生的社會評分,必須可能導致個人或群體,在與評分用資料生成或蒐集時無關的環境遭受不利待遇,或遭受與其行為嚴重性不合比例的不利待遇。
三、AI Act本文第5條1(d)-個人犯罪風險評估與預測行為
(一)概念說明
本禁止行為規定之目的,旨在考量自然人應依其實際行為接受評判,而非由人工智慧系統僅基於對自然人的剖析、人格特質或個人特徵等,即逕予評估或預測個人犯罪風險。
(二)禁止施行本行為之前提要件
1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。
2.應用目的:該人工智慧系統必須生成旨在評估或預測自然人施行犯罪行為風險的風險評估結果。
3.後果:前述風險評估結果僅依據於對自然人的剖析,或對其人格特質與個人特徵的評估。
4.除外規定:若人工智慧系統係基於與犯罪活動直接相關的客觀、可驗證事實,針對個人涉入犯罪活動之程度進行評估,則不適用本項禁止規定。
四、AI Act本文第5條1(e)-無差別地擷取(Untargeted Scraping)臉部影像之行為
(一)概念說明
本禁止行為規定之目的,旨在考量以人工智慧系統從網路或監視器影像中無差別地擷取臉部影像,用以建立或擴充人臉辨識資料庫,將嚴重干涉個人的隱私權與資料保護權,並剝奪其維持匿名的權利。
(二)禁止施行本行為之前提要件
1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。
2.應用目的:該行為以建立或擴充人臉辨識資料庫為目的。
3.技術特性:填充人臉辨識資料庫的方式係以人工智慧工具進行「無差別的擷取行為」。
4.因果關係:建立或擴充人臉辨識資料庫之影像來源,須為網路或監視器畫面。
五、AI Act本文第5條1(f)-情緒辨識行為
(一)概念說明
本禁止行為規定之目的,旨在考量情緒辨識可廣泛應用於分析消費者行為,以更有效率的手段執行媒體推廣、個人化推薦、監測群體情緒或注意力,以及測謊等目的。然而情緒表達在不同文化、情境與個人反應皆可能存在差異,缺乏明確性、較不可靠且難以普遍適用,因此應用情緒辨識可能導致歧視性結果,並侵害相關個人或群體的權利,尤以關係較不對等的職場與教育訓練環境應加以注意。
(二)禁止施行本行為之前提要件
1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。
2.應用目的:該系統係用於推斷情緒。
3.因果關係:該行為發生於職場或教育訓練機構。
4.除外規定:為醫療或安全目的而採用的人工智慧系統不在禁止範圍內。例如在醫療領域中,情緒辨識可協助偵測憂鬱症、預防自殺等,具有正面效果。
六、AI Act本文第5條1(g)-為推測敏感特徵所進行之生物辨識分類行為
(一)概念說明
本禁止行為規定之目的,旨在考量利用人工智慧之生物辨識分類系統(Biometric Categorisation System)[7],可依據自然人的生物辨識資料用以推斷其性取向、政治傾向、信仰或種族等「敏感特徵」在內的各類資訊,並可能在當事人不知情的情況下依據此資訊對自然人進行分類,進而可能導致不公平或歧視性待遇。
(二)禁止施行本行為之前提要件
1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。
2.應用目的:該行為係針對個人進行分類;而其辨識目的係為推斷其種族、政治傾向、工會成員身分、宗教或哲學信仰、性生活或性取向等。
3.技術特性:該系統必須為利用人工智慧,並依據自然人的生物辨識資料,將其歸類至特定類別之生物辨識分類系統。
4.因果關係:前述分類依據為其生物辨識資訊。
5.除外規定:本項禁止規定未涵蓋對合法取得的生物辨識資料進行標記(Labelling)或過濾(Filtering)行為,如用於執法目的等。
七、AI Act本文第5條1(h)-使用即時遠端生物辨識(Remote Biometric Identification, RBI)系統[8]執法[9]之行為
(一)概念說明
本禁止行為規定之目的,旨在考量在公共場所使用即時RBI系統進行執法,可能對人民權利與自由造成嚴重影響,使其遭受監視或間接阻礙其行使集會自由及其他基本權利。此外,RBI系統的不準確性,將可能導致針對年齡、族群、種族、性別或身心障礙等方面的偏見與歧視。
(二)禁止施行本行為之前提要件
1.該行為必須涉及對即時RBI系統的「使用」行為。
2.應用目的:使用目的須為執法需要。
3.技術特性:該系統必須為利用人工智慧,在無需自然人主動參與的情況下,透過遠距離比對個人生物辨識資料與參考資料庫中的生物辨識資料,從而達成識別自然人身份目的之RBI系統。
4.因果關係:其使用情境須具備即時性,且使用地點須為公共場所。
參、事件評析
人工智慧技術之發展固然帶來多樣化的運用方向,惟其所衍生的倫理議題仍應於全面使用前予以審慎考量。觀諸歐盟AI Act與《受禁止人工智慧行為指引》所羅列之各類行為,亦可觀察出立法者對人工智慧之便利性遭公、私部門用於「欺詐與利用」及「辨識與預測」,對《歐盟基本權利憲章》[10]中平等、自由等權利造成嚴重影響的擔憂。
為在促進創新與保護基本權利及歐盟價值觀間取得平衡,歐盟本次爰參考人工智慧系統提供者、使用者、民間組織、學術界、公部門、商業協會等多方利害關係人之意見,推出《受禁止人工智慧行為指引》,針對各項禁止行為提出「概念說明」與「成立條件」,期望協助提升歐盟AI Act主管機關等公部門執行相關規範時之法律明確性,並確保具體適用時的一致性。於歐盟內部開發、部署及使用人工智慧系統的私部門企業與組織,則亦可作為實務參考,有助確保其自身在遵守AI Act所規定的各項義務前提下順利開展其業務。
[1]European Union, REGULATION (EU) 2024/1689 OF THE EUROPEAN PARLIAMENT AND OF THE COUNCIL (2024), https://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=OJ:L_202401689 (last visited Feb. 24, 2025).
[2]Commission publishes the Guidelines on prohibited artificial intelligence (AI) practices, as defined by the AI Act., European Commission, https://digital-strategy.ec.europa.eu/en/library/commission-publishes-guidelines-prohibited-artificial-intelligence-ai-practices-defined-ai-act (last visited Feb. 24, 2025).
[3]AI Act, European Commission, https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai (last visited Feb. 24, 2025).
[4]依據本指引第2.3點,所謂「投放於歐盟市場」(placing on the market),係指該人工智慧系統首次在歐盟市場「提供」;所謂「提供」,則係指在商業活動過程中,以收費或免費方式將該AI系統供應至歐盟市場供分發或使用。
[5]依據本指引第2.3點,所謂「啟用」(putting into service),係指人工智慧系統供應者為供應使用者首次使用或自行使用,而於歐盟內供應人工智慧系統。
[6]依據本指引第2.3點,「使用」(use)之範疇雖未在AI Act內容明確定義,惟應廣義理解為涵蓋人工智慧系統在「投放於歐盟市場」或「啟用」後,其生命週期內的任何使用或部署;另參考AI Act第5條的規範目的,所謂「使用」應包含任何受禁止的誤用行為。
[7]依據AI Act第3條(40)之定義,生物辨識分類系統係指一種依據自然人的生物辨識資料,將其歸類至特定類別之人工智慧系統。
[8]依據AI Act第3條(41)之定義,RBI系統係指一種在無需自然人主動參與的情況下,透過遠距離比對個人生物辨識資料與參考資料庫中的生物辨識資料,從而達成識別自然人身份目的之人工智慧系統。
[9]依據AI Act第3條(46)之定義,「執法(law enforcement)」一詞,係指由執法機關或其委任之代表,代替其執行目的包括預防、調查、偵測或起訴刑事犯罪,或執行刑事處罰,並涵蓋防範與應對公共安全威脅等範疇之行為。
[10]CHARTER OF FUNDAMENTAL RIGHTS OF THE EUROPEAN UNION, Official Journal of the European Union, https://eur-lex.europa.eu/legal-content/EN/TXT/HTML/?uri=CELEX:12012P/TXT (last visited Feb. 24, 2025).
歐盟資料保護監督機關(European Data Protection Supervisor, EDPS)於2024年12月13日,就歐洲數位權利中心(Noyb - The European Center for Digital Rights,下稱noyb)之申訴做成決定,認定歐盟執委會(European Commission, EC)於社群媒體上依據使用者的政治傾向投放精準廣告,違反歐盟機構資料保護規則(Data Protection Regulation for EU institutions, bodies, offices and agencies, EUDPR),對EC作成訓誡處分。 本案背景事實:EC在2023年9月15日至28日間,於社群網站X上投放了精準廣告,旨在向公眾傳達EC當時正在推動的兒少性剝削防治法(Child Sexual Abuse Regulation, CSAR)草案。該草案本身亦因涉及對數位通訊服務的管制而引發了隱私爭議。EC委託X依照其制定的受眾方針進行廣告投放,該投放方針定義了某些包含和排除關鍵字,和排除了與政治利益相關的帳戶。該政策顯示,包含的關鍵字多與「親歐盟」的立場與情緒相關,包含特定政黨如荷蘭自由民主人民黨(Dutch VVD);而排除的關鍵字則多與「疑歐論」的立場與情緒相關,如Viktor Orban。X並透過關鍵字定位和相似(look-alike)策略,根據關鍵字和與代表資料(proxy data)相比較下顯示出的相似性,篩選成年荷蘭公民進行精準廣告投放。 Noyb認為此類廣告投放操作已經涉及EUDPR第10條第1項的特種個資(政治立場),在同條第2項之許可性條件未獲滿足之情況下,已構成EUDPR第4條第1項(a)的合法性原則的違反。EC則主張其並未利用X使用者的個人資料,也未打算處理特種個資,只是使用X的服務。EC還主張,為了傳達立法草案,並基於EC依歐盟條約(Treaty of EU, TEU)的提案權,其行為也應該被認為是出於EUDPR第5條第1項(a)的公共利益,具備合法基礎。 EDPS經過調查後,認定: 1.EC透過委託投放廣告和制定受眾方針,決定了資料處理的目的(purpose determination),在此範圍內,也應被認為是資料控制者。 2.社群媒體供應商透過比較和關鍵字分析將使用者歸類為具有某些宗教、哲學或政治信仰,亦屬處理了使用者的特種個資。 3.雖然當事人若屬主動公開特種個資,會滿足EUDPR第10條第2項(e)的許可性條件,但依照歐盟法院判決先例,僅點讚某些貼文不當然等於當事人主動公開其這類動態個人活動資料,且即便當事人使用公開帳戶可能滿足許可性條件,該資料之處理仍須具備合法性基礎。 4.TEU中有關提案權之規定本質上非常籠統,難認包含EC的宣傳活動。因此EC進行的資料處理其實並不符合EUDPR第5條所謂的有明確法律依據要求,從而,難認具備執行符合公共利益的任務之合法基礎。 5.最後,雖然EDPS認為EC違反EUDPR,但也同時認為,廣告已經結束,並無罰款的必要,因此僅對EC做成訓誡處分。
歐盟執委會提出「具可信度之人工智慧倫理指引」歐盟執委會人工智慧高級專家小組(High-Level Expert Group on Artificial Intelligence)於2019年4月8日公布「具可信度之人工智慧倫理指引」(Ethics Guidelines For Trustworthy AI)。該指引首先指出,具可信度之人工智慧需具備三個關鍵特徵:(1)合法(Lawful):應遵守所有適用於人工智慧之法規;(2)合乎倫理(Ethical):確保人工智慧符合倫理原則與價值;(3)健全(Robust):自技術與社會層面觀之,避免人工智慧於無意間造成傷害。 該指引並進一步指出人工智慧應遵守以下四項倫理原則: (1) 尊重人類之自主權(Respect for Human Autonomy):歐盟之核心價值在於尊重人類之自由與自主,與人工智慧系統互動之個人,仍應享有充分且有效之自我決定空間。因此,人工智慧之運用,不應脅迫、欺騙或操縱人類,人工智慧應被設計為輔助與增強人類之社會文化技能與認知。 (2) 避免傷害(Prevention of Harm):人工智慧不應對人類造成不利之影響,亦不應加劇既有的衝突或傷害。人工智慧之系統運行環境應具備安全性,技術上則應健全,且確保不會被惡意濫用。此外,弱勢族群應於人工智慧運用中受到更多關注,並被視為服務對象。 (3) 公平(Fairness):人工智慧系統之開發、布建與利用,必須具備公平性。除了透過實質承諾與規範,進行平等與公正之利益與成本分配外,亦須透過救濟程序確保個人或特定族群不受到歧視與偏見之侵害,並可對人工智慧之自動化決策結果提出質疑,且獲得有效之補救。 (4) 可解釋性(Explicability):人工智慧應盡量避免黑箱(Black Box)決策,其系統處理程序須公開透明,並盡可能使相關決策結果具備可解釋性,分析特定訊息可能導致之決策結果,此外亦需具備可溯性且可接受審核。
布拉格提案(The Prague Proposals)2019年5月3日,來自全球30多國的政府官員與來自歐盟、北大西洋公約組織的代表於捷克布拉格所舉辦的5G資安會議(Prague 5G Security Conference)中,強調各國建構與管理5G基礎建設時應考慮國家安全、經濟與商業發展等因素,特別是供應鏈的安全性,例如易受第三國影響之供應商所帶來的潛在風險,本會議結論經主辦國捷克政府彙整為布拉格提案(The Prague Proposals),作為提供世界各國建構5G基礎建設之資安建議。 在這份文件中首先肯認通訊網路在數位化與全球化時代的重要性,而5G網路將是打造未來數位世界的重要基礎,5G資安將與國家安全、經濟安全或其他國家利益,甚至與全球穩定等議題高度相關;因此應理解5G資安並非僅是技術議題,而包含技術性與非技術性之風險,國家應確保整體性資安並落實資安風險評估等,而其中最關鍵者,則為強調確保5G基礎建設的供應鏈安全。 因此在布拉格提案中強調各國建構通訊網路基礎建設,應採用國際資安標準評估其資安風險,特別是受第三國影響之供應商背後所潛藏之風險,並應重視5G技術變革例如邊緣運算所產生的新風險態樣;此外對於接受國家補貼之5G供應商,其補貼應符合公平競爭原則等。布拉格提案對於各國並無法律上拘束力,但甫提出即獲得美國的大力肯定與支持。
藥品監管機構負責人組織與歐洲藥品管理局聯合巨量資料指導小組發布2021-2023年工作計畫,提高巨量資料於監管中之效用藥品監管機構負責人組織(Heads of Medicines Agencies, HMA)與歐洲藥品管理局(European Medicines Agency, EMA)聯合巨量資料指導小組(HMA-EMA joint Big Data Steering Group, BDSG)於2021年8月27日發布「巨量資料指導小組2021-2023年工作計畫」(Big Data Steering Group Workplan 2021-2023),將採以患者為焦點(patient-focused)之方法,將巨量資料整合至公衛、藥物開發與監管方法中,以提高巨量資料於監管中之效用。指導小組將利用「資料分析和真實世界訊問網路」(Data Analysis and Real World Interrogation Network, DARWIN EU)作為將真實世界資料整合至監管工作之關鍵手段; DARWIN EU諮詢委員會(Advisory Board)已於2021年建立,DARWIN EU協調中心(Coordination Centre)亦將於2022年初開始運作。 為確保資料品質與代表性,未來工作計畫將與「邁向歐洲健康資料空間–TEHDAS」(Towards A European Health Data Space – TEHDAS)合作,關注資料品質之技術與科學層面,並將於2022年提出第一版「歐洲監管網路資料品質框架」(data quality framework for the EU Regulatory Network)、「真實世界資料來源選擇標準」(criteria for the selection of RWD sources)、「詮釋資料優良規範指引」(metadata good practice guide)、「歐盟真實世界資料公用目錄」(public catalogue of European RWD)等規範。 此外,工作計畫將於2021年底舉辦「學習計劃」(learnings initiative)研討會,討論包括EMA人用藥品委員會(Committee for Medicinal Products for Human Use, CHMP)對於真實世界證據於藥品上市許可申請(Marketing Authorization Application, MAA)、適應症擴張(extensions of indications)之審查,以及過去真實世界資料分析試點於委員會之決策等議題,以利後續指引之修正。 最後,工作計畫預計於2021年底完成「健康照護資料二次使用之資料保護問與答文件」(question and answer document on data protection in the context of secondary use of healthcare data),以指導利益相關者與促進公共衛生研究,並發布由歐盟監管網路(EU Regulatory Network)同意之對於藥品監管(包括巨量資料)之資料標準化戰略。