歐盟執委會發布《受禁止人工智慧行為指引》
資訊工業策進會科技法律研究所
2025年02月24日
歐盟繼《人工智慧法》[1](Artificial Intelligence Act, 下稱AI Act)於2024年8月1日正式生效後,針對該法中訂於2025年2月2日始實施之第5條1,有關「不可接受風險」之內容中明文禁止的人工智慧行為類型,由歐盟執委會於2025年2月4日發布《受禁止人工智慧行為指引》[2]。
壹、事件摘要
歐盟AI Act於2024年8月1日正式生效,為歐盟人工智慧系統引入統一之人工智慧風險分級規範,主要分為四個等級[3]:
1. 不可接受風險(Unacceptable risk)
2. 高風險(High risk)
3. 有限風險,具有特定透明度義務(Limited risk)
4. 最低風險或無風險(Minimal to no risk)
AI Act之風險分級系統推出後,各界對於法規中所說的不同風險等級的系統,究竟於實務上如何判斷?該等系統實際上具備何種特徵?許多內容仍屬概要而不確定,不利於政府、企業遵循,亦不利於各界對人工智慧技術進行監督。是以歐盟本次針對「不可接受風險」之人工智慧系統,推出相關指引,目的在明確化規範內涵規範,協助主管機關與市場參與者予以遵循。
貳、重點說明
一、AI Act本文第5條1(a)、(b)-有害操縱、欺騙與剝削行為
(一)概念說明
本禁止行為規定旨在防止透過人工智慧系統施行操縱與剝削,使他人淪為實現特定目的工具之行為,以保護社會上最為脆弱且易受有害操控與剝削影響的群體。
(二)禁止施行本行為之前提要件
1.該行為必須構成將特定人工智慧系統「投放於歐盟市場」(placing on the market)[4]、「啟用」(putting into service)[5]或「使用」(use)[6]。
2.應用目的:該人工智慧系統所採用的技術具有能實質扭曲個人或團體行為的「目的」或「效果」,此種扭曲明顯削弱個人或團體做出正確決定的能力,導致其做出的決定偏離正常情形。
3.技術特性:關於(a)有害的操縱與欺騙部分,係指使用潛意識(超出個人意識範圍)、或刻意操控或欺騙的技術;關於(b)有害地利用弱勢群體部分,是指利用個人年齡、身心障礙或社會經濟狀況上弱點。
4.後果:該扭曲行為已造成或合理可預見將造成該個人、另一人或某群體的重大傷害。
5.因果關係:該人工智慧系統所採用的技術、個人或團體行為的扭曲,以及由此行為造成或可合理預見將造成的重大傷害之間,具備相當因果關係。
二、AI Act本文第5條1(c)-社會評分行為
(一)概念說明
本禁止行為規定旨在防止透過人工智慧系統進行「社會評分」可能對特定個人或團體產生歧視和不公平的結果,以及引發與歐盟價值觀不相容的社會控制與監視行為。
(二)禁止施行本行為之前提要件
1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。
2.應用目的:該人工智慧系統必須用於對一定期間內,自然人及群體的社會行為,或其已知、預測的個人特徵或人格特質進行評價或分類。
3.後果:透過該人工智慧系統所產生的社會評分,必須可能導致個人或群體,在與評分用資料生成或蒐集時無關的環境遭受不利待遇,或遭受與其行為嚴重性不合比例的不利待遇。
三、AI Act本文第5條1(d)-個人犯罪風險評估與預測行為
(一)概念說明
本禁止行為規定之目的,旨在考量自然人應依其實際行為接受評判,而非由人工智慧系統僅基於對自然人的剖析、人格特質或個人特徵等,即逕予評估或預測個人犯罪風險。
(二)禁止施行本行為之前提要件
1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。
2.應用目的:該人工智慧系統必須生成旨在評估或預測自然人施行犯罪行為風險的風險評估結果。
3.後果:前述風險評估結果僅依據於對自然人的剖析,或對其人格特質與個人特徵的評估。
4.除外規定:若人工智慧系統係基於與犯罪活動直接相關的客觀、可驗證事實,針對個人涉入犯罪活動之程度進行評估,則不適用本項禁止規定。
四、AI Act本文第5條1(e)-無差別地擷取(Untargeted Scraping)臉部影像之行為
(一)概念說明
本禁止行為規定之目的,旨在考量以人工智慧系統從網路或監視器影像中無差別地擷取臉部影像,用以建立或擴充人臉辨識資料庫,將嚴重干涉個人的隱私權與資料保護權,並剝奪其維持匿名的權利。
(二)禁止施行本行為之前提要件
1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。
2.應用目的:該行為以建立或擴充人臉辨識資料庫為目的。
3.技術特性:填充人臉辨識資料庫的方式係以人工智慧工具進行「無差別的擷取行為」。
4.因果關係:建立或擴充人臉辨識資料庫之影像來源,須為網路或監視器畫面。
五、AI Act本文第5條1(f)-情緒辨識行為
(一)概念說明
本禁止行為規定之目的,旨在考量情緒辨識可廣泛應用於分析消費者行為,以更有效率的手段執行媒體推廣、個人化推薦、監測群體情緒或注意力,以及測謊等目的。然而情緒表達在不同文化、情境與個人反應皆可能存在差異,缺乏明確性、較不可靠且難以普遍適用,因此應用情緒辨識可能導致歧視性結果,並侵害相關個人或群體的權利,尤以關係較不對等的職場與教育訓練環境應加以注意。
(二)禁止施行本行為之前提要件
1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。
2.應用目的:該系統係用於推斷情緒。
3.因果關係:該行為發生於職場或教育訓練機構。
4.除外規定:為醫療或安全目的而採用的人工智慧系統不在禁止範圍內。例如在醫療領域中,情緒辨識可協助偵測憂鬱症、預防自殺等,具有正面效果。
六、AI Act本文第5條1(g)-為推測敏感特徵所進行之生物辨識分類行為
(一)概念說明
本禁止行為規定之目的,旨在考量利用人工智慧之生物辨識分類系統(Biometric Categorisation System)[7],可依據自然人的生物辨識資料用以推斷其性取向、政治傾向、信仰或種族等「敏感特徵」在內的各類資訊,並可能在當事人不知情的情況下依據此資訊對自然人進行分類,進而可能導致不公平或歧視性待遇。
(二)禁止施行本行為之前提要件
1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。
2.應用目的:該行為係針對個人進行分類;而其辨識目的係為推斷其種族、政治傾向、工會成員身分、宗教或哲學信仰、性生活或性取向等。
3.技術特性:該系統必須為利用人工智慧,並依據自然人的生物辨識資料,將其歸類至特定類別之生物辨識分類系統。
4.因果關係:前述分類依據為其生物辨識資訊。
5.除外規定:本項禁止規定未涵蓋對合法取得的生物辨識資料進行標記(Labelling)或過濾(Filtering)行為,如用於執法目的等。
七、AI Act本文第5條1(h)-使用即時遠端生物辨識(Remote Biometric Identification, RBI)系統[8]執法[9]之行為
(一)概念說明
本禁止行為規定之目的,旨在考量在公共場所使用即時RBI系統進行執法,可能對人民權利與自由造成嚴重影響,使其遭受監視或間接阻礙其行使集會自由及其他基本權利。此外,RBI系統的不準確性,將可能導致針對年齡、族群、種族、性別或身心障礙等方面的偏見與歧視。
(二)禁止施行本行為之前提要件
1.該行為必須涉及對即時RBI系統的「使用」行為。
2.應用目的:使用目的須為執法需要。
3.技術特性:該系統必須為利用人工智慧,在無需自然人主動參與的情況下,透過遠距離比對個人生物辨識資料與參考資料庫中的生物辨識資料,從而達成識別自然人身份目的之RBI系統。
4.因果關係:其使用情境須具備即時性,且使用地點須為公共場所。
參、事件評析
人工智慧技術之發展固然帶來多樣化的運用方向,惟其所衍生的倫理議題仍應於全面使用前予以審慎考量。觀諸歐盟AI Act與《受禁止人工智慧行為指引》所羅列之各類行為,亦可觀察出立法者對人工智慧之便利性遭公、私部門用於「欺詐與利用」及「辨識與預測」,對《歐盟基本權利憲章》[10]中平等、自由等權利造成嚴重影響的擔憂。
為在促進創新與保護基本權利及歐盟價值觀間取得平衡,歐盟本次爰參考人工智慧系統提供者、使用者、民間組織、學術界、公部門、商業協會等多方利害關係人之意見,推出《受禁止人工智慧行為指引》,針對各項禁止行為提出「概念說明」與「成立條件」,期望協助提升歐盟AI Act主管機關等公部門執行相關規範時之法律明確性,並確保具體適用時的一致性。於歐盟內部開發、部署及使用人工智慧系統的私部門企業與組織,則亦可作為實務參考,有助確保其自身在遵守AI Act所規定的各項義務前提下順利開展其業務。
[1]European Union, REGULATION (EU) 2024/1689 OF THE EUROPEAN PARLIAMENT AND OF THE COUNCIL (2024), https://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=OJ:L_202401689 (last visited Feb. 24, 2025).
[2]Commission publishes the Guidelines on prohibited artificial intelligence (AI) practices, as defined by the AI Act., European Commission, https://digital-strategy.ec.europa.eu/en/library/commission-publishes-guidelines-prohibited-artificial-intelligence-ai-practices-defined-ai-act (last visited Feb. 24, 2025).
[3]AI Act, European Commission, https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai (last visited Feb. 24, 2025).
[4]依據本指引第2.3點,所謂「投放於歐盟市場」(placing on the market),係指該人工智慧系統首次在歐盟市場「提供」;所謂「提供」,則係指在商業活動過程中,以收費或免費方式將該AI系統供應至歐盟市場供分發或使用。
[5]依據本指引第2.3點,所謂「啟用」(putting into service),係指人工智慧系統供應者為供應使用者首次使用或自行使用,而於歐盟內供應人工智慧系統。
[6]依據本指引第2.3點,「使用」(use)之範疇雖未在AI Act內容明確定義,惟應廣義理解為涵蓋人工智慧系統在「投放於歐盟市場」或「啟用」後,其生命週期內的任何使用或部署;另參考AI Act第5條的規範目的,所謂「使用」應包含任何受禁止的誤用行為。
[7]依據AI Act第3條(40)之定義,生物辨識分類系統係指一種依據自然人的生物辨識資料,將其歸類至特定類別之人工智慧系統。
[8]依據AI Act第3條(41)之定義,RBI系統係指一種在無需自然人主動參與的情況下,透過遠距離比對個人生物辨識資料與參考資料庫中的生物辨識資料,從而達成識別自然人身份目的之人工智慧系統。
[9]依據AI Act第3條(46)之定義,「執法(law enforcement)」一詞,係指由執法機關或其委任之代表,代替其執行目的包括預防、調查、偵測或起訴刑事犯罪,或執行刑事處罰,並涵蓋防範與應對公共安全威脅等範疇之行為。
[10]CHARTER OF FUNDAMENTAL RIGHTS OF THE EUROPEAN UNION, Official Journal of the European Union, https://eur-lex.europa.eu/legal-content/EN/TXT/HTML/?uri=CELEX:12012P/TXT (last visited Feb. 24, 2025).
英國文化、媒體暨體育部2017年3月8日發布「次世代行動技術:英國的5G策略」,此舉將會加速英國網路基礎建設更新並促進智慧聯網之發展。這份策略書提出了幾個重要方面來採取行動: 建構經濟實例:英國政府計畫建立新的5G試驗場,和企業共同合作發展5G科技。此試驗場預計同時在城市和偏遠地區進行,以了解不同地區環境下建設的效益,且與Ofcom合作了解目前環境與法規障礙。 調適法規:政府會持續檢查相關法規是否需要修正,並與試驗場合作了解現行法規是否適當。 地方區域的治理與能力建構:意識到地方區域於建構基礎建設的重要性,因此英國政府正在諮詢地方政府如何在地方區域進行5G建設,將會將地方政府、政府部門、土地擁有者和企業等集合組成工作小組進行5G策略的諮詢。 覆蓋率與能力匯流:政府將於2017年底前了解人類生活、工作與旅遊需達成之高品質覆蓋率要素,並於2025年前達成這些要素目標。 確保安全的5G布建:5G試驗場將會與重要安全組織如國家網路安全中心合作,以支持和發展新的安全建築來達到消費者對於5G的期待與需求。 頻譜:政府將要求Ofcom檢視現行頻譜授權策略並於2017年底提出報告,以促進4G至5G轉型。 科技與標準:政府將會持續和標準機關合作,監督市場安全與供應者的發展。
英國政府公布物聯網設備安全設計報告,提出製造商應遵循之設計準則草案英國數位、文化、媒體暨體育部於2018年3月8日公布「安全設計(Secure by Design)」報告,此報告目的在於使IoT設備製造商於製程中即採取具有安全性之設計,以確保用戶之資訊安全。 此報告中包含了一份經英國國家網路安全中心(National Cyber Security Centre, NCSC)、製造商及零售商共同討論後,提出之可供製造商遵循之行為準則(Code of Practice)草案。 此行為準則中指出,除設備製造商之外,其他包含IoT服務提供者、行動電話軟體開發者與零售商等也是重要的利益相關人。 其中提出了13項行為準則:1. 不應設定預設密碼(default password);2. 應實施漏洞揭露政策;3. 持續更新軟體;4. 確保機密與具有安全敏感性的資訊受到保護;5. 確保通訊之安全;6. 最小化可能受到攻擊的區域;7. 確保軟體的可信性;8. 確保個資受到妥善保障;9. 確保系統對於停電事故具有可回復性;10. 監督自動傳輸之數據;11. 使用戶以簡易的方式刪除個人資訊;12. 使設備可被容易的安裝與維護;13. 應驗證輸入之數據。 此草案將接受公眾意見,並於未來進一步檢視是否應立相關法律。
日本內閣閣議決定2021年最新3年期網路安全戰略日本內閣於2021年9月28日閣議決定最新3年期《網路安全戰略》(サイバーセキュリティ戦略)。本戰略係根據網路安全基本法(サイバーセキュリティ基本法),針對日本應實施之網路安全措施進行中長期規劃。日本將從「以數位改革為基礎,推動數位轉型與網路安全」、「在網路空間朝向公共空間化與相互連繫發展下,縱觀全體以確保安全安心」、「加強風險管理措施」三大方向,推動網路安全措施。本戰略重點措施包括: 提升經濟社會活力,並推動數位轉型與網路安全:為達成數位改革,日本經濟社會須完成數位轉型改革。而在推動經濟社會數位化過程中,應將網路安全納入政策推動之考量。 實現國民得安全安心生活之數位社會:所有組織應確保完成任務,並加強風險管理措施。而數位廳將揭示並推動網路安全基本方針,以使政府提供網路安全環境保護國民與社會。 促進國際社會和平安定,並保障日本安全:為確保全球規模「自由、公正且安全之網路空間」,日本須制定展現該理念之國際規範,並加強國際合作。 推動橫向措施:在橫向措施方面,將進行中長期規劃,推動實踐性研究開發,並促進網路安全人才培育。此外,政府亦須與民間共同合作進行推廣宣傳,以強化國民對網路安全意識。
義大利個資保護機關裁罰遠距大學使用臉部辨識系統違反GDPR義大利資料保護主管機關(Garante per la protezione dei dati personali, GPDP)於2026年1月29日決定,對遠距大學 Università Telematica e-Campus(下稱 e-Campus)處以5萬歐元罰鍰,理由為其於線上課程中使用臉部辨識系統違反《一般資料保護規則》(General Data Protection Regulation, GDPR)及義大利個人資料保護法。 本案中,e-Campus 為進行學生身分驗證與出席確認,要求學生事先上傳臉部影像與身分證件,建立生物特徵模型,並於課程期間透過網路攝影機即時拍攝影像方式,進行隨機抽查比對。校方會將臉部辨識資料保存12個月,以及系統會將課堂影像保存至口試日,且校方主張該影像資料處理係以學生同意作為適法依據。 經GPDP調查認定該臉部辨識作業存在多項違法情形: 一、適法依據不足: GPDP指出於義大利法制下,私立大學與公立大學均被視為追求公共利益之機構,相關資料處理應依GDPR第6條第1項(c)、(e)及第9條第1款(g)相關規定,以法定義務或公共任務為依據。儘管校方主張依據GDPR的同意為合法事由,但GPDP指出學生不同意即無法參與課程或取得資格,顯示雙方存在明顯權力不對等,因而該同意無效。 再者,在以公共利益為目的處理敏感資料(包括生物特徵資料)時,應以國內法為依據。惟校方援引之國家大學與研究體系評估機構指引(ANVUR),因其性質不被GDPR及其他法律認定為國內法律,亦不構成GDPR所要求之法律依據。因而認定有違反GDPR第6條第1款(c)及(e)、第9條第1款(g)之情形。 二、違反資料最小化與保存限制原則: 校方將臉部辨識資料保存長達12個月,超出出席確認目的所必要之期間。並且縱使辨識失敗,亦可即時改以人工方式檢核,無須長期保存相關資料。此外,後續系統將課堂影像保存至口試日,亦被認定缺乏必要性而違反GDPR第5條及第25條。 三、未妥適進行資料保護影響評估(DPIA): 本案涉及大量學生(每班級約400至500人)之生物特徵資料處理,屬高風險情形,依法應事前進行DPIA。然而校方未於處理前完成評估,調查中提出之文件亦僅為無日期與簽名之電子試算表,被認定未履行相關義務而違反GDPR第35條。 綜上所述,考量資料屬性敏感、影響人數規模龐大等因素;同時亦考量校方於調查期間已停止使用該系統並展現配合態度,作為減輕處罰之因素,最終GPDP對 e-Campus 處以5萬歐元罰鍰,並命其將裁決公告於官方網站。