歐盟執委會發布《受禁止人工智慧行為指引》
資訊工業策進會科技法律研究所
2025年02月24日
歐盟繼《人工智慧法》[1](Artificial Intelligence Act, 下稱AI Act)於2024年8月1日正式生效後,針對該法中訂於2025年2月2日始實施之第5條1,有關「不可接受風險」之內容中明文禁止的人工智慧行為類型,由歐盟執委會於2025年2月4日發布《受禁止人工智慧行為指引》[2]。
壹、事件摘要
歐盟AI Act於2024年8月1日正式生效,為歐盟人工智慧系統引入統一之人工智慧風險分級規範,主要分為四個等級[3]:
1. 不可接受風險(Unacceptable risk)
2. 高風險(High risk)
3. 有限風險,具有特定透明度義務(Limited risk)
4. 最低風險或無風險(Minimal to no risk)
AI Act之風險分級系統推出後,各界對於法規中所說的不同風險等級的系統,究竟於實務上如何判斷?該等系統實際上具備何種特徵?許多內容仍屬概要而不確定,不利於政府、企業遵循,亦不利於各界對人工智慧技術進行監督。是以歐盟本次針對「不可接受風險」之人工智慧系統,推出相關指引,目的在明確化規範內涵規範,協助主管機關與市場參與者予以遵循。
貳、重點說明
一、AI Act本文第5條1(a)、(b)-有害操縱、欺騙與剝削行為
(一)概念說明
本禁止行為規定旨在防止透過人工智慧系統施行操縱與剝削,使他人淪為實現特定目的工具之行為,以保護社會上最為脆弱且易受有害操控與剝削影響的群體。
(二)禁止施行本行為之前提要件
1.該行為必須構成將特定人工智慧系統「投放於歐盟市場」(placing on the market)[4]、「啟用」(putting into service)[5]或「使用」(use)[6]。
2.應用目的:該人工智慧系統所採用的技術具有能實質扭曲個人或團體行為的「目的」或「效果」,此種扭曲明顯削弱個人或團體做出正確決定的能力,導致其做出的決定偏離正常情形。
3.技術特性:關於(a)有害的操縱與欺騙部分,係指使用潛意識(超出個人意識範圍)、或刻意操控或欺騙的技術;關於(b)有害地利用弱勢群體部分,是指利用個人年齡、身心障礙或社會經濟狀況上弱點。
4.後果:該扭曲行為已造成或合理可預見將造成該個人、另一人或某群體的重大傷害。
5.因果關係:該人工智慧系統所採用的技術、個人或團體行為的扭曲,以及由此行為造成或可合理預見將造成的重大傷害之間,具備相當因果關係。
二、AI Act本文第5條1(c)-社會評分行為
(一)概念說明
本禁止行為規定旨在防止透過人工智慧系統進行「社會評分」可能對特定個人或團體產生歧視和不公平的結果,以及引發與歐盟價值觀不相容的社會控制與監視行為。
(二)禁止施行本行為之前提要件
1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。
2.應用目的:該人工智慧系統必須用於對一定期間內,自然人及群體的社會行為,或其已知、預測的個人特徵或人格特質進行評價或分類。
3.後果:透過該人工智慧系統所產生的社會評分,必須可能導致個人或群體,在與評分用資料生成或蒐集時無關的環境遭受不利待遇,或遭受與其行為嚴重性不合比例的不利待遇。
三、AI Act本文第5條1(d)-個人犯罪風險評估與預測行為
(一)概念說明
本禁止行為規定之目的,旨在考量自然人應依其實際行為接受評判,而非由人工智慧系統僅基於對自然人的剖析、人格特質或個人特徵等,即逕予評估或預測個人犯罪風險。
(二)禁止施行本行為之前提要件
1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。
2.應用目的:該人工智慧系統必須生成旨在評估或預測自然人施行犯罪行為風險的風險評估結果。
3.後果:前述風險評估結果僅依據於對自然人的剖析,或對其人格特質與個人特徵的評估。
4.除外規定:若人工智慧系統係基於與犯罪活動直接相關的客觀、可驗證事實,針對個人涉入犯罪活動之程度進行評估,則不適用本項禁止規定。
四、AI Act本文第5條1(e)-無差別地擷取(Untargeted Scraping)臉部影像之行為
(一)概念說明
本禁止行為規定之目的,旨在考量以人工智慧系統從網路或監視器影像中無差別地擷取臉部影像,用以建立或擴充人臉辨識資料庫,將嚴重干涉個人的隱私權與資料保護權,並剝奪其維持匿名的權利。
(二)禁止施行本行為之前提要件
1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。
2.應用目的:該行為以建立或擴充人臉辨識資料庫為目的。
3.技術特性:填充人臉辨識資料庫的方式係以人工智慧工具進行「無差別的擷取行為」。
4.因果關係:建立或擴充人臉辨識資料庫之影像來源,須為網路或監視器畫面。
五、AI Act本文第5條1(f)-情緒辨識行為
(一)概念說明
本禁止行為規定之目的,旨在考量情緒辨識可廣泛應用於分析消費者行為,以更有效率的手段執行媒體推廣、個人化推薦、監測群體情緒或注意力,以及測謊等目的。然而情緒表達在不同文化、情境與個人反應皆可能存在差異,缺乏明確性、較不可靠且難以普遍適用,因此應用情緒辨識可能導致歧視性結果,並侵害相關個人或群體的權利,尤以關係較不對等的職場與教育訓練環境應加以注意。
(二)禁止施行本行為之前提要件
1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。
2.應用目的:該系統係用於推斷情緒。
3.因果關係:該行為發生於職場或教育訓練機構。
4.除外規定:為醫療或安全目的而採用的人工智慧系統不在禁止範圍內。例如在醫療領域中,情緒辨識可協助偵測憂鬱症、預防自殺等,具有正面效果。
六、AI Act本文第5條1(g)-為推測敏感特徵所進行之生物辨識分類行為
(一)概念說明
本禁止行為規定之目的,旨在考量利用人工智慧之生物辨識分類系統(Biometric Categorisation System)[7],可依據自然人的生物辨識資料用以推斷其性取向、政治傾向、信仰或種族等「敏感特徵」在內的各類資訊,並可能在當事人不知情的情況下依據此資訊對自然人進行分類,進而可能導致不公平或歧視性待遇。
(二)禁止施行本行為之前提要件
1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。
2.應用目的:該行為係針對個人進行分類;而其辨識目的係為推斷其種族、政治傾向、工會成員身分、宗教或哲學信仰、性生活或性取向等。
3.技術特性:該系統必須為利用人工智慧,並依據自然人的生物辨識資料,將其歸類至特定類別之生物辨識分類系統。
4.因果關係:前述分類依據為其生物辨識資訊。
5.除外規定:本項禁止規定未涵蓋對合法取得的生物辨識資料進行標記(Labelling)或過濾(Filtering)行為,如用於執法目的等。
七、AI Act本文第5條1(h)-使用即時遠端生物辨識(Remote Biometric Identification, RBI)系統[8]執法[9]之行為
(一)概念說明
本禁止行為規定之目的,旨在考量在公共場所使用即時RBI系統進行執法,可能對人民權利與自由造成嚴重影響,使其遭受監視或間接阻礙其行使集會自由及其他基本權利。此外,RBI系統的不準確性,將可能導致針對年齡、族群、種族、性別或身心障礙等方面的偏見與歧視。
(二)禁止施行本行為之前提要件
1.該行為必須涉及對即時RBI系統的「使用」行為。
2.應用目的:使用目的須為執法需要。
3.技術特性:該系統必須為利用人工智慧,在無需自然人主動參與的情況下,透過遠距離比對個人生物辨識資料與參考資料庫中的生物辨識資料,從而達成識別自然人身份目的之RBI系統。
4.因果關係:其使用情境須具備即時性,且使用地點須為公共場所。
參、事件評析
人工智慧技術之發展固然帶來多樣化的運用方向,惟其所衍生的倫理議題仍應於全面使用前予以審慎考量。觀諸歐盟AI Act與《受禁止人工智慧行為指引》所羅列之各類行為,亦可觀察出立法者對人工智慧之便利性遭公、私部門用於「欺詐與利用」及「辨識與預測」,對《歐盟基本權利憲章》[10]中平等、自由等權利造成嚴重影響的擔憂。
為在促進創新與保護基本權利及歐盟價值觀間取得平衡,歐盟本次爰參考人工智慧系統提供者、使用者、民間組織、學術界、公部門、商業協會等多方利害關係人之意見,推出《受禁止人工智慧行為指引》,針對各項禁止行為提出「概念說明」與「成立條件」,期望協助提升歐盟AI Act主管機關等公部門執行相關規範時之法律明確性,並確保具體適用時的一致性。於歐盟內部開發、部署及使用人工智慧系統的私部門企業與組織,則亦可作為實務參考,有助確保其自身在遵守AI Act所規定的各項義務前提下順利開展其業務。
[1]European Union, REGULATION (EU) 2024/1689 OF THE EUROPEAN PARLIAMENT AND OF THE COUNCIL (2024), https://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=OJ:L_202401689 (last visited Feb. 24, 2025).
[2]Commission publishes the Guidelines on prohibited artificial intelligence (AI) practices, as defined by the AI Act., European Commission, https://digital-strategy.ec.europa.eu/en/library/commission-publishes-guidelines-prohibited-artificial-intelligence-ai-practices-defined-ai-act (last visited Feb. 24, 2025).
[3]AI Act, European Commission, https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai (last visited Feb. 24, 2025).
[4]依據本指引第2.3點,所謂「投放於歐盟市場」(placing on the market),係指該人工智慧系統首次在歐盟市場「提供」;所謂「提供」,則係指在商業活動過程中,以收費或免費方式將該AI系統供應至歐盟市場供分發或使用。
[5]依據本指引第2.3點,所謂「啟用」(putting into service),係指人工智慧系統供應者為供應使用者首次使用或自行使用,而於歐盟內供應人工智慧系統。
[6]依據本指引第2.3點,「使用」(use)之範疇雖未在AI Act內容明確定義,惟應廣義理解為涵蓋人工智慧系統在「投放於歐盟市場」或「啟用」後,其生命週期內的任何使用或部署;另參考AI Act第5條的規範目的,所謂「使用」應包含任何受禁止的誤用行為。
[7]依據AI Act第3條(40)之定義,生物辨識分類系統係指一種依據自然人的生物辨識資料,將其歸類至特定類別之人工智慧系統。
[8]依據AI Act第3條(41)之定義,RBI系統係指一種在無需自然人主動參與的情況下,透過遠距離比對個人生物辨識資料與參考資料庫中的生物辨識資料,從而達成識別自然人身份目的之人工智慧系統。
[9]依據AI Act第3條(46)之定義,「執法(law enforcement)」一詞,係指由執法機關或其委任之代表,代替其執行目的包括預防、調查、偵測或起訴刑事犯罪,或執行刑事處罰,並涵蓋防範與應對公共安全威脅等範疇之行為。
[10]CHARTER OF FUNDAMENTAL RIGHTS OF THE EUROPEAN UNION, Official Journal of the European Union, https://eur-lex.europa.eu/legal-content/EN/TXT/HTML/?uri=CELEX:12012P/TXT (last visited Feb. 24, 2025).
可口可樂公司於2011年向內部市場協調局(Office for Harmonisation in the Internal Market, OHIM)申請註冊流線型立體瓶身商標。經OHIM審議後,於2014年3月以本項商標缺乏顯著特徵不具商品區隔性為由,予以駁回申請。為此,可口可樂向歐盟普通法院(EU General Court)提出上訴。 惟法院於日前(2016年2月)做出說明,其判決結果認為立體瓶身並不具備與市場上其他可樂瓶區隔的具體特徵,根據共同體商標條例第7(1)(b)條「若商標缺乏顯著特徵則不允許註冊」。並質疑其所做的市場調查研究,無法證明該瓶身於市場上具有明顯的商品獨特性,不能讓消費者得以一眼看出是可口可樂產品,不符合同條例第7(3)條(足以使商品或服務之相關消費者認識為指示商品或服務來源,得與他人之商品或服務相區別者)排除7(1)(b)之適用條件,基於上述理由判決可口可樂公司敗訴。 透過此案件,一定程度呈現OHIM與歐盟法院在立體商標認定上相對審慎的態度。 在歐盟有關外觀設計與商標的聲請,係依照歐盟「共同體商標條例」(Council Regulation (EC) No. 207/2009)所規範。經申請通過之歐洲共體商標(CTM)註冊,得使產品或服務於全歐盟境內28個會員國享有排他性權利。而過往以販售之商品外觀或形狀申請註冊商標是具有難度的,必須係該外觀及形狀為增加其商品本身的價值或生產技術上所必要的結果,始得有商標註冊的可能。 「本文同步刊登於TIPS網站(https://www.tips.org.tw)」
日本發布利用AI時的安全威脅、風險調查報告書,呼籲企業留意利用AI服務時可能造成資料外洩之風險日本獨立行政法人情報處理推進機構於2024年7月4日發布利用AI時的安全威脅、風險調查報告書。 隨著生成式AI的登場,日常生活以及執行業務上,利用AI的機會逐漸增加。另一方面,濫用或誤用AI等行為,可能造成網路攻擊、意外事件與資料外洩事件的發生。然而,利用AI時可能的潛在威脅或風險,尚未有充分的對應與討論。 本調查將AI區分為分辨式AI與生成式AI兩種類型,並對任職於企業、組織中的職員實施問卷調查,以掌握企業、組織於利用兩種類型之AI時,對於資料外洩風險的實際考量,並彙整如下: 1、已導入AI服務或預計導入AI服務的受調查者中,有61%的受調查者認為利用分辨式AI時,可能會導致營業秘密等資料外洩。顯示企業、組織已意識到利用分辨式AI可能帶來的資料外洩風險。 2、已導入AI利用或預計導入AI利用的受調查者中,有57%的受調查者認為錯誤利用生成式AI,或誤將資料輸入生成式AI中,有導致資料外洩之可能性。顯示企業、組織已意識到利用生成式AI可能造成之資料外洩風險。 日本調查報告顯示,在已導入AI利用或預計導入AI利用的受調查者中,過半數的受調查者已意識到兩種類型的AI可能造成的資料外洩風險。已導入AI服務,或未來預計導入AI服務之我國企業,如欲強化AI資料的可追溯性、透明性及可驗證性,可參考資策會科法所創意智財中心所發布之重要數位資料治理暨管理制度規範;如欲避免使用AI時導致營業秘密資料外洩,則可參考資策會科法所創意智財中心所發布之營業秘密保護管理規範,以降低AI利用可能導致之營業秘密資料外洩風險。 本文為資策會科法所創智中心完成之著作,非經同意或授權,不得為轉載、公開播送、公開傳輸、改作或重製等利用行為。 本文同步刊登於TIPS網站(https://www.tips.org.tw)
FCC執行局建議駁回有線電視業者對電信業者之申訴由於美國之主要電信業者與有線電視業者紛紛推出語音、數據與影音三合一服務(triple play),彼此之間的競爭也日益激烈。為搶奪市場,電信業者與有線電視業者分別向美國聯邦通訊傳播委員會(FCC)提出申訴,指競爭對手以不公平方式阻擋客戶轉換服務提供業者。如2008年2月間,Comcast、Time Warner 等有線電視業者向FCC申訴,Verizon 及其他既有電信業者在消費者申請電信號碼可攜服務過程中,以違反通訊法(the Communications Act of 1934)規定方式,利用消費者之個人資料進行「客戶忠誠度行銷」(Customer retention marketing)。電信業者在3月間亦向FCC申訴,有線電視業者拒絕接受競爭對手代替消費者申請取消原訂服務,而要求消費者親自申請,造成消費者轉換服務提供業者之困擾,不利電信業者爭取客戶轉向訂閱其他業者之影音服務。 針對有線電視業者所提出之申訴,FCC執行局(the Enforcement Bureau)認為,就法條解釋觀之,電信業者此一利用消費者資料的方式並未違反通訊法之規定,故建議FCC駁回有線電視業者之申訴。然而,有鑑於電信業者與有線電視業者之間競爭逐漸白熱化,執行局建議FCC就「客戶忠誠度行銷」行為涉及之客戶資料使用與市場競爭利益發佈「初步立法公告」(Notice of Proposed Rulemaking, NPRM),徵詢各方意見,希望建立能一體適用於各個不同平台之規範,以因應跨業競爭問題。
美國公布實施零信任架構相關資安實務指引美國公布實施零信任架構相關資安實務指引 資訊工業策進會科技法律研究所 2022年09月10日 美國國家標準技術研究院(National Institute of Standards and Technology, NIST)所管轄的國家網路安全卓越中心(National Cybersecurity Center of Excellence, NCCoE),於2022年8月前公布「NIST SP 1800-35實施零信任架構相關資安實務指引」(NIST Cybersecurity Practice Guide SP 1800-35, Implementing a Zero Trust Architecture)系列文件初稿共四份[1] ,並公開徵求意見。 壹、發布背景 此系列指引文件主要係回應美國白宮於2021年5月12日發布「改善國家資安行政命令」(Executive Oder on Improving the Nation’s Cybersecurity) [2]當中,要求聯邦政府採用現代化網路安全措施(Modernizing Federal Government Cybersecurity),邁向零信任架構(advance toward Zero Trust Architecture)的安全防護機制,以強化美國網路安全。 有鑑於5G網路、雲端服務、行動設備等科技快速發展,生活型態因疫情推動遠距工作、遠距醫療等趨勢,透過各類連線設備隨時隨地近用企業系統或資源進行遠端作業,皆使得傳統的網路安全邊界逐漸模糊,難以進行邊界防護,導致駭客可透過身分權限存取之監控缺失,對企業進行攻擊行動。為此NIST早於2020年8月已公布「SP 800-207零信任架構」(Zero Trust Architecture, ZTA)標準文件[3] ,協助企業基於風險評估建立和維護近用權限,如請求者的身分和角色、請求近用資源的設備狀況和憑證,以及所近用資源之敏感性等,避免企業資源被不當近用。 貳、內容摘要 考量企業於實施ZTA可能面臨相關挑戰,包含ZTA部署需要整合多種不同技術和確認技術差距以構建完整的ZTA架構;擔心ZTA可能會對環境運行或終端客戶體驗產生負面影響;整個組織對ZTA 缺乏共識,無法衡量組織的ZTA成熟度,難確定哪種ZTA方法最適合業務,並制定實施計畫等,NCCoE與合作者共同提出解決方案,以「NIST SP 800-207零信任架構」中的概念與原則,於2022年8月9日前發布實施零信任架構之實務指引系列文件初稿共四份,包含: 一、NIST SP 1800-35A:執行摘要(初稿)(NIST SP 1800-35A: Executive Summary (Preliminary Draft)) 主要針對資安技術長(chief information security and technology officers)等業務決策者所編寫,可使用該指引來瞭解企業於實施ZTA所可能遭遇挑戰與解決方案,實施ZTA所能帶來優點等。 二、NIST SP 1800-35B:方法、架構和安全特性(初稿)(NIST SP 1800-35B: Approach, Architecture, and Security Characteristics (Preliminary Draft)) 主要針對關注如何識別、理解、評估和降低風險的專案經理和中層管理決策者所編寫,闡述風險分析、安全/隱私控制對應業務流程方法(mappings)的設計理念與評估內容。 三、NIST SP 1800-35C:如何操作指引(初稿)(NIST SP 1800-35C: How-To Guides (Preliminary Draft)) 主要針對於現場部署安全工具的IT 專業人員所編寫,指導和說明特定資安產品的安裝、配置和整合,提供具體的技術實施細節,可全部或部分應用指引中所揭示的例示內容。 四、NIST SP 1800-35D:功能演示(初稿)(NIST SP 1800-35D: Functional Demonstrations (Preliminary Draft)) 此份指引主要在闡述商業應用技術如何被整合與使用以建構ZTA架構,展示使用案例情境的實施結果。 參、評估分析 美國自總統發布行政命令,要求聯邦機構以導入ZTA為主要目標,並發布系列指引文件,透過常見的實施零信任架構案例說明,消除零信任設計的複雜性,協助組織運用商用技術來建立和實施可互操作、基於開放標準的零信任架構,未來可預見數位身分將成為安全新核心。 此外,NIST於2022年5月發布資安白皮書-規劃零信任架構:聯邦管理員指引[4] ,描繪NIST風險管理框架(Risk Management Framework, RMF)逐步融合零信任架構的過程,幫助聯邦系統管理員和操作員在設計和實施零信任架構時使用RMF。 我國企業若有與美國地區業務往來者,或欲降低遠端應用的安全風險者,宜參考以上標準文件與實務指引,以建立、推動和落實零信任架構,降低攻擊者在環境中橫向移動和提升權限的能力,與保護組織重要資源。 [1] Implementing a Zero Trust Architecture, NATIONAL INSTITUTE OF STANDARDS AND TECHNOLOGY, https://www.nccoe.nist.gov/projects/implementing-zero-trust-architecture (last visited Aug. 22, 2022). [2] Executive Order on Improving the Nation’s Cybersecurity, THE WHITE HOUSE, https://www.whitehouse.gov/briefing-room/presidential-actions/2021/05/12/executive-order-on-improving-the-nations-cybersecurity (last visited Aug. 22, 2022). [3] SP 800-207- Zero Trust Architecture, NATIONAL INSTITUTE OF STANDARDS AND TECHNOLOGY, https://csrc.nist.gov/publications/detail/sp/800-207/final (last visited Aug. 22, 2022). [4] NIST Releases Cybersecurity White Paper: Planning for a Zero Trust Architecture, NATIONAL INSTITUTE OF STANDARDS AND TECHNOLOGY, https://csrc.nist.gov/News/2022/planning-for-a-zero-trust-architecture-white-paper (last visited Aug. 22, 2022).