歐盟執委會發布《受禁止人工智慧行為指引》
資訊工業策進會科技法律研究所
2025年02月24日
歐盟繼《人工智慧法》[1](Artificial Intelligence Act, 下稱AI Act)於2024年8月1日正式生效後,針對該法中訂於2025年2月2日始實施之第5條1,有關「不可接受風險」之內容中明文禁止的人工智慧行為類型,由歐盟執委會於2025年2月4日發布《受禁止人工智慧行為指引》[2]。
壹、事件摘要
歐盟AI Act於2024年8月1日正式生效,為歐盟人工智慧系統引入統一之人工智慧風險分級規範,主要分為四個等級[3]:
1. 不可接受風險(Unacceptable risk)
2. 高風險(High risk)
3. 有限風險,具有特定透明度義務(Limited risk)
4. 最低風險或無風險(Minimal to no risk)
AI Act之風險分級系統推出後,各界對於法規中所說的不同風險等級的系統,究竟於實務上如何判斷?該等系統實際上具備何種特徵?許多內容仍屬概要而不確定,不利於政府、企業遵循,亦不利於各界對人工智慧技術進行監督。是以歐盟本次針對「不可接受風險」之人工智慧系統,推出相關指引,目的在明確化規範內涵規範,協助主管機關與市場參與者予以遵循。
貳、重點說明
一、AI Act本文第5條1(a)、(b)-有害操縱、欺騙與剝削行為
(一)概念說明
本禁止行為規定旨在防止透過人工智慧系統施行操縱與剝削,使他人淪為實現特定目的工具之行為,以保護社會上最為脆弱且易受有害操控與剝削影響的群體。
(二)禁止施行本行為之前提要件
1.該行為必須構成將特定人工智慧系統「投放於歐盟市場」(placing on the market)[4]、「啟用」(putting into service)[5]或「使用」(use)[6]。
2.應用目的:該人工智慧系統所採用的技術具有能實質扭曲個人或團體行為的「目的」或「效果」,此種扭曲明顯削弱個人或團體做出正確決定的能力,導致其做出的決定偏離正常情形。
3.技術特性:關於(a)有害的操縱與欺騙部分,係指使用潛意識(超出個人意識範圍)、或刻意操控或欺騙的技術;關於(b)有害地利用弱勢群體部分,是指利用個人年齡、身心障礙或社會經濟狀況上弱點。
4.後果:該扭曲行為已造成或合理可預見將造成該個人、另一人或某群體的重大傷害。
5.因果關係:該人工智慧系統所採用的技術、個人或團體行為的扭曲,以及由此行為造成或可合理預見將造成的重大傷害之間,具備相當因果關係。
二、AI Act本文第5條1(c)-社會評分行為
(一)概念說明
本禁止行為規定旨在防止透過人工智慧系統進行「社會評分」可能對特定個人或團體產生歧視和不公平的結果,以及引發與歐盟價值觀不相容的社會控制與監視行為。
(二)禁止施行本行為之前提要件
1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。
2.應用目的:該人工智慧系統必須用於對一定期間內,自然人及群體的社會行為,或其已知、預測的個人特徵或人格特質進行評價或分類。
3.後果:透過該人工智慧系統所產生的社會評分,必須可能導致個人或群體,在與評分用資料生成或蒐集時無關的環境遭受不利待遇,或遭受與其行為嚴重性不合比例的不利待遇。
三、AI Act本文第5條1(d)-個人犯罪風險評估與預測行為
(一)概念說明
本禁止行為規定之目的,旨在考量自然人應依其實際行為接受評判,而非由人工智慧系統僅基於對自然人的剖析、人格特質或個人特徵等,即逕予評估或預測個人犯罪風險。
(二)禁止施行本行為之前提要件
1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。
2.應用目的:該人工智慧系統必須生成旨在評估或預測自然人施行犯罪行為風險的風險評估結果。
3.後果:前述風險評估結果僅依據於對自然人的剖析,或對其人格特質與個人特徵的評估。
4.除外規定:若人工智慧系統係基於與犯罪活動直接相關的客觀、可驗證事實,針對個人涉入犯罪活動之程度進行評估,則不適用本項禁止規定。
四、AI Act本文第5條1(e)-無差別地擷取(Untargeted Scraping)臉部影像之行為
(一)概念說明
本禁止行為規定之目的,旨在考量以人工智慧系統從網路或監視器影像中無差別地擷取臉部影像,用以建立或擴充人臉辨識資料庫,將嚴重干涉個人的隱私權與資料保護權,並剝奪其維持匿名的權利。
(二)禁止施行本行為之前提要件
1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。
2.應用目的:該行為以建立或擴充人臉辨識資料庫為目的。
3.技術特性:填充人臉辨識資料庫的方式係以人工智慧工具進行「無差別的擷取行為」。
4.因果關係:建立或擴充人臉辨識資料庫之影像來源,須為網路或監視器畫面。
五、AI Act本文第5條1(f)-情緒辨識行為
(一)概念說明
本禁止行為規定之目的,旨在考量情緒辨識可廣泛應用於分析消費者行為,以更有效率的手段執行媒體推廣、個人化推薦、監測群體情緒或注意力,以及測謊等目的。然而情緒表達在不同文化、情境與個人反應皆可能存在差異,缺乏明確性、較不可靠且難以普遍適用,因此應用情緒辨識可能導致歧視性結果,並侵害相關個人或群體的權利,尤以關係較不對等的職場與教育訓練環境應加以注意。
(二)禁止施行本行為之前提要件
1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。
2.應用目的:該系統係用於推斷情緒。
3.因果關係:該行為發生於職場或教育訓練機構。
4.除外規定:為醫療或安全目的而採用的人工智慧系統不在禁止範圍內。例如在醫療領域中,情緒辨識可協助偵測憂鬱症、預防自殺等,具有正面效果。
六、AI Act本文第5條1(g)-為推測敏感特徵所進行之生物辨識分類行為
(一)概念說明
本禁止行為規定之目的,旨在考量利用人工智慧之生物辨識分類系統(Biometric Categorisation System)[7],可依據自然人的生物辨識資料用以推斷其性取向、政治傾向、信仰或種族等「敏感特徵」在內的各類資訊,並可能在當事人不知情的情況下依據此資訊對自然人進行分類,進而可能導致不公平或歧視性待遇。
(二)禁止施行本行為之前提要件
1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。
2.應用目的:該行為係針對個人進行分類;而其辨識目的係為推斷其種族、政治傾向、工會成員身分、宗教或哲學信仰、性生活或性取向等。
3.技術特性:該系統必須為利用人工智慧,並依據自然人的生物辨識資料,將其歸類至特定類別之生物辨識分類系統。
4.因果關係:前述分類依據為其生物辨識資訊。
5.除外規定:本項禁止規定未涵蓋對合法取得的生物辨識資料進行標記(Labelling)或過濾(Filtering)行為,如用於執法目的等。
七、AI Act本文第5條1(h)-使用即時遠端生物辨識(Remote Biometric Identification, RBI)系統[8]執法[9]之行為
(一)概念說明
本禁止行為規定之目的,旨在考量在公共場所使用即時RBI系統進行執法,可能對人民權利與自由造成嚴重影響,使其遭受監視或間接阻礙其行使集會自由及其他基本權利。此外,RBI系統的不準確性,將可能導致針對年齡、族群、種族、性別或身心障礙等方面的偏見與歧視。
(二)禁止施行本行為之前提要件
1.該行為必須涉及對即時RBI系統的「使用」行為。
2.應用目的:使用目的須為執法需要。
3.技術特性:該系統必須為利用人工智慧,在無需自然人主動參與的情況下,透過遠距離比對個人生物辨識資料與參考資料庫中的生物辨識資料,從而達成識別自然人身份目的之RBI系統。
4.因果關係:其使用情境須具備即時性,且使用地點須為公共場所。
參、事件評析
人工智慧技術之發展固然帶來多樣化的運用方向,惟其所衍生的倫理議題仍應於全面使用前予以審慎考量。觀諸歐盟AI Act與《受禁止人工智慧行為指引》所羅列之各類行為,亦可觀察出立法者對人工智慧之便利性遭公、私部門用於「欺詐與利用」及「辨識與預測」,對《歐盟基本權利憲章》[10]中平等、自由等權利造成嚴重影響的擔憂。
為在促進創新與保護基本權利及歐盟價值觀間取得平衡,歐盟本次爰參考人工智慧系統提供者、使用者、民間組織、學術界、公部門、商業協會等多方利害關係人之意見,推出《受禁止人工智慧行為指引》,針對各項禁止行為提出「概念說明」與「成立條件」,期望協助提升歐盟AI Act主管機關等公部門執行相關規範時之法律明確性,並確保具體適用時的一致性。於歐盟內部開發、部署及使用人工智慧系統的私部門企業與組織,則亦可作為實務參考,有助確保其自身在遵守AI Act所規定的各項義務前提下順利開展其業務。
[1]European Union, REGULATION (EU) 2024/1689 OF THE EUROPEAN PARLIAMENT AND OF THE COUNCIL (2024), https://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=OJ:L_202401689 (last visited Feb. 24, 2025).
[2]Commission publishes the Guidelines on prohibited artificial intelligence (AI) practices, as defined by the AI Act., European Commission, https://digital-strategy.ec.europa.eu/en/library/commission-publishes-guidelines-prohibited-artificial-intelligence-ai-practices-defined-ai-act (last visited Feb. 24, 2025).
[3]AI Act, European Commission, https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai (last visited Feb. 24, 2025).
[4]依據本指引第2.3點,所謂「投放於歐盟市場」(placing on the market),係指該人工智慧系統首次在歐盟市場「提供」;所謂「提供」,則係指在商業活動過程中,以收費或免費方式將該AI系統供應至歐盟市場供分發或使用。
[5]依據本指引第2.3點,所謂「啟用」(putting into service),係指人工智慧系統供應者為供應使用者首次使用或自行使用,而於歐盟內供應人工智慧系統。
[6]依據本指引第2.3點,「使用」(use)之範疇雖未在AI Act內容明確定義,惟應廣義理解為涵蓋人工智慧系統在「投放於歐盟市場」或「啟用」後,其生命週期內的任何使用或部署;另參考AI Act第5條的規範目的,所謂「使用」應包含任何受禁止的誤用行為。
[7]依據AI Act第3條(40)之定義,生物辨識分類系統係指一種依據自然人的生物辨識資料,將其歸類至特定類別之人工智慧系統。
[8]依據AI Act第3條(41)之定義,RBI系統係指一種在無需自然人主動參與的情況下,透過遠距離比對個人生物辨識資料與參考資料庫中的生物辨識資料,從而達成識別自然人身份目的之人工智慧系統。
[9]依據AI Act第3條(46)之定義,「執法(law enforcement)」一詞,係指由執法機關或其委任之代表,代替其執行目的包括預防、調查、偵測或起訴刑事犯罪,或執行刑事處罰,並涵蓋防範與應對公共安全威脅等範疇之行為。
[10]CHARTER OF FUNDAMENTAL RIGHTS OF THE EUROPEAN UNION, Official Journal of the European Union, https://eur-lex.europa.eu/legal-content/EN/TXT/HTML/?uri=CELEX:12012P/TXT (last visited Feb. 24, 2025).
歐洲各國司法部長於1月16日與歐盟司法與內政委員會委員Franco Frattini進行會商,包括德國、英國、希臘、芬蘭、西班牙以及法國之司法部長皆同意支持建立全歐一致之共同規範以限制對孩童販售暴力遊戲軟體,並將據此檢視各國電腦軟體相關法制。 Franco Frattini委員過去基於「兒童保護應不分國界」之理念,曾建議建構以歐盟為範圍的標識規範,並鼓勵以兒童為銷售對象之遊戲業者建立自律規約,惟歐盟最後決議應交由各國政府自行規範。而Franco Frattini委員此次提案受到本屆歐盟輪值主席國-德國-司法部長Brigitte Zypries的支持,並指示相關規範建構之第一步,即是出版遊戲軟體分級摘要供家長參考,此摘要將很快於歐盟網站上公布。Zypries認為關於暴力遊戲的限制,歐盟應與國際進行合作溝通,由其針對美國與日本;Frattini則期望在歐盟27個會員國建構專門針對此類遊戲的標識規範,至於其他種類之遊戲則仍由各國政府自行管理。 目前國際間針對暴力遊戲限制,多數國家仍採取提供遊戲分級或相關指導守則之方式,於歐洲,僅英國與德國特別訂定法律加以規範,尤其在英國,遊戲軟體內容若具有對人類或動物之寫實暴力場景,或包含人類的性愛行為者,必須送交英國電影分級委員會(British Board of Film Classification,簡稱BBFC)審查。而美國已有部分州議會通過限制對未成年人販售遊戲的法律,但幾乎皆被「違反美國憲法修正條文第1條-言論自由保障」之理由成功推翻。
演算法歧視將適用於《紐澤西州反歧視法》2025年1月9日美國紐澤西州檢查總長與民權部(Division of Civil Rights, DCR)聯合發布「演算法歧視指引」(Guidance on Algorithmic Discrimination and the New Jersey Law Against Discrimination),指出《紐澤西州反歧視法》(the New Jersey Law Against Discrimination, LAD)亦適用於基於演算法所衍生的歧視。 隨著AI技術日趨成熟,社會各領域已大量導入自動化決策工具,雖然它們能提高決策效率但也增加了歧視發生之風險。指引的目的在於闡述自動化決策工具在AI設計、訓練或部署階段可能潛藏的歧視風險,亦列舉出在各類商業實務情境中常見的自動化決策工具,並說明它們可能會如何產生演算法歧視。以下分別說明《紐澤西州反歧視法》適用範圍,以及與演算法歧視有關的行為樣態。 一、《紐澤西州反歧視法》之適用主體及適用客體 《紐澤西州反歧視法》禁止在就業、住房及公共場所等領域所發生的一切歧視行為,其適用主體相當廣泛,包含但不限於下列對象:雇主、勞工組織、就業仲介機構、房東、房地產經紀人、公共場所之經營或管理者、以及任何教唆或協助歧視行為之個人;而該法之適用客體亦有明確定義,為具有受保護特徵(如性別、族裔、身心障礙等)之自然人或法人。 此外指引特別說明,即便適用主體無意歧視、或其所使用之自動化決策工具係由第三方所開發,只要發生歧視行為依然違反《紐澤西州反歧視法》。這是因為《紐澤西州反歧視法》係針對歧視所帶來的影響進行規範,儘管無意歧視,其所帶來的影響並不一定比故意歧視還要輕微。 二、 歧視行為的三種樣態 1.差別待遇歧視 差別待遇歧視係指適用主體基於受保護特徵而對適用客體施予不同對待。舉例而言,若房東使用自動化決策工具來評估黑人潛在租戶,但不評估其他族裔的潛在租戶,則會因為其選擇性使用自動化決策工具而構成歧視。 2.差別影響歧視 差別影響歧視係指適用主體的政策或行為對適用客體造成不成比例的負面影響,且該政策或行為未能證明具有正當性、非歧視性、或不存在較少歧視性的替代方案,則該政策或行為構成歧視。例如,某商店利用臉部辨識技術來偵測過去曾有偷竊紀錄的顧客,但該系統對配戴宗教頭巾的顧客較容易產生誤判,此亦可能構成歧視。 3.未提供合理調整 合理調整係指身心障礙者、宗教信仰者、懷孕者以及哺乳者,在不會對適用主體造成過度負擔的前提下,得向其提出合理請求,以符合自身的特殊需求。以身心障礙員工為例,若雇主使用了自動化決策工具來評估員工的工作表現(例如監測員工的休息時間是否過長),在未考量合理調整的情況下,該工具可能會過度針對身心障礙員工進而構成歧視。 為減少演算法歧視發生頻率,「演算法歧視指引」特別闡述自動化決策工具可能會出現的歧視行為及歧視樣態。此份指引的另一個意義在於,縱使目前紐澤西州並沒有一部監管AI的專法,但仍可以利用現行的法律去處理AI帶來的種種問題,以利在既有的法律架構內擴充法律的解釋來回應新科技的挑戰,並達到實質管制AI的效果。
不畏經濟衰退,歐盟企業增加研發經費根據歐盟執委會(European Commission)之聯合研究中心(Joint Research Centre, JRC)於今(2012)年初針對歐盟境內之1000間企業所做的「歐盟產業研發投資趨勢調查」(The EU Survey on R&D Investment Business Trends)結果指出,目前歐盟境內之頂尖企業期待自2012年至2014年止,以每年平均4%的成長率投注資源於研究發展領域。 儘管目前全球經濟局勢仍不明朗,多數的歐盟企業依舊認為,投注研究發展乃為企業追求未來成長和繁榮的重要關鍵要素。而該現象主要於軟體和電腦服務產業最為明顯。除了企業自身投注研發資源以進行創新研發、市場調查、和新產品的推行等相關活動外,多數的企業亦認為藉由國家補助經費、成立公私部門夥伴合作模式,此類外部激勵方式對於企業創新活動的進行,具有相當之助益。此外,透過簽署各項合作協議,企業與學研機構間得以相互授權合作,進而促進知識分享,此皆目前強調開放式創新(open innovation)概念的具體實踐之例,實值得肯認。然而,歐盟企業亦普遍認為,現行歐盟智慧財產權機制仍有智慧財產權保護申請時程過長,以及申請智慧財產權保護所需費用過於昂貴等不足之處,而該不足之處乃為目前歐盟企業進行創新研發活動時的絆腳石。 如何促進企業之創新研發能力,乃為目前全球各國於規劃推動各項相關策略時之主要討論標的之一。儘管當前歐盟智慧財產機制仍有待改善之處,然就歐盟企業所肯認之跨機關構合作模式、合作協議之簽署、國家經費之補助等措施,仍值得進行進一步的探討與觀察。
歐洲法院針對國家安全數據保留政策之隱私權問題作出裁決歐洲法院於2016年12月21日針對英國2014年數據保留及調查權力法案(Data Retention and Investigatory Powers Act 2014;簡稱DRIPA)作出裁決,其認為該法案授權政府機關得要求電信營運商「普遍性及無區別性」保留使用戶之流量及位置數據,並應政府機關指示提供,違反歐盟電子通訊隱私指令(2002/58/EC;E-Privacy Directive),與歐洲聯盟基本權利憲章第7條私生活與家庭生活受尊重之權利,及第8條個人資料受保護之權利。 詳言之,歐洲法院認為,歐盟電子通訊隱私指令15(1),雖承認會員國在保障國家安全、國防、公共安全及預防、調查、偵查及起訴刑事犯罪或未經授權使用電子通信系統之行為下,可立法採取適當措施予以限制電子通訊之隱私權,但由於流量及位置數據是可以藉由保留數據精確得出個人私生活,並據以建立個人簡介,因此,倘允許「普遍性及無區別性」之要求保留數據,對於歐洲聯盟基本權利憲章是非常深遠與特別嚴重之侵害,將導致個人未受任何通知,政府即可要求電信營運商保留數據,使民眾之私生活處於不斷被監視之中。 據此,該裁決進一步指出,立法上須具備特定標準及客觀證據,足以證明個人或其數據可能與重大刑事犯罪或恐怖主義有關連性,且保留數據行為具有打擊重大犯罪或預防嚴重公共安全風險之利益,方可限縮歐洲聯盟基本權利憲章所規定之基本權利,且應採取適當保護措施,並確保保留數據於保存期間結束後能徹底且不可復原之銷毀。 然而,歐洲法院之此項裁決見解,在英國脫離歐盟已成定局之情形下,其遵循態度與影響力為何,尚不可知,甚且對於其國內於12月實行,以賦予政府更大權力監控民眾之調查權力法案(Investigatory Powers Act. 2016)之衝擊程度為何,亦值得後續觀察。