歐盟執委會發布《受禁止人工智慧行為指引》
資訊工業策進會科技法律研究所
2025年02月24日
歐盟繼《人工智慧法》[1](Artificial Intelligence Act, 下稱AI Act)於2024年8月1日正式生效後,針對該法中訂於2025年2月2日始實施之第5條1,有關「不可接受風險」之內容中明文禁止的人工智慧行為類型,由歐盟執委會於2025年2月4日發布《受禁止人工智慧行為指引》[2]。
壹、事件摘要
歐盟AI Act於2024年8月1日正式生效,為歐盟人工智慧系統引入統一之人工智慧風險分級規範,主要分為四個等級[3]:
1. 不可接受風險(Unacceptable risk)
2. 高風險(High risk)
3. 有限風險,具有特定透明度義務(Limited risk)
4. 最低風險或無風險(Minimal to no risk)
AI Act之風險分級系統推出後,各界對於法規中所說的不同風險等級的系統,究竟於實務上如何判斷?該等系統實際上具備何種特徵?許多內容仍屬概要而不確定,不利於政府、企業遵循,亦不利於各界對人工智慧技術進行監督。是以歐盟本次針對「不可接受風險」之人工智慧系統,推出相關指引,目的在明確化規範內涵規範,協助主管機關與市場參與者予以遵循。
貳、重點說明
一、AI Act本文第5條1(a)、(b)-有害操縱、欺騙與剝削行為
(一)概念說明
本禁止行為規定旨在防止透過人工智慧系統施行操縱與剝削,使他人淪為實現特定目的工具之行為,以保護社會上最為脆弱且易受有害操控與剝削影響的群體。
(二)禁止施行本行為之前提要件
1.該行為必須構成將特定人工智慧系統「投放於歐盟市場」(placing on the market)[4]、「啟用」(putting into service)[5]或「使用」(use)[6]。
2.應用目的:該人工智慧系統所採用的技術具有能實質扭曲個人或團體行為的「目的」或「效果」,此種扭曲明顯削弱個人或團體做出正確決定的能力,導致其做出的決定偏離正常情形。
3.技術特性:關於(a)有害的操縱與欺騙部分,係指使用潛意識(超出個人意識範圍)、或刻意操控或欺騙的技術;關於(b)有害地利用弱勢群體部分,是指利用個人年齡、身心障礙或社會經濟狀況上弱點。
4.後果:該扭曲行為已造成或合理可預見將造成該個人、另一人或某群體的重大傷害。
5.因果關係:該人工智慧系統所採用的技術、個人或團體行為的扭曲,以及由此行為造成或可合理預見將造成的重大傷害之間,具備相當因果關係。
二、AI Act本文第5條1(c)-社會評分行為
(一)概念說明
本禁止行為規定旨在防止透過人工智慧系統進行「社會評分」可能對特定個人或團體產生歧視和不公平的結果,以及引發與歐盟價值觀不相容的社會控制與監視行為。
(二)禁止施行本行為之前提要件
1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。
2.應用目的:該人工智慧系統必須用於對一定期間內,自然人及群體的社會行為,或其已知、預測的個人特徵或人格特質進行評價或分類。
3.後果:透過該人工智慧系統所產生的社會評分,必須可能導致個人或群體,在與評分用資料生成或蒐集時無關的環境遭受不利待遇,或遭受與其行為嚴重性不合比例的不利待遇。
三、AI Act本文第5條1(d)-個人犯罪風險評估與預測行為
(一)概念說明
本禁止行為規定之目的,旨在考量自然人應依其實際行為接受評判,而非由人工智慧系統僅基於對自然人的剖析、人格特質或個人特徵等,即逕予評估或預測個人犯罪風險。
(二)禁止施行本行為之前提要件
1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。
2.應用目的:該人工智慧系統必須生成旨在評估或預測自然人施行犯罪行為風險的風險評估結果。
3.後果:前述風險評估結果僅依據於對自然人的剖析,或對其人格特質與個人特徵的評估。
4.除外規定:若人工智慧系統係基於與犯罪活動直接相關的客觀、可驗證事實,針對個人涉入犯罪活動之程度進行評估,則不適用本項禁止規定。
四、AI Act本文第5條1(e)-無差別地擷取(Untargeted Scraping)臉部影像之行為
(一)概念說明
本禁止行為規定之目的,旨在考量以人工智慧系統從網路或監視器影像中無差別地擷取臉部影像,用以建立或擴充人臉辨識資料庫,將嚴重干涉個人的隱私權與資料保護權,並剝奪其維持匿名的權利。
(二)禁止施行本行為之前提要件
1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。
2.應用目的:該行為以建立或擴充人臉辨識資料庫為目的。
3.技術特性:填充人臉辨識資料庫的方式係以人工智慧工具進行「無差別的擷取行為」。
4.因果關係:建立或擴充人臉辨識資料庫之影像來源,須為網路或監視器畫面。
五、AI Act本文第5條1(f)-情緒辨識行為
(一)概念說明
本禁止行為規定之目的,旨在考量情緒辨識可廣泛應用於分析消費者行為,以更有效率的手段執行媒體推廣、個人化推薦、監測群體情緒或注意力,以及測謊等目的。然而情緒表達在不同文化、情境與個人反應皆可能存在差異,缺乏明確性、較不可靠且難以普遍適用,因此應用情緒辨識可能導致歧視性結果,並侵害相關個人或群體的權利,尤以關係較不對等的職場與教育訓練環境應加以注意。
(二)禁止施行本行為之前提要件
1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。
2.應用目的:該系統係用於推斷情緒。
3.因果關係:該行為發生於職場或教育訓練機構。
4.除外規定:為醫療或安全目的而採用的人工智慧系統不在禁止範圍內。例如在醫療領域中,情緒辨識可協助偵測憂鬱症、預防自殺等,具有正面效果。
六、AI Act本文第5條1(g)-為推測敏感特徵所進行之生物辨識分類行為
(一)概念說明
本禁止行為規定之目的,旨在考量利用人工智慧之生物辨識分類系統(Biometric Categorisation System)[7],可依據自然人的生物辨識資料用以推斷其性取向、政治傾向、信仰或種族等「敏感特徵」在內的各類資訊,並可能在當事人不知情的情況下依據此資訊對自然人進行分類,進而可能導致不公平或歧視性待遇。
(二)禁止施行本行為之前提要件
1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。
2.應用目的:該行為係針對個人進行分類;而其辨識目的係為推斷其種族、政治傾向、工會成員身分、宗教或哲學信仰、性生活或性取向等。
3.技術特性:該系統必須為利用人工智慧,並依據自然人的生物辨識資料,將其歸類至特定類別之生物辨識分類系統。
4.因果關係:前述分類依據為其生物辨識資訊。
5.除外規定:本項禁止規定未涵蓋對合法取得的生物辨識資料進行標記(Labelling)或過濾(Filtering)行為,如用於執法目的等。
七、AI Act本文第5條1(h)-使用即時遠端生物辨識(Remote Biometric Identification, RBI)系統[8]執法[9]之行為
(一)概念說明
本禁止行為規定之目的,旨在考量在公共場所使用即時RBI系統進行執法,可能對人民權利與自由造成嚴重影響,使其遭受監視或間接阻礙其行使集會自由及其他基本權利。此外,RBI系統的不準確性,將可能導致針對年齡、族群、種族、性別或身心障礙等方面的偏見與歧視。
(二)禁止施行本行為之前提要件
1.該行為必須涉及對即時RBI系統的「使用」行為。
2.應用目的:使用目的須為執法需要。
3.技術特性:該系統必須為利用人工智慧,在無需自然人主動參與的情況下,透過遠距離比對個人生物辨識資料與參考資料庫中的生物辨識資料,從而達成識別自然人身份目的之RBI系統。
4.因果關係:其使用情境須具備即時性,且使用地點須為公共場所。
參、事件評析
人工智慧技術之發展固然帶來多樣化的運用方向,惟其所衍生的倫理議題仍應於全面使用前予以審慎考量。觀諸歐盟AI Act與《受禁止人工智慧行為指引》所羅列之各類行為,亦可觀察出立法者對人工智慧之便利性遭公、私部門用於「欺詐與利用」及「辨識與預測」,對《歐盟基本權利憲章》[10]中平等、自由等權利造成嚴重影響的擔憂。
為在促進創新與保護基本權利及歐盟價值觀間取得平衡,歐盟本次爰參考人工智慧系統提供者、使用者、民間組織、學術界、公部門、商業協會等多方利害關係人之意見,推出《受禁止人工智慧行為指引》,針對各項禁止行為提出「概念說明」與「成立條件」,期望協助提升歐盟AI Act主管機關等公部門執行相關規範時之法律明確性,並確保具體適用時的一致性。於歐盟內部開發、部署及使用人工智慧系統的私部門企業與組織,則亦可作為實務參考,有助確保其自身在遵守AI Act所規定的各項義務前提下順利開展其業務。
[1]European Union, REGULATION (EU) 2024/1689 OF THE EUROPEAN PARLIAMENT AND OF THE COUNCIL (2024), https://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=OJ:L_202401689 (last visited Feb. 24, 2025).
[2]Commission publishes the Guidelines on prohibited artificial intelligence (AI) practices, as defined by the AI Act., European Commission, https://digital-strategy.ec.europa.eu/en/library/commission-publishes-guidelines-prohibited-artificial-intelligence-ai-practices-defined-ai-act (last visited Feb. 24, 2025).
[3]AI Act, European Commission, https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai (last visited Feb. 24, 2025).
[4]依據本指引第2.3點,所謂「投放於歐盟市場」(placing on the market),係指該人工智慧系統首次在歐盟市場「提供」;所謂「提供」,則係指在商業活動過程中,以收費或免費方式將該AI系統供應至歐盟市場供分發或使用。
[5]依據本指引第2.3點,所謂「啟用」(putting into service),係指人工智慧系統供應者為供應使用者首次使用或自行使用,而於歐盟內供應人工智慧系統。
[6]依據本指引第2.3點,「使用」(use)之範疇雖未在AI Act內容明確定義,惟應廣義理解為涵蓋人工智慧系統在「投放於歐盟市場」或「啟用」後,其生命週期內的任何使用或部署;另參考AI Act第5條的規範目的,所謂「使用」應包含任何受禁止的誤用行為。
[7]依據AI Act第3條(40)之定義,生物辨識分類系統係指一種依據自然人的生物辨識資料,將其歸類至特定類別之人工智慧系統。
[8]依據AI Act第3條(41)之定義,RBI系統係指一種在無需自然人主動參與的情況下,透過遠距離比對個人生物辨識資料與參考資料庫中的生物辨識資料,從而達成識別自然人身份目的之人工智慧系統。
[9]依據AI Act第3條(46)之定義,「執法(law enforcement)」一詞,係指由執法機關或其委任之代表,代替其執行目的包括預防、調查、偵測或起訴刑事犯罪,或執行刑事處罰,並涵蓋防範與應對公共安全威脅等範疇之行為。
[10]CHARTER OF FUNDAMENTAL RIGHTS OF THE EUROPEAN UNION, Official Journal of the European Union, https://eur-lex.europa.eu/legal-content/EN/TXT/HTML/?uri=CELEX:12012P/TXT (last visited Feb. 24, 2025).
由於完善控管機制迄今仍付之闕如,而市面上諸多含有危險化學物質的產品,尚無法立即要求廠商將之下架或提出解決方案,因此引起消費大眾、學界人士及公共健康倡議團體對於消費安全之關切;美國加州為有別於僅針對危險化學物質逐項管理的一般法令,轉而採取整體規範之包裹立法方式,於2008年9月底通過AB 1879與SB 509兩項綠色化學法規,增訂於「健康與安全法典(Health and Safety Code)」,促使商品在設計階段減少毒性物質之接觸。 根據AB 1879法令,由加州環保署(California Environmental Protection Agency) 所管轄之毒性物質控制部門(Department of Toxic Substances Control),現行除具備管理危險材料之儲存、使用與廢棄等法定職責外,另新增計畫如下: (1) 應於2011年1月1日前修改法規,優先針對引發關切的危險化學物質進行生命週期評估,並將評估結果遞交加州環境政策議會(California Environmental Policy Council);此外,毒性物質控制部門應研發潛在替代品,研擬減低或避免化學物質暴露之方法。 (2) 於2009年7月1日前成立綠絲帶科學小組(Green Ribbon Science Panel),用以管理奈米科技、風險分析、公眾健康等十五項與危險性化學物質相關之題材,並為日後政策修訂提供具科學基礎之建議。 (3) 除非另有法規限制,應要求業界呈報管理化學物質之詳細資料,公開作為民眾參考之用;如涉及商業機密,應有程序上之保障。 再者,SB 509法令要求環境健康風險評估辦公室(Office of Environmental Health Hazard Assessment)彙整危險化學物質之特性,並由毒性物質控制部門建立線上資料庫,使民眾便於查詢危險化學物質之相關資訊。 綜上所述,綠色化學法規的訂立,係回應消費大眾對於市售產品之疑慮,因而植基於科學界與現實生活,著重危險化學物質運用及暴露時所為之風險評估,並期於2011年前得以有效掌握化學物質,進而維持勞動環境安全、減少處理毒性廢棄物之成本,達成保護生態與民眾健康之目標。
巴西通過290號規範性指令,促進已獲外國監管機構註冊之醫療器材於國內快速上市巴西國家衛生監督局(Agência Nacional de Vigilância Sanitária, Anvisa)為強化國際監管機構間信任,並促進具有臨床效益的健康產品快速流通,於2022年8月通過第741號合議理事會決議(Resolução da Diretoria Colegiada - RDC N° 741),宣布若已透過等效外國監管機構(Autoridade Reguladora Estrangeira Equivalente, AREE)–即具有與 Anvisa一致之監管方式的外國監管機構–認定符合公認之品質、安全性和有效性標準之醫療產品,可利用AREE的註冊或授權證明相關文件,於巴西當地申請上市註冊的過程中,獲得簡化審查的優惠措施。在此框架下,Anvisa於2024年4月4日通過第290號規範性指令 (Instrução Normativa - N° 290),內文指出醫療器材及體外診斷醫材產品可於2024年6月3日起,於註冊上市的過程中提交AREE之證明文件以進入簡審程序。 第290號規範性指令明確指出,目前獲巴西政府認可之醫療器材AREE及對應之註冊或授權證明,包含以下機構:(1)美國食品及藥物管理局(U.S. Food and Drug Administration, FDA)之上市前批准(PMA)、510(k)或De Novo;(2)加拿大衛生部(Health Canada, HC) 之醫療器材許可證;(3)澳洲醫療用品管理局(Therapeutic Goods Administration, TGA)之澳洲治療用品登記冊 ;(4)日本厚生勞動省(Ministry of Health, Labour and Welfare, MHLW)之上市前批准。另外,欲適用簡化程序的註冊產品,則需與AREE頒發授權證明之產品具有「本質上相同性」(Dispositivo Médico Essencialmente Idêntico),具體包含產品之技術規格、適應症、預期用途、製造商、製造流程,以及安全與性能上的一致性。 此政策透過值得信賴的監管單位把關,不僅可促進國際間醫療器材之貿易流通,更可能有效減少巴西當局於審查過程的行政成本,進而提升國內的產品審查效率。然值得注意的是,在各國醫療器材監管法規與行政裁量基準不完全一致的現況下,各國政府對於醫療器材之分類、臨床數據及健康風險的解釋與判斷結果也不見得相同,Avisa未來在醫療器材上市審核的過程中,將如何看待及利用來自AREE之證明文件,有待未來持續觀察其實施成效。
英國與13家科技公司簽署《防範線上詐欺憲章》,建立網際網路防詐之重要里程碑英國內政部(Home Office)於2023年11月30日與全球13家線上平臺與服務提供者(包括Amazon、eBay、Facebook、Google、Instagram、LinkedIn、Match Group、Microsoft、Snapchat、TikTok、X(Twitter)、techUK及YouTube等)簽署自願性《防範線上詐欺憲章》(Online Fraud Charter),促進落實防詐措施。 此協議針對線上平臺與服務提供者之防詐重點要求如下: 1.設置監測及預防體系:線上平臺與服務提供者應建立有效流程,以辨別、標註和移除不當的內容和帳號;記錄違規使用者,以防其再次啟用或註冊新帳號。此外,線上平臺與服務提供者應採行符合英國國家網路安全中心(National Cyber Security Centre)密碼保護指引的身分驗證機制,並鼓勵使用者採用兩階段驗證,幫助使用者辨別真偽。而在電子商務與社群媒體方面,線上平臺與服務提供者應設置賣家驗證措施以防範不肖業者,並為使用者提供高風險交易安全指南與安全支付服務機制及資訊,保障使用者之消費權益。 2.建立檢舉途徑:線上平臺與服務提供者應提供簡捷的檢舉途徑,方便民眾檢舉詐欺行為,並與執法部門合作,以快速通報平臺或服務所發生之可疑詐欺活動。當未知帳號透過私訊聯繫使用者時,線上平臺與服務提供者可提供適當的警告,以提醒使用者可能的詐欺風險。 3.與公部門合作進行防詐宣導:所有線上平臺與服務提供者必須參與英國線上廣告計畫任務小組(Online Advertising Programme’s Taskforce),完備防制詐欺網。並要求有付費服務之線上平臺與服務提供者於其平臺內設置廣告驗證程序,以便過濾並防止詐欺資訊傳播,確保網路廣告真實性。此外,線上平臺與服務提供者須與英國政府、英國金融行為監督總署(Financial Conduct Authority)及英國資訊專員辦公室(Information Commissioner's Office)等公部門展開跨部門協調合作機制,加強防詐情報共享與配合執法取締詐欺。最後,線上平臺與服務提供者必須提供最新詐欺風險資訊以幫助民眾辨別詐欺手法。 該憲章簽署之線上平臺與服務提供者須在六個月內實施上述措施,但因係自願性質,因此其有效性仍有待觀察。
何謂「日本A-STEP計畫」?日本A-STEP計畫係指研發成果最適展開支援事業計畫,由國立研究開發法人科學技術振興機構負責辦理,主要目的在於兼顧大學研究成果之學術價值及實用性,同時透過產學合作推展大學的研發成果,帶動創新產生。計畫針對產業技術瓶頸,為民間企業不易涉入的高風險研發領域,由科學技術振興機構中介民間企業與公私立大學、公私立技術學院、公立研究機構、國立研究開發法人、公益法人共同執行產學研種子研發計畫,再依據不同的目的、技術性質規劃不同類型的產學研合作研究計畫進行資助。 研究成果最適展開支援事業有兩個特色:單一申請窗口、以及採取接續模式分段申請。其流程為,大學研究人員向國立研究開發法人科學技術振興機構申請研究成果最適展開支援事業,在研究開發階段中,若被補助的種子計畫在結束後,想持續進行研究,可申請另一階段-委託開發實用挑戰之計畫補助,國立研究開發法人科學技術振興機構將透過外界研究人員對計畫進行審核,決定是否延長計畫以及延長的期程。一般研究開發可區分為三階段:可能性驗證、實用性驗證與實證驗證,故研究人員在申請A-STEP計畫時,研究計畫中需提及所申請計畫的現在發展情況與條件及想申請何種項目,以利國立研究開發法人科學技術振興機構決定後續的處理方式。