日本發布利用AI時的安全威脅、風險調查報告書，呼籲企業留意利用AI服務時可能造成資料外洩之風險
日本獨立行政法人情報處理推進機構於2024年7月4日發布利用AI時的安全威脅、風險調查報告書。
隨著生成式AI的登場，日常生活以及執行業務上，利用AI的機會逐漸增加。另一方面，濫用或誤用AI等行為，可能造成網路攻擊、意外事件與資料外洩事件的發生。然而，利用AI時可能的潛在威脅或風險，尚未有充分的對應與討論。
本調查將AI區分為分辨式AI與生成式AI兩種類型，並對任職於企業、組織中的職員實施問卷調查，以掌握企業、組織於利用兩種類型之AI時，對於資料外洩風險的實際考量，並彙整如下：
1、已導入AI服務或預計導入AI服務的受調查者中，有61%的受調查者認為利用分辨式AI時，可能會導致營業秘密等資料外洩。顯示企業、組織已意識到利用分辨式AI可能帶來的資料外洩風險。
2、已導入AI利用或預計導入AI利用的受調查者中，有57%的受調查者認為錯誤利用生成式AI，或誤將資料輸入生成式AI中，有導致資料外洩之可能性。顯示企業、組織已意識到利用生成式AI可能造成之資料外洩風險。
日本調查報告顯示，在已導入AI利用或預計導入AI利用的受調查者中，過半數的受調查者已意識到兩種類型的AI可能造成的資料外洩風險。已導入AI服務，或未來預計導入AI服務之我國企業，如欲強化AI資料的可追溯性、透明性及可驗證性，可參考資策會科法所創意智財中心所發布之重要數位資料治理暨管理制度規範；如欲避免使用AI時導致營業秘密資料外洩，則可參考資策會科法所創意智財中心所發布之營業秘密保護管理規範，以降低AI利用可能導致之營業秘密資料外洩風險。
本文為資策會科法所創智中心完成之著作，非經同意或授權，不得為轉載、公開播送、公開傳輸、改作或重製等利用行為。
本文同步刊登於TIPS網站（https://www.tips.org.tw）
王柏元
副法律研究員 編譯整理
IPAテクニカルウォッチ「AI利用時のセキュリティ脅威・リスク調査報告書」，独立行政法人情報処理推進機構，https://www.ipa.go.jp/security/reports/technicalwatch/20240704.html，最後瀏覽日：2024年8月3日。
AI利用時のセキュリティ脅威・リスク調査調査報告書，独立行政法人情報処理推進機構セキュリティセンター企画部調査グループ，https://www.ipa.go.jp/security/reports/technicalwatch/eid2eo00000022sn-att/report.pdf，最後瀏覽日：2024年8月3日。
繼美國最高法院於Microsoft Corp. v. AT&T Corp. 做出與專利法治外法權有關的判決後，美國聯邦巡迴上訴法院於2009年8月19日再次做出限縮解釋專利法第271條(f)項於美國境外的效力。 美國專利法第271條(f)項規定未經許可提供或使人提供專利產品之元件，將之由美國供應(“supply”)至美國境外完成組合，亦視為侵害該專利產品之專利權。此項規定為美國國會為防範企業藉由在美國境內製造非專利保護之零組件後再運送之海外進行組合以規避專利侵權責任而制定。之後，在實物案例中，關於第271條(f)項之解釋與適用範圍產生諸多爭議。美國最高法院於其在2007年Microsoft Corp. v. AT&T Corp. 中強調不應擴張解釋第271條（f）項之文字。 於Cardiac Pacemakers Inv. V. St. Jude Medical Inc. 一案中，原告Cardiac Pacemakers控告被告St. Jude Medical所販賣的植入式心臟整流去顫器 (implantable cardioverter defibrillator)之使用會侵犯原告所擁有的一個利用植入式心臟刺激器治療心律不整的方法專利 (a method of heart stimulation using an implantable heart stimulator)。本案的爭點在於被告銷售可實施原告美國專利方法的產品或裝置讓該專利方法於美國境外被實施的行為是否構成第271條(f)項之侵害。美國聯邦巡迴上訴法院推翻其於2005年之判決(Union Carbide Chemicals Plastics Technology Corp. V. Shell Oil Co.)，判定專利法第271條(f)項不適用於方法專利。亦即，被告銷售可實施原告美國專利方法的產品至海外的行為不構成第271條(f)項所規定之侵權行為。 此判決對原告Cardiac Pacemakers之衝擊可能較小，因其專利範圍除方法請求項外，亦包含物品請求項，原告還可藉由其物品請求項獲得侵權損害賠償。但此案可能對僅能以方法申請專利的產業如生技藥業(某些診斷及檢驗僅能以方法申請專利)及軟體業造成較大的影響。
歐盟執委會發布《受禁止人工智慧行為指引》歐盟執委會發布《受禁止人工智慧行為指引》 資訊工業策進會科技法律研究所 2025年02月24日 歐盟繼《人工智慧法》[1]（Artificial Intelligence Act, 下稱AI Act）於2024年8月1日正式生效後，針對該法中訂於2025年2月2日始實施之第5條1，有關「不可接受風險」之內容中明文禁止的人工智慧行為類型，由歐盟執委會於2025年2月4日發布《受禁止人工智慧行為指引》[2]。 壹、事件摘要 歐盟AI Act於2024年8月1日正式生效，為歐盟人工智慧系統引入統一之人工智慧風險分級規範，主要分為四個等級[3]： 1. 不可接受風險（Unacceptable risk） 2. 高風險（High risk） 3. 有限風險，具有特定透明度義務（Limited risk） 4. 最低風險或無風險（Minimal to no risk） AI Act之風險分級系統推出後，各界對於法規中所說的不同風險等級的系統，究竟於實務上如何判斷？該等系統實際上具備何種特徵？許多內容仍屬概要而不確定，不利於政府、企業遵循，亦不利於各界對人工智慧技術進行監督。是以歐盟本次針對「不可接受風險」之人工智慧系統，推出相關指引，目的在明確化規範內涵規範，協助主管機關與市場參與者予以遵循。 貳、重點說明 一、AI Act本文第5條1（a）、（b）－有害操縱、欺騙與剝削行為 （一）概念說明 本禁止行為規定旨在防止透過人工智慧系統施行操縱與剝削，使他人淪為實現特定目的工具之行為，以保護社會上最為脆弱且易受有害操控與剝削影響的群體。 （二）禁止施行本行為之前提要件 1.該行為必須構成將特定人工智慧系統「投放於歐盟市場」（placing on the market）[4]、「啟用」（putting into service）[5]或「使用」（use）[6]。 2.應用目的：該人工智慧系統所採用的技術具有能實質扭曲個人或團體行為的「目的」或「效果」，此種扭曲明顯削弱個人或團體做出正確決定的能力，導致其做出的決定偏離正常情形。 3.技術特性：關於(a)有害的操縱與欺騙部分，係指使用潛意識（超出個人意識範圍）、或刻意操控或欺騙的技術；關於(b)有害地利用弱勢群體部分，是指利用個人年齡、身心障礙或社會經濟狀況上弱點。 4.後果：該扭曲行為已造成或合理可預見將造成該個人、另一人或某群體的重大傷害。 5.因果關係：該人工智慧系統所採用的技術、個人或團體行為的扭曲，以及由此行為造成或可合理預見將造成的重大傷害之間，具備相當因果關係。 二、AI Act本文第5條1（c）－社會評分行為 （一）概念說明 本禁止行為規定旨在防止透過人工智慧系統進行「社會評分」可能對特定個人或團體產生歧視和不公平的結果，以及引發與歐盟價值觀不相容的社會控制與監視行為。 （二）禁止施行本行為之前提要件 1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。 2.應用目的：該人工智慧系統必須用於對一定期間內，自然人及群體的社會行為，或其已知、預測的個人特徵或人格特質進行評價或分類。 3.後果：透過該人工智慧系統所產生的社會評分，必須可能導致個人或群體，在與評分用資料生成或蒐集時無關的環境遭受不利待遇，或遭受與其行為嚴重性不合比例的不利待遇。 三、AI Act本文第5條1（d）－個人犯罪風險評估與預測行為 （一）概念說明 本禁止行為規定之目的，旨在考量自然人應依其實際行為接受評判，而非由人工智慧系統僅基於對自然人的剖析、人格特質或個人特徵等，即逕予評估或預測個人犯罪風險。 （二）禁止施行本行為之前提要件 1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。 2.應用目的：該人工智慧系統必須生成旨在評估或預測自然人施行犯罪行為風險的風險評估結果。 3.後果：前述風險評估結果僅依據於對自然人的剖析，或對其人格特質與個人特徵的評估。 4.除外規定：若人工智慧系統係基於與犯罪活動直接相關的客觀、可驗證事實，針對個人涉入犯罪活動之程度進行評估，則不適用本項禁止規定。 四、AI Act本文第5條1（e）－無差別地擷取（Untargeted Scraping）臉部影像之行為 （一）概念說明 本禁止行為規定之目的，旨在考量以人工智慧系統從網路或監視器影像中無差別地擷取臉部影像，用以建立或擴充人臉辨識資料庫，將嚴重干涉個人的隱私權與資料保護權，並剝奪其維持匿名的權利。 （二）禁止施行本行為之前提要件 1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。 2.應用目的：該行為以建立或擴充人臉辨識資料庫為目的。 3.技術特性：填充人臉辨識資料庫的方式係以人工智慧工具進行「無差別的擷取行為」。 4.因果關係：建立或擴充人臉辨識資料庫之影像來源，須為網路或監視器畫面。 五、AI Act本文第5條1（f）－情緒辨識行為 （一）概念說明 本禁止行為規定之目的，旨在考量情緒辨識可廣泛應用於分析消費者行為，以更有效率的手段執行媒體推廣、個人化推薦、監測群體情緒或注意力，以及測謊等目的。然而情緒表達在不同文化、情境與個人反應皆可能存在差異，缺乏明確性、較不可靠且難以普遍適用，因此應用情緒辨識可能導致歧視性結果，並侵害相關個人或群體的權利，尤以關係較不對等的職場與教育訓練環境應加以注意。 （二）禁止施行本行為之前提要件 1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。 2.應用目的：該系統係用於推斷情緒。 3.因果關係：該行為發生於職場或教育訓練機構。 4.除外規定：為醫療或安全目的而採用的人工智慧系統不在禁止範圍內。例如在醫療領域中，情緒辨識可協助偵測憂鬱症、預防自殺等，具有正面效果。 六、AI Act本文第5條1（g）－為推測敏感特徵所進行之生物辨識分類行為 （一）概念說明 本禁止行為規定之目的，旨在考量利用人工智慧之生物辨識分類系統（Biometric Categorisation System）[7]，可依據自然人的生物辨識資料用以推斷其性取向、政治傾向、信仰或種族等「敏感特徵」在內的各類資訊，並可能在當事人不知情的情況下依據此資訊對自然人進行分類，進而可能導致不公平或歧視性待遇。 （二）禁止施行本行為之前提要件 1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。 2.應用目的：該行為係針對個人進行分類；而其辨識目的係為推斷其種族、政治傾向、工會成員身分、宗教或哲學信仰、性生活或性取向等。 3.技術特性：該系統必須為利用人工智慧，並依據自然人的生物辨識資料，將其歸類至特定類別之生物辨識分類系統。 4.因果關係：前述分類依據為其生物辨識資訊。 5.除外規定：本項禁止規定未涵蓋對合法取得的生物辨識資料進行標記（Labelling）或過濾（Filtering）行為，如用於執法目的等。 七、AI Act本文第5條1（h）－使用即時遠端生物辨識（Remote Biometric Identification, RBI）系統[8]執法[9]之行為 （一）概念說明 本禁止行為規定之目的，旨在考量在公共場所使用即時RBI系統進行執法，可能對人民權利與自由造成嚴重影響，使其遭受監視或間接阻礙其行使集會自由及其他基本權利。此外，RBI系統的不準確性，將可能導致針對年齡、族群、種族、性別或身心障礙等方面的偏見與歧視。 （二）禁止施行本行為之前提要件 1.該行為必須涉及對即時RBI系統的「使用」行為。 2.應用目的：使用目的須為執法需要。 3.技術特性：該系統必須為利用人工智慧，在無需自然人主動參與的情況下，透過遠距離比對個人生物辨識資料與參考資料庫中的生物辨識資料，從而達成識別自然人身份目的之RBI系統。 4.因果關係：其使用情境須具備即時性，且使用地點須為公共場所。 參、事件評析 人工智慧技術之發展固然帶來多樣化的運用方向，惟其所衍生的倫理議題仍應於全面使用前予以審慎考量。觀諸歐盟AI Act與《受禁止人工智慧行為指引》所羅列之各類行為，亦可觀察出立法者對人工智慧之便利性遭公、私部門用於「欺詐與利用」及「辨識與預測」，對《歐盟基本權利憲章》[10]中平等、自由等權利造成嚴重影響的擔憂。 為在促進創新與保護基本權利及歐盟價值觀間取得平衡，歐盟本次爰參考人工智慧系統提供者、使用者、民間組織、學術界、公部門、商業協會等多方利害關係人之意見，推出《受禁止人工智慧行為指引》，針對各項禁止行為提出「概念說明」與「成立條件」，期望協助提升歐盟AI Act主管機關等公部門執行相關規範時之法律明確性，並確保具體適用時的一致性。於歐盟內部開發、部署及使用人工智慧系統的私部門企業與組織，則亦可作為實務參考，有助確保其自身在遵守AI Act所規定的各項義務前提下順利開展其業務。 [1]European Union, REGULATION (EU) 2024/1689 OF THE EUROPEAN PARLIAMENT AND OF THE COUNCIL (2024), https://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=OJ:L_202401689 (last visited Feb. 24, 2025). [2]Commission publishes the Guidelines on prohibited artificial intelligence (AI) practices, as defined by the AI Act., European Commission, https://digital-strategy.ec.europa.eu/en/library/commission-publishes-guidelines-prohibited-artificial-intelligence-ai-practices-defined-ai-act (last visited Feb. 24, 2025). [3]AI Act, European Commission, https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai (last visited Feb. 24, 2025). [4]依據本指引第2.3點，所謂「投放於歐盟市場」（placing on the market），係指該人工智慧系統首次在歐盟市場「提供」；所謂「提供」，則係指在商業活動過程中，以收費或免費方式將該AI系統供應至歐盟市場供分發或使用。 [5]依據本指引第2.3點，所謂「啟用」（putting into service），係指人工智慧系統供應者為供應使用者首次使用或自行使用，而於歐盟內供應人工智慧系統。 [6]依據本指引第2.3點，「使用」（use）之範疇雖未在AI Act內容明確定義，惟應廣義理解為涵蓋人工智慧系統在「投放於歐盟市場」或「啟用」後，其生命週期內的任何使用或部署；另參考AI Act第5條的規範目的，所謂「使用」應包含任何受禁止的誤用行為。 [7]依據AI Act第3條(40)之定義，生物辨識分類系統係指一種依據自然人的生物辨識資料，將其歸類至特定類別之人工智慧系統。 [8]依據AI Act第3條(41)之定義，RBI系統係指一種在無需自然人主動參與的情況下，透過遠距離比對個人生物辨識資料與參考資料庫中的生物辨識資料，從而達成識別自然人身份目的之人工智慧系統。 [9]依據AI Act第3條(46)之定義，「執法（law enforcement）」一詞，係指由執法機關或其委任之代表，代替其執行目的包括預防、調查、偵測或起訴刑事犯罪，或執行刑事處罰，並涵蓋防範與應對公共安全威脅等範疇之行為。 [10]CHARTER OF FUNDAMENTAL RIGHTS OF THE EUROPEAN UNION, Official Journal of the European Union, https://eur-lex.europa.eu/legal-content/EN/TXT/HTML/?uri=CELEX:12012P/TXT (last visited Feb. 24, 2025).
美國國防部「人工智慧國防運用倫理準則」美國國防部（Department of Defense）於2020年2月採納由美國國防創新委員會（Defense Innovation Board, DIB）所提出之「人工智慧國防運用倫理準則（AI Principles: Recommendations on the Ethical Use of Artificial Intelligence by the Department of Defense）」，以衡平倫理與人工智慧於國防帶來之增益。 美國國防創新委員會為美國聯邦政府下之獨立委員會，設置目的在於依美國新創科技，提供意見予美國國防部，與美國國防部並無隸屬關係。有鑑於人工智慧之運用範疇日益增廣，美國國防創新委員會遂提出旨揭「人工智慧國防運用倫理準則」，以因應人工智慧於國防之應用所產生之問題。 倫理準則適用於「戰爭或非戰爭用途之人工智慧之設計以及應用」，對於「人工智慧」之定義，倫理準認為人工智慧並無精確之範疇，只要「對於資訊有所處理並旨在達到所賦予任務之資訊系統」，皆為本準則下之人工智慧。倫理準則指出，「人工智慧」與美國國防部3000.09指令下之「自動化武器系統（Autonomous Weapon System）」之定義不同，但有可能重疊，而所謂「自動化武器系統」為「一經人類選擇啟動，即可在無人類監督之情形下，自動針對目標進行鎖定或進行攻擊之自動化武器系統」。 美國國防創新委員會表示，該準則旨在切合美國既有憲法、法律、國際公約之傳統標準下，融入現代化對於人工智慧之要求，如國際公約中之戰爭法（Law of War）即為本準則之傳統標準之一，舉例而言，如人工智慧被裝置於武器中，其設計及應用應符合最小傷亡原則、避免傷及無辜原則等。 除此之外，準則亦包含以下現代化對於人工智慧之要求：（1）人類對於人工智慧系統之設計、應用以及使用應善盡判斷以及注意義務，且人類應該對於人工智慧系統因瑕疵所帶來之傷害負擔最終責任；（2）對於目標之選擇或分類，應維持公平性，且不得有歧視性；（3）對於人工智慧之設計、應用以及使用，應有明確之工程標準以及資料保存程序，此一工程標準以及資料保存程序應為一般具有專業知識之工程人員可據以理解、分析、追蹤問題所在並加以改善；（4）「戰爭或非戰爭用途之人工智慧」應有明確之應用領域，且完善之檢測、維修，應適用於該人工智慧之全部生命週期。
美國眾議院提出軟體法案 為醫療APP提供規範方向美國眾議院於2013/10/22提出法案（Sensible Oversight for Technology which Advances Regulatory Efficiency Act of 2013，簡稱Software Act，HR3303），擬限制食品藥物管理局 (Food and Drug Administration，FDA)在與健康醫療有關軟體制訂規範的權限。 根據美國聯邦法典第21編第301條以下（21 U.S.C. § 301）規定，FDA對醫療器材擁有法定職權進行規範。FDA近來亦開始嘗試對醫療軟體APP制訂規範，包括附有生物識別裝置（如血壓監視器和照相機）、讓消費者可以蒐集資料、供醫生可遠距離進行部分檢測行為的行動設備。這項法案的支持者以為，FDA此舉將阻礙醫療創新，故擬透過Software Act界定FDA的規管權限。 這項法案主要增加了3個定義：醫療軟體（medical software）、臨床軟體（clinical software）和健康軟體（health software）。醫療軟體仍在FDA的管轄範圍內，但其他2類則否。惟本法案只確立FDA無權對資料蒐集類軟體進行規範，但對此類軟體得使用的範圍、或是否需另授與執照等議題並沒有著墨。提案者以為，後續應由總統和國會應共同努力，對臨床軟體和健康軟體制訂和頒佈立法，建立以風險為基礎的管制架構，降低管制負擔，促進病患安全與醫療創新。 所謂醫療軟體，指涉及改變身體（changing the body）的軟體。包括意圖透過市場銷售、供消費者使用，直接改變人體結構或功能的軟體；或，意圖透過市場銷售、供消費者使用，以提供臨床醫療行為建議的藥物、器材或治療疾病的程序；或其他不需要健康照護提供者參與的情境，但實施後會直接改變人體結構或功能的藥物、器材或程序。 僅從人體蒐集資料者，被歸類為臨床軟體（由醫療院所、健康照護提供者裝設）或健康軟體（由民眾自為）。兩者的區別，主要在由誰提供並裝設。 所謂臨床軟體，是醫療院所或健康照護提供者在提供服務時使用，提供臨床決策支援目的之軟體，包括抓取、分析、改變或呈現病患或民眾臨床數據相關的硬體和流程，但不會直接改變人體結構或任何功能。 根據Research2Guidance於2013年2月發表的調查報告（Mobile Health Market Report 2013-2017），目前在APPLE的APP Store上已有97,000個行動健康類的APP程式，有3百萬個免費、30萬個付費下載使用者。15%的APP是專門設計給健康照護提供者；與去年相比，已有超過6成的醫生使用平板提供服務。預測消費者使用智慧型手機上的醫療APP的數量，在2015年將達5億。這個法案的出現，外界以為，提供了科技創新者較明確的規範指引，允許醫療的進步和創新。