日本發布利用AI時的安全威脅、風險調查報告書，呼籲企業留意利用AI服務時可能造成資料外洩之風險
日本獨立行政法人情報處理推進機構於2024年7月4日發布利用AI時的安全威脅、風險調查報告書。
隨著生成式AI的登場，日常生活以及執行業務上，利用AI的機會逐漸增加。另一方面，濫用或誤用AI等行為，可能造成網路攻擊、意外事件與資料外洩事件的發生。然而，利用AI時可能的潛在威脅或風險，尚未有充分的對應與討論。
本調查將AI區分為分辨式AI與生成式AI兩種類型，並對任職於企業、組織中的職員實施問卷調查，以掌握企業、組織於利用兩種類型之AI時，對於資料外洩風險的實際考量，並彙整如下：
1、已導入AI服務或預計導入AI服務的受調查者中，有61%的受調查者認為利用分辨式AI時，可能會導致營業秘密等資料外洩。顯示企業、組織已意識到利用分辨式AI可能帶來的資料外洩風險。
2、已導入AI利用或預計導入AI利用的受調查者中，有57%的受調查者認為錯誤利用生成式AI，或誤將資料輸入生成式AI中，有導致資料外洩之可能性。顯示企業、組織已意識到利用生成式AI可能造成之資料外洩風險。
日本調查報告顯示，在已導入AI利用或預計導入AI利用的受調查者中，過半數的受調查者已意識到兩種類型的AI可能造成的資料外洩風險。已導入AI服務，或未來預計導入AI服務之我國企業，如欲強化AI資料的可追溯性、透明性及可驗證性，可參考資策會科法所創意智財中心所發布之重要數位資料治理暨管理制度規範；如欲避免使用AI時導致營業秘密資料外洩，則可參考資策會科法所創意智財中心所發布之營業秘密保護管理規範，以降低AI利用可能導致之營業秘密資料外洩風險。
本文為資策會科法所創智中心完成之著作，非經同意或授權，不得為轉載、公開播送、公開傳輸、改作或重製等利用行為。
本文同步刊登於TIPS網站（https://www.tips.org.tw）
王柏元
副法律研究員 編譯整理
IPAテクニカルウォッチ「AI利用時のセキュリティ脅威・リスク調査報告書」，独立行政法人情報処理推進機構，https://www.ipa.go.jp/security/reports/technicalwatch/20240704.html，最後瀏覽日：2024年8月3日。
AI利用時のセキュリティ脅威・リスク調査調査報告書，独立行政法人情報処理推進機構セキュリティセンター企画部調査グループ，https://www.ipa.go.jp/security/reports/technicalwatch/eid2eo00000022sn-att/report.pdf，最後瀏覽日：2024年8月3日。
英國政府於2025年1月31日發布「人工智慧網路資安實務守則」（Code of Practice for the Cyber Security of AI，以下簡稱「實務守則」），目的是提供人工智慧（AI）系統的網路資安指引。該實務守則為英國參考國際上主要標準、規範後所訂定之自願性指引，以期降低人工智慧所面臨的網路資安風險，並促使人工智慧系統開發者與供應商落實基本的資安措施，以確保人工智慧系統的安性和可靠性。 由於人工智慧系統在功能與運作模式上與傳統網路架構及軟體有明顯的不同，因此產生新的資安風險，主要包含以下： 1. 資料投毒（Data Poisoning）：在AI系統的訓練資料中蓄意加入有害或錯誤的資料，影響模型訓練結果，導致人工智慧系統產出錯誤推論或決策。 2. 模型混淆（Model Obfuscation）：攻擊者有意識地隱藏或掩飾AI模型的內部運作特徵與行為，以增加系統漏洞、引發混亂或防礙資安管理，可能導致AI系統的安全性與穩定性受損。 3. 輸入間接指令（Indirect Prompt Injection）：藉由輸入經精心設計的指令，使人工智慧系統的產出未預期、錯誤或是有害的結果。 為了提升實務守則可操作性，實務守則涵蓋了人工智慧生命週期的各階段，並針對相關角色提出指導。角色界定如下： 1. 人工智慧系統開發者（Developers）：負責設計和建立人工智慧系統的個人或組織。 2. 人工智慧系統供應鏈（Supply chain）：涵蓋人工智慧系統開發、部署、營運過程中的的所有相關個人和組織。 實務守則希望上述角色能夠參考以下資安原則，以確保人工智慧系統的安全性與可靠性： 1. 風險評估（Risk Assessment）：識別、分析和減輕人工智慧系統安全性或功能的潛在威脅的過程。 2. 資料管理（Data management）：確保AI系統整個資料生命週期中的資料安全及有效利用，並採取完善管理措施。 3. 模型安全（Model Security）：在模型訓練、部署和使用階段，均應符合當時的技術安全標準。 4. 供應鏈安全（Supply chain security）：確保AI系統供應鏈中所有利益相關方落實適當的安全措施。 「人工智慧網路資安實務守則」藉由清晰且全面的指導方針，期望各角色能有效落實AI系統安全管控，促進人工智慧技術在網路環境中的安全性與穩健發展。
美國加州「Asilomar人工智慧原則決議」美國加州議會於2018年9月7日通過Asilomar人工智慧原則決議（23 Asilomar AI Principles, ACR-215），此決議表達加州對於「23條Asilomar人工智慧原則」之支持，以作為產業或學界發展人工智慧、政府制定人工智慧政策之指標，並提供企業開發人工智慧系統時可遵循之原則。依此法案所建立之重要指標如下： （1）於研究原則上，人工智慧之研究應以建立對於人類有利之人工智慧為目標。 （2）於研究資助上，人工智慧之研究資助應著重幾個方向，如：使人工智慧更加健全且可抵抗外界駭客干擾、使人工智慧促進人類福祉同時保留人類價值以及勞動意義、使法律制度可以順應人工智慧之發展。 （3）於科學政策之連結上，人工智慧研究者與政策擬定者間應有具有建設性且健全之資訊交流。 （4）於研究文化上，人工智慧研究者應保持合作、互信、透明之研究文化。 （5）於安全性上，人工智慧研究團隊應避免為了研究競爭而忽略人工智慧應具備之安全性。 （6）人工智慧系統應該於服務期間內皆具備安全性及可檢視性。 （7）人工智慧系統之編寫，應可使外界於其造成社會損失時檢視其出錯原因。 （8）人工智慧系統如應用於司法判斷上，應提供可供專門人員檢視之合理推論過程。 （9）人工智慧所產生之責任，應由設計者以及建造者負擔。 （10）高等人工智慧內在價值觀之設計上，應符合人類社會之價值觀。 （11）高等人工智慧之設計應可與人類之尊嚴、權利、自由以及文化差異相互調和。 （12）對於人工智慧所使用之資料，其人類所有權人享有擷取、更改以及操作之權利。 （13）人工智慧之應用不該限制人類「客觀事實上」或「主觀知覺上」之自由。 （14）人工智慧之技術應盡力滿足越多人之利益。 （15）人工智慧之經濟利益，應為整體人類所合理共享。 （16）人類對於人工智慧之內在目標應享有最終設定權限。 （17）高等人工智慧所帶來或賦予之權力，對於人類社會之基本價值觀應絕對尊重。 （18）人工智慧所產生之自動化武器之軍備競賽應被禁止。 （19）政策上對於人工智慧外來之發展程度，不應預設立場。 （20）高等人工智慧系統之研發，由於對於人類歷史社會將造成重大影響，應予以絕對慎重考量。 （21）人工智慧之運用上，應衡量其潛在風險以及可以對於社會所帶來之利益。 （22）人工智慧可不斷自我循環改善，而可快速增進運作品質，其安全標準應予以嚴格設定。 （23）對於超人工智慧或強人工智慧，應僅為全體人類福祉而發展、設計，不應僅為符合特定國家、組織而設計。
WTO判澳洲素面菸品包裝一案勝訴WTO爭端小組於2018年6月28日裁決澳洲「素面菸品包裝案」（Australia—Tobacco Plain Packaging）由澳洲勝訴，本案歷時長達5年，係由古巴、宏都拉斯、多明尼加共和國及印尼4個WTO成員針對澳洲2011年實施「素面菸品包裝法案」（Plain Packaging Act）向WTO爭端解決機構提出控訴。 澳洲系爭法案要求菸盒外觀應採統一規格之外觀，禁止使用具識別性鮮明的顏色，不得出現任何具有宣傳效果之商標或印記，僅能以單調的橄欖色為主色，品牌名稱需以小型標準字體印刷，健康警示圖片需占菸盒面積正面75%，背面90%，以達降低國內吸菸人口、保護國民健康之目的。 原告方認為法案侵害菸商使用商標權利，能否有效達到減緩菸害之目的仍有疑義，主張該法制造成不必要之貿易障礙。爭端小組檢視原被告主張與證據，認定澳洲法律係透過減少菸品使用、改善公眾健康目的，手段與目的之間具合理關聯性，駁回原告主張其他替代措施具同等效果的訴求、侵犯商標違反智慧財產權的論點。 此案被視為全球公共健康衛生政策與貿易衝突之指標性案件，目前法國、匈牙利、愛爾蘭、紐西蘭、挪威、斯洛維尼亞、英國均已通過此類包裝規定，而比利時、加拿大、哥倫比亞、印度、巴拿馬、土耳其、新加坡與馬來西亞等國亦有意比照辦理。惟國際菸草產業質疑此項裁定，將使其他欲實施嚴格管制菸品、酒類與垃圾食品的國家開先例，不利於商標權保護與發展。
歐盟公布數位單一市場下ICT標準化優先發展項目歐盟於2016年4月19日公布數位單一市場下ICT標準化優先發展項目(ICT Standardisation Priorities for the Digital Single Market)，包括：5G通訊、雲端運算、智慧聯網、巨量資料技術、以及網路安全等，作為目前數位單一市場發展的基礎。相關影響產業包含：智慧健康、智慧能源、智慧運輸系統、電動車、智慧家居、以及智慧城市等。其三大主軸依次說明如下： 1. ICT標準建立為數位單一市場發展核心 歐盟將依1025/2012規則為基礎，進行標準化建立，因此將聚焦在數位單一市場需要發展的核心技術領域，優先進行標準訂定。 2. 因應全球技術變遷發展 ICT標準發展主要仍以產業為導向，且由產業自願性採納，建立之原則包括應具備透明性、開放、公平與一致性、有效與連結性等，此同時也能促成歐洲創新能量之發展。 3.以雙主軸計畫優先發展ICT標準設立 (1)首先歐盟執委會將確認數位單一市場優先發展之五項領域，並且設立發展時程。 (2)針對上述的優先發展領域，歐盟將進行施行檢視以及相關細項。 在5G通訊部分，預計將透過5G公私協力合作發展，同時以目前產業的需求為發展導向；在雲端運算方面，歐盟將以資金補助方式，促進雲端應用的互通性與易取性發展，並且支持企業，尤其在中小企業部分，以服務層級協議為基礎，協助採用雲端運算服務；在智慧聯網發展部分，主要為發展技術、介面、Open API等，建立準則，並預計將智慧聯網標準納入成為政府採購項目之一；在網路安全性部分，在上述發展技術領域當中，資料安全與隱私保護為核心議題，因此除了透過公司協力方式發展安全技術以外，同時也鼓勵業者應該設計著手保護隱私等概念優先納入技術之中；關於巨量資料技術部分，包括跨部門技術整合、資料與後設資料有更佳的互通性。此外，尚包括資料與軟體基礎設施服務，提供科學資料的交換、執行資料管理計畫、品質驗證、信賴性與透明性等原則。 最後，在可能受影響之產業方面，以智慧健康發展為例，智慧健康必須符合病人預期要求，如病人安全維護以及達到更佳的健康照護體系。因此，互通性的標準為當中關鍵的角色，未來亦有助於發展各國之間跨境醫療照護實踐。在電子病歷交換方面，從病人病歷摘要、電子處方簽等等，在符合個資保護條件之下，建立互通性標準可使疾病的治療更為完善。歐盟未來將持續鼓勵各會員國之間標準互通性之發展，包含目前行動健康應用程式的使用，以及未來遠距醫療應用。後續，歐盟將從2016年開始至2017年，持續針對標準建立進行討論會議，預計以資金費用補助以及其他政策方式輔導發展，同時也在2016年6月提出規劃說明使歐盟標準化政策發展符合現代化。