日本發布利用AI時的安全威脅、風險調查報告書，呼籲企業留意利用AI服務時可能造成資料外洩之風險
日本獨立行政法人情報處理推進機構於2024年7月4日發布利用AI時的安全威脅、風險調查報告書。
隨著生成式AI的登場，日常生活以及執行業務上，利用AI的機會逐漸增加。另一方面，濫用或誤用AI等行為，可能造成網路攻擊、意外事件與資料外洩事件的發生。然而，利用AI時可能的潛在威脅或風險，尚未有充分的對應與討論。
本調查將AI區分為分辨式AI與生成式AI兩種類型，並對任職於企業、組織中的職員實施問卷調查，以掌握企業、組織於利用兩種類型之AI時，對於資料外洩風險的實際考量，並彙整如下：
1、已導入AI服務或預計導入AI服務的受調查者中，有61%的受調查者認為利用分辨式AI時，可能會導致營業秘密等資料外洩。顯示企業、組織已意識到利用分辨式AI可能帶來的資料外洩風險。
2、已導入AI利用或預計導入AI利用的受調查者中，有57%的受調查者認為錯誤利用生成式AI，或誤將資料輸入生成式AI中，有導致資料外洩之可能性。顯示企業、組織已意識到利用生成式AI可能造成之資料外洩風險。
日本調查報告顯示，在已導入AI利用或預計導入AI利用的受調查者中，過半數的受調查者已意識到兩種類型的AI可能造成的資料外洩風險。已導入AI服務，或未來預計導入AI服務之我國企業，如欲強化AI資料的可追溯性、透明性及可驗證性，可參考資策會科法所創意智財中心所發布之重要數位資料治理暨管理制度規範；如欲避免使用AI時導致營業秘密資料外洩，則可參考資策會科法所創意智財中心所發布之營業秘密保護管理規範，以降低AI利用可能導致之營業秘密資料外洩風險。
本文為資策會科法所創智中心完成之著作，非經同意或授權，不得為轉載、公開播送、公開傳輸、改作或重製等利用行為。
本文同步刊登於TIPS網站（https://www.tips.org.tw）
王柏元
副法律研究員 編譯整理
IPAテクニカルウォッチ「AI利用時のセキュリティ脅威・リスク調査報告書」，独立行政法人情報処理推進機構，https://www.ipa.go.jp/security/reports/technicalwatch/20240704.html，最後瀏覽日：2024年8月3日。
AI利用時のセキュリティ脅威・リスク調査調査報告書，独立行政法人情報処理推進機構セキュリティセンター企画部調査グループ，https://www.ipa.go.jp/security/reports/technicalwatch/eid2eo00000022sn-att/report.pdf，最後瀏覽日：2024年8月3日。
依2014年復甦美國製造與創新法（Revitalize American Manufacturing and Innovation (RAMI) Act of 2014），美國國家製造創新網絡計畫於2016年2月公布年度報告（Annual Report）。國家製造創新網絡計畫的目標是處理發生於執行面的、介於初期基礎研究與技術布建之間的製造技術轉型（manufacturing related technology transition）挑戰。 國家製造創新網絡計畫的關鍵核心之一，是連結創新與製造，而「研發機構」（Institute）在這當中扮演最為關鍵的角色。此所稱之研發機構，係指2013年「國家製造創新網絡先期規劃」（NNMI-PD）以及2014年復甦美國製造與創新法（RAMI Act of 2014）第278s條(c)項所界定之「製造創新中心」（center for manufacturing innovation）——其採公私合營制（public-private partnership），其成員可包括各該業界之業者與學研機構，以及商務部長認屬適當之產業聯盟（industry-led consortia）、技職教育學校、聯邦政府所屬實驗室、以及非營利機構等。「研發機構」將以上之利害關係各方匯聚形成一個創新生態系（innovation ecosystem），以共同因應高風險之製造業挑戰並協助製造業者維持並提升產能與競爭力。 我國於民國105年7月由行政院核定通過之「智慧機械產業推動方案」，亦規劃透過「智機產業化」與「產業智機化」，建構智慧機械產業生態體系，整合產學研能量，並深化智慧機械自主技術中長期布局與產品創新。
美國FDA公布醫療器材上市前審查指令510(k)美國食品藥物管理局（The Food and Drug Administration，簡稱FDA）於今年（2014）7月更新並公布了醫療器材上市前審查（premarket notification）的指令（guidance）（該指令名稱為510(k) Program: Evaluating Substantial Equivalence in Premarket Notification，以下簡稱510(k)），針對醫療器材業者將其生產製造的醫療儀器申請上市的過程做了新的調整及規範。此指令主要是讓業界及FDA人員了解FDA在評估醫療器材申請過程中所評估的因素及要點，並藉由FDA在審查醫療器材的實務規範及審查標準來當作標準並訂定510(k)修正，以提高510(k)評估的可預測性、一致性及透明度，讓業界有一定的遵循標準。雖然FDA的指令文件並不受法律強制規範，但可供醫材藥廠清楚FDA所重視的審查程序及內容。 510(k)審查的內容主要規範於美國藥物食品化妝品管理法第513(i)條，其重點規範包括定義FDA評估實質上相同的標準：實質上相同指新醫材在技術上特點（technological characteristics）與比對性醫材相同；若該新醫材的技術特點在材料設計等和比對性醫材不盡相同，其需證明該儀器的資訊包括臨床試驗或是實驗數據等，與比對性醫材的安全及有效性性質並無歧異。以下為FDA在進行510(k)審查過程中，主要的評估內容： 1.說明欲申請上市新醫材在技術上的特點。 2.比較新醫材及比對性醫材在器材技術上特點的異同。欲申請510(k)的製造商需比較新醫材及已上市的醫材在功能上的異同。 3.決定技術特點的差異是否會影響新醫材的安全及有效性。
美國國家標準技術研究院公告制訂「智慧電網架構與互通性標準2.0版」為因應智慧電網應用技術發展趨勢，美國商務部（Department of Commerce）國家標準技術研究院（National Institute of Standards and Technology，以下簡稱NIST）於今（2012）年2月正式制訂「智慧電網架構與互通性標準2.0版（NIST Framework and Roadmap for Smart Grid Interoperability Standards, Release 2.0），以下簡稱互通性標準2.0版」，以作為其國內佈建智慧電網建設之重要政策依據，並協助導引各電網間加強互通性之達成。 美國NIST係為「2007年能源獨立及安全法案（Energy Independence and Security Act of 2007）」所明文指定智慧電網互通性架構（Smart Grid Interoperability Framework）負責機構，所以自2008年開始投入規範研議工作，2010年1月公告「智慧電網架構與互通性標準1.0版（NIST Framework and Roadmap for Smart Grid Interoperability Standards, Release 1.0）」，主要為先規範概念性示範建置架構（Conceptual Architectural Framework），明訂8大優先領域（Priority Areas），驗證公告75項特定標準，並後續設立建置「互通性發展平台（Smart Grid Interoperability Panel，以下簡稱SGIP）」。 隨著美國推動智慧電網發展進程，及因應相關應用技術日益新異，NIST陸續展開討論工作，至今（2012）年2月正式對外公告研議完成互通性標準2.0版之定稿。此新版本重要增訂內容有：新增「國際智慧電網標準」及「國際互通性調和」章節；對於SGIP優先行動方案（Priority Action Plans）2012年新增19項推動項目；並且，規劃新增概念示範參考模式（Conceptual Reference Model）類型，及增加資訊網絡模型；以及，新增「智慧電網標準驗證程序（Process of Future Smart Grid Standards Identification）」規範，及對於專業應用領域區分「輸配電（Transmission and Distribution）」、「家庭to電網（Home-to-Grid）」、「建築to電網（Building-to-Grid）」、「工業to電網（Industry-to-Grid）」、「車輛to電網（Vehicle-to-Grid）」、「再生能源（Distributed Renewables, Generators, and Storage）」、「商業與政策（Business and Policy）」分別進行研析實務應用；再者，亦研訂「互通性基礎資訊知識（Interoperability Knowledge Base）」、「高位階發展指導方針（High-level framework development guide）」、「互通性程序參考手冊（Interoperability process reference manual）」等等重要遵循規範。 未來NIST及SGIP將與能源部（Department of Energy）、聯邦電力管理委員會（Federal Energy Regulatory Commission）共同合作，依據互通性標準2.0版所研議制訂規範，及重要因應議題，陸續規劃展開各項推動方案，共同促進美國智慧電網建設與應用發展。
英國發布人工智慧網路資安實務守則英國政府於2025年1月31日發布「人工智慧網路資安實務守則」（Code of Practice for the Cyber Security of AI，以下簡稱「實務守則」），目的是提供人工智慧（AI）系統的網路資安指引。該實務守則為英國參考國際上主要標準、規範後所訂定之自願性指引，以期降低人工智慧所面臨的網路資安風險，並促使人工智慧系統開發者與供應商落實基本的資安措施，以確保人工智慧系統的安性和可靠性。 由於人工智慧系統在功能與運作模式上與傳統網路架構及軟體有明顯的不同，因此產生新的資安風險，主要包含以下： 1. 資料投毒（Data Poisoning）：在AI系統的訓練資料中蓄意加入有害或錯誤的資料，影響模型訓練結果，導致人工智慧系統產出錯誤推論或決策。 2. 模型混淆（Model Obfuscation）：攻擊者有意識地隱藏或掩飾AI模型的內部運作特徵與行為，以增加系統漏洞、引發混亂或防礙資安管理，可能導致AI系統的安全性與穩定性受損。 3. 輸入間接指令（Indirect Prompt Injection）：藉由輸入經精心設計的指令，使人工智慧系統的產出未預期、錯誤或是有害的結果。 為了提升實務守則可操作性，實務守則涵蓋了人工智慧生命週期的各階段，並針對相關角色提出指導。角色界定如下： 1. 人工智慧系統開發者（Developers）：負責設計和建立人工智慧系統的個人或組織。 2. 人工智慧系統供應鏈（Supply chain）：涵蓋人工智慧系統開發、部署、營運過程中的的所有相關個人和組織。 實務守則希望上述角色能夠參考以下資安原則，以確保人工智慧系統的安全性與可靠性： 1. 風險評估（Risk Assessment）：識別、分析和減輕人工智慧系統安全性或功能的潛在威脅的過程。 2. 資料管理（Data management）：確保AI系統整個資料生命週期中的資料安全及有效利用，並採取完善管理措施。 3. 模型安全（Model Security）：在模型訓練、部署和使用階段，均應符合當時的技術安全標準。 4. 供應鏈安全（Supply chain security）：確保AI系統供應鏈中所有利益相關方落實適當的安全措施。 「人工智慧網路資安實務守則」藉由清晰且全面的指導方針，期望各角色能有效落實AI系統安全管控，促進人工智慧技術在網路環境中的安全性與穩健發展。