新加坡網路安全局發布人工智慧系統安全指南，以降低AI系統潛在風險
新加坡網路安全局（Cyber Security Agency of Singapore, CSA）於2024年10月15日發布人工智慧系統安全指南（Guidelines on Securing AI Systems），旨在強化AI系統安全，協助組織以安全之方式運用AI，降低潛在風險。 該指南將AI系統生命週期分成五個關鍵階段，分別針對各階段的安全風險，提出相關防範措施：
（1）規劃與設計：提高AI安全風險認知能力，進行安全風險評估。
（2）開發：提升訓練資料、模型、應用程式介面與軟體庫之供應安全，確保供應商遵守安全政策與國際標準或進行風險管理；並辨識、追蹤及保護AI相關資產（例如模型、資料、輸入指令），以確保AI開發環境安全。
（3）部署：適用標準安全措施（例如存取控制、日誌記錄），並建立事件管理程序。
（4）運作與維護：持續監控AI系統的輸入和輸出，偵測異常與潛在攻擊，並建立漏洞揭露流程。
（5）壽命終期：應根據相關行業標準或法規，對資料與模型進行適當之處理、銷毀，防止未經授權之存取。
CSA期待該指南發布後，將有助於預防供應鏈攻擊（supply chain attacks）、對抗式機器學習攻擊（Adversarial Machine Learning attacks）等安全風險，確保AI系統的整體安全與穩定運行。
翁嘉璟
副法律研究員 編譯整理
Guidelines and Companion Guide on Securing AI Systems, Cyber Security Agency of Singapore, https://www.csa.gov.sg/Tips-Resource/publications/2024/guidelines-on-securing-ai (last visited Oct. 27, 2024).
Singapore’s Cyber Security Agency issues security guidelines for AI systems, CMS Law-Now, https://cms-lawnow.com/en/ealerts/2024/10/singapore-s-cyber-security-agency-issues-security-guidelines-for-ai-systems?utm_source=lawnow-realtime&utm_medium=email&utm_campaign=Singapore%e2%80%99s%20Cyber%20Security%20Agency%20issues%20security%20guidelines%20for%20AI%20systems&utm_id=4097&utm_term=read_more&utm_content=697002 (last visited Oct. 27, 2024).
許嘉芳，〈美國國家標準暨技術研究院發布「人工智慧風險管理框架：生成式AI概況」〉，資策會科技法律研究所，2024年10月，https://stli.iii.org.tw/article-detail.aspx?tp=1&d=9263&no=64（最後瀏覽日：2024/10/28）。
案件緣於Judith Vidal-Hall等三人對Google提告，主張Google規避蘋果公司Safari瀏覽器預設之隱私設定，在未取得用戶同意前，逕行使用cookies追蹤其網路活動，蒐集瀏覽器產生的資訊（the Browser-Generated Information, or ‘BGI’），並利用其對用戶發送目標廣告。原告認為這些作法可能使用戶的隱私資訊被第三人所探知，而且與Google保護隱私之公開聲明立場相違。此案於2015年3月27日由英國上訴審法官做成判決，並進入審理程序（裁判字號：[2015] EWCA Civ 311）。 本案主要爭點包含，究竟用戶因使用瀏覽器所產生的資訊是否屬於個人資料？濫用隱私資訊是否構成侵權行為？以及在沒有金錢損失（pecuniary loss）的情形下，是否仍符合英國資料保護法（Data Protection Act 1998）第13條所指損害（damage）的定義，進而得請求損害賠償？ 法院於判決認定，英國資料保護法旨在實現「歐盟個人資料保護指令」（Data Protection Directive，95/46/EC）保護隱私權的規定，而非經濟上之權利，用以確保資料處理系統（data-processing systems）尊重並保護個人的基本權利及自由。並進一步說明，因隱私權的侵害往往造成精神損害，而非財產損害，從歐洲人權公約（European Convention of Human Rights）第八條之規定觀之，為求對於隱私權的保障，允許非財產權利的回復；倘若限縮對於損害（damage）的解釋，將會有礙於「歐盟個人資料保護指令」立法目的的貫徹。 法院強調，該判決並未創造新的訴因（cause of action），而是對於已經存在的訴因給予正確的法律定位。從而，因資料控制者（data controller）的不法侵害行為的任何損害，都可以依據英國資料保護法第13條第2項請求損害賠償。 本案原告律師表示：「這是一則具有里程碑意義的判決。」、「這開啟了一扇門，讓數以百萬計的英國蘋果用戶有機會對Google提起集體訴訟」。原告之一的Judith Vidal-Hall對此也表示肯定：「這是一場以弱勝強（David and Goliath）的勝利。」 註：Google 在2012年，曾因對蘋果公司在美國蒐集使用Safari瀏覽器用戶的個資，與美國聯邦貿易委員會（United States Federal Trade Commission）以2,250萬美元進行和解。
關於軟體產品的智慧財產權保護建議近期軟體產品(特別是演算法)的智慧財產權保護受到各界廣泛注意，2022年12月美國實務界律師特別撰文對此提出相關智財權保護建議。軟體產品通常涉及演算法，指由人工智慧(AI)和分析組成，用於解決特定問題的一組規則。專利通常被企業預設為保護技術產品的最佳形式。 然而在2014年，美國最高法院在Alice Corp. v. CLS Bank International一案中可以發現將軟體申請專利保護可能存在風險，如：（一）軟體可能被認為是抽象概念(abstract ideas)，非專利適格標的，而無法受專利法保護；（二）通常不易主張專利權，或可能在訴訟過程中因舉證責任造成機密資訊揭露等風險。因此該文作者認為難以受專利法保護之演算法、用於基於機器學習或訓練模型的資訊和資料集等軟體資料，亦可考慮透過營業秘密來保護，並提出以下營業秘密管理的建議： 1.員工教育訓練：建議企業可在僱傭的各階段(僱傭時、每年、終止時)採行相關措施、訓練，以減少營業秘密的竊用，及防止未來員工抗辯不知道該資訊是營業秘密。 2.機密標示：建議企業透過此階段審視組織對於機密文件之界定，再透過機密標示配合存取權限設定，協助企業控管與防止機密外流。 3.執行：瞭解需要受管理的營業秘密是什麼以及其為何重要。 4.監控和衡量員工參與度：建議企業採取相關監測機制檢視員工活動，及早發現離職動向與管控營業秘密資訊。 5.避免資訊揭露：建議企業應確保在向消費者或客戶行銷的過程中不洩露營業秘密，或至少採取相關保護措施，如簽訂保密契約。 6.確保資料安全：建議企業可建置網路安全策略、設置密碼、存取限制、外部設備使用下載或儲存限制等管控措施。 綜上所述，對於從事軟體開發的企業，除以專利保護產出成果外，還可從技術本質、後續是否容易主張、是否適合公開等面向，評估搭配營業秘密保護成果。並在選擇以營業秘密保護成果時，採行相關的管理措施避免營業秘密外洩而造成企業損失，包括：劃定需管理的營業秘密、制定員工教育訓練與相關管制措施，如機密標示、權限控管，並可搭配預警機制以便能夠即早發現異常。 本文同步刊登於TIPS網站（https://www.tips.org.tw）
人工智慧技術用於醫療臨床決策支援之規範與挑戰—以美國FDA為例人工智慧技術用於醫療臨床決策支援之規範與挑戰—以美國FDA為例 資訊工業策進會科技法律研究所 蔡宜臻法律研究員 2018年11月27日 壹、事件摘要 美國係推動人工智慧用於醫療服務的領航國家，FDA轄下的數位健康計畫（Digital Health Program）小組負責針對軟體醫療器材規劃新的技術監管模式，在過去五年中，該計畫發布了若干指導文件 ，嘗試為醫用軟體提供更為合適的監督管理機制。但由於指導文件並非法律，監管的不確定性依舊存在，因此近兩年 FDA推動修法並做成多項草案與工作計畫，望以更具約束力的方式回應軟體醫療器材最新技術於臨床之適用。當中最為重要的法制變革，便是2016年底國會通過之《21世紀治癒法》（21st Century Cures Act）。該法重新定義了醫用軟體的監管範圍，一般認為是對人工智慧醫用軟體的監管進行鬆綁，或有助於人工智慧醫用軟體的開發與上市。然而在新法實施近兩年以來，實務上發現人工智慧的技術特質，會導致在進行某些「臨床決策支援之人工智慧軟體」是否為醫療器材軟體之認定時，產生極大的不確定性。對此FDA也於2017年12月作成《臨床與病患決策支持軟體指南草案》（Clinical and Patient Decision Support Software-Draft Guidance for Industry and Food and Drug Administration），望能就部份《21世紀治癒法》及其所修正之《聯邦食品藥物化妝品法》（Federal Food, Drug, and Cosmetic Act, FD&C Act）[1]裡的規範文字提供更為詳細的說明。 本文望能為此項法制變革與其後續衍生之爭議進行剖析。以下將在第貳部分重點說明美國2016年頒布的《21世紀治癒法》內容；在第參部份則針對人工智慧技術用於醫療臨床決策支援所發生之爭議進行分析；最後在第肆部份進行總結。 貳、重點說明 2016年12月美國國會頒布了《21世紀治癒法》，在第3060節明確界定了FDA對數位健康產品（Digital Health Products）之管轄範圍，將某些類型的數位健康產品排除在FDA醫療器材（medical device）定義之外而毋須受FDA監管。此規定亦修正了美國《聯邦食品藥物化妝品法》第520節（o）項有關FDA排除納管之軟體類別之規定。 根據新修正的《聯邦食品藥物化妝品法》第520節（o）（1）項，美國對於醫用軟體的監管範疇之劃設乃是採取負面表列，規定以下幾種類型的軟體為不屬於FDA監管的醫用軟體： 行政管理目的[2]；或 目的在於非關診斷、治療、緩解、預防或病症處置之健康維持或健康生活習慣養成[3]；或 目的在於進行電子化的個人健康紀錄[4]；或 目的用於傳輸、儲存、格式轉換、展示臨床研究或其他裝置資料與結果[5]；或 同時符合以下四點之軟體： (1)不從體外醫療器材或訊號蒐集系統來讀取、處理或分析醫療影像或訊號[6]。 (2)目的在於展示、分析或印製病患醫療資訊，或其他醫療訊息（例如：偕同診斷之醫療研究、臨床處置指南）[7]。 (3)目的在於替醫療專業人員就疾病或症狀之預防、診斷或處置提供支持或臨床建議[8]。 (4)使醫師在使用該軟體時尚能獨立審查「臨床建議產生之基礎」，因此醫師所做成之臨床診斷或決策，並非主要依賴該軟體提供之臨床建議[9]。 雖然大多數被排除的類別相對無爭議，但仍有一部分引起法律上不小的討論，即《聯邦食品藥物化妝品法》第520節（o）（1）（E）項所指涉的某些類型之臨床決策支援軟體（Clinical Decision Support Software，以下簡稱CDS軟體）。 CDS軟體係指分析數據以幫助醫療手段實施者（例如：醫師）做出臨床決策的軟體。多數以人工智慧為技術基礎的醫療軟體屬於此一類型，比方病理影像分析系統。根據《21世紀治癒法》與《聯邦食品藥物化妝品法》，CDS軟體是否被排除在FDA的管轄範圍之外，取決於該軟體是否「使醫師在使用該軟體時尚能獨立審查『臨床建議產生之基礎』，因此醫師所做成之臨床診斷或決策，並非主要依賴該軟體提供之臨床建議」[10]。若肯定，則將不被視為FDA所定義之醫療器材。為使此一規定更加明確，FDA於2017年12月8日發布了《臨床與病患決策支持軟體指南草案》，該指南草案針對如何評估軟體是否能讓醫師獨立審查臨床建議產生之基礎進行說明。FDA表示該軟體至少要能清楚解釋以下四點[11]： 該軟體功能之目的或用途；及 預期使用者（例如超音波技師、心血管外科醫師）；及 用於產生臨床建議的原始資料（例如患者的年齡和性別）；及 臨床建議產生背後之邏輯或支持證據 後續方有機會被FDA認定係令醫療專業人員使用該軟體時，能「獨立審查」臨床建議產生之基礎。換言之，指南草案所提的四點，為FDA肯認醫師在使用軟體時尚能「獨立審查」之必要前提。除此之外，指南草案尚稱預期使用者必須能自己做成與軟體相同之判斷，並且要求「用於生成臨床建議與演算邏輯的原始資料必須可被預期使用者辨識、近用、理解，並為公眾可得」[12]，進而方有機會符合《聯邦食品藥物化妝品法》第520節（o）（1）（E）（iii）之規定；若該軟體亦同時符合第520節（o）（1）（E）之其他要件，則有望被劃分為非醫療器材而不必受FDA監管。 由於規範內容較為複雜，指南草案亦提供案例說明。比方若一糖尿病診斷軟體是由醫生輸入患者參數和實驗室測試結果（例如空腹血糖、口服葡萄糖耐量測試結果或血紅蛋白A1c測試結果），並且該裝置根據既定臨床指南建議患者的病情是否符合糖尿病的定義，可被FDA認定為「非醫療器材」[13]；而諸如分析電腦斷層、超音波影像之軟體，則仍維持屬於醫療器材[14]。 另需注意的是，《聯邦食品藥物化妝品法》在第520節（o）（3）（A）（i）項亦建立「彌補性納回（claw-back）」機制，FDA需遵守通知評論程序（notice-and-comment process）以便及時發現軟體可能對健康造成嚴重危害的風險，並隨時將之納回監管範疇中。同時FDA每兩年必須向國會報告醫療器材軟體的實施經驗[15]。 參、事件評析 《21世紀治癒法》頒布至今兩年，FDA已核准多個以人工智慧為技術核心的軟體，例如在2018年2月13日通過能自動偵測可疑的大血管阻塞（large vessel occlusion, LVO），並迅速通知醫師病人可能有的中風危險的臨床決策支援軟體：Viz.AI Contact application；又比如於2018年4月11日通過利用演算法分析由視網膜攝影機（Topcon NW400）所獲得的影像，快速篩檢糖尿病病人是否有必須由專業眼科醫師治療的視網膜病變的IDx-DR。 然而，在CDS軟體以人工智慧為技術核心時，現有的法規與監管框架依舊有幾點疑慮： 一、「理解」演算法？ 根據新修正之《聯邦食品藥物化妝品法》，如果CDS軟體欲不受FDA監管，醫師的決策必須保持獨立性。目前規定只要該醫療產品「企圖」（intended to）使醫師等專業人員理解演算法即可，並不論醫師是否真正理解演算法。然而，若FDA肯認理解演算法對於執行醫療行為是重要的，那麼當CDS係基於機器學習產生演算法時，具體該如何「理解」就連開發者本身都未必能清楚解釋的演算法？有學者甚至認為，CDS軟體是否受到FDA法規的約束，可能會引導至一個典型的認識論問題：「我們是怎麼知道的？（How do we know?）」[16]。對此問題，我們或許需要思考：當醫師無法理解演算法，會發生什麼問題？更甚者，未來我們是否需要訓練一批同時具備人工智慧科學背景的醫療人員？[17] 二、如何要求演算法透明度？ 指南草案所提之「清楚解釋臨床建議產生背後之邏輯或支持證據」以及資料來源為公眾可得、醫生對演算法使用的資料來源之近用權限等，被認為是FDA要求廠商應使CDS軟體之演算法透明[18]。但根據FDA指南草案公告後得到的反饋，醫療軟體廠商對此要求認為並不合理。廠商認為，應該從實際使用效益來審視人工智慧或機器學習軟體所提出的臨床建議是否正確，而不是演算法是什麼、怎麼產生[19]。 三、醫療專業人員之獨立專業判斷是否會逐漸被演算法取代？未來醫療軟體廠商與醫療專業人員之責任該如何區分？ FDA目前的法規與指南並未直接回應此二問題，惟其對於不被列管之CDS軟體之規定係需使醫師並非主要依賴該軟體提供之臨床建議、醫師能自己做成與軟體相同之判斷。由反面解釋，即FDA肯認部份CDS軟體具備與醫師雷同之臨床診斷、處置、決策之功能，或能部份取代醫師職能，因此需受FDA監管。是故，醫師之專業能力與人工智慧演算法相互之間具有取代關係，已是現在進行式。惟究竟醫師的判斷有多少是倚靠人工智慧現階段尚無法取得量化證據，或需數年時間透過實證研究方能研判。往後，醫療軟體廠商與醫師之責任該如何區分，將會是一大難題。 肆、結語 隨著醫療大數據分析與人工智慧技術的發展，傳統認知上的醫療器材定義已隨之改變。雖然硬體設備仍然在診斷、治療與照護上扮演極為重要的角色，但軟體技術的進步正在重新改寫現代醫療服務執行以及管理模式。這些新產品及服務為醫療器材市場帶來活水，但同時也形成新的監管議題而必須採取適當的調整措施。美國FDA針對近年來呈爆炸性發展的醫療軟體產業不斷調整或制定新的監管框架，以兼顧使用者安全與新技術開展，並於2016年通過了極具改革意義的《21世紀治癒法》，且以此法修正了《聯邦食品藥物化妝品法》。 然而，新法實施後，關於個別醫用軟體是否納為不受FDA監管的醫療器材仍有法律認定上的灰色空間。舉例而言，倍受矚目的以人工智慧為核心技術的CDS軟體，在新法框架下似乎可能存在於監管紅線的兩側。根據新修正之《聯邦食品藥物化妝品法》，一CDS軟體是否屬於醫療器材軟體，關鍵在於醫師能否「獨立審查」從而「非主要依賴」軟體所提供之臨床建議。也由於此要件概念較為模糊，FDA後續在2017年發布《臨床與病患決策支持軟體指南草案》為此提供進一步解釋，然而仍無法妥適處理人工智慧機器學習技術所導致的演算法「該如何理解？」、「透明度該如何認定？」等問題。更甚者，從整體醫療服務體系納入人工智慧協助臨床決策診斷之趨勢觀之，未來醫療專業人員的獨立判斷是否會逐漸被演算法取代？未來人工智慧軟體與醫療專業人員之責任該如何區分？都是醞釀當中的重要議題，值得持續關注。 [1] 21 U.S. Code §360j [2] FD&C Act Sec. 520(o)(1)(A) [3] FD&C Act Sec. 520(o)(1)(B) [4] FD&C Act Sec. 520(o)(1)(C) [5] FD&C Act Sec. 520(o)(1)(D) [6] FD&C Act Sec. 520(o)(1)(E) [7] FD&C Act Sec. 520(o)(1)(E)(i) [8] FD&C Act Sec. 520(o)(1)(E)(ii) [9] FD&C Act Sec. 520(o)(1)(E)(iii) [10] “Enabling such health care professionals to independently review the bases for such recommendations that such software presents so that it is not the intent that such health care professional rely primary on any of such recommendations to make clinical diagnosis or treatment decisions regarding individual patient.” FD&C Act, Sec. 520(O)(1)(E)(iii) [11] FOOD AND DRUG ADMINISTRATION[FDA], Clinical and Patient Decision Support Software-Draft Guidance for Industry and Food and Drug Administration (2017), .at 8 https://www.fda.gov/downloads/medicaldevices/deviceregulationandguidance/guidancedocuments/ucm587819.pdf (last visited Sep. 21, 2018) [12] 原文為 “The sources supporting the recommendation or underlying the rationale for the recommendation should be identified and easily accessible to the intended user, understandable by the intended user (e.g., data points whose meaning is well understood by the intended user), and publicly available (e.g., clinical practice guidelines, published literature)”, id, at 8 [13] FOOD AND DRUG ADMINISTRATION[FDA], supra note 11 [14]FOOD AND DRUG ADMINISTRATION[FDA], supra note 11 [15] 21th Century Cures Act, Sec. 3060(b) [16] Barbara J. Evans & Pilar Ossorio, The Challenge of Regulating Clinical Decision Support Software after 21st Century Cures. AMERICAN JOURNAL OF LAW AND MEDICINE (2018), https://papers.ssrn.com/sol3/Delivery.cfm/SSRN_ID3142822_code1078988.pdf?abstractid=3142822&mirid=1 (last visited Sep. 21, 2018) [17] Id. [18] Gail H. Javitt & J.D., M.P.H., ANESTHESIOLOGY, Regulatory Landscape for Clinical Decision Support Technology (2018), http://anesthesiology.pubs.asahq.org/article.aspx?articleid=2669863 (last visited Sep. 21, 2018) [19] REGULATIONS.GOV, Clinical and Patient Decision Support Software; Draft Guidance for Industry and Food and Drug Administration Staff; Availability(Dec. 8, 2017) https://www.regulations.gov/docketBrowser?rpp=25&po=0&dct=PS&D=FDA-2017-D-6569&refD=FDA-2017-D-6569-0001 (last visited Sep. 25, 2018)
國際能源總署發布「二氧化碳封存資源及其開發」手冊，協助能源部門及利害關係人了解地質封存效益、風險及社會經濟相關考量國際能源總署（International Energy Agency, IEA）於2022年12月發布「二氧化碳封存資源及其開發」手冊（CO2 storage resources and their development: An IEA CCUS Handbook），概述地質封存之效益、風險與社會經濟相關考量，並補充2022年度7月份的碳捕捉、利用及封存（Carbon Capture, Utilization and Storage, CCUS）法律和監管框架。該手冊架構可分為九個章節，重要章節包含：碳封存資源概述、碳封存開發生命週期、評估階段開發、風險管理、商業化、以及提供具體建議予決策者或私營部門。 由於CCUS涉及複雜管理及營運模式，IEA為決策者確立五個總體行動，簡述如下：（1）識別封存資源並提供必要資料：現有的地質資料是寶貴的起點，政府可以將現有資料數位化並建置資料庫，便於私部門獲取資訊。（2）確保法律與管制框架符合CCUS需求：政府應全面盤點既有法制體系是否到位，並應解決下列幾個關鍵問題：碳封存特定責任與風險、建立明確與適當的許可流程、地下孔隙空間的所有權、案場管理要求（如監控、關閉等）。（3）制定支持碳封存的政策：如將CCUS納入國家能源及氣候計畫、制定CCUS路線圖以協調發展策略、進行全面資源評估、制定獎勵措施（如獎勵資金、稅收抵免、可交易的憑證、鼓勵降低成本的創新計畫、風險緩解措施、碳定價等）。（4）支持先驅者並促進投資：產業先驅者時常面臨發展尚未成熟的開發環境或法制體系，因此建議政府得給予先驅者特定的獎勵措施。（5）支持發展CCUS的技術、專業能力：鼓勵石化與天然氣產業朝向CCUS轉型，如提供相關知識並培養相關技術，支持持續就業並避免人才流失等。