新加坡網路安全局發布人工智慧系統安全指南，以降低AI系統潛在風險
新加坡網路安全局（Cyber Security Agency of Singapore, CSA）於2024年10月15日發布人工智慧系統安全指南（Guidelines on Securing AI Systems），旨在強化AI系統安全，協助組織以安全之方式運用AI，降低潛在風險。 該指南將AI系統生命週期分成五個關鍵階段，分別針對各階段的安全風險，提出相關防範措施：
（1）規劃與設計：提高AI安全風險認知能力，進行安全風險評估。
（2）開發：提升訓練資料、模型、應用程式介面與軟體庫之供應安全，確保供應商遵守安全政策與國際標準或進行風險管理；並辨識、追蹤及保護AI相關資產（例如模型、資料、輸入指令），以確保AI開發環境安全。
（3）部署：適用標準安全措施（例如存取控制、日誌記錄），並建立事件管理程序。
（4）運作與維護：持續監控AI系統的輸入和輸出，偵測異常與潛在攻擊，並建立漏洞揭露流程。
（5）壽命終期：應根據相關行業標準或法規，對資料與模型進行適當之處理、銷毀，防止未經授權之存取。
CSA期待該指南發布後，將有助於預防供應鏈攻擊（supply chain attacks）、對抗式機器學習攻擊（Adversarial Machine Learning attacks）等安全風險，確保AI系統的整體安全與穩定運行。
翁嘉璟
副法律研究員 編譯整理
Guidelines and Companion Guide on Securing AI Systems, Cyber Security Agency of Singapore, https://www.csa.gov.sg/Tips-Resource/publications/2024/guidelines-on-securing-ai (last visited Oct. 27, 2024).
Singapore’s Cyber Security Agency issues security guidelines for AI systems, CMS Law-Now, https://cms-lawnow.com/en/ealerts/2024/10/singapore-s-cyber-security-agency-issues-security-guidelines-for-ai-systems?utm_source=lawnow-realtime&utm_medium=email&utm_campaign=Singapore%e2%80%99s%20Cyber%20Security%20Agency%20issues%20security%20guidelines%20for%20AI%20systems&utm_id=4097&utm_term=read_more&utm_content=697002 (last visited Oct. 27, 2024).
許嘉芳，〈美國國家標準暨技術研究院發布「人工智慧風險管理框架：生成式AI概況」〉，資策會科技法律研究所，2024年10月，https://stli.iii.org.tw/article-detail.aspx?tp=1&d=9263&no=64（最後瀏覽日：2024/10/28）。
從美國「聯邦風險與授權管理計畫」看我國促進政府部門導入雲端運算之策略與機制 科技法律研究所 2013年07月03日 資訊科技的發展，從早期「超級電腦/大型電腦」、近期「個人電腦」，到即將邁入以超大規模數量電腦主機虛擬集結的「雲端運算」時代。雲端運算將電腦集中運用，未來電腦運算設施就像是水、電；資料儲存與應用就像是銀行，只要連上網路就可以使用，不必各自投資發展。因此，「雲端運算」未來將成為每個國家的重要基礎建設。 將雲端運算列為重要的產業發展重心，已是各國的趨勢，而運用雲端運算所帶來的效益，如節省經費、提升效率等，亦為普遍地承認，再加上公部門相較於民間，其擁有較多的經費及資源來進行雲端運算的導入，而藉由公部門導入雲端運算，可以帶動雲端運算產業的發展以及雲端運算應用的普及化。因此，各國均皆致力於促進公部門導入雲端運算。 然而，在雲端運算帶來龐大經濟效益的同時，伴隨而來的，是新的資訊管理議題，雲端安全防護聯盟（Cloud Security Alliance, CSA）提出了雲端運算可能遭遇的九大安全威脅 ： 一、資料外洩（Data Breaches） 二、資料遺失（Data Loss） 三、帳號被駭（Account Hijacking） 四、不安全的APIs程式（Insecure APIs） 五、拒絕服務（Denial of Service） 六、惡意的內部人員（Malicious Insiders） 七、濫用雲端服務（Abuse of Cloud Services） 八、審慎評鑑不足（Insufficient Due Diligence） 九、共享環境議題（Shared Technology Issues） 面對前述的安全威脅，政府部門在考量導入雲端服務時，首先面對的就是要探討如何在導入雲端運算後仍能維持資訊安全的強度，以及政府部門要從何尋找符合其需求的業者。 壹、事件摘要 美國政府在2010年12月發表了25項聯邦IT轉型重點政策，其中一項核心的政策便是「雲優先政策」（cloud first policy）。根據「雲優先政策」，聯邦機構必須在三個月內找出三項轉移到雲端的政府服務，並且要在一年內導入其中一項。 然而，此種新型態的雲端運算服務為聯邦機構帶來資安管理的新挑戰，傳統由各機關分頭洽談所導入資訊系統與應用規格之方法，並實施個別的資訊安全需求與政策的作法，對服務商而言，其所提供的相同服務，在各機關導入時，卻必須將受各個機關的審查，造成各機關投入過多的資源在審查程序上，導致政府資源的浪費，不但耗費時間、審查重複，且無法達到建構妥善操作程序的效果。 2012年6月6日，聯邦政府總務管理局（General Service Administration, GSA）宣布「聯邦風險與授權管理計畫」（Federal Risk and Authorization Management Program,以下稱FedRAMP）開始正式運作，GSA並表示，「FedRAMP」的正式運作，將解決美國政府在雲端產品及服務需求上，因各自導入之標準不一致所導致的系統相容性問題、重複投資浪費，並可降低各政府機關自行進行風險評估及管理相關系統所耗費的人力、金錢成本。預估該計畫可為美國政府節省高達40%的預算及費用，預期效益相當可觀。 「FedRAMP」的目的是要為全國政府機關針對雲端產品與服務的風險評估、授權管理以及持續監控等標準作業規範，建立一套可遵循之依據。未來所有雲端產品的服務提供者，都必須遵守及達到該計畫的標準規範，才能為美國政府機關提供雲端產品及服務。 貳、重點說明 「聯邦風險與授權管理計畫」主要由預算與管理辦公室（Office of Management and Budget, OMB）負責組織預算與管理；聯邦資訊長（the Federal Chief Information Officer，CIO）負責跨部門的整合；國土安全部(Department of Homeland Security, DHS)負責網際網路的監控與分析；總務管理局(General Services Administration, GSA) 則建立FedRAMP之架構與程序，並成立計畫管理辦公室（ Program Management Office， PMO）負責FedRAMP之操作與管理；以及國家科技研究所(National Institute of Science and Technology, NIST)負責提供技術分析與標準；最後由國防部(Department of Defense, DoD) 、國土安全部、總務管理局，組成共同授權委員會（Joint Authorization Board, JAB），負責對服務提供者的授權與定期檢視。 FedRAMP制度的精神在於「作一次並重複使用」（Do once ,Use Many Times），同一內容的雲端服務，透過FedRAMP，僅須經過一次的評估與授權，即得被多個機關所採用。早期各機關重複檢驗同一廠商的同一服務之安全性，造成資源浪費的問題，將可獲得解決。當其他機關欲採用雲端服務時，可透過FedRAMP，免去再一次的評估與驗證。 FedRAMP主要由第三方評估機構、對服務提供者的評估、以及持續監督與授權等三個部份所構成，簡單介紹如下： 一、第三方評估機構的認證 FedRAMP的特殊之處，在於雲端服務提供者應由通過FedRAMP認證的第三方評估機構（3PAO）來進行審查，而第三方評估機構欲通過認證，除了要符合FedRAMP的需求外，還必須具備雲端資訊系統的評估能力、備妥安全評估計畫、以及安全評估報告等，另外亦同時引進了ISO/IEC17020作為評估機構的資格。其認證程序如下： （一）申請檢視 機構首先必須符合ISO/IEC 17020 檢驗機構的品質與技術能力，並且自行檢視FedRAMP網站上的申請表，自行檢視是否合乎要求，然後決定是否提出申請。 （二）完成要求 機構須分別完成申請表所要求的系統安全計畫（system security plan, SSP）、系統評估計畫（system assessment plan, SAP）、安全評估報告（security assessment report, SAR）。於完成後向計畫管理辦公室提出申請。 （三）審查 在接受申請後，總務管理局會與ISO網路安全專家共同組成「專家審查委員會」（Expert Review Board , ERB），審查該申請。 （四）決議 審查完畢後，FedRAMP計畫管理辦公室（PMO）會檢視ERB的意見，決議是否通過該申請。 於通過申請後，該機構將會被列入FedRAMP官方網站（www.FedRAMP.gov）的第三方評估機構名單，目前為止，陸續已有十五個機構通過共同授權委員會的授權，日後得對雲端服務商進行評估。 二、對雲端服務提供者的評估 在「聯邦風險與授權管理計畫」的機制設計中，政府機關或雲端服務提供者任一方，皆可提出申請（Request）啟動雲端服務的安全性評估（Security Assessment）程序，此程序中共有四個主要階段： （一）提出申請 在申請人將所須文件初步填寫完畢之後，計畫管理辦公室（PMO）即會指派資訊系統安全官（Information Systems Security Officer, ISSO）進行指導，使之得進行安全控制、出具必要文件、並實施安全測試。之後，PMO會與雲端服務提供者簽署協議，並要求相關機關實施對雲端服務系統的安全性測試。 （二）檔案安全控管 雲端服務提供者必須作成系統安全計畫（System Security Plan, SSP），表明安全控制之實施方法，及其相關文件如IT系統永續計畫（IT Contingency Plan）、隱私衝擊調查（Privacy Impact Questionnaire），並送交ISSO進行審查，再由雲端服務提供者就對審查意見予以回覆之後，由ISSO將案件送至共同授權委員會（Joint Authorization Board, JAB）進行審查，以確認所提交的SSP安全措施符合雲端系統所需。 （三）進行安全測試 服務提供者與第三方評估機構（Third Party Assessment Organization, 3PAO）簽約，且由PMO約集雲端服務提供者與3PAO，確認雙方對於安全測試實施的期待與時程，再由3PAO獨立進行該雲端系統測試，並完成安全評估報告（Security Assessment Report, SAR），闡述評估結果並確認所暴露的風險。雲端服務提供者針對此評估結果，作成行動與查核點報告（Plan of Action & Milestones (POA&M)），以提出矯正弱點與殘餘風險（residual risks）的措施、資源與時程規劃。 雲端服務提供者再將前述SAR與POA&M提交予PMO，由JAB決定是否接受該弱點及其修正計畫，或者提出修正建議。倘若JAB可接受該弱點及其他因應措施，則由ISSO通知雲端服務提供者即將進入安全評估的最後階段。 （四）完成安全評估 雲端服務提供者將所有安全控制相關文件彙成單一的安全評估方案，並提出證明將確實執行其安全控制措施。由JAB檢視此方案，並作出最終決定是否授予「附條件之授權」（Provisional Authorization）。得到此授權的雲端服務提供者名單，將會被列在FedRAMP官方網站上。倘若雲端服務提供者未獲得此授權，PMO會指導如何進行重新申請。 三、持續的評估與授權 持續的評估與授權（ongoing Assessment and Authorization, A&A）通常也被稱為持續監控（Continuous Monitoring），在FedRAMP中第三個也是最後一個流程，透過持續的評估與授權機制，來確保雲端服務提供者持續的安全性授權。其中包含了三個主要層面： （一）操作的能見度 操作能見度的目標，是藉由自動化的方式來減少政府機構在監督作業上的行政耗費。亦即雲端服務提供者透過自動化的資料提供、定期提交具體控制的證據文件、以及年度自我認證報告等安全控制措施來說明操作的能見度，而不必政府機構另行要求。 （二）變更控制程序 雲端服務提供者更新她們的系統是常有的事，此處的變更控制程序並非針對例行性的維修或變更，而是要求若有發生影響臨時性授權或的顯著變更時，服務提供者必須提供此種具衝擊性變更的有效資訊，使FedRAMP得以評估此變更的影響與衝擊。 （三）事件回應 事件回應方面聚焦於新風險和漏洞的因應，服務提供者在發現影響授權的新風險或漏洞時，應向機構說明其針對保持系統安全的因應對策與作法。 參、事件評析 在各國紛紛投入雲端運算的推動熱潮中，我國也不能在此項產業推動中缺席。2010年4月，行政院科技顧問組（現已改組為行政院科技會報）責成經濟部，研擬「雲端運算產業發展方案」；2011年5月，行政院研究發展考核委員會亦公布了「第四階段電子化政府計畫」，在內部運作管理面向，將運用新興雲端運算技術推動以全國性的政府雲端應用服務，減少機關重複開發成本，並達成節能減碳效果。 雲端的安全問題，無論在私人企業或政府部門，均為選擇導入雲端服務的第一要務，「第四階段電子化政府計畫」中亦指出第四階段電子化政府將以雲端資安防護推動為重點，運用雲端運算技術，創新資安服務價值，確保政府資通安全防護。 然而，在服務提供者的安全性方面，我國並沒有像美國FedRAMP計畫般適度地提供服務提供者的安全性保證。對此，我國可借鏡各國的作法，適度的以透過公正第三方機構驗證，來消除雲端服務安全性的疑惑，並推動一個公開的平台，將通過驗證的廠商公布出來，提供公部門甚至私人企業作選擇，不僅可免去同一服務廠商不斷重複驗證的麻煩，亦可削減選擇上的難題，並藉此發展雲端資安技術與推動雲端產業，使我國的雲端環境能夠更臻成熟。
德國資料保護會議通過「哈姆巴爾宣言」，針對人工智慧之運用提出七大個資保護要求德國聯邦及各邦獨立資料保護監督機關（unabhängige Datenschutzaufsichtsbehörden）共同於2019年4月3日，召開第97屆資料保護會議通過哈姆巴爾宣言（Hambacher Erklärung，以下簡稱「Hambacher宣言」）。該宣言指出人工智慧雖然為人類帶來福祉，但同時對法律秩序內自由及民主體制造成巨大的威脅，特別是人工智慧系統可以透過自主學習不斷蒐集、處理與利用大量個人資料，並且透過自動化的演算系統，干預個人的權利與自由。 諸如人工智慧系統被運用於判讀應徵者履歷，其篩選結果給予女性較不利的評價時，則暴露出人工智慧處理大量資料時所產生的性別歧視，且該歧視結果無法藉由修正資料予以去除，否則將無法呈現原始資料之真實性。由於保護人民基本權利屬於國家之重要任務，國家有義務使人工智慧的發展與應用，符合民主法治國之制度框架。Hambacher宣言認為透過人工智慧系統運用個人資料時，應符合歐盟一般資料保護規則（The General Data Protection Regulation，以下簡稱GDPR）第5條個人資料蒐集、處理與利用之原則，並基於該原則針對人工智慧提出以下七點個資保護之要求： （1）人工智慧不應使個人成為客體：依據德國基本法第1條第1項人性尊嚴之保障，資料主體得不受自動化利用後所做成，具有法律效果或類似重大不利影響之決策拘束。 （2）人工智慧應符合目的限制原則：透過人工智慧系統蒐集、處理與利用個人資料時，即使後續擴張利用亦應與原始目的具有一致性。 （3）人工智慧運用處理須透明、易於理解及具有可解釋性：人工智慧在蒐集、處理與利用個人資料時，其過程應保持透明且決策結果易於理解及可解釋，以利於追溯及識別決策流程與結果。 （4）人工智慧應避免產生歧視結果：人工智慧應避免蒐集資料不足或錯誤資料等原因，而產生具有歧視性之決策結果，控管者或處理者使用人工智慧前，應評估對人的權利或自由之風險並控管之。 （5）應遵循資料最少蒐集原則：人工智慧系統通常會蒐集大量資料，蒐集或處理個人資料應於必要範圍內為之，且不得逾越特定目的之必要範圍，並應檢查個人資料是否完全匿名化。 （6）人工智慧須設置問責機關進行監督：依據GDPR第12條、第32條及第35條規定，人工智慧系統內的控管者或處理者應識別風險、溝通責任及採取必要防範措施，以確保蒐集、處理與利用個人資料之安全性。 （7）人工智慧應採取適當技術與組織上的措施管理之：為了符合GDPR第24條及第25條規定，聯邦資料保護監督機關應確認，控管者或處理者採用適當的現有技術及組織措施予以保障個人資料。 綜上所述，Hambacher宣言內容旨在要求，人工智慧在蒐集、處理及利用個人資料時，除遵守歐盟一般資料保護規則之規範外，亦應遵守上述提出之七點原則，以避免其運用結果干預資料主體之基本權利。
加拿大電信主管機關發布新的電信監管政策加拿大廣播電視和電信委員會（Canadian Radio-television and Telecommunications Commission, 以下稱CRTC）於去（2016）年12月21日發布電信監管政策（Telecom Regulatory Policy CRTC 2016-496, 以下稱Policy 496），該政策除聲明寬頻連網服務（broadband Internet access services）是基本電信服務（basic telecommunications service, 以下稱BTS）外，同時也透過新基金的設立，矢志達成目標。 新基金欲達成的普及服務目標（universal service objective）為：「所有加國國民，不論在都市、市郊與偏遠地區，都能透過固定通信綜合網路業務（以下稱固網）與行動通信網路業務（以下稱行網）近用語音及寬頻連網服務（Canadians, in urban areas as well as in rural and remote areas have access to voice and broadband Internet access services, on both fixed and mobile wireless networks.）」。Policy 496的發布，顯示CRTC監管架構的重點從原先的有線語音服務（wireline voice services），移轉到寬頻服務（broadband service, 以下稱BS）。因此，新制的BTS定義即含括此兩種服務模式；同時，CRTC也訂定了下列標準以驗證普及服務目標的達成狀況： 1. 加國家用與商用之固網寬頻服務訂戶至少可近用下載速率50Mbps／上傳速率10Mbps之網路（此指實際傳輸速率）。 2. 加國家用與商用消費者，於申辦固網寬頻服務時，有數據用量不受限（unlimited data allowance）的方案可供選擇。 3. 最新部署的行網技術（現為長期演進技術，Long Term Evolution）應不只可於家用、商用用戶端使用，也應盡可能擴及加國主要交通幹道。 新基金除預計為那些尚未符合上述標準之地區（通常為偏遠或落後地區）的相關計畫，於前五年給予總計七億五千萬加幣的資金挹注外，同時也會和現行及未來的公有基金、私人投資互補，並由第三方單位獨立、公平管理。 雖然CRTC於新的電信監管政策訂定的固網下載速率標準較多數國家為高（美國、澳洲25M；歐洲平均設在30M；德國為50M），但截至2015年為止，加國全境已有82％的民眾可接取傳輸速率達50M／10M之固網寬頻服務；因此CRTC主席Jean-Pierre Blais表示，這樣的標準設定其實相當實際。儘管Policy 496的釋出表達了CRTC將以合適的方式達成其政策目標的立場，但BS的普及狀況與偏遠地區的連網障礙是否確實排除，所有利害關係人都扮演重要的角色。
美國最高法院認定警方向通信業者取得嫌犯之通信之基地台位址資訊須持有搜索票繼2012年最高法院認為警方在無搜索令的情況下，以GPS追蹤裝置查探犯罪嫌疑人之位置資訊違反憲法第四修正案。最高法院於2017年6月5日，認為警方未持搜索票，而向電信公司取得犯罪嫌疑人過去127天共計12,898筆之行動通信基地台位置資訊（cell-site data）之行為，違反憲法第四修正案。 由於個人利用行動通訊服務時，必須透過基地台進行通訊，因而可藉由該基地台位置，得知每個人所在之區域位置，而此一通訊紀錄過去被電信公司視為一般的商業資訊，因為得知通訊基地台的位置資訊，無法直接得知個人所在的精準位置，僅能得知其概略所在地區。 因此，犯罪調查機關基於1979年 Smith v. Maryland案所建立之原則，即只要該個人資訊屬於企業的一般商業紀錄（normal business record），警方可以在無搜索令的情況下，向企業取得個人資訊， 此一原則又稱為第三方法則（third-party doctrine）。過去在地方法院或上訴法院的審理中，法院對此多持正面見解，認為只要該資料與進行中之犯罪偵查活動有實質關聯（relevant and material to an ongoing criminal investigation），警方即可向業者取得。大法官Sonia Sotomayor早在前述2012年GPS追蹤裝置案的協同意見書中表示，第三方法則不應適用在數位時代，例如用戶撥電話給客服人員，或以電子郵件回覆網路購物的賣方等，無數的日常活動已經大量的向第三方揭露許多資訊。 在數位時代，大量的個人資訊以電磁紀錄的形式掌握在第三方手中，本案最高法院的見解，將會對美國的犯罪調查機關在未持搜索令的情況下，更慎重的判斷向業者取得個人資訊做為犯罪偵查使用時，是否與憲法第四修正案有所違背。