新加坡網路安全局發布人工智慧系統安全指南,以降低AI系統潛在風險

新加坡網路安全局(Cyber Security Agency of Singapore, CSA)於2024年10月15日發布人工智慧系統安全指南(Guidelines on Securing AI Systems),旨在強化AI系統安全,協助組織以安全之方式運用AI,降低潛在風險。 該指南將AI系統生命週期分成五個關鍵階段,分別針對各階段的安全風險,提出相關防範措施:

(1)規劃與設計:提高AI安全風險認知能力,進行安全風險評估。

(2)開發:提升訓練資料、模型、應用程式介面與軟體庫之供應安全,確保供應商遵守安全政策與國際標準或進行風險管理;並辨識、追蹤及保護AI相關資產(例如模型、資料、輸入指令),以確保AI開發環境安全。

(3)部署:適用標準安全措施(例如存取控制、日誌記錄),並建立事件管理程序。

(4)運作與維護:持續監控AI系統的輸入和輸出,偵測異常與潛在攻擊,並建立漏洞揭露流程。

(5)壽命終期:應根據相關行業標準或法規,對資料與模型進行適當之處理、銷毀,防止未經授權之存取。

CSA期待該指南發布後,將有助於預防供應鏈攻擊(supply chain attacks)、對抗式機器學習攻擊(Adversarial Machine Learning attacks)等安全風險,確保AI系統的整體安全與穩定運行。

相關連結
※ 新加坡網路安全局發布人工智慧系統安全指南,以降低AI系統潛在風險, 資訊工業策進會科技法律研究所, https://stli.iii.org.tw/article-detail.aspx?d=9270&no=57&tp=1 (最後瀏覽日:2026/06/04)
引註此篇文章
你可能還會想看
Google的下一步:行動廣告市場

  美國網路搜尋龍頭Google於2009年11月提出一項以7億5千萬美金收購行動廣告網絡商ADMob的計畫,大張旗鼓地準備涉足這個目前於所有廣告型態中,規模相對微小的區域。然而,美國二大消費者團體Consumer Watchdog及Center for Digital Democracy卻不認同這項收購計畫,甚至認為Google此舉將使其於行動廣告市場中形成獨占,以及甚有侵害消費者隱私權的可能,從而向聯邦交易委員會(Federal Trade Commission, FTC)喊話,要求FTC阻止Google此次的商業併購行為。   然而,消費者團體的擔憂亦非毫無道理,蓋Google在網路搜尋與線上廣告均有難以撼動的地位,而ADMob目前在行動廣告市場之佔有率亦為前茅,是故兩者一旦合併,消費者團體認為,Google此舉即是在為自己日後於此一極具發展潛力的市場中,先行買下一席位子。此外,由於GPS技術的發達,Google附加的Google Map定址應用更有可能因其實質跨足提供行動服務而有侵害使用人隱私權的可能。   雖言如此,FTC仍未明確表示對該項交易的意見,此外,無獨有偶地,蘋果電腦對行動廣告的市場亦開始有所行動,根據另一行動廣告服務提供者Quattro Wireless指出,蘋果公司正在計畫其中的細節。由此可見,不論FTC最後的結論為何,資訊業者之於行動廣告的戰爭已經開始。

日本施行「資金結算法」修正,承認比特幣具有財產價值,得作為交易的支付手段。

  日本2017年4月施行「資金結算法(資金決済法)」修正,正式承認虛擬貨幣作為支付工具,其本身得為買賣(與法定貨幣為交換),具有財產價值得以電子方式移轉之電子資訊,但是不等於法定貨幣。依據該法第2條第5項之定義規定,具有以下性質之財產價值者為虛擬貨幣:(1)對於不特定人,得作為代金支付之使用,而且與法定貨幣(日圓或美元等)得為互相交易;(2)以電子數位技術為紀錄與移轉;(3)非為法定貨幣或法定貨幣所成立之資產(預付卡等)。   2014年以東京為據點世界最大比特幣交易所Mt.Gox發生破產,導致鉅額比特幣消失事件,為了保護消費者與防止洗錢而為法律制度之整備。該法對於虛擬貨幣交易所為管制,(1)要求提供虛擬貨幣交易服務之交易所必須為登記(必須為股份有限公司以及資本額1000萬日圓以上);(2)對於利用者必須為適切之資訊提供;(3)為了適切管理利用者財產,業者必須將利用者之財產及虛擬貨幣與自身之財產分離管理;(4)為了防制洗錢,交易時必須為本人確認;(5)對於交易所為日常業務監督,必須作成帳冊書類及報告書,並提出具有會計師或監察法人簽證稽核之報告書,管制機關得為進入檢查、行使業務改善命令等之監督權。今年9月底,有11家完成登記程序,12月4日有5家完成登記,共16家目前為登記合法之比特幣交易所。   近來日本大型家電量販店等已有承認比特幣等虛擬貨幣可以作為支付手段,其他承認虛擬貨幣作為支付手段的商店也漸漸增加中,虛擬貨幣與一般民眾的生活漸為結合。但是虛擬貨幣仍有其風險,從國民或消費者保護觀點,政府也在相關處所加入明顯警語,提醒民眾虛擬貨幣並非法定貨幣,國家不保證其價值,而且虛擬貨幣之價值,會因買賣或經濟狀況等會有價值波動情形。利用虛擬貨幣交換業者之服務時,應注意僅得以在金融廳登記有案之業者為對象,同時此等業者負有說明義務,對於利用者有提供虛擬貨幣相關機制之資訊(包含交易內容與手續費),利用者應先聽取後,再決定是否為交易。利用者對於虛擬貨幣交易經歷或戶頭餘額應隨時確認,而業者至少3個月一次有提供利用者交易紀錄與餘額資訊之義務。

用ChatGPT找法院判決?從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限

用ChatGPT找法院判決?從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限 資訊工業策進會科技法律研究所 2023年09月08日 生成式AI是透過研究過去資料,以創造新內容和想法的AI技術,其應用領域包括文字、圖像及影音。以ChatGPT為例,OpenAI自2022年11月30日發布ChatGPT後,短短二個月內,全球月均用戶數即達到1億人,無疑成為民眾日常生活中最容易近用的AI科技。 惟,生成式AI大量使用後,其中的問題也逐漸浮現。例如,ChatGPT提供的回答僅是從所學習的資料中統整歸納,無法保證資料的正確性。Roberto Mata v. Avianca, Inc.案即是因律師利用ChatGPT撰寫訴狀,卻未重新審視其所提供判決之正確性,以致後續引發訴狀中所描述的判決不存在爭議。 壹、事件摘要 Roberto Mata v. Avianca, Inc.案[1]中,原告Roberto Mata於2019年8月搭乘哥倫比亞航空從薩爾瓦多飛往紐約,飛行過程中膝蓋遭空服員的推車撞傷,並於2022年2月向法院提起訴訟,要求哥倫比亞航空為空服員的疏失作出賠償;哥倫比亞航空則主張已超過《蒙特婁公約》(Montreal Convention)第35條所訂之航空器抵達日起兩年內向法院提出損害賠償之請求時效。 R然而,法院審理過程中發現原告訴狀內引用之六個判決無法從判決系統中查詢,進而質疑判決之真實性。原告律師Steven A. Schwartz因而坦承訴狀中引用的六個判決是ChatGPT所提供,並宣稱針對ChatGPT所提供的判決,曾多次向ChatGPT確認該判決之正確性[2]。 貳、生成式AI應用之潛在風險 雖然運用生成式AI技術並結合自身專業知識執行特定任務,可能有助於提升效率,惟,從前述Roberto Mata v. Avianca, Inc.案亦可看出,依目前生成式AI技術之發展,仍可能產生資訊正確性疑慮。以下彙整生成式AI應用之8大潛在風險[3]: 一、能源使用及對環境危害 相較於傳統機器學習,生成式AI模型訓練將耗費更多運算資源與能源。根據波士頓大學電腦科學系Kate Saenko副教授表示,OpenAI的GPT-3模型擁有1,750億個參數,約會消耗1,287兆瓦/時的電力,並排放552噸二氧化碳。亦即,每當向生成式AI下一個指令,其所消耗的能源量相較於一般搜尋引擎將可能高出4至5倍[4]。 二、能力超出預期(Capability Overhang) 運算系統的黑盒子可能發展出超乎開發人員或使用者想像的隱藏功能,此發展將會對人類帶來新的助力還是成為危險的阻力,則會隨著使用者之間的相互作用而定。 三、輸出結果有偏見 生成式AI通常是利用公開資料進行訓練,若輸入資料在訓練時未受監督,而帶有真實世界既存的刻板印象(如語言、種族、性別、性取向、能力、文化等),據此建立之AI模型輸出結果可能帶有偏見。 四、智慧財產權疑慮 生成式AI進行模型訓練時,需仰賴大量網路資料或從其他大型資料庫蒐集訓練資料。然而,若原始資料來源不明確,可能引發取得資料未經同意或違反授權條款之疑慮,導致生成的內容存在侵權風險。 五、缺乏驗證事實功能 生成式AI時常提供看似正確卻與實際情形不符的回覆,若使用者誤信該答案即可能帶來風險。另外,生成式AI屬於持續動態發展的資訊生態系統,當產出結果有偏誤時,若沒有大規模的人為干預恐難以有效解決此問題。 六、數位犯罪增加與資安攻擊 過去由人工產製的釣魚郵件或網站可能受限於技術限制而容易被識破,然而,生成式AI能夠快速建立具高度說服力的各種擬真資料,降低詐騙的進入門檻。又,駭客亦有可能在不熟悉技術的情況下,利用AI進一步找出資安弱點或攻擊方法,增加防禦難度。 七、敏感資料外洩 使用雲端服務提供商所建立的生成式AI時,由於輸入的資料存儲於外部伺服器,若要追蹤或刪除有一定難度,若遭有心人士利用而導致濫用、攻擊或竄改,將可能產生資料外洩的風險。 八、影子AI(Shadow AI) 影子AI係指開發者未知或無法控制之AI使用情境。隨著AI模型複雜性增加,若開發人員與使用者未進行充分溝通,或使用者在未經充分指導下使用 AI 工具,將可能產生無法預期之風險。 參、事件評析 在Roberto Mata v. Avianca, Inc.案中,法院關注的焦點在於律師的行為,而非對AI技術使用的批判。法院認為,隨著技術的進步,利用可信賴的AI工具作為協助用途並無不當,惟,律師應踐行其專業素養,確保所提交文件之正確性[5]。 當AI科技發展逐漸朝向自主與獨立的方向前進,仍需注意生成式AI使用上之侷限。當個人在使用生成式AI時,需具備獨立思考判斷的能力,並驗證產出結果之正確性,不宜全盤接受生成式AI提供之回答。針對企業或具高度專業領域人士使用生成式AI時,除確認結果正確性外,更需注意資料保護及治理議題,例如建立AI工具合理使用情境及加強員工使用相關工具之教育訓練。在成本能負擔的情況下,可選擇透過企業內部的基礎設施訓練AI模型,或是在訓練模型前確保敏感資料已經加密或匿名。並應注意自身行業領域相關法規之更新或頒布,以適時調整資料使用之方式。 雖目前生成式AI仍有其使用之侷限,仍應抱持開放的態度,在技術使用與風險預防之間取得平衡,以能夠在技術發展的同時,更好地學習新興科技工具之使用。 [1]Mata v. Avianca, Inc., 1:22-cv-01461, (S.D.N.Y.). [2]Benjamin Weiser, Here’s What Happens When Your Lawyer Uses ChatGPT, The New York Times, May 27, 2023, https://www.nytimes.com/2023/05/27/nyregion/avianca-airline-lawsuit-chatgpt.html (last visited Aug. 4, 2023). [3]Boston Consulting Group [BCG], The CEO’s Roadmap on Generative AI (Mar. 2023), https://media-publications.bcg.com/BCG-Executive-Perspectives-CEOs-Roadmap-on-Generative-AI.pdf (last visited Aug. 29, 2023). [4]Kate Saenko, Is generative AI bad for the environment? A computer scientist explains the carbon footprint of ChatGPT and its cousins, The Conversation (May 23, 2023.), https://theconversation.com/is-generative-ai-bad-for-the-environment-a-computer-scientist-explains-the-carbon-footprint-of-chatgpt-and-its-cousins-204096 (last visited Sep. 7, 2023). [5]Robert Lufrano, ChatGPT and the Limits of AI in Legal Research, National Law Review, Volume XIII, Number 195 (Mar. 2023), https://www.natlawreview.com/article/chatgpt-and-limits-ai-legal-research (last visited Aug. 29, 2023).

加州公佈影音遊戲法案臨危憲爭議

  加州州長阿諾‧史瓦辛格於 2005 年 10 月 7 日簽署禁止販售暴力影音遊戲 (Violate Video Game) 與未成年人之影音遊戲法案,影音遊戲業者對於此法案之通過表示強烈抗議,主張該法案違反美國憲法修正條文第一條言論自由之保護。   該法案禁止販賣或出租具強烈暴力色彩之影音遊戲與未滿 18 歲之未成年人,同時要求此類遊戲必須於包裝正面依據規定標誌標示明顯之「 18 」字樣,違者將處以 1000 美元以下之罰金。州長史瓦辛格先生指出,這些遊戲多半是為成人所設計,是否讓青少年接觸此類遊戲,應由其家長決定之,故此法案並未限制該未成年人之家長購買或租用該類遊戲提供未成年人使用。   美國「影音軟體業者協會」 (Video Software Dealer Association) 以及「娛樂軟體協會」 (Entertainment Software Association) 等業者代表計畫以訴訟方式爭議此法之合憲性並予以推翻,而美國聯邦法院曾對於華盛頓州之類似法案作出不利之判決,使得此法案之未來仍為一個未知數。值得一提的是,美國其他州亦有類似法案通過,其中包括伊利諾州以及密西根州,目前「娛樂軟體協會」針對此兩州之法案已於聯邦法院提起訴訟。

TOP