美國國家標準暨技術研究院發布「人工智慧風險管理框架:生成式AI概況」

  美國國家標準暨技術研究院(National Institute of Standard and Technology, NIST)2024年7月26日發布「人工智慧風險管理框架:生成式AI概況」(Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile),補充2023年1月發布的AI風險管理框架,協助組織識別生成式AI(Generative AI, GAI)可能引發的風險,並提出風險管理行動。GAI特有或加劇的12項主要風險包括:

1.化學、生物、放射性物質或核武器(chemical, biological, radiological and nuclear materials and agents, CBRN)之資訊或能力:GAI可能使惡意行為者更容易取得CBRN相關資訊、知識、材料或技術,以設計、開發、生產、使用CBRN。

2.虛假內容:GAI在回應輸入內容時,常自信地呈現錯誤或虛假內容,包括在同一情境下產出自相矛盾的內容。

3.危險、暴力或仇恨內容:GAI比其他技術能更輕易產生大規模煽動性、激進或威脅性內容,或美化暴力內容。

4.資料隱私:GAI訓練時需要大量資料,包括個人資料,可能產生透明度、個人資料自主權、資料違法目的外利用等風險。

5.環境影響:訓練、維護和運行GAI系統需使用大量能源而影響碳排放。

6.偏見或同質化(homogenization):GAI可能加劇對個人、群體或社會的偏見或刻板印象,例如要求生成醫生、律師或CEO圖像時,產出女性、少數族群或身障人士的比例較低。

7.人機互動:可能涉及系統與人類互動不良的風險,包括過度依賴GAI系統,或誤認GAI內容品質比其他來源內容品質更佳。

8.資訊完整性:GAI可能無意間擴大傳播虛假、不準確或誤導性內容,從而破壞資訊完整性,降低公眾對真實或有效資訊的信任。

9.資訊安全:可能降低攻擊門檻、更輕易實現自動化攻擊,或幫助發現新的資安風險,擴大可攻擊範圍。

10.智慧財產權:若GAI訓練資料中含有受著作權保護的資料,可能導致侵權,或在未經授權的情況下使用或假冒個人身分、肖像或聲音。

11.淫穢、貶低或虐待性內容:可能導致非法或非自願性的成人私密影像或兒童性虐待素材增加,進而造成隱私、心理、情感,甚至身體上傷害。

12.價值鏈和組件整合(component integration):購買資料集、訓練模型和軟體庫等第三方零組件時,若零組件未從適當途徑取得或未經妥善審查,可能導致下游使用者資訊不透明或難以問責。

  為解決前述12項風險,本報告亦從「治理、映射、量測、管理」四大面向提出約200項行動建議,期能有助組織緩解並降低GAI的潛在危害。

相關連結
你可能會想參加
※ 美國國家標準暨技術研究院發布「人工智慧風險管理框架:生成式AI概況」, 資訊工業策進會科技法律研究所, https://stli.iii.org.tw/article-detail.aspx?d=9263&no=55&tp=1 (最後瀏覽日:2026/09/20)
引註此篇文章
你可能還會想看
Apple專利可望增進iPhone手機警示功能

  Apple實施一方法,主要運用於iPhone手機作業系統上,增加手機警示功能(通知未接訊息特徵)。   AppleInsider發現Apple所申請的專利案,主要針對手機警示功能,與增進iPhone手機作業系統效能為主,其中著重於通知遺漏訊息(notifications of missed messages)及調整手機運用屬性偏好(application preferences)。其描述用戶者可運用手機介面上一通知儀表板(notification dashboard)顯示所有接收訊息的詳細資訊,如未接來電, SMS簡訊等。   目前iPhone手機在呈現像即時文字訊息或未接來電等資訊時,用戶者必須將螢幕鍵開鎖,指定回手機主畫面,並開啟特殊功能,以利取得接收到的文字訊息或語音信箱。   Apple新增通知資訊功能,可讓iPhone手機於開鎖(unlock)狀態下,在接獲到即時電子郵件或未接來電等相關訊息時,用戶者不需要將螢幕鍵開鎖,可直接於iPhone手機介面上滑動儀表板(bar),控制在正確的通知資訊位置,用戶者就可直接即時連接此內容,以減少開關鎖之頻率。AppleInsider指出Apple運用此通知服務,間接地指出允許iPhone手機可持續維持於上網之狀態。   AppleInsider指出Apple運用於iPhone手機介面的通知儀表板,主要複製Apple的Mac OS X儀表板之應用程式功能。 註:AppleInsider網站成立於1997年,為提供Apple相關即時資訊之入口網站。

聯合國討論網路身份管理計畫

  聯合國國家安全組織(U.N. National Security Agency)計畫於一項名為Q6/17之「網路使用者身份管理計畫」提案中,討論如何以修改網路架構之方式,確保網路通訊來源之真實性與可追溯性。此項計畫被認為可能對網路匿名性產生極大衝擊。   目前網路所賴以溝通訊息之TCP/IP通訊架構,仍允許使用者於一定範圍內保有於網路上匿名發言或活動之可能,例如Tor線上匿名軟體(Tor: anonymity online)之運作即是。然而,此種匿名式的運作架構,被抨擊可能威脅網路安全,例如駭客可利用大量偽造來源地址(spoofed source IP addresses),發動分散式阻斷服務(DDoS)攻擊。   有鑑於此,Q6/17提案乃嘗試藉由網路連線技術架構的調整,確保未來任何網路上之活動皆可追蹤出原始網路通訊來源(“IP Trackback”)。然而,此種作法被批評為將摧毀網路匿名特性,並對個人隱私造成侵害,或成為各國政府打擊政治異議人士的工具。發表匿名言論權利曾受許多國家憲法或國際條約的肯認,例如1995年美國最高法院於McIntyre v. Ohio Elections Commission一案,做出「匿名發表權乃受憲法保護之人民基本權」見解,歐盟亦有「網路通訊自由宣言(Declaration on Freedom of Communication on the Internet)」。故Q6/17嘗試消弭發表網路匿名言論之技術突破,是否能通過世界各國憲法之嚴格檢驗,仍值得後續關注研究。

日本公布設立AI安全研究所與著手訂定AI安全性評鑑標準

日本於2023年12月1日舉辦G7數位技術委員會(G7デジタル・技術大臣会合),由日本數位廳、總務省、經濟產業省共同會晤G7會員國代表,基於人工智慧(Artificial Intelligence,下稱AI)可能帶給全球創造性、革命性的轉變,同時也可能伴隨侵害著作權與擴散假訊息的風險,尤其是生成式AI可能對經濟、社會影響甚鉅,因此針對如何妥善使用AI技術,G7全體會員國共同訂定《廣島AI進程》(広島AIプロセス)文件,其聲明內容簡述如下: 1.訂定涵蓋《廣島AI進程》之政策框架(Framework) 2.訂定涵蓋AI設計、系統開發、規劃、提供與使用等所有與AI有關人員,(All AI actors, when and as applicable, and appropriate, to cover the design, development, deployment, provision and use of advanced AI systems)適用之《廣島AI進程》國際標準(Principle) 3.針對開發高階AI系統之組織,訂定可適用之國際行為準則(Code of Conduct) 為此,日本內閣府於2024年2月14日公布,於經濟產業省政策執行機關—獨立行政法人資訊處理推動機構(独立行政法人情報処理推進機構,下稱IPA)轄下設立日本AI安全研究所(Japan AI Safety Institute,下稱AISI),作為今後研擬AI安全性評鑑標準(據以特定或減少AI整體風險)與推動方式之專責機構,以實現安心、安全以及可信賴之AI為目標。AISI所職掌的業務範圍如下: 1.進行AI安全性評鑑之相關調查 2.研擬AI相關標準 3.研擬安全性評鑑標準與實施方式 4.研擬與各國AI專責機關進行國際合作,例如:美國AI安全研究所(U.S. Artificial Intelligence Safety Institute, USAISI) 另一方面,IPA將以內部人才招聘作為AISI成員之任用方式,預計組成約數十人規模的團隊。日本以與G7會員國共識為基礎,採專責機關—AISI進行研究與規劃,並推動日後擬定AI相關使用規範與安全性評鑑標準,據以實現AI應用安全之目標。我國對於AI技術之應用領域,未來應如何訂定使用安全規範,將涉及專業性與技術性事項之整體性規劃,日本因應AI課題而採行的做法值得我國未來持續關注。

金融穩定委員會報告指出金融領域採用AI之模型、資料品質與治理風險

.Pindent{text-indent: 2em;} .Noindent{margin-left: 2em;} .NoPindent{text-indent: 2em; margin-left: 2em;} .No2indent{margin-left: 3em;} .No2Pindent{text-indent: 2em; margin-left: 3em} .No3indent{margin-left: 4em;} .No3Pindent{text-indent: 2em; margin-left: 4em} 金融穩定委員會(Financial Stability Board, FSB)於2024年11月14日發布《人工智慧對金融穩定的影響》報告,探討人工智慧(Artificial Intelligence, AI)在金融領域的應用進展及對全球金融穩定的影響,分析相關風險並提出建議。 報告指出AI具有提升效率、加強法規遵循、提供個人化金融產品及進階資料分析等益處,但同時可能加劇某些金融部門的脆弱性(Vulnerability),進而構成金融穩定風險。報告特別提出之脆弱性包括:「第三方依賴及服務供應商集中化」、「市場相關性」、「資安風險」,以及「模型風險、資料品質和治理」。 在模型風險、資料品質與治理中,廣泛應用AI可能導致模型風險上升,因某些模型難以驗證、監控及修正,且模型的複雜性與透明性不足將增加尋找具獨立性和專業知識的驗證者的挑戰。此外,在大型語言模型(Large Language Model, LLM),大規模非結構化資料的使用及訓練資料來源的不透明性,使資料品質評估更加困難。特別是在預訓練模型(Pre-trained Model)中,金融機構對眾多資料來源的評估方式不熟悉,進一步增加管理難度。 若金融機構未建立健全的治理架構以審查AI的使用及其資料來源,模型風險與資料品質問題將難以控制。金融機構有責任應對與AI相關的模型風險和資料品質挑戰,包含對模型進行驗證、持續監控、執行結果分析和評估資料品質的預期要求。 報告呼籲各國金融主管機關加強對AI發展的監測,評估現行金融政策框架是否充分,並增強監管能力。建議可定期或不定期調查AI應用情形,並透過報告及公開揭露制度獲取相關資訊。此外,主管機關可考慮利用監督科技(SupTech)及監管科技(RegTech)等AI驅動工具強化監管效能,以應對AI在金融領域帶來的挑戰與風險。

TOP