美國國家標準暨技術研究院發布「人工智慧風險管理框架：生成式AI概況」
美國國家標準暨技術研究院（National Institute of Standard and Technology, NIST）2024年7月26日發布「人工智慧風險管理框架：生成式AI概況」（Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile），補充2023年1月發布的AI風險管理框架，協助組織識別生成式AI（Generative AI, GAI）可能引發的風險，並提出風險管理行動。GAI特有或加劇的12項主要風險包括：
1.化學、生物、放射性物質或核武器（chemical, biological, radiological and nuclear materials and agents, CBRN）之資訊或能力：GAI可能使惡意行為者更容易取得CBRN相關資訊、知識、材料或技術，以設計、開發、生產、使用CBRN。
2.虛假內容：GAI在回應輸入內容時，常自信地呈現錯誤或虛假內容，包括在同一情境下產出自相矛盾的內容。
3.危險、暴力或仇恨內容：GAI比其他技術能更輕易產生大規模煽動性、激進或威脅性內容，或美化暴力內容。
4.資料隱私：GAI訓練時需要大量資料，包括個人資料，可能產生透明度、個人資料自主權、資料違法目的外利用等風險。
5.環境影響：訓練、維護和運行GAI系統需使用大量能源而影響碳排放。
6.偏見或同質化（homogenization）：GAI可能加劇對個人、群體或社會的偏見或刻板印象，例如要求生成醫生、律師或CEO圖像時，產出女性、少數族群或身障人士的比例較低。
7.人機互動：可能涉及系統與人類互動不良的風險，包括過度依賴GAI系統，或誤認GAI內容品質比其他來源內容品質更佳。
8.資訊完整性：GAI可能無意間擴大傳播虛假、不準確或誤導性內容，從而破壞資訊完整性，降低公眾對真實或有效資訊的信任。
9.資訊安全：可能降低攻擊門檻、更輕易實現自動化攻擊，或幫助發現新的資安風險，擴大可攻擊範圍。
10.智慧財產權：若GAI訓練資料中含有受著作權保護的資料，可能導致侵權，或在未經授權的情況下使用或假冒個人身分、肖像或聲音。
11.淫穢、貶低或虐待性內容：可能導致非法或非自願性的成人私密影像或兒童性虐待素材增加，進而造成隱私、心理、情感，甚至身體上傷害。
12.價值鏈和組件整合（component integration）：購買資料集、訓練模型和軟體庫等第三方零組件時，若零組件未從適當途徑取得或未經妥善審查，可能導致下游使用者資訊不透明或難以問責。
為解決前述12項風險，本報告亦從「治理、映射、量測、管理」四大面向提出約200項行動建議，期能有助組織緩解並降低GAI的潛在危害。
許嘉芳
法律研究員 編譯整理
NATIONAL INSTITUTE OF STANDARD AND TECHNOLOGY [NIST], NIST-AI-600-1, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, July 26, 2024, https://www.nist.gov/itl/ai-risk-management-framework (last visited Sept. 13, 2024).
陳箴，〈美國國家標準與技術研究院公布人工智慧風險管理框架（AI RMF 1.0）〉，2023年2月，https://stli.iii.org.tw/article-detail.aspx?no=64&tp=1&d=8974（最後瀏覽日：2023/05/03）。
新加坡代理AI治理示範框架對我國人工智慧基本法落地的啟示 資訊工業策進會科技法律研究所 2026年07月08日 新加坡資訊通信媒體發展局（Infocomm Media Development Authority，下稱IMDA）於2026年5月20日發布《代理式人工智慧治理示範框架》（Model AI Governance Framework for Agentic AI，下稱示範框架）第1.5版，以事前評估並框限風險、使人類負起有意義的當責、落實技術控制與流程、促成終端使用者盡責四大面向，同時提供真實部署案例，將代理式人工智慧(以下簡稱代理AI)治理的實務具體化[1]。 壹、事件摘要 相較於僅生成內容之生成式人工智慧，代理AI能自主規劃、跨多步驟採取行動，並與其他代理及外部系統互動，代替使用者完成任務。由於其可存取敏感資料並以行動變更所處環境，例如更新客戶資料庫或執行付款，風險型態明顯不同於僅可能產生錯誤輸出者。我國《人工智慧基本法》已於民國114年經立法院三讀通過，以風險為基礎、原則導向、由各主管機關落實之路徑[2]。惟我國現行治理之重心，仍落在AI應用與輸出風險，對於代理採取行動所生之系統性風險存在空缺。新加坡已關注此新興的AI工具發展，更新其代理AI治理框架，新增風險評估因素、代理AI價值鏈、防範自動化偏誤之作法與各類控制之概覽及其選用方式，為組織提供代理AI風險及其管理新興最佳實務的結構化概覽。 貳、重點說明 一、以行動空間與自主性為風險座標 示範框架提出各代理AI雖可能具備相同元件，但每一元件之設計皆可能顯著影響代理能力，故思考代理能做什麼時，應區分兩個概念：一為行動空間（action-space），指代理可採取之行動範圍，取決於其獲准使用之工具及該等工具上之權限；二為自主性（autonomy），指代理朝目標行動時可自行決定如何行動之程度，取決於其指令與人為介入之程度。此兩個要素是後續一切風險評估與控制設計之重要因素，不同的權限與自主程度，將會使性質同為代理AI，歸屬於截然不同之風險程度[3]。 二、風險會因代理功能出現系統性擴大效應 由於代理之風險本質上並非全新，真正變化在於這些風險因代理AI會在真實世界採取行動，速度與複雜度會進一步加劇。示範框架提醒決策的快速會使監督難以在造成危害前即時阻止，而要求人類持續監督又可能導致自動化偏誤與警示疲勞，致某一步驟之錯誤可能於後續步驟間傳播並放大。因此，當系統由多個代理構成，敏感資料被無意記錄、傳遞給安全性較低代理或遭提示注入揭露之可能，會產生無法透過個別測試去預測並防止之行為[4]。 三、代理AI的四大關鍵面向 示範框架就代理AI於下列四大面向，提供組織做為梳理治理重點的關鍵考量。這些面向同時構成一個循環，透過監測發現異常時，即應循環重新評估先前各面向[5]。 (一)事前評估並框限風險：組織可於規劃階段設計適當邊界，以限縮代理之影響範圍，例如限制其對工具與外部系統之存取。組織亦可透過代理身分管理與存取控制等措施，確保代理之行動可追溯、可控制。 (二)使人類負起有意義的當責：「人在迴路」（human-in-the-loop）須加以調整，以因應自動化偏誤，一旦代理AI之部署獲得放行，組織即應採取措施確保人為當責，並應迅速掌握新發展，隨技術演進更新其作法。 (三)落實技術控制與流程：組織應於代理生命週期全程實施技術措施，且由於代理與其環境動態互動、且非所有風險均能事前預見，爰建議逐步推出代理，並於部署後持續監測。 (四)促成終端使用者盡責：應告知使用者代理之行動範圍、資料存取情形，以及使用者自身之責任。組織並應考量另行提供教育訓練，使員工具備管理人機互動、行使有效監督所需之知識，同時維持其專業技藝與基礎技能。 四、風險控制的因應策略 示範框架以行動空間與自主性各對應嚴重程度與發生機率，嚴重程度考量部署領域、對敏感資料與外部系統之存取、行動範圍（讀取相對於寫入）及可回復性；發生機率則考量自主程度、任務複雜度、是否由外部方提供及系統複雜度，並主張以「威脅建模」(threat modeling)即系統化的預設可能的如記憶投毒、工具濫用、權限破壞、間接提示注入等威脅情境，推導出更有針對性的控制與分層防禦方式來強化評估[6]。 在風險控制策略上，示範框架主張系統層確定性控制優於提示層防護，亦即與其提示代理AI不得存取特定工具，不如施加存取控制使該工具根本無法被呼叫。除靜態防護外，框架另強調在設計之初就要納入控制措施，在執行過程中監測並介入，例如如限制防止工具使用過度，或以輸入驗證的方式，在有害動作執行前予以攔截[7]。 五、風險控制的實作技巧 對於風險控制實際方法，示範框架建議可於協定層就善用模型上下文協定（Model Context Protocol，MCP）過濾敏感資料、記錄所有互動或將受信任伺服器列入白名單。同時，該框架以事例建議組織可採取這些控制的技術手段，如：於提示代理AI反思計畫是否遵循指令、記錄計畫與推理供驗證；於執行時要求嚴格輸入格式、以最小權限限制可用工具、對敏感資料庫預設不給寫入權、於鍵入密碼時交還使用者控制；於連結時，將受信任伺服器列入白名單、將程式碼執行沙箱隔離[8]。 六、人為監督之具體化、代理身分治理 針對人為監督方式，該示範框架建議應先界定須經人為核准之查核點或行動界線，尤其在高風險、不可回復或離群行為之前。其次，設計核准之形式，使請求切合脈絡且易於理解、清楚呈現風險，並依情形選擇所需之人為輸入。但最關鍵的是，須將監督的有效性本身納入稽核，包括追蹤人為否定率偏低，或審查回應時間有過短情況時，即意味監督可能已流於形式。須注意自動化偏誤或審查疲勞，並辨識決策明顯偏離常態之「離群」人員，同時訓練監督者辨識代理AI可能出狀況的情況[9]。 而就多代理與跨組織互動帶來之系統性風險，示範框架建議的因應是將身分管理延伸至代理，但其亦指出現行授權系統多為預先定義之靜態範圍，難以因應代理依情境動態變化之細粒度權限；於過渡期間，建議代理AI身分應具備唯一、有所歸屬、依其行事身分加以區別、並建檔集中管理[10]。 七、部署前全流程測試、逐步部署並設計風險示警 框架認為可能透過工具採取不安全或非預期之動作，故應測試整體任務執行、政策遵循度與工具使用正確性，非僅測最終輸出；且應個別測試與合併測試，以掌握多代理協作時之湧現風險。就部署後，框架主張逐步推行，可依使用者、工具與協定、所暴露系統三個面向控制推行範圍並持續監測。在監測面，應決定記錄之內容、優先監測更新資料庫或金融交易等高風險活動、建立警示定義與設計與風險相稱之介入、確保日誌不可竄改以維持稽核軌跡，並建立將監測洞察回饋至訓練與評估之迴路[11]。 參、事件評析 新加坡的代理AI治理框架初版於二〇二六年一月發布，此次更新納入多個組織導入代理AI的實例回饋，擴充多代理系統之系統性風險，補強代理蔓生、協作失敗、串謀與湧現行為之情境。其核心價值在於指出傳統風險止於「內容」，而代理式治理之對象，則係能呼叫工具、寫入系統、執行交易之能行動系統，風險延伸至「行動」及其真實後果。因此，其建議應由單一之模型輸出品質，轉為行動空間與自主性之風險控制。由內容防護轉為系統確定性控制、執行期介入與協定治理；由事後審查轉為將推翻率、回應時間等監督的有效性予以指標與持續改善化。 我國AI基本法於第4條提及問責、人類自主及資料治理原則，適對應示範框架的人為當責、系統層控制與監督指標化建議。同時，依基本法第16條規定數位發展部應參考國際標準或規範，推動與國際介接之人工智慧風險分類框架，並應協助各目的事業主管機關訂定以風險為基礎之管理規範。各目的事業主管機關應視人工智慧應用風險管理之需要,循前項風險分類框架,訂定以風險為基礎之管理規範，並應協助相關產業自行訂定產業指引及行為規範。在代理AI已在生成式AI基礎上，跨入多任務自主執行的功能層次，風險的質與量已因代理功能出現系統性擴大效應的情況下，單純以生成式AI為標的治理規範或指引，顯然其可產生的規範管理或指引提醒的效果，已不足以因應AI的快速發展。 新加坡適時更新的代理AI治理框架，雖然亦表明代理AI的風險並非其所獨有，亦是來自於生成式AI的既有影響，但該框架進一步提醒代理AI將使風險控制更加困難，「人在迴路」（human-in-the-loop）須加以調整，一旦代理AI之部署獲得放行，組織即應採取明確課責、認知建立、訓練技能等措施確保人為當責的「有效性」，並應迅速掌握新發展，運用技術手段強化風險監測。其中喻意深遠的是，該框架就終端使用者所提基礎技藝維持之警示，即代理AI接手任務恐致技能退化與業務永續風險，或許將成為AI基本法下一個階段必須面臨的課題。 本文著作權屬財團法人資訊工業策進會科技法律研究所所有，如需引用或轉載，請註明出處。 本文同步刊登於TIPS網站（https://keid.nat.gov.tw/tips/） [1]新加坡資訊通信媒體發展局（Infocomm Media Development Authority, IMDA），《代理式人工智慧治理示範框架》（Model AI Governance Framework for Agentic AI）第一‧五版，二〇二六年五月二十日發布、同年六月五日更新，https://www.imda.gov.sg/-/media/imda/files/about/emerging-tech-and-research/artificial-intelligence/mgf-for-agentic-ai.pdf（最後瀏覽日：二〇二六年七月六日）。 [2]《人工智慧基本法》，民國一百十四年十二月二十三日經立法院三讀通過，全文二十條，二〇二六年一月公布施行，中央主管機關為國家科學及技術委員會。 [3] 前揭註1，頁8、15（分見「代理設計如何影響各代理之限制與能力」與「判定適合部署代理之使用案例」）。 [4] 同前註，頁11。 [5] 詳前註1，頁3~4。 [6] 同前註，頁15至18。 [7] 同前註，頁33至34。 [8] 同前註，頁30。 [9] 同前註，頁29至32。 [10] 同前註，頁23至24。 [11] 同前註，頁42至45。
中國大陸「網路預約出租汽車經營管理暫行辦法」所謂中國大陸《網路預約出租汽車經營管理暫行辦法》，是指中國大陸針對目前在各國都陸續發生法律爭議的網路出租車叫車平臺，例如源自美國加州舊金山的優步(Uber)，或是中國大陸當地發展的滴滴打車服務，所制定的專法規範，以期解決網路出租車叫車平臺所可能產生的法律爭議。 類似Uber的服務型態，之所以會產生法律爭議，主要是因為汽車運輸載客的商業行為，在各國都會受到汽車運輸業的相關管制，以保障運輸服務乘客安全及消費權益。以德國為例，就曾因此對Uber進行行政處罰，並進一步於司法判決中要求Uber司機需取得營運牌照。 也因此中國大陸交通運輸部在2016年7月14日通過，並於2016年11月1日起施行《網路預約出租汽車經營管理暫行辦法》，該規定將網路預約出租汽車服務定義為「預約出租客運」，平台業者需負擔車輛營運、收益分配與司機管理等等的任務，且其地位為中國大陸汽車運輸載客法規中的客運服務承運人，需負擔相當責任，而並非如Uber等所主張的其僅為仲介平台，不具客運服務承運人之地位。 此外，該辦法亦要求網路預約出租汽車之司機應滿足無交通肇事犯罪紀錄、無危險駕駛犯罪紀錄、無吸毒紀錄、無飲酒後駕駛紀錄、無暴力犯罪紀錄等條件。
歐盟執委會發布「2016-2020年e政府行動計畫」並展開公眾諮詢歐盟執委會先前自2015年10月30日到2016年1月22日，針對其2016-2020年e政府行動計畫（eGovernment Action Plan）進行了公眾諮詢程序。執委會依據其公眾意見諮詢之初步分析，於2016年2月23日說明其2016-2020年的e政府行動計畫政策，將藉由公共行政管理措施（包含司法部分）的e化，實現歐盟數位單一市場的目標，提高跨境的互通性以及促進歐盟公民間的便捷交流。 歐盟執委會就該計畫目前有以下四項目標： (1) 透過資通訊之技術促進公共管理措施的現代化。 (2) 藉由數位化的公共服務提高跨境行動（cross-border mobility）的可能。 (3) 加強行政單位與歐盟公民及企業間的數位互動交流（digital interaction）。 (4) 推動數位化的關鍵措施。 相關監測及措施期程的指標，執委會將於未來幾個月內再為詳細之說明。而所有e政府行動計畫均應依循下列原則進行： (1) 數位化設定（digital-by-default）：若其他可傳送服務之管道能選擇中斷服務或必須中斷服務時，行動措施應給予服務線上傳輸的特權。 (2) 跨境設定（cross-border by default）：行動措施不應於歐盟內部市場製造新的跨境障礙。 (3) 一次性原則（once-only principle）：行動措施應僅得於行政單位從未持有數據或資訊時，要求歐盟公民或企業提供該數據或資訊。 (4) 內含設定（inclusive by default）：行動措施應促進所有歐盟公民或企業與公共行政單位的互動交流。 (5) 不保留原則（no legacy principle）：超過15年的基礎設施或應用服務不再維護保留。 (6) 隱私及資料保護（privacy & data protection）：所有數位化的公共服務皆應就個人資料之基本權利為完善的保護。 (7) 開放及透明化設定（open & transparency by default）：行動措施應就重複使用及透明化為開放之設定。