美國國家標準暨技術研究院發布「全球AI安全機構合作策略願景目標」，期能推動全球AI安全合作
美國國家標準暨技術研究院（National Institute of Standards and Technology, NIST）於2024年5月21日提出「全球AI安全機構合作策略願景目標」（The United States Artificial Intelligence Safety Institute: Vision, Mission, and Strategic Goals，下稱本策略願景），美國商務部（Department of Commerce）亦於2024年參與AI首爾峰會（AI Seoul Summit）期間對外揭示本策略願景，期能與其他國家攜手打造安全、可靠且可信賴之AI生態系。
由於AI可信賴與否往往取決於安全性，NIST指出當前AI安全所面臨的挑戰包含：一、欠缺對先進AI之標準化衡量指標；二、風險測試、評估、驗證及確效（Test, Evaluation, Validation, and Verification, TEVV）方法不健全；三、欠缺對AI建模後模型架構與模型表現間因果關係的了解；四、產業、公民社會、國內外參與者等在實踐AI安全一事上合作程度極為有限。
為因應上述挑戰並促進AI創新，NIST在本策略願景中擬定以下三大戰略目標：(1)推動AI安全科學發展：為建立安全準則與工具進行技術合作研究，並預先部署TEVV方法，以利評估先進AI模型之潛在風險與應對措施；(2)推展AI安全實務作法：制定並發布不同領域AI風險管理之相關準則與指標，以達到負責任設計、開發、部署與應用AI模型與系統之目的；(3)支持AI安全合作：促進各界採用前述安全準則、工具或指標，並推動全球合作，以發展國際通用的AI安全風險應對機制。
- U.S. Secretary of Commerce Gina Raimondo Releases Strategic Vision on AI Safety, Announces Plan for Global Cooperation Among AI Safety Institutes, U.S. Department of Commerce (May 21, 2024)
- NATIONAL INSTITUTE OF STANDARDS AND TECHNOLOGY [NIST], The United States Artificial Intelligence Safety Institute: Vision, Mission, and Strategic Goals (2024)
楊承昕
副法律研究員 編譯整理
U.S. Secretary of Commerce Gina Raimondo Releases Strategic Vision on AI Safety, Announces Plan for Global Cooperation Among AI Safety Institutes, U.S. Department of Commerce (May 21, 2024), https://www.commerce.gov/news/press-releases/2024/05/us-secretary-commerce-gina-raimondo-releases-strategic-vision-ai-safety (last visited Aug. 1, 2024).
NATIONAL INSTITUTE OF STANDARDS AND TECHNOLOGY [NIST], The United States Artificial Intelligence Safety Institute: Vision, Mission, and Strategic Goals (2024), https://www.nist.gov/system/files/documents/2024/05/21/AISI-vision-21May2024.pdf (last visited Aug. 1, 2024).
劉心妍，〈美國國土安全部發布「2024人工智慧路線圖」，確保AI安全開發與部署〉，資策會科技法律研究所，2024年6月，https://stli.iii.org.tw/article-detail.aspx?no=64&tp=1&d=9184（最後瀏覽日：2024/08/01）。
新加坡代理AI治理示範框架對我國人工智慧基本法落地的啟示 資訊工業策進會科技法律研究所 2026年07月08日 新加坡資訊通信媒體發展局（Infocomm Media Development Authority，下稱IMDA）於2026年5月20日發布《代理式人工智慧治理示範框架》（Model AI Governance Framework for Agentic AI，下稱示範框架）第1.5版，以事前評估並框限風險、使人類負起有意義的當責、落實技術控制與流程、促成終端使用者盡責四大面向，同時提供真實部署案例，將代理式人工智慧(以下簡稱代理AI)治理的實務具體化[1]。 壹、事件摘要 相較於僅生成內容之生成式人工智慧，代理AI能自主規劃、跨多步驟採取行動，並與其他代理及外部系統互動，代替使用者完成任務。由於其可存取敏感資料並以行動變更所處環境，例如更新客戶資料庫或執行付款，風險型態明顯不同於僅可能產生錯誤輸出者。我國《人工智慧基本法》已於民國114年經立法院三讀通過，以風險為基礎、原則導向、由各主管機關落實之路徑[2]。惟我國現行治理之重心，仍落在AI應用與輸出風險，對於代理採取行動所生之系統性風險存在空缺。新加坡已關注此新興的AI工具發展，更新其代理AI治理框架，新增風險評估因素、代理AI價值鏈、防範自動化偏誤之作法與各類控制之概覽及其選用方式，為組織提供代理AI風險及其管理新興最佳實務的結構化概覽。 貳、重點說明 一、以行動空間與自主性為風險座標 示範框架提出各代理AI雖可能具備相同元件，但每一元件之設計皆可能顯著影響代理能力，故思考代理能做什麼時，應區分兩個概念：一為行動空間（action-space），指代理可採取之行動範圍，取決於其獲准使用之工具及該等工具上之權限；二為自主性（autonomy），指代理朝目標行動時可自行決定如何行動之程度，取決於其指令與人為介入之程度。此兩個要素是後續一切風險評估與控制設計之重要因素，不同的權限與自主程度，將會使性質同為代理AI，歸屬於截然不同之風險程度[3]。 二、風險會因代理功能出現系統性擴大效應 由於代理之風險本質上並非全新，真正變化在於這些風險因代理AI會在真實世界採取行動，速度與複雜度會進一步加劇。示範框架提醒決策的快速會使監督難以在造成危害前即時阻止，而要求人類持續監督又可能導致自動化偏誤與警示疲勞，致某一步驟之錯誤可能於後續步驟間傳播並放大。因此，當系統由多個代理構成，敏感資料被無意記錄、傳遞給安全性較低代理或遭提示注入揭露之可能，會產生無法透過個別測試去預測並防止之行為[4]。 三、代理AI的四大關鍵面向 示範框架就代理AI於下列四大面向，提供組織做為梳理治理重點的關鍵考量。這些面向同時構成一個循環，透過監測發現異常時，即應循環重新評估先前各面向[5]。 (一)事前評估並框限風險：組織可於規劃階段設計適當邊界，以限縮代理之影響範圍，例如限制其對工具與外部系統之存取。組織亦可透過代理身分管理與存取控制等措施，確保代理之行動可追溯、可控制。 (二)使人類負起有意義的當責：「人在迴路」（human-in-the-loop）須加以調整，以因應自動化偏誤，一旦代理AI之部署獲得放行，組織即應採取措施確保人為當責，並應迅速掌握新發展，隨技術演進更新其作法。 (三)落實技術控制與流程：組織應於代理生命週期全程實施技術措施，且由於代理與其環境動態互動、且非所有風險均能事前預見，爰建議逐步推出代理，並於部署後持續監測。 (四)促成終端使用者盡責：應告知使用者代理之行動範圍、資料存取情形，以及使用者自身之責任。組織並應考量另行提供教育訓練，使員工具備管理人機互動、行使有效監督所需之知識，同時維持其專業技藝與基礎技能。 四、風險控制的因應策略 示範框架以行動空間與自主性各對應嚴重程度與發生機率，嚴重程度考量部署領域、對敏感資料與外部系統之存取、行動範圍（讀取相對於寫入）及可回復性；發生機率則考量自主程度、任務複雜度、是否由外部方提供及系統複雜度，並主張以「威脅建模」(threat modeling)即系統化的預設可能的如記憶投毒、工具濫用、權限破壞、間接提示注入等威脅情境，推導出更有針對性的控制與分層防禦方式來強化評估[6]。 在風險控制策略上，示範框架主張系統層確定性控制優於提示層防護，亦即與其提示代理AI不得存取特定工具，不如施加存取控制使該工具根本無法被呼叫。除靜態防護外，框架另強調在設計之初就要納入控制措施，在執行過程中監測並介入，例如如限制防止工具使用過度，或以輸入驗證的方式，在有害動作執行前予以攔截[7]。 五、風險控制的實作技巧 對於風險控制實際方法，示範框架建議可於協定層就善用模型上下文協定（Model Context Protocol，MCP）過濾敏感資料、記錄所有互動或將受信任伺服器列入白名單。同時，該框架以事例建議組織可採取這些控制的技術手段，如：於提示代理AI反思計畫是否遵循指令、記錄計畫與推理供驗證；於執行時要求嚴格輸入格式、以最小權限限制可用工具、對敏感資料庫預設不給寫入權、於鍵入密碼時交還使用者控制；於連結時，將受信任伺服器列入白名單、將程式碼執行沙箱隔離[8]。 六、人為監督之具體化、代理身分治理 針對人為監督方式，該示範框架建議應先界定須經人為核准之查核點或行動界線，尤其在高風險、不可回復或離群行為之前。其次，設計核准之形式，使請求切合脈絡且易於理解、清楚呈現風險，並依情形選擇所需之人為輸入。但最關鍵的是，須將監督的有效性本身納入稽核，包括追蹤人為否定率偏低，或審查回應時間有過短情況時，即意味監督可能已流於形式。須注意自動化偏誤或審查疲勞，並辨識決策明顯偏離常態之「離群」人員，同時訓練監督者辨識代理AI可能出狀況的情況[9]。 而就多代理與跨組織互動帶來之系統性風險，示範框架建議的因應是將身分管理延伸至代理，但其亦指出現行授權系統多為預先定義之靜態範圍，難以因應代理依情境動態變化之細粒度權限；於過渡期間，建議代理AI身分應具備唯一、有所歸屬、依其行事身分加以區別、並建檔集中管理[10]。 七、部署前全流程測試、逐步部署並設計風險示警 框架認為可能透過工具採取不安全或非預期之動作，故應測試整體任務執行、政策遵循度與工具使用正確性，非僅測最終輸出；且應個別測試與合併測試，以掌握多代理協作時之湧現風險。就部署後，框架主張逐步推行，可依使用者、工具與協定、所暴露系統三個面向控制推行範圍並持續監測。在監測面，應決定記錄之內容、優先監測更新資料庫或金融交易等高風險活動、建立警示定義與設計與風險相稱之介入、確保日誌不可竄改以維持稽核軌跡，並建立將監測洞察回饋至訓練與評估之迴路[11]。 參、事件評析 新加坡的代理AI治理框架初版於二〇二六年一月發布，此次更新納入多個組織導入代理AI的實例回饋，擴充多代理系統之系統性風險，補強代理蔓生、協作失敗、串謀與湧現行為之情境。其核心價值在於指出傳統風險止於「內容」，而代理式治理之對象，則係能呼叫工具、寫入系統、執行交易之能行動系統，風險延伸至「行動」及其真實後果。因此，其建議應由單一之模型輸出品質，轉為行動空間與自主性之風險控制。由內容防護轉為系統確定性控制、執行期介入與協定治理；由事後審查轉為將推翻率、回應時間等監督的有效性予以指標與持續改善化。 我國AI基本法於第4條提及問責、人類自主及資料治理原則，適對應示範框架的人為當責、系統層控制與監督指標化建議。同時，依基本法第16條規定數位發展部應參考國際標準或規範，推動與國際介接之人工智慧風險分類框架，並應協助各目的事業主管機關訂定以風險為基礎之管理規範。各目的事業主管機關應視人工智慧應用風險管理之需要,循前項風險分類框架,訂定以風險為基礎之管理規範，並應協助相關產業自行訂定產業指引及行為規範。在代理AI已在生成式AI基礎上，跨入多任務自主執行的功能層次，風險的質與量已因代理功能出現系統性擴大效應的情況下，單純以生成式AI為標的治理規範或指引，顯然其可產生的規範管理或指引提醒的效果，已不足以因應AI的快速發展。 新加坡適時更新的代理AI治理框架，雖然亦表明代理AI的風險並非其所獨有，亦是來自於生成式AI的既有影響，但該框架進一步提醒代理AI將使風險控制更加困難，「人在迴路」（human-in-the-loop）須加以調整，一旦代理AI之部署獲得放行，組織即應採取明確課責、認知建立、訓練技能等措施確保人為當責的「有效性」，並應迅速掌握新發展，運用技術手段強化風險監測。其中喻意深遠的是，該框架就終端使用者所提基礎技藝維持之警示，即代理AI接手任務恐致技能退化與業務永續風險，或許將成為AI基本法下一個階段必須面臨的課題。 本文著作權屬財團法人資訊工業策進會科技法律研究所所有，如需引用或轉載，請註明出處。 本文同步刊登於TIPS網站（https://keid.nat.gov.tw/tips/） [1]新加坡資訊通信媒體發展局（Infocomm Media Development Authority, IMDA），《代理式人工智慧治理示範框架》（Model AI Governance Framework for Agentic AI）第一‧五版，二〇二六年五月二十日發布、同年六月五日更新，https://www.imda.gov.sg/-/media/imda/files/about/emerging-tech-and-research/artificial-intelligence/mgf-for-agentic-ai.pdf（最後瀏覽日：二〇二六年七月六日）。 [2]《人工智慧基本法》，民國一百十四年十二月二十三日經立法院三讀通過，全文二十條，二〇二六年一月公布施行，中央主管機關為國家科學及技術委員會。 [3] 前揭註1，頁8、15（分見「代理設計如何影響各代理之限制與能力」與「判定適合部署代理之使用案例」）。 [4] 同前註，頁11。 [5] 詳前註1，頁3~4。 [6] 同前註，頁15至18。 [7] 同前註，頁33至34。 [8] 同前註，頁30。 [9] 同前註，頁29至32。 [10] 同前註，頁23至24。 [11] 同前註，頁42至45。
GPL（General Public License，通用公共許可證）即將進行更新修訂FSF（ Free Software Foundation，自由軟體基金會）於日前公佈，將針對現行版本GPL Version 2進行更新修訂。由於GPL Version 2自1991 年使用至今未曾修改過，隨著軟體開發技術日新月異，新興網路應用議題亦不斷產生，故確時有必要更新修訂。FSF預定在2006年第一週會公布GPL v3草案，詳細說明每一條條文修改的原因及影響，並提供予IT產業、軟體使用者、以及和GPL v3有利害關係的各界人士，共同彙集多方的意見，以期獲得更廣大的效益。 然改寫GPL v3實屬不易。GPL是世界性的授權條款，但現今世界各國的著作權法與專利法等相關法令規範不一，再加上新興的網路應用技術與模式，GPL v3新規範應儘可能將上述要項考量納入增訂，以避免引發爭議；若是相關爭議順利解決的話，預料2007年年初就可將GPL v3擬訂完成。
歐洲資料保護監管機關研議提出「智慧電表系統發展準備建議」研究報告歐洲資料保護監管機關（European Data Protection Supervisor,以下簡稱EDPS）是一個獨立的監督機關，其任務主要在於監督歐盟個人資料的管理程序、提供影響隱私的政策及法制建議、與其他類似機關合作以確保資料的保護。 EDPS於今（2012）年6月8日，針對歐盟執委會於今（2012）年3月9日發布的「智慧電表系統發展準備建議」（Recommendation on preparations for the roll-out of smart metering systems,以下簡稱準備建議）提出相關意見。「智慧電表系統發展準備建議」乃係針對智慧電表部署之資料安全保護及經濟成本效益評估，提出發展準備建議，供會員國於進行相關建置及制定規範時之參考。然EDPS指出，執委會對於智慧電表中個人資料保護的重視雖值得肯定，但並未在準備建議中提供更具體、全面且實用的指導原則。智慧電表系統雖能帶來顯著的利益，但造成個人資料的大量蒐集，可能導致隱私的外洩，或相關數據遭使用於其他目的。 有鑑於相關風險，EDPS認為在準備建議中，應更加強其資料保護的安全措施，至少應包含對資料控制者在處理個人資料保護評估時有強制的要求；此外，是否有必要進行歐盟層級的立法行動亦應予以評估。EDPS提出的意見主要包括：（1）應提出更多有關選擇資料當事人及處理相關資料的法律依據，例如電表讀取的頻率、是否需取得資料當事人同意；（2）應強制「提升隱私保護技術」（privacy-enhancing technologies）的適用，以限縮資料的使用；（3）從資料保護的角度來釐清參與者的責任；（4）關於保存期間的相關原則，例如對於家戶詳細消費資訊的儲存期間、或在針對帳單處理的情形；（5）消費者能直接近取其能源使用數據，提供有效的方式使資料當事人知悉其資料的處理及揭露，提供有關遠端遙控開關之功能等訊息。
德國聯邦政府公布2016年《研究與創新成果報告》德國聯邦教育及研究部於6月1日公布《2016年德國研究與創新報告》（簡稱為BUFI) ，由聯邦教育及研究部部長Johanna Wanka 公布，這份報告每兩年由德國聯邦教育與研究部製作一次，作為2016年的趨勢展望。以下為報告中幾項重點： 德國政府在研發的支出創下歷史新高，在最新統計數據中，就2014年已有近840億歐元投入研究和發展領域，在歐洲位居首位。另外，德國聯邦政府在產業界投入570億歐元，占德國研發總預算約三分之二，已創下歷史新高。而2015年對產業界投入的研發支出又比前一年成長6.4%。而德國勞動總人口約434萬，目前統計從事研發活動的人口約60萬人，首次創下勞動人口比例歷史新紀錄。在歐盟國家中德國本已位於領先地位，在世界競爭力指數(WCI)排名中，德國更是遙遙領先其他國家，在140個國家中排名第六。德國的研究成果亦獲得國際間的肯定，德國在學術界的地位在最近一年持續領先。在德國關於德國科學家的著作，是躋身全球最常被引用的出版物的前十分之一。德國的專利申請數量在世界上排名領先，平均註冊專利數量從2003-2013年成長約9%，在歐盟遙遙領先其他成員國，在世界上專利數量則是美國的兩倍。 德國同時是研發產品輸出為主的國家，特別是在高科技產品輸出方面，即使中國如今名列前茅，德國依舊占據前排位置。在歐盟國家中，德國則位居第一。聯邦政府將研究與創新為財政編列預算優先事項，聯邦政府持續增加研發支出，根據目前2016年的總預算中，針對研發編列了1兆5800億歐元。聯邦政府補助德國在未來重點新興領域的研發及加強中小企業創新能力。聯邦政府在高科技戰略中所列的各大議題氣候變化與能源、健康與營養、移動、安全與通訊都將予以補助。又2015年政府已針對中小企業投資了1兆4500億歐元。各邦政府在研發支出亦占各邦年度總預算比例高達40%，由此可看出德國政府對創新與研發的重視。