為達到京都議定書 將二氧化碳排放量減量控制到 1990 年排放量的 20 %目標, 歐盟持續祭出多項政策措施,近一年來並已實施碳排放證交易機制。 所謂的碳排放證交易機制係指,業者若能成功減少污染即可出售多餘的碳排放證,而排放過多二氧化碳者卻必須購買碳排放證。為達成前揭目標,所有歐盟會員國均應依據歐盟的國家分配計畫( Nationalen Allokationsplan ),於其內國推動實施。 在歐盟架構下,德國政府於日前公布第二階段的 NAP II ,以接續目前第一階段、將持續至 2007 年的 NAP I 。透過 NAP I 及 NAP II ,所有產業-包括能源、工業、交通( Verkehr )、家戶( Haushalte )、以及手工業( Gewerbe )、商業及服務業-均將被要求共同致力於二氧化碳減量的目標,德國政府也一一就各產業訂出排放標準。 基本上, NAP II 係有關德國能源業和工業自 2008 年至 2012 年止有關二氧化碳排放量的基本原則,重點在能源業及工業的二氧化碳排放控制,此乃因這兩個產業每年的二氧化碳排放量高達總排放量的 60 %。 NAP II 對工業的減量要求較為寬厚,只須減少百分之一點二五的排放量,能源業卻必須減量百分之十五。德國環保部長表示,工業面對市場上激烈的競爭,可以少負擔一些氣候保護的成本。此外,為了鼓勵能源業者投資環保設備減少污染,可同時生產電力和熱能的電廠二氧化碳排放量管制將比照工業,反之,老舊的高污染燃煤電廠獲得的碳排放證,比起一般的能源業還要再縮減百分之十五。 雖則 NAP I 、 NAP II 的實施對德國整體產業均形成衝擊,不過這個從環保概念出發的政策,卻也將促使德國產業在未來幾年產生結構性的調整,政府與民間部門為了達到二氧化碳排放減量的目標,必將投入新技術的研究與發展,進而帶動永續、潔能、環境友善( eco-friendly )及綠色科技的發展。
日本創設搭載遠距型系統自駕車基準緩和認定制度日本國土交通省於2017年2月修正《道路運輸車輛安全基準》第55條第1項、第56條第1項及第57條第1項規定之告示,放寬車輛安全基準規定,期望自動駕駛實驗能順利展開。惟在各種自動駕駛實驗中,遠距型自動駕駛系統是透過電信通訊技術,從遠距離外操作車輛行駛,儘管修法後已放寬安全基準規定,但其仍與現行以車內有駕駛為前提而訂定之《道路運輸車輛安全基準》相距甚遠,想一律判斷其符合安全基準有所困難。據此,為使遠距型自駕系統道路實驗能夠順利進行,國土交通省於2018年3月30日創設「搭載遠距型系統自駕車基準緩和認定制度」,明確規定遠距型自駕系統實施道路實驗所需各項手續。 「搭載遠距型系統自駕車基準緩和認定制度」規定項目包括︰申請放寬基準之對象、申請者、申請書及繳交文件、審查項目、條件及限制、基準放寬之認定、車體標示、行政處分等。
模型內記憶化即構成重製--德國慕尼黑地方法院 判決Suno敗訴對AI訓練合理使用之衝擊模型內記憶化即構成重製--德國慕尼黑地方法院 判決Suno敗訴對AI訓練合理使用之衝擊 資訊工業策進會科技法律研究所 2026年08月24日 前言 生成式人工智慧以受著作權保護之作品為訓練資料,其行為是否構成著作權侵害、又能否主張合理使用或文字與資料探勘之限制,是人工智慧快速應用以後在著作權領域最主要的核心爭議。德國慕尼黑第一地方法院於2026年7月31日就 GEMA 控告 Suno 案作成終局判決[1],首度就生成式音樂AI的「模型內記憶化」特點給予著作權定性,並明確指出引據主張文字與資料探勘限制之適用界線。 壹、事件摘要 德國慕尼黑第一地方法院(Landgericht München I,LG München I)於2026年7月31日就德國著作權集體管理團體「音樂表演權與機械性重製權協會」(Gesellschaft für musikalische Aufführungs- und mechanische Vervielfältigungsrechte,下稱 GEMA)訴美國 AI 音樂生成器業者(被告即 Suno)案(案號42 O 763/25)作成終局判決,認定被告將受著作權保護之音樂著作「記憶化」(Memorisierung)於其模型中,構成德國著作權法(Urheberrechtsgesetz,UrhG)第16條第1項之重製,並侵害權利人之「公開再現(öffentliche Wiedergabe)」利用權[2](相當於我國著作權法上提供或傳達著作內容,包括使公眾得於其各自選定之時間或地點,以上述方法接收著作內容的公開傳輸)。 本案系爭標的為六首德語經典流行音樂:「Atemlos durch die Nacht」、「Daddy Cool」、「Rasputin」、「Big in Japan」、「Forever Young」,以及「Mambo No. 5」之副歌。原告主張,使用者僅需輸入原曲歌詞、風格或標題等簡單提示,被告之音樂生成器即會輸出與原曲高度近似之音樂[3]。法院判決被告不得以系爭音樂著作訓練模型、於模型中儲存系爭著作、在德國境內提供以系爭著作訓練之模型,以及製作侵害系爭著作之著作物[4]。本判決尚未確定,被告得提起上訴[5]。 貳、重點說明 一、模型內「記憶化」構成重製 法院認為 AI訓練依時間先後區分為三階段:抽取訓練素材並轉入機器可讀格式,即訓練資料之製作;資料之分析及以後設資訊加以增益,即模型之訓練;其後藉提示與輸出對已訓練模型之利用。整體流程依訓練性質可區分為--「僅為轉入數位格式或為分析目的而作之重製」與「留存於模型中之重製」[6]。本件關鍵在於第二階段:系爭音樂著作以可再現之方式含於模型中,其記憶化即構成著作權上相關之重製[7]。 (一)模型記憶化之概念 法院認定系爭音樂著作含於模型中,得作為輸出而被抽取,此即「記憶化」;其係指模型於訓練時,非特定之參數不僅自訓練資料集抽取資訊,且於訓練後所特定化之參數中,可見對訓練資料之完整承接(Übernahme,意指納入其中)[8]。所謂「完整」指承接超出單純資訊(如模式與相關性)之部分,非指承接之數量須完整或精確,而係至少部分地承接其內容[9]。模型自訓練資料習得統計規律,本身不受著作權法非難,然若所承接者已是著作的內容而非關於著作的資訊,性質不再只是「分析」而是「留存」 [10]。而且,被告之模型格外易受影響,特別擅長把與該提示相符之受著作權保護曲目,以極貼近原曲之方式生成為輸出[11]。換言之,使用者毋須指名要哪一首歌,只要在語音節奏上仿寫得夠像,模型即可能把原曲於輸出中再現。 法院指出記憶化判定標準因模型類型而異,有的研究要求原作與輸出內容同一,有的以部分一致為已足;就生成圖像或音訊之模型,訓練時僅抽取經選取之基礎特徵,細節資訊則被有意捨棄,故要求百分之百精確一致並不實際亦非必要。而且,模型因訓練時採「量化」(Quantisierung)而有意捨棄細節資訊,因此難以想像有一訓練資料被百分之百精確相符的記憶化,不過法院指出這些被捨棄的本就是人類感官難以掌握之細節,所以記憶化之認定應兼採「檢視旋律、節奏、和聲、識別度與風格相似值之自動檢核」及「人為評價」[12]。而記憶化的原因來自於模型自含有著作各種變體之訓練資料學習後,特定後設資料(如標題、類型或歌詞)與著作音樂特性(調性、節奏等)間之統計關聯被強化,造成使用者於提示中使用此等後設資料時,AI以所學得之統計機率導出「音樂特性大致相似」之輸出[13]。至於證明方法,法院認為訓練資料為已知時,得逕以訓練資料與輸出之比對認定;訓練資料不明時,則得借助「熵」(Entropy)與「困惑度」(Perplexity)等參數,探究模型再現一輸出之確定性[14]。 (二)記憶化之事實認定 法院以系爭著作為訓練資料一事並無爭執,而且系爭著作可藉「原歌詞、音樂風格及著作標題」之提示,明顯可辨識地再現於所提出之輸出中,認定本件記憶化已得逕以系爭音樂著作與輸出之比對認定[15] 。法院就被告之抗辯,逐一駁斥: 1. 系爭提示為簡單、開放結果之提示,輸出並非藉操控性提示所誘發:雖然被告主張原告以歷時數月、上千次、高度脈絡化之提示故意誘發記憶化,但法院認為原告固曾為3,779次提示,惟其中僅338次涉及系爭六曲;且同一提示之反覆輸入並未將輸出導向特定方向,此有別於「以評價性或暗示性指定改變脈絡」之誘發性提示[16]。 2. 系爭輸出不應歸類為偶然:鑑於所生成音樂之複雜性、長度及其與訓練資料之廣泛相符,已可排除係偶然出現的相似[17]。 3. 原告每曲僅提出一則輸出並無妨害:因為記憶化之存在,與「以不變提示是否生成同一輸出」無關[18]。 4. 無關訓練資料全部存儲可能性:雖然被告主張其模型儲存空間於數學上不足以精確儲存全部訓練資料,但法院認為重要的僅為系爭六曲是否可辨識地被記憶化[19]。 (三)記憶化含攝於著作權法之重製概念 法院就被告聲請鑑定「系爭著作是否於模型中儲存或記憶化」予以駁回,認為「權重與參數之區分於何範圍構成重製」係法律問題、非鑑定所能及[20]。法院基於下述理由認為記憶化已構成著作權法之重製: 1. 重製含「直接或間接」、「暫時或永久」及「以任何方法及任何形式」,不僅為與原件同一原樣之重製,亦包括以變更形式對著作之固著,例如類比著作之數位化、以 MP3 等壓縮檔格式之儲存,或以縮小版本之儲存[21]。 2. 因為記憶化是透過模型特定化參數中之資料,而該等參數本身又具體存於伺服器上,所以系爭著作之著作權重製要件「具體固著」。至於採何等技術固著並非決定性,模型若因訓練所導出之統計資訊而具「生成可辨識地再現該音樂著作之統計上可能詞元序列(Tokenfolgen)」之能力,即為已足[22]。 3. 固著於模型中之著作,得藉音樂生成器、一具螢幕之終端裝置及簡單、開放結果之提示,讓一般使用者以其可及之技術輔助接觸,感知並不困難。而且,重製不以可反覆之再現為前提,故認為被告要求評估的「特定輸出之機率與可反覆性」,頂多涉「是否存有記憶化」之事實問題,而非「法律意義之重製是否存在」[23]。 二、模型內重製不能主張文字與資料探勘 (一)文字與資料探勘之定義與目的拘束 法院認為「文字與資料探勘」(Text and Data Mining,TDM)係指對數位著作之自動化分析,以自其中取得特別是關於模式、趨勢與相關性之資訊[24]。而自動化分析本身並非著作權上相關之行為,蓋著作中所含非創作性之資訊本身不受保護。但因為文字與資料探勘有時須有可能侵及利用權之準備措施而涉及重製,故 TDM 的核心思想在於此等重製僅為其後分析目的而作,不損及著作人之利用利益,故人工智慧訓練為準備訓練語料之重製行為,為 TDM 所涵蓋[25];惟本案所爭執者,並非此等準備階段之重製,而是訓練後留存於模型內、並得於輸出中再現之重製[26]。 (二)記憶化逾越文字與資料探勘 法院認定系爭著作於模型中之重製並非文字與資料探勘,因為文字與資料探勘旨在抽取單純資訊,將此等資訊轉入模型參數。惟系爭著作之記憶化讓作為訓練資料之音樂著作不僅被分析,而且被承接入模型參數,並損及著作人之利用利益。因此,藉由模型記憶化所生之重製,並非「不觸及利用利益」之第一階段(製作訓練資料),文字與資料探勘限制於此不成立[27]。 (三)不得類推、無合法接觸 法院進一步排除歐盟數位單一市場著作權指令第4條[28]之類推適用,因為該條所規範的是「僅抽取單純資訊、著作本身未被重製」之情形,反之於模型內重製則使著作利用受持續損害;若類推適用,權利人將陷於無保護狀態,明顯有違該指令前言認限制對權利人所生損害僅屬「極微」之考量[29]。因此,法院進一步認為若依技術現狀無從防止訓練資料之記憶化,則以受保護資料訓練模型,即不能適用文字與資料探勘限制[30]。另外,法院亦認為本件被告係破解 Rolling Cipher 保護裝置、以串流側錄(Stream-Ripping)自 YouTube 下載系爭著作;Rolling Cipher 係為阻止下載而設,被告欠缺合法接觸,不能主張德國著作權法第44b條第2項「合法接觸」之規定[31]。 三、模型提供與生成記憶內容構成公開再現的侵害 法院認定藉模型之提供、生成音樂之應用及系爭輸出,造成權利人所享之公開再現權利受侵害[32]。 (一)公開再現之判斷標準與認定 法院指出公開再現之保護範圍,判斷標準在於著作之原創要素於另一標的中可辨識,亦即受保護著作中足以反映著作人人格之創作抉擇,是否可辨識地被承接於被指摘之標的。縱使所涉僅為著作之一小部分,只要該部分本身表達著作人自己之精神創作,即構成侵害[33]。其判斷只須以一般平均音樂聽者之聽覺理解為準[34]。 經比對譜例與聽覺印象,法院認定輸出廣泛承接六曲之旋律、作曲與編曲,各輸出均未與原曲保持充分距離。例如「Big in Japan」創意在於旋律自主歌經前副歌至副歌之三段式遞升,表達蓄積而終告釋放,同時和弦速度加快而傳遞急迫印象;AI輸出重演此整體情況,聽者因而體驗到相同之音樂起伏與情感效果[35]。 (二)被告直接為再現行為並應歸責 法院認為「再現行為」(Handlung der Wiedergabe)應不問技術手段,廣義涵蓋受保護著作之一切傳輸,故認定被告藉模型之提供及生成音樂之應用,經由使用者介面使系爭著作可被存取,模型並儲存於德國境內之邊緣伺服器,故其侵害公開再現之利用權[36]。而且只要有被存取之可能即構成,著作實際是否被存取並非所問[37]。 而且法院認被告應歸類為正犯,蓋其對藉內容輸出所為重製具行為支配(Tatherrschaft)。被告基於訓練決定輸出內容,於再現中扮演核心角色,並決定模型運作方式、訓練資料選取與訓練鋪陳,係自身為公眾開啟著作享用,非僅只是中介角色。且此等內容藉簡單提示即被再現,決定輸出具體內容的不是提示而是被告所運作之模型,被告未將行為支配給予使用者。是以,被告之模型並非僅提供「錄製私人重製所需之器械」,亦不能與不負內容責任之販售平台相比擬[38]。 基於上述理由,法院未採被告主張援引歐盟數位服務法第6條[39]的責任限制,認為該條僅限制「儲存使用者所提供資訊之中介服務」之責任,就服務提供者自身之內容並不適用。本件被告非僅提供技術中立之基礎設施,而係提供模型並製作系爭輸出,其前之提示簡單且未於內容上指定或誘發,故各輸出為被告自身之資訊,就此其扮演主動角色,而非被動中介之外來資訊[40]。 四、合理使用抗辯不成立 針對被告在美國境內之訓練行為,法院依美國著作權法(17 U.S.C.)審酌是否構成合理使用(Fair Use),認為四項因素綜合觀之均不利於被告[41]: (一)利用之目的與性質 本件被告之應用並未生成新音樂著作,而係生成與訓練所用系爭著作實質相似之錄音,音樂著作並未被轉化[42]。被告之利用亦為商業性利用,其重製與原作追求相同的目的[43]。法院並將被告規避 Rolling Cipher、以串流側錄取得訓練資料一節,評價為惡意而顯著不利於被告[44]。 (二)著作之性質 系爭音樂著作為涉著作權核心之創意著作,被告所製作之音樂非僅承接概念,而係承接系爭曲之創意要素,故非如逆向工程般僅為研究功能而重製[45]。 (三)所利用之質量 被告為訓練其模型而對系爭音樂著作為廣泛重製,且未闡明其何以必須依賴此等廣泛重製。法院指出於大量重製之情形,關鍵在於所重製之著作係向公眾提供,抑或僅參與技術上不可見之後端程序;本件與 Google Books 案顯著不同,該案被告並未將重製向公眾提供[46]。 (四)對潛在市場或價值之影響 法院認為訓練所生之輸出構成取代原作之替代物,在「使用者直接消費之娛樂音樂」市場與原作競爭[47]。被告抗辯系爭輸出係在同一提示反覆輸入多次之後才出現,故不足以認定市場影響;而且第四項因素不僅看具體侵害行為之影響,還要看此類利用行為一般而言是否可能對原作市場產生顯著負面效果。本件原告就各曲分別輸入4至176則相同提示始取得系爭輸出,惟被告之音樂生成器於2024年單一月份即錄得220萬名訪客,以此流行程度計,縱使平均每4次或每176次輸入才得到一個與原作實質相似之音樂,累積於市場上之替代效果仍屬顯著[48]。 法院特別強調本件輸入僅含歌詞之提示後生成實質相似輸出,與美國 Bartz、Kadrey 兩案顯著不同,該兩案中訓練資料未實質於輸出中讓使用者可觸及,未因生成實質相似輸出而明顯可看到對市場的影響[49]。權衡一切因素,法院認被告之具體利用不為合理使用所涵蓋,且並非所有模型均記憶化其訓練資料,故於本案件否定合理使用既不妨礙進步或競爭,亦不牴觸模型之發展公益[50]。 參、事件評析 本案立於歐盟資訊社會著作權指令與數位單一市場著作權指令所建構之重製權與文字與資料探勘體系,其「公開再現」與我國由公開播送、公開演出、公開傳輸等權能概念亦並不全等同,而其本身能否維持猶待上訴審檢驗,亦有待後續觀察。但本案的重點在於,把過去類似爭議的爭訟焦點由「訓練是否構成重製」展開為「模型是否留存並於輸出中再現受保護著作」,並進一步加重AI開發與服務提供者被歸責可能性,本文認為可歸納其重點如下: 一、法院未全面否定訓練之資料取用可主張合理使用,但前提須為合法取得 本判決雖判被告不得援引合理使用,惟其論證重心並不在「以受保護著作訓練模型」這件事本身。法院明白表示訓練一個能生成新音樂作品的模型,一般而言確實可能是具轉化性、追求更進一步目的而為合理使用所涵蓋之利用。本案之所以認定不同,是被告之應用並未生成新的音樂作品,而係以系爭輸出生成與訓練所用著作實質相似之錄音,音樂著作因而未受轉化。法院於綜合權衡時亦明言,並非所有模型都會記憶其訓練資料,於本案否定合理使用既不妨礙進步與競爭,也不牴觸公共利益,蓋須取得授權不等於不能訓練。因此,本判決所否定的是「訓練後留存於模型、並得於輸出中再現」,而非概括否定 AI 訓練之資料取得有主張合理使用之餘地。但法院對被告規避 Rolling Cipher、以串流側錄取得訓練資料一節評價為惡意,顯示取得手段是否合法,從目前國際上的司法案例看來,仍是決定是否能主張合理使用的重要環節。 二、能否主張合理使用或文字與資料探勘,取決於一般提示下是否再現實質近似內容 法院認定本案與美國 Bartz、Kadrey 二案顯著不同,關鍵在於本案訓練資料實質地在使用者僅輸入歌詞、未作任何音樂上要求之簡單且結果開放之提示下,即可生成與原曲實質相似之輸出。而文字與資料探勘之審酌,法院並不否認為準備訓練語料所為之第一階段重製落入德國著作權法第44b條範圍,真正逾越限制者是第二階段留存於模型內之記憶化。是以,若訓練所得之模型不會在一般、未經特別設計引導之提示下再現實質近似之內容,主張文字與資料探勘限制或合理使用仍有空間。而且必須注意的是,倘依技術現狀無從防止訓練資料之記憶化,法院認為將受保護資料訓練模型即不為該限制所涵蓋,則「能否防止記憶化」就是AI開發與服務業者重要的技術降險研發重點。 三、AI記憶化的輸出由模型提供者承擔侵權責任 本判決外溢效果最大者為責任歸屬,法院認定AI記憶化的輸出產生的再現行為,是源自於被告以模型與使用者介面,開啟讓公眾對已記憶化著作可存取。就輸出所生之重製,被告因對模型架構、訓練資料選取與訓練設計負責而具行為支配,應歸類為正犯;僅輸入提示觸發生成之使用者,不被視為重製行為人。顯見有關AI責任的認定,法院著重於誰對於結果具有實質主導的控制能力,AI 服務提供者將來可能更難以主張模型只是提供「工具」、由使用者決定產出,也不能主張自己是中立平台而把使用責任歸予使用者。 本案法院判決提出的模型記憶化(留存受保護著作)構成重製的觀點,其重點在於一定程度緩解權利人的內容再現舉證困難,並透過受訓練資料與特徵近似的生成結果判斷記憶化的存在,進一步認定存在重製結果,而且該重製欠缺轉化性、具商業目的、結果對權利人市場造成明顯負面影響。我國對於AI 訓練是否合法的認定,仰賴著作權法第65條合理使用之一般條款判斷,雖須個案、事後之權衡,但從本案法院見解可見,避免AI的記憶與所記憶內容的出現是關鍵點,如技術上可能,業者須溯源在訓練過程採取去記憶化的事前避險措施,以避免成為記憶內容之提供者而須自行承責。 本文著作權屬財團法人資訊工業策進會科技法律研究所所有,如需引用或轉載,請註明出處。 本文同步刊登於TIPS網站(https://www.tips.org.tw) [1]LG München I, Endurteil vom 31.07.2026, Az. 42 O 763/25。 [2]Id., Rn. 239, 262, 317, 375. [3]Id., Rn. 4, 26. [4]Id., Urteilstenor Nr. 1 a) aa), a) bb), b), c). 原告依德國著作權法第19a條公開提供權所為之聲明則遭駁回,法院認一次調取至多需輸入176個相同提示,該調取非於使用者所選定之時間發生;其餘之訴亦經駁回。Rn. 315, 316, 554. [5]Landgericht München I, Pressemitteilung vom 31.07.2026, https://www.justiz.bayern.de/gerichte-und-behoerden/landgericht/muenchen-1/presse/2026/16.php (last visited Aug. 21, 2026). [6]LG München I, supra note 1, Rn. 240. [7]Id., Rn. 241. [8]Id., Rn. 243. [9]Id. [10]Id., Rn. 240, 243, 283, 294. [11]Id., Rn. 244. [12]Id., Rn. 245. [13]Id., Rn. 246. [14]Id., Rn. 247. [15]Id., Rn. 249. [16]Id., Rn. 250-253. [17]Id., Rn. 258. [18]Id., Rn. 259. [19]Id., Rn. 260. [20]Id., Rn. 261. [21]Id., Rn. 263, 264. [22]Id., Rn. 268-270. [23]Id., Rn. 276-279. [24]Id., Rn. 283. [25]Id., Rn. 284, 285. [26]Id., Rn. 289, 293. [27]Id., Rn. 294, 295. [28]Directive (EU) 2019/790 of the European Parliament and of the Council of 17 April 2019 on copyright and related rights in the Digital Single Market and amending Directives 96/9/EC and 2001/29/EC, art. 4, 2019 O.J. (L 130) 92. [29]LG München I, supra note 1, Rn. 299. [30]Id., Rn. 304. [31]Id., Rn. 13, 308, 310. [32]Id., Rn. 317. [33]Id., Rn. 321. [34]Id., Rn. 323. [35]Id., Rn. 197, 349. [36]Id., Rn. 373, 374. [37]Id., Rn. 375, 376. [38]Id., Rn. 399-401. [39]Regulation (EU) 2022/2065 of the European Parliament and of the Council of 19 October 2022 on a Single Market For Digital Services and amending Directive 2000/31/EC (Digital Services Act), art. 6, 2022 O.J. (L 277) 1. [40]LG München I, supra note 1, Rn. 408, 409. [41]Id., Rn. 447-449. [42]Id., Rn. 484-486, 493, 494. [43]Id., Rn. 498-500. [44]Id., Rn. 504-510. [45]Id., Rn. 511, 512. [46]Id., Rn. 514-518. [47]Id., Rn. 519-523. [48]Id., Rn. 27, 492, 527. [49]Id., Rn. 480, 526. [50]Id., Rn. 530, 531.
新加坡代理AI治理示範框架對我國人工智慧基本法落地的啟示新加坡代理AI治理示範框架對我國人工智慧基本法落地的啟示 資訊工業策進會科技法律研究所 2026年07月08日 新加坡資訊通信媒體發展局(Infocomm Media Development Authority,下稱IMDA)於2026年5月20日發布《代理式人工智慧治理示範框架》(Model AI Governance Framework for Agentic AI,下稱示範框架)第1.5版,以事前評估並框限風險、使人類負起有意義的當責、落實技術控制與流程、促成終端使用者盡責四大面向,同時提供真實部署案例,將代理式人工智慧(以下簡稱代理AI)治理的實務具體化[1]。 壹、事件摘要 相較於僅生成內容之生成式人工智慧,代理AI能自主規劃、跨多步驟採取行動,並與其他代理及外部系統互動,代替使用者完成任務。由於其可存取敏感資料並以行動變更所處環境,例如更新客戶資料庫或執行付款,風險型態明顯不同於僅可能產生錯誤輸出者。我國《人工智慧基本法》已於民國114年經立法院三讀通過,以風險為基礎、原則導向、由各主管機關落實之路徑[2]。惟我國現行治理之重心,仍落在AI應用與輸出風險,對於代理採取行動所生之系統性風險存在空缺。新加坡已關注此新興的AI工具發展,更新其代理AI治理框架,新增風險評估因素、代理AI價值鏈、防範自動化偏誤之作法與各類控制之概覽及其選用方式,為組織提供代理AI風險及其管理新興最佳實務的結構化概覽。 貳、重點說明 一、以行動空間與自主性為風險座標 示範框架提出各代理AI雖可能具備相同元件,但每一元件之設計皆可能顯著影響代理能力,故思考代理能做什麼時,應區分兩個概念:一為行動空間(action-space),指代理可採取之行動範圍,取決於其獲准使用之工具及該等工具上之權限;二為自主性(autonomy),指代理朝目標行動時可自行決定如何行動之程度,取決於其指令與人為介入之程度。此兩個要素是後續一切風險評估與控制設計之重要因素,不同的權限與自主程度,將會使性質同為代理AI,歸屬於截然不同之風險程度[3]。 二、風險會因代理功能出現系統性擴大效應 由於代理之風險本質上並非全新,真正變化在於這些風險因代理AI會在真實世界採取行動,速度與複雜度會進一步加劇。示範框架提醒決策的快速會使監督難以在造成危害前即時阻止,而要求人類持續監督又可能導致自動化偏誤與警示疲勞,致某一步驟之錯誤可能於後續步驟間傳播並放大。因此,當系統由多個代理構成,敏感資料被無意記錄、傳遞給安全性較低代理或遭提示注入揭露之可能,會產生無法透過個別測試去預測並防止之行為[4]。 三、代理AI的四大關鍵面向 示範框架就代理AI於下列四大面向,提供組織做為梳理治理重點的關鍵考量。這些面向同時構成一個循環,透過監測發現異常時,即應循環重新評估先前各面向[5]。 (一)事前評估並框限風險:組織可於規劃階段設計適當邊界,以限縮代理之影響範圍,例如限制其對工具與外部系統之存取。組織亦可透過代理身分管理與存取控制等措施,確保代理之行動可追溯、可控制。 (二)使人類負起有意義的當責:「人在迴路」(human-in-the-loop)須加以調整,以因應自動化偏誤,一旦代理AI之部署獲得放行,組織即應採取措施確保人為當責,並應迅速掌握新發展,隨技術演進更新其作法。 (三)落實技術控制與流程:組織應於代理生命週期全程實施技術措施,且由於代理與其環境動態互動、且非所有風險均能事前預見,爰建議逐步推出代理,並於部署後持續監測。 (四)促成終端使用者盡責:應告知使用者代理之行動範圍、資料存取情形,以及使用者自身之責任。組織並應考量另行提供教育訓練,使員工具備管理人機互動、行使有效監督所需之知識,同時維持其專業技藝與基礎技能。 四、風險控制的因應策略 示範框架以行動空間與自主性各對應嚴重程度與發生機率,嚴重程度考量部署領域、對敏感資料與外部系統之存取、行動範圍(讀取相對於寫入)及可回復性;發生機率則考量自主程度、任務複雜度、是否由外部方提供及系統複雜度,並主張以「威脅建模」(threat modeling)即系統化的預設可能的如記憶投毒、工具濫用、權限破壞、間接提示注入等威脅情境,推導出更有針對性的控制與分層防禦方式來強化評估[6]。 在風險控制策略上,示範框架主張系統層確定性控制優於提示層防護,亦即與其提示代理AI不得存取特定工具,不如施加存取控制使該工具根本無法被呼叫。除靜態防護外,框架另強調在設計之初就要納入控制措施,在執行過程中監測並介入,例如如限制防止工具使用過度,或以輸入驗證的方式,在有害動作執行前予以攔截[7]。 五、風險控制的實作技巧 對於風險控制實際方法,示範框架建議可於協定層就善用模型上下文協定(Model Context Protocol,MCP)過濾敏感資料、記錄所有互動或將受信任伺服器列入白名單。同時,該框架以事例建議組織可採取這些控制的技術手段,如:於提示代理AI反思計畫是否遵循指令、記錄計畫與推理供驗證;於執行時要求嚴格輸入格式、以最小權限限制可用工具、對敏感資料庫預設不給寫入權、於鍵入密碼時交還使用者控制;於連結時,將受信任伺服器列入白名單、將程式碼執行沙箱隔離[8]。 六、人為監督之具體化、代理身分治理 針對人為監督方式,該示範框架建議應先界定須經人為核准之查核點或行動界線,尤其在高風險、不可回復或離群行為之前。其次,設計核准之形式,使請求切合脈絡且易於理解、清楚呈現風險,並依情形選擇所需之人為輸入。但最關鍵的是,須將監督的有效性本身納入稽核,包括追蹤人為否定率偏低,或審查回應時間有過短情況時,即意味監督可能已流於形式。須注意自動化偏誤或審查疲勞,並辨識決策明顯偏離常態之「離群」人員,同時訓練監督者辨識代理AI可能出狀況的情況[9]。 而就多代理與跨組織互動帶來之系統性風險,示範框架建議的因應是將身分管理延伸至代理,但其亦指出現行授權系統多為預先定義之靜態範圍,難以因應代理依情境動態變化之細粒度權限;於過渡期間,建議代理AI身分應具備唯一、有所歸屬、依其行事身分加以區別、並建檔集中管理[10]。 七、部署前全流程測試、逐步部署並設計風險示警 框架認為可能透過工具採取不安全或非預期之動作,故應測試整體任務執行、政策遵循度與工具使用正確性,非僅測最終輸出;且應個別測試與合併測試,以掌握多代理協作時之湧現風險。就部署後,框架主張逐步推行,可依使用者、工具與協定、所暴露系統三個面向控制推行範圍並持續監測。在監測面,應決定記錄之內容、優先監測更新資料庫或金融交易等高風險活動、建立警示定義與設計與風險相稱之介入、確保日誌不可竄改以維持稽核軌跡,並建立將監測洞察回饋至訓練與評估之迴路[11]。 參、事件評析 新加坡的代理AI治理框架初版於二〇二六年一月發布,此次更新納入多個組織導入代理AI的實例回饋,擴充多代理系統之系統性風險,補強代理蔓生、協作失敗、串謀與湧現行為之情境。其核心價值在於指出傳統風險止於「內容」,而代理式治理之對象,則係能呼叫工具、寫入系統、執行交易之能行動系統,風險延伸至「行動」及其真實後果。因此,其建議應由單一之模型輸出品質,轉為行動空間與自主性之風險控制。由內容防護轉為系統確定性控制、執行期介入與協定治理;由事後審查轉為將推翻率、回應時間等監督的有效性予以指標與持續改善化。 我國AI基本法於第4條提及問責、人類自主及資料治理原則,適對應示範框架的人為當責、系統層控制與監督指標化建議。同時,依基本法第16條規定數位發展部應參考國際標準或規範,推動與國際介接之人工智慧風險分類框架,並應協助各目的事業主管機關訂定以風險為基礎之管理規範。各目的事業主管機關應視人工智慧應用風險管理之需要,循前項風險分類框架,訂定以風險為基礎之管理規範,並應協助相關產業自行訂定產業指引及行為規範。在代理AI已在生成式AI基礎上,跨入多任務自主執行的功能層次,風險的質與量已因代理功能出現系統性擴大效應的情況下,單純以生成式AI為標的治理規範或指引,顯然其可產生的規範管理或指引提醒的效果,已不足以因應AI的快速發展。 新加坡適時更新的代理AI治理框架,雖然亦表明代理AI的風險並非其所獨有,亦是來自於生成式AI的既有影響,但該框架進一步提醒代理AI將使風險控制更加困難,「人在迴路」(human-in-the-loop)須加以調整,一旦代理AI之部署獲得放行,組織即應採取明確課責、認知建立、訓練技能等措施確保人為當責的「有效性」,並應迅速掌握新發展,運用技術手段強化風險監測。其中喻意深遠的是,該框架就終端使用者所提基礎技藝維持之警示,即代理AI接手任務恐致技能退化與業務永續風險,或許將成為AI基本法下一個階段必須面臨的課題。 本文著作權屬財團法人資訊工業策進會科技法律研究所所有,如需引用或轉載,請註明出處。 本文同步刊登於TIPS網站(https://keid.nat.gov.tw/tips/) [1]新加坡資訊通信媒體發展局(Infocomm Media Development Authority, IMDA),《代理式人工智慧治理示範框架》(Model AI Governance Framework for Agentic AI)第一‧五版,二〇二六年五月二十日發布、同年六月五日更新,https://www.imda.gov.sg/-/media/imda/files/about/emerging-tech-and-research/artificial-intelligence/mgf-for-agentic-ai.pdf(最後瀏覽日:二〇二六年七月六日)。 [2]《人工智慧基本法》,民國一百十四年十二月二十三日經立法院三讀通過,全文二十條,二〇二六年一月公布施行,中央主管機關為國家科學及技術委員會。 [3] 前揭註1,頁8、15(分見「代理設計如何影響各代理之限制與能力」與「判定適合部署代理之使用案例」)。 [4] 同前註,頁11。 [5] 詳前註1,頁3~4。 [6] 同前註,頁15至18。 [7] 同前註,頁33至34。 [8] 同前註,頁30。 [9] 同前註,頁29至32。 [10] 同前註,頁23至24。 [11] 同前註,頁42至45。