用ChatGPT找法院判決？從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限
用ChatGPT找法院判決？從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限
資訊工業策進會科技法律研究所
2023年09月08日
生成式AI是透過研究過去資料，以創造新內容和想法的AI技術，其應用領域包括文字、圖像及影音。以ChatGPT為例，OpenAI自2022年11月30日發布ChatGPT後，短短二個月內，全球月均用戶數即達到1億人，無疑成為民眾日常生活中最容易近用的AI科技。
惟，生成式AI大量使用後，其中的問題也逐漸浮現。例如，ChatGPT提供的回答僅是從所學習的資料中統整歸納，無法保證資料的正確性。Roberto Mata v. Avianca, Inc.案即是因律師利用ChatGPT撰寫訴狀，卻未重新審視其所提供判決之正確性，以致後續引發訴狀中所描述的判決不存在爭議。
壹、事件摘要
Roberto Mata v. Avianca, Inc.案[1]中，原告Roberto Mata於2019年8月搭乘哥倫比亞航空從薩爾瓦多飛往紐約，飛行過程中膝蓋遭空服員的推車撞傷，並於2022年2月向法院提起訴訟，要求哥倫比亞航空為空服員的疏失作出賠償；哥倫比亞航空則主張已超過《蒙特婁公約》（Montreal Convention）第35條所訂之航空器抵達日起兩年內向法院提出損害賠償之請求時效。
R然而，法院審理過程中發現原告訴狀內引用之六個判決無法從判決系統中查詢，進而質疑判決之真實性。原告律師Steven A. Schwartz因而坦承訴狀中引用的六個判決是ChatGPT所提供，並宣稱針對ChatGPT所提供的判決，曾多次向ChatGPT確認該判決之正確性[2]。
貳、生成式AI應用之潛在風險
雖然運用生成式AI技術並結合自身專業知識執行特定任務，可能有助於提升效率，惟，從前述Roberto Mata v. Avianca, Inc.案亦可看出，依目前生成式AI技術之發展，仍可能產生資訊正確性疑慮。以下彙整生成式AI應用之8大潛在風險[3]：
一、能源使用及對環境危害
相較於傳統機器學習，生成式AI模型訓練將耗費更多運算資源與能源。根據波士頓大學電腦科學系Kate Saenko副教授表示，OpenAI的GPT-3模型擁有1,750億個參數，約會消耗1,287兆瓦/時的電力，並排放552噸二氧化碳。亦即，每當向生成式AI下一個指令，其所消耗的能源量相較於一般搜尋引擎將可能高出4至5倍[4]。
二、能力超出預期（Capability Overhang）
運算系統的黑盒子可能發展出超乎開發人員或使用者想像的隱藏功能，此發展將會對人類帶來新的助力還是成為危險的阻力，則會隨著使用者之間的相互作用而定。
三、輸出結果有偏見
生成式AI通常是利用公開資料進行訓練，若輸入資料在訓練時未受監督，而帶有真實世界既存的刻板印象（如語言、種族、性別、性取向、能力、文化等），據此建立之AI模型輸出結果可能帶有偏見。
四、智慧財產權疑慮
生成式AI進行模型訓練時，需仰賴大量網路資料或從其他大型資料庫蒐集訓練資料。然而，若原始資料來源不明確，可能引發取得資料未經同意或違反授權條款之疑慮，導致生成的內容存在侵權風險。
五、缺乏驗證事實功能
生成式AI時常提供看似正確卻與實際情形不符的回覆，若使用者誤信該答案即可能帶來風險。另外，生成式AI屬於持續動態發展的資訊生態系統，當產出結果有偏誤時，若沒有大規模的人為干預恐難以有效解決此問題。
六、數位犯罪增加與資安攻擊
過去由人工產製的釣魚郵件或網站可能受限於技術限制而容易被識破，然而，生成式AI能夠快速建立具高度說服力的各種擬真資料，降低詐騙的進入門檻。又，駭客亦有可能在不熟悉技術的情況下，利用AI進一步找出資安弱點或攻擊方法，增加防禦難度。
七、敏感資料外洩
使用雲端服務提供商所建立的生成式AI時，由於輸入的資料存儲於外部伺服器，若要追蹤或刪除有一定難度，若遭有心人士利用而導致濫用、攻擊或竄改，將可能產生資料外洩的風險。
八、影子AI（Shadow AI）
影子AI係指開發者未知或無法控制之AI使用情境。隨著AI模型複雜性增加，若開發人員與使用者未進行充分溝通，或使用者在未經充分指導下使用 AI 工具，將可能產生無法預期之風險。
參、事件評析
在Roberto Mata v. Avianca, Inc.案中，法院關注的焦點在於律師的行為，而非對AI技術使用的批判。法院認為，隨著技術的進步，利用可信賴的AI工具作為協助用途並無不當，惟，律師應踐行其專業素養，確保所提交文件之正確性[5]。
當AI科技發展逐漸朝向自主與獨立的方向前進，仍需注意生成式AI使用上之侷限。當個人在使用生成式AI時，需具備獨立思考判斷的能力，並驗證產出結果之正確性，不宜全盤接受生成式AI提供之回答。針對企業或具高度專業領域人士使用生成式AI時，除確認結果正確性外，更需注意資料保護及治理議題，例如建立AI工具合理使用情境及加強員工使用相關工具之教育訓練。在成本能負擔的情況下，可選擇透過企業內部的基礎設施訓練AI模型，或是在訓練模型前確保敏感資料已經加密或匿名。並應注意自身行業領域相關法規之更新或頒布，以適時調整資料使用之方式。
雖目前生成式AI仍有其使用之侷限，仍應抱持開放的態度，在技術使用與風險預防之間取得平衡，以能夠在技術發展的同時，更好地學習新興科技工具之使用。
[1] Mata v. Avianca, Inc., 1:22-cv-01461, (S.D.N.Y.).
[2] Benjamin Weiser, Here’s What Happens When Your Lawyer Uses ChatGPT, The New York Times, May 27, 2023, https://www.nytimes.com/2023/05/27/nyregion/avianca-airline-lawsuit-chatgpt.html (last visited Aug. 4, 2023).
[3] Boston Consulting Group [BCG], The CEO’s Roadmap on Generative AI (Mar. 2023), https://media-publications.bcg.com/BCG-Executive-Perspectives-CEOs-Roadmap-on-Generative-AI.pdf (last visited Aug. 29, 2023).
[4] Kate Saenko, Is generative AI bad for the environment? A computer scientist explains the carbon footprint of ChatGPT and its cousins, The Conversation (May 23, 2023.), https://theconversation.com/is-generative-ai-bad-for-the-environment-a-computer-scientist-explains-the-carbon-footprint-of-chatgpt-and-its-cousins-204096 (last visited Sep. 7, 2023).
[5] Robert Lufrano, ChatGPT and the Limits of AI in Legal Research, National Law Review, Volume XIII, Number 195 (Mar. 2023), https://www.natlawreview.com/article/chatgpt-and-limits-ai-legal-research (last visited Aug. 29, 2023).
新加坡代理AI治理示範框架對我國人工智慧基本法落地的啟示 資訊工業策進會科技法律研究所 2026年07月08日 新加坡資訊通信媒體發展局（Infocomm Media Development Authority，下稱IMDA）於2026年5月20日發布《代理式人工智慧治理示範框架》（Model AI Governance Framework for Agentic AI，下稱示範框架）第1.5版，以事前評估並框限風險、使人類負起有意義的當責、落實技術控制與流程、促成終端使用者盡責四大面向，同時提供真實部署案例，將代理式人工智慧(以下簡稱代理AI)治理的實務具體化[1]。 壹、事件摘要 相較於僅生成內容之生成式人工智慧，代理AI能自主規劃、跨多步驟採取行動，並與其他代理及外部系統互動，代替使用者完成任務。由於其可存取敏感資料並以行動變更所處環境，例如更新客戶資料庫或執行付款，風險型態明顯不同於僅可能產生錯誤輸出者。我國《人工智慧基本法》已於民國114年經立法院三讀通過，以風險為基礎、原則導向、由各主管機關落實之路徑[2]。惟我國現行治理之重心，仍落在AI應用與輸出風險，對於代理採取行動所生之系統性風險存在空缺。新加坡已關注此新興的AI工具發展，更新其代理AI治理框架，新增風險評估因素、代理AI價值鏈、防範自動化偏誤之作法與各類控制之概覽及其選用方式，為組織提供代理AI風險及其管理新興最佳實務的結構化概覽。 貳、重點說明 一、以行動空間與自主性為風險座標 示範框架提出各代理AI雖可能具備相同元件，但每一元件之設計皆可能顯著影響代理能力，故思考代理能做什麼時，應區分兩個概念：一為行動空間（action-space），指代理可採取之行動範圍，取決於其獲准使用之工具及該等工具上之權限；二為自主性（autonomy），指代理朝目標行動時可自行決定如何行動之程度，取決於其指令與人為介入之程度。此兩個要素是後續一切風險評估與控制設計之重要因素，不同的權限與自主程度，將會使性質同為代理AI，歸屬於截然不同之風險程度[3]。 二、風險會因代理功能出現系統性擴大效應 由於代理之風險本質上並非全新，真正變化在於這些風險因代理AI會在真實世界採取行動，速度與複雜度會進一步加劇。示範框架提醒決策的快速會使監督難以在造成危害前即時阻止，而要求人類持續監督又可能導致自動化偏誤與警示疲勞，致某一步驟之錯誤可能於後續步驟間傳播並放大。因此，當系統由多個代理構成，敏感資料被無意記錄、傳遞給安全性較低代理或遭提示注入揭露之可能，會產生無法透過個別測試去預測並防止之行為[4]。 三、代理AI的四大關鍵面向 示範框架就代理AI於下列四大面向，提供組織做為梳理治理重點的關鍵考量。這些面向同時構成一個循環，透過監測發現異常時，即應循環重新評估先前各面向[5]。 (一)事前評估並框限風險：組織可於規劃階段設計適當邊界，以限縮代理之影響範圍，例如限制其對工具與外部系統之存取。組織亦可透過代理身分管理與存取控制等措施，確保代理之行動可追溯、可控制。 (二)使人類負起有意義的當責：「人在迴路」（human-in-the-loop）須加以調整，以因應自動化偏誤，一旦代理AI之部署獲得放行，組織即應採取措施確保人為當責，並應迅速掌握新發展，隨技術演進更新其作法。 (三)落實技術控制與流程：組織應於代理生命週期全程實施技術措施，且由於代理與其環境動態互動、且非所有風險均能事前預見，爰建議逐步推出代理，並於部署後持續監測。 (四)促成終端使用者盡責：應告知使用者代理之行動範圍、資料存取情形，以及使用者自身之責任。組織並應考量另行提供教育訓練，使員工具備管理人機互動、行使有效監督所需之知識，同時維持其專業技藝與基礎技能。 四、風險控制的因應策略 示範框架以行動空間與自主性各對應嚴重程度與發生機率，嚴重程度考量部署領域、對敏感資料與外部系統之存取、行動範圍（讀取相對於寫入）及可回復性；發生機率則考量自主程度、任務複雜度、是否由外部方提供及系統複雜度，並主張以「威脅建模」(threat modeling)即系統化的預設可能的如記憶投毒、工具濫用、權限破壞、間接提示注入等威脅情境，推導出更有針對性的控制與分層防禦方式來強化評估[6]。 在風險控制策略上，示範框架主張系統層確定性控制優於提示層防護，亦即與其提示代理AI不得存取特定工具，不如施加存取控制使該工具根本無法被呼叫。除靜態防護外，框架另強調在設計之初就要納入控制措施，在執行過程中監測並介入，例如如限制防止工具使用過度，或以輸入驗證的方式，在有害動作執行前予以攔截[7]。 五、風險控制的實作技巧 對於風險控制實際方法，示範框架建議可於協定層就善用模型上下文協定（Model Context Protocol，MCP）過濾敏感資料、記錄所有互動或將受信任伺服器列入白名單。同時，該框架以事例建議組織可採取這些控制的技術手段，如：於提示代理AI反思計畫是否遵循指令、記錄計畫與推理供驗證；於執行時要求嚴格輸入格式、以最小權限限制可用工具、對敏感資料庫預設不給寫入權、於鍵入密碼時交還使用者控制；於連結時，將受信任伺服器列入白名單、將程式碼執行沙箱隔離[8]。 六、人為監督之具體化、代理身分治理 針對人為監督方式，該示範框架建議應先界定須經人為核准之查核點或行動界線，尤其在高風險、不可回復或離群行為之前。其次，設計核准之形式，使請求切合脈絡且易於理解、清楚呈現風險，並依情形選擇所需之人為輸入。但最關鍵的是，須將監督的有效性本身納入稽核，包括追蹤人為否定率偏低，或審查回應時間有過短情況時，即意味監督可能已流於形式。須注意自動化偏誤或審查疲勞，並辨識決策明顯偏離常態之「離群」人員，同時訓練監督者辨識代理AI可能出狀況的情況[9]。 而就多代理與跨組織互動帶來之系統性風險，示範框架建議的因應是將身分管理延伸至代理，但其亦指出現行授權系統多為預先定義之靜態範圍，難以因應代理依情境動態變化之細粒度權限；於過渡期間，建議代理AI身分應具備唯一、有所歸屬、依其行事身分加以區別、並建檔集中管理[10]。 七、部署前全流程測試、逐步部署並設計風險示警 框架認為可能透過工具採取不安全或非預期之動作，故應測試整體任務執行、政策遵循度與工具使用正確性，非僅測最終輸出；且應個別測試與合併測試，以掌握多代理協作時之湧現風險。就部署後，框架主張逐步推行，可依使用者、工具與協定、所暴露系統三個面向控制推行範圍並持續監測。在監測面，應決定記錄之內容、優先監測更新資料庫或金融交易等高風險活動、建立警示定義與設計與風險相稱之介入、確保日誌不可竄改以維持稽核軌跡，並建立將監測洞察回饋至訓練與評估之迴路[11]。 參、事件評析 新加坡的代理AI治理框架初版於二〇二六年一月發布，此次更新納入多個組織導入代理AI的實例回饋，擴充多代理系統之系統性風險，補強代理蔓生、協作失敗、串謀與湧現行為之情境。其核心價值在於指出傳統風險止於「內容」，而代理式治理之對象，則係能呼叫工具、寫入系統、執行交易之能行動系統，風險延伸至「行動」及其真實後果。因此，其建議應由單一之模型輸出品質，轉為行動空間與自主性之風險控制。由內容防護轉為系統確定性控制、執行期介入與協定治理；由事後審查轉為將推翻率、回應時間等監督的有效性予以指標與持續改善化。 我國AI基本法於第4條提及問責、人類自主及資料治理原則，適對應示範框架的人為當責、系統層控制與監督指標化建議。同時，依基本法第16條規定數位發展部應參考國際標準或規範，推動與國際介接之人工智慧風險分類框架，並應協助各目的事業主管機關訂定以風險為基礎之管理規範。各目的事業主管機關應視人工智慧應用風險管理之需要,循前項風險分類框架,訂定以風險為基礎之管理規範，並應協助相關產業自行訂定產業指引及行為規範。在代理AI已在生成式AI基礎上，跨入多任務自主執行的功能層次，風險的質與量已因代理功能出現系統性擴大效應的情況下，單純以生成式AI為標的治理規範或指引，顯然其可產生的規範管理或指引提醒的效果，已不足以因應AI的快速發展。 新加坡適時更新的代理AI治理框架，雖然亦表明代理AI的風險並非其所獨有，亦是來自於生成式AI的既有影響，但該框架進一步提醒代理AI將使風險控制更加困難，「人在迴路」（human-in-the-loop）須加以調整，一旦代理AI之部署獲得放行，組織即應採取明確課責、認知建立、訓練技能等措施確保人為當責的「有效性」，並應迅速掌握新發展，運用技術手段強化風險監測。其中喻意深遠的是，該框架就終端使用者所提基礎技藝維持之警示，即代理AI接手任務恐致技能退化與業務永續風險，或許將成為AI基本法下一個階段必須面臨的課題。 本文著作權屬財團法人資訊工業策進會科技法律研究所所有，如需引用或轉載，請註明出處。 本文同步刊登於TIPS網站（https://keid.nat.gov.tw/tips/） [1]新加坡資訊通信媒體發展局（Infocomm Media Development Authority, IMDA），《代理式人工智慧治理示範框架》（Model AI Governance Framework for Agentic AI）第一‧五版，二〇二六年五月二十日發布、同年六月五日更新，https://www.imda.gov.sg/-/media/imda/files/about/emerging-tech-and-research/artificial-intelligence/mgf-for-agentic-ai.pdf（最後瀏覽日：二〇二六年七月六日）。 [2]《人工智慧基本法》，民國一百十四年十二月二十三日經立法院三讀通過，全文二十條，二〇二六年一月公布施行，中央主管機關為國家科學及技術委員會。 [3] 前揭註1，頁8、15（分見「代理設計如何影響各代理之限制與能力」與「判定適合部署代理之使用案例」）。 [4] 同前註，頁11。 [5] 詳前註1，頁3~4。 [6] 同前註，頁15至18。 [7] 同前註，頁33至34。 [8] 同前註，頁30。 [9] 同前註，頁29至32。 [10] 同前註，頁23至24。 [11] 同前註，頁42至45。
泰國發布新法令規範數位平臺義務泰國政府於2022年12月22日在政府公報上發布規範數位平臺義務的「數位平臺業務營運通知皇家法令」（the Royal Decree on Operation of Digital Platform Services Which Require Notification，以下簡稱皇家法令），鑒於數位平臺治理的不足與電子交易安全性，泰國政府發布皇家法令用以補充電子交易法（Electronic Transaction Act）之空缺。泰國政府要求數位平臺採取必要措施以符合皇家法令，將於2023年8月20日生效。 皇家法令將「數位平臺」定義為透過電腦網路連結商家、消費者與使用者從而產生電子交易的電子中介平臺。營收達到180萬泰銖的自然人、或營收達到5000萬泰銖的法人、或在泰國境內每月活躍用戶達到5000人的數位平臺需要負擔一定義務，包含向主管機關電子交易發展署（Electronic Transactions Development Agency, ETDA）通報其相關資訊、向ETDA提供年度報告、變更條款的透明度義務、以及境外數位平臺需指定代理人等。此外，數位平臺在提供服務或對數位平臺相關資訊進行修改時，有通知平臺用戶必要資訊的義務。 單一服務營收每年超過3億泰銖、或整體服務營收每年超過10億泰銖、或泰國每月活躍用戶超過總人口10%的數位平臺則為大型數位平臺，大型數位平臺相較於其他數位平臺需要負擔額外義務，除前述數位平臺義務之外，大型數位平臺需要實施風險評估、風險管理措施、系統安全措施與危機管理措施等額外義務。 自歐盟制定數位服務法（Digital Services Act）後，各國陸續建立數位平臺治理制度。經觀察，泰國政府是基於維護電子交易安全目的要求數位平臺負擔相關義務，與歐盟所關注的監督數位平臺與保護使用者基本權利似有所區別，規範對象門檻相比數位服務法來得低，義務也比數位服務法來得少。同時其他亞洲鄰近國家也開始關注數位平臺治理，如南韓、新加坡等也在研擬數位平臺治理法制，各國數位平臺治理法制之發展與走向值得持續觀察。
新加坡金融管理局發布《資料治理與管理實務》資訊文件新加坡金融管理局（Monetary Authority of Singapore，下文簡稱MAS）於2024年5月29日發布《資料治理與管理實務》（Data Governance and Management Practices: Observations and Supervisory Expectations From Thematic Inspections）文件。此文件係根據MAS於2022年至2023年期間針對國內系統性重要銀行（Domestic Systemically Important Banks，下文簡稱D-SIBs）進行「資料治理與管理架構」的主題式檢查結果加以研究與分析而作成，其內容包含MAS對於資料治理的期望、受檢銀行的優良實踐範例及缺失，希望未參與檢查的銀行與金融機構也能根據這份文件進行適當的改善措施。 MAS在《資料治理與管理實務》文件中提出關於五大主題的監管期待，簡要說明如下： 1.董事會和高階管理層的監督： 董事會和高階管理層應加強監督資料治理。例如，定期向董事會報告資料管理領域的重要問題；高階管理層應即時獲得準確且完整的相關資訊，並對資料風險進行分析。 2.設置資料管理單位： 銀行應建立資料管理單位，並為資料管理辦公室提供明確的任務授權，以利其監測資料的品質。 3.資料品質之管理與控制： 銀行應建立資料品質管理架構與流程，以確保資料在整個生命週期中是有品質的。例如，建立有效控制資料流的機制；建立資料品質指標或計分卡；使用終端使用者運算工具（end-user computing tools）處理資料時，應納入風險評估和控制架構來管理。 4.資料品質控制資料之問題識別與升級： 銀行應制定升級標準和行動計畫，以改善資料品質。另外MAS也建議銀行應該要有強大且完整的資料譜系（data lineage）來辨識資料問題並將之改善。 5.BCBS 239原則之擴大適用：BCBS 239原則係巴賽爾銀行監理委員會（the Basel Committee on Banking Supervision）第239號規範：《有效風險資料聚合及風險報告原則》（Principles for effective risk data aggregation and risk reporting），適用於全球的系統性重要銀行（Global Systemically Important Banks），巴賽爾銀行監理委員會同時建議D-SIBs宜遵循此原則，因此MAS亦要求新加坡境內7家D-SIBs須遵守BCBS 239原則的相關規範。此外，MAS仍期待各銀行與金融機構可以擴大BCBS 239原則的適用範圍，例如在範圍內報告（in-scope reports，或稱主要風險報告）中納入反洗錢、稅務管理等面向。由於金融服務是一個由資料驅動的產業，資料已然是金融業重要的戰略資產。MAS期盼這份文件能夠讓所有銀行及金融機構提升其資料治理能力，並針對內部的問題進行改善。
加拿大發布國家智財戰略強化國際競爭力2018年4月26日世界知識產權日（World Intellectual Property Day），加拿大政府發布新的國家智財戰略。透過提昇加拿大企業的智財意識與加強智財服務業者監管，促進加拿大的創新生態體系。這次加拿大的智財戰略以法制、意識與工具為三大重點，內容涵括推動修法消除法制障礙、推動國民智財意識提昇、提供智財交易平台等工具給企業運用。其中法制障礙特別強調加拿大政府將立法防止國外專利蟑螂惡意運用智慧財產權的行為，以保障其企業在國際的競爭力。 其實臺灣在2012年由於產業面臨國際競爭，行政院就制定有「國家智財戰略綱領」，針對智財透過創造、運用流通、保護及人才等面向，擬訂戰略重點執行為期4年的智財行動計畫，目標引導產學研提升智財競爭力。今年智財行動計畫已執行完畢，但未來前瞻發展仍需擬定我國智財發展的戰略，沒有戰略性的布局與智財保護，政府投注再多經費，也無法幫助企業增加在國際市場上的競爭力。 期待臺灣政府部門能夠參考國際上，包括加拿大的智財戰略做法，廣納產業、學界更多的好意見，規劃我國智財政策接下來的10步棋該怎麼下。