用ChatGPT找法院判決？從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限
用ChatGPT找法院判決？從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限
資訊工業策進會科技法律研究所
2023年09月08日
生成式AI是透過研究過去資料，以創造新內容和想法的AI技術，其應用領域包括文字、圖像及影音。以ChatGPT為例，OpenAI自2022年11月30日發布ChatGPT後，短短二個月內，全球月均用戶數即達到1億人，無疑成為民眾日常生活中最容易近用的AI科技。
惟，生成式AI大量使用後，其中的問題也逐漸浮現。例如，ChatGPT提供的回答僅是從所學習的資料中統整歸納，無法保證資料的正確性。Roberto Mata v. Avianca, Inc.案即是因律師利用ChatGPT撰寫訴狀，卻未重新審視其所提供判決之正確性，以致後續引發訴狀中所描述的判決不存在爭議。
壹、事件摘要
Roberto Mata v. Avianca, Inc.案[1]中，原告Roberto Mata於2019年8月搭乘哥倫比亞航空從薩爾瓦多飛往紐約，飛行過程中膝蓋遭空服員的推車撞傷，並於2022年2月向法院提起訴訟，要求哥倫比亞航空為空服員的疏失作出賠償；哥倫比亞航空則主張已超過《蒙特婁公約》（Montreal Convention）第35條所訂之航空器抵達日起兩年內向法院提出損害賠償之請求時效。
R然而，法院審理過程中發現原告訴狀內引用之六個判決無法從判決系統中查詢，進而質疑判決之真實性。原告律師Steven A. Schwartz因而坦承訴狀中引用的六個判決是ChatGPT所提供，並宣稱針對ChatGPT所提供的判決，曾多次向ChatGPT確認該判決之正確性[2]。
貳、生成式AI應用之潛在風險
雖然運用生成式AI技術並結合自身專業知識執行特定任務，可能有助於提升效率，惟，從前述Roberto Mata v. Avianca, Inc.案亦可看出，依目前生成式AI技術之發展，仍可能產生資訊正確性疑慮。以下彙整生成式AI應用之8大潛在風險[3]：
一、能源使用及對環境危害
相較於傳統機器學習，生成式AI模型訓練將耗費更多運算資源與能源。根據波士頓大學電腦科學系Kate Saenko副教授表示，OpenAI的GPT-3模型擁有1,750億個參數，約會消耗1,287兆瓦/時的電力，並排放552噸二氧化碳。亦即，每當向生成式AI下一個指令，其所消耗的能源量相較於一般搜尋引擎將可能高出4至5倍[4]。
二、能力超出預期（Capability Overhang）
運算系統的黑盒子可能發展出超乎開發人員或使用者想像的隱藏功能，此發展將會對人類帶來新的助力還是成為危險的阻力，則會隨著使用者之間的相互作用而定。
三、輸出結果有偏見
生成式AI通常是利用公開資料進行訓練，若輸入資料在訓練時未受監督，而帶有真實世界既存的刻板印象（如語言、種族、性別、性取向、能力、文化等），據此建立之AI模型輸出結果可能帶有偏見。
四、智慧財產權疑慮
生成式AI進行模型訓練時，需仰賴大量網路資料或從其他大型資料庫蒐集訓練資料。然而，若原始資料來源不明確，可能引發取得資料未經同意或違反授權條款之疑慮，導致生成的內容存在侵權風險。
五、缺乏驗證事實功能
生成式AI時常提供看似正確卻與實際情形不符的回覆，若使用者誤信該答案即可能帶來風險。另外，生成式AI屬於持續動態發展的資訊生態系統，當產出結果有偏誤時，若沒有大規模的人為干預恐難以有效解決此問題。
六、數位犯罪增加與資安攻擊
過去由人工產製的釣魚郵件或網站可能受限於技術限制而容易被識破，然而，生成式AI能夠快速建立具高度說服力的各種擬真資料，降低詐騙的進入門檻。又，駭客亦有可能在不熟悉技術的情況下，利用AI進一步找出資安弱點或攻擊方法，增加防禦難度。
七、敏感資料外洩
使用雲端服務提供商所建立的生成式AI時，由於輸入的資料存儲於外部伺服器，若要追蹤或刪除有一定難度，若遭有心人士利用而導致濫用、攻擊或竄改，將可能產生資料外洩的風險。
八、影子AI（Shadow AI）
影子AI係指開發者未知或無法控制之AI使用情境。隨著AI模型複雜性增加，若開發人員與使用者未進行充分溝通，或使用者在未經充分指導下使用 AI 工具，將可能產生無法預期之風險。
參、事件評析
在Roberto Mata v. Avianca, Inc.案中，法院關注的焦點在於律師的行為，而非對AI技術使用的批判。法院認為，隨著技術的進步，利用可信賴的AI工具作為協助用途並無不當，惟，律師應踐行其專業素養，確保所提交文件之正確性[5]。
當AI科技發展逐漸朝向自主與獨立的方向前進，仍需注意生成式AI使用上之侷限。當個人在使用生成式AI時，需具備獨立思考判斷的能力，並驗證產出結果之正確性，不宜全盤接受生成式AI提供之回答。針對企業或具高度專業領域人士使用生成式AI時，除確認結果正確性外，更需注意資料保護及治理議題，例如建立AI工具合理使用情境及加強員工使用相關工具之教育訓練。在成本能負擔的情況下，可選擇透過企業內部的基礎設施訓練AI模型，或是在訓練模型前確保敏感資料已經加密或匿名。並應注意自身行業領域相關法規之更新或頒布，以適時調整資料使用之方式。
雖目前生成式AI仍有其使用之侷限，仍應抱持開放的態度，在技術使用與風險預防之間取得平衡，以能夠在技術發展的同時，更好地學習新興科技工具之使用。
[1] Mata v. Avianca, Inc., 1:22-cv-01461, (S.D.N.Y.).
[2] Benjamin Weiser, Here’s What Happens When Your Lawyer Uses ChatGPT, The New York Times, May 27, 2023, https://www.nytimes.com/2023/05/27/nyregion/avianca-airline-lawsuit-chatgpt.html (last visited Aug. 4, 2023).
[3] Boston Consulting Group [BCG], The CEO’s Roadmap on Generative AI (Mar. 2023), https://media-publications.bcg.com/BCG-Executive-Perspectives-CEOs-Roadmap-on-Generative-AI.pdf (last visited Aug. 29, 2023).
[4] Kate Saenko, Is generative AI bad for the environment? A computer scientist explains the carbon footprint of ChatGPT and its cousins, The Conversation (May 23, 2023.), https://theconversation.com/is-generative-ai-bad-for-the-environment-a-computer-scientist-explains-the-carbon-footprint-of-chatgpt-and-its-cousins-204096 (last visited Sep. 7, 2023).
[5] Robert Lufrano, ChatGPT and the Limits of AI in Legal Research, National Law Review, Volume XIII, Number 195 (Mar. 2023), https://www.natlawreview.com/article/chatgpt-and-limits-ai-legal-research (last visited Aug. 29, 2023).
行動健康是指利用行動應用程式與智慧手機、平板、或無線裝置等行動裝置結合，運用這些裝置的核心功能，如聲音、簡訊、定位系統、藍芽、或3G、4G行動通信技術等，作為健康照護用途，以提升傳統照護品質與管理健康，減少醫療成本耗費。倘若行動應用程式具有醫療用途，可用於診斷、治療、預防疾病等，則屬於醫療器材，且該應用程式通常為醫療器材之附件，或與行動裝置結合使用而成為醫療器材，對此則稱之為行動醫療。 隨著智慧聯網(IoT)的應用，國際間對於行動健康與醫療的發展日益著重，除了鼓勵創新研發之外，也紛紛制訂法規政策因應，包括美國食品藥物管理局(FDA)在2013年9月公布行動醫療應用程式指導原則(Mobile Medical Application, Guidance For Industry and Food and Drug Administration Staff)，並於2015年2月修訂；歐盟2012年提出eHealth 行動計畫(eHealth Action Plan 2012-2020)，並在2014年4月針對行動健康的管理規範議題開放各類相關人士進行公共諮詢，後續在2015年1月公布諮詢結果。我國亦在2015年4月公布醫用軟體分類參考指引，以提供產業開發產品、申請查驗登記之參考。 未來，行動健康與醫療的發展將持面臨挑戰，相關問題包括行動健康與行動醫療之區分標準、行動醫療應用程式與傳統醫療軟體之監管差異、行動健康應用程式開發使用之自律性規範、使用者或病人隱私與個人資料保護、以及在研發過程中涉及的研究倫理等議題。
韓國法務部宣布自2012年開始，將要求外國人入境韓國時須登錄指紋韓國法務部於2009年9月21日宣布將於2009年10月向韓國國會提交入出境管理法修正案，要求任何超過17歲之外國人於入境韓國時，必須提供食指指紋及個人臉部照片；如不提供，則不許其入境。而如該外國人欲滯留韓國境內超過3個月時，則必須登錄其所有手指的指紋。通過該方式所取得之指紋及照片，將依韓國個人資料保護法統一存放於「外國人生理資訊資料庫」(database of physical information on foreigners)。 據韓國法務部官員表示，之所以提出此法律修正案，是因為近來韓國已面臨嚴重的非法入境、移民犯罪、外國人犯罪以及恐怖主義之威脅，因此重新實施指紋及生理資訊登錄制度顯然刻不容緩。 不過，值得注意的是：原先韓國入出境管理法要求滯留韓國境內超過1年之外國人需提供所有指紋的規定，已於2004因被認為有侵害個人隱私之嫌疑而遭韓國國會廢止。然而此次不僅捲土重來，而且還擴大到短期滯留旅客亦須提供指紋及照片。相關立法措施是否真能順利通過，似乎仍有待進一步觀察。
歐洲個人資料保護委員會發布數位服務法與一般資料保護規則相互影響指引「歐洲資料保護委員會」（European Data Protection Board, EDPB）於2025年9月12日發布《數位服務法》（Digital Services Act, DSA）與《一般資料保護規則》（General Data Protection Regulation, GDPR）交互影響指引（Guidelines 3/2025 on the interplay between the DSA and the GDPR）。這份指引闡明中介服務提供者（intermediary service providers）於履行DSA義務時，應如何解釋與適用GDPR。 DSA與GDPR如何交互影響？ 處理個人資料的中介服務提供者，依據處理個資的目的和方式或僅代表他人處理個資，會被歸屬於GDPR框架下的控制者或處理者。此時，DSA與GDPR產生法規適用的交互重疊，服務提供者需同時符合DSA與GDPR的要求。具體而言，DSA與GDPR產生交互影響的關鍵領域為以下： 1.非法內容檢測（Illegal content detection）：DSA第7條鼓勵中介服務提供者主動進行自發性調查，或採取其他旨在偵測、識別及移除非法內容或使其無法存取的措施。指引提醒，中介服務提供者為此採取的自發性行動仍須遵守GDPR要求的處理合法性，而此時最可能援引的合法性依據為GDPR第6條第1項第f款「合法利益」（legitimate interests）。 2.通知與申訴等程序：DSA所規定設通報與處置機制及內部申訴系統，於運作過程中如涉及個資之蒐集與處理，應符GDPR之規範。服務提供者僅得蒐集履行該義務所必須之個人資料，並應確保通報機制不以通報人識別為強制要件。若為確認非法內容之性質或依法須揭露通報人身分者，應事前告知通報人。同時，DSA第20條與第23條所規範之申訴及帳號停權程序，均不得損及資料主體所享有之權利與救濟可能。 3.禁止誤導性設計模式（Deceptive design patterns）：DSA第25條第1項規範，線上平台服務提供者不得以欺騙或操縱其服務接收者之方式，或以其他實質扭曲或損害其服務接收者作出自由且知情決定之能力之方式，設計、組織或營運其線上介面，但DSA第25條第2項則宣示，線上平台提供者之欺瞞性設計行為若已受GDPR規範時，不在第25條第1項之禁止範圍內。指引指出，於判斷該行為是否屬 GDPR 適用範圍時，應評估其是否涉及個人資料之處理，及該設計對資料主體行為之影響是否與資料處理相關。指引並以具體案例補充，區分屬於及不屬於 GDPR 適用之欺瞞性設計模式，以利實務適用。 4.廣告透明度要求：DSA第26條為線上平台提供者制定有關廣告透明度的規範，並禁止基於GDPR第9條之特別類別資料投放廣告，導引出平台必須揭露分析之參數要求，且平台服務提供者應提供處理個資的法律依據。 5.推薦系統：線上平台提供者得於其推薦系統（recommender systems）中使用使用者之個人資料，以個人化顯示內容之順序或顯著程度。然而，推薦系統涉及對個人資料之推論及組合，其準確性與透明度均引發指引的關切，同時亦伴隨大規模及／或敏感性個人資料處理所帶來之潛在風險。指引提醒，不能排除推薦系統透過向使用者呈現特定內容之行為，構成GDPR第22條第1項的「自動化決策」（automated decision-making），提供者於提供不同推薦選項時，應平等呈現各項選擇，不得以設計或行為誘導使用者選擇基於剖析之系統。使用者選擇非剖析選項期間，提供者不得繼續蒐集或處理個人資料以進行剖析。 6.未成年人保護：指引指出，為了符合DSA第28條第1項及第2項所要求於線上平台服務中實施適當且相稱的措施，確保未成年人享有高度的隱私、安全與保障，相關的資料處理得以GDPR第6條第1項第c款「履行法定義務」作為合法依據。 7.系統性風險管理：DSA第34與35條要求超大型在線平台和在線搜索引擎的提供商管理其服務的系統性風險，包括非法內容的傳播以及隱私和個人數據保護等基本權利的風險。而指引進一步提醒，GDPR第25條所設計及預設之資料保護，可能有助於解決這些服務中發現的系統性風險，並且如果確定系統性風險，根據GDPR，應執行資料保護影響評估。 EDPB與其他監管機關的後續？ EDPB的新聞稿進一步指出，EDPB正在持續與其監管關機關合作，以釐清跨法規監理體系並確保個資保護保障之一致性。後續進一步的跨法域的指引，包含《數位市場法》（Digital Markets Act, DMA）、《人工智慧法》（Artificial Intelligence Act, AIA）與GDPR的相互影響指引，正在持續制定中，值得後續持續留意。
臉書（Facebook）被控告違反和解協議臉書（Facebook）在2011年11月與美國聯邦貿易委員會（Federal Trade Commission, FTC）針對用戶資料的隱私權問題達成和解，包括第一：臉書必須遵守其自行提出的隱私權政策；第二：臉書必須要事先得到使用者的同意，才能更改其資訊分享的設定；第三：當使用者刪除其帳號的三十天內，臉書必須實際上使任何人不能再取得相關資訊；第四：必須對新產品或服務建立並維護其隱私權保障的計畫；第五：在未來二十年內，臉書必須由獨立的第三人稽查其隱私政策，以維護使用者的資訊隱私保護。 但是公益團體電子隱私資訊中心（Electronic Privacy Information Center, EPIC）最近指控臉書的Timeline功能違反和解協議的第二條。在EPIC的指控中表示：臉書必須要事先得到使用者的同意，才能更改其資訊分享的設定。而Timeline的功能在2011年12月6日上線後，完全改變了使用者揭露其資訊的方式，強化使用者張貼的重要事件，並回溯資料至該使用者第一次登入臉書時（甚至更早至第一次輸入相關資料時）。雖然臉書提供七天時間給使用者可以編輯Timeline，刪除不希望公開的照片或貼文，但幾乎沒有人知道。EPIC因而要求FTC介入調查。