用ChatGPT找法院判決?從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限

用ChatGPT找法院判決?從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限

資訊工業策進會科技法律研究所
2023年09月08日

生成式AI是透過研究過去資料,以創造新內容和想法的AI技術,其應用領域包括文字、圖像及影音。以ChatGPT為例,OpenAI自2022年11月30日發布ChatGPT後,短短二個月內,全球月均用戶數即達到1億人,無疑成為民眾日常生活中最容易近用的AI科技。

惟,生成式AI大量使用後,其中的問題也逐漸浮現。例如,ChatGPT提供的回答僅是從所學習的資料中統整歸納,無法保證資料的正確性。Roberto Mata v. Avianca, Inc.案即是因律師利用ChatGPT撰寫訴狀,卻未重新審視其所提供判決之正確性,以致後續引發訴狀中所描述的判決不存在爭議。

壹、事件摘要

Roberto Mata v. Avianca, Inc.案[1]中,原告Roberto Mata於2019年8月搭乘哥倫比亞航空從薩爾瓦多飛往紐約,飛行過程中膝蓋遭空服員的推車撞傷,並於2022年2月向法院提起訴訟,要求哥倫比亞航空為空服員的疏失作出賠償;哥倫比亞航空則主張已超過《蒙特婁公約》(Montreal Convention)第35條所訂之航空器抵達日起兩年內向法院提出損害賠償之請求時效。

R然而,法院審理過程中發現原告訴狀內引用之六個判決無法從判決系統中查詢,進而質疑判決之真實性。原告律師Steven A. Schwartz因而坦承訴狀中引用的六個判決是ChatGPT所提供,並宣稱針對ChatGPT所提供的判決,曾多次向ChatGPT確認該判決之正確性[2]

貳、生成式AI應用之潛在風險

雖然運用生成式AI技術並結合自身專業知識執行特定任務,可能有助於提升效率,惟,從前述Roberto Mata v. Avianca, Inc.案亦可看出,依目前生成式AI技術之發展,仍可能產生資訊正確性疑慮。以下彙整生成式AI應用之8大潛在風險[3]

一、能源使用及對環境危害

相較於傳統機器學習,生成式AI模型訓練將耗費更多運算資源與能源。根據波士頓大學電腦科學系Kate Saenko副教授表示,OpenAI的GPT-3模型擁有1,750億個參數,約會消耗1,287兆瓦/時的電力,並排放552噸二氧化碳。亦即,每當向生成式AI下一個指令,其所消耗的能源量相較於一般搜尋引擎將可能高出4至5倍[4]

二、能力超出預期(Capability Overhang)

運算系統的黑盒子可能發展出超乎開發人員或使用者想像的隱藏功能,此發展將會對人類帶來新的助力還是成為危險的阻力,則會隨著使用者之間的相互作用而定。

三、輸出結果有偏見

生成式AI通常是利用公開資料進行訓練,若輸入資料在訓練時未受監督,而帶有真實世界既存的刻板印象(如語言、種族、性別、性取向、能力、文化等),據此建立之AI模型輸出結果可能帶有偏見。

四、智慧財產權疑慮

生成式AI進行模型訓練時,需仰賴大量網路資料或從其他大型資料庫蒐集訓練資料。然而,若原始資料來源不明確,可能引發取得資料未經同意或違反授權條款之疑慮,導致生成的內容存在侵權風險。

五、缺乏驗證事實功能

生成式AI時常提供看似正確卻與實際情形不符的回覆,若使用者誤信該答案即可能帶來風險。另外,生成式AI屬於持續動態發展的資訊生態系統,當產出結果有偏誤時,若沒有大規模的人為干預恐難以有效解決此問題。

六、數位犯罪增加與資安攻擊

過去由人工產製的釣魚郵件或網站可能受限於技術限制而容易被識破,然而,生成式AI能夠快速建立具高度說服力的各種擬真資料,降低詐騙的進入門檻。又,駭客亦有可能在不熟悉技術的情況下,利用AI進一步找出資安弱點或攻擊方法,增加防禦難度。

七、敏感資料外洩

使用雲端服務提供商所建立的生成式AI時,由於輸入的資料存儲於外部伺服器,若要追蹤或刪除有一定難度,若遭有心人士利用而導致濫用、攻擊或竄改,將可能產生資料外洩的風險。

八、影子AI(Shadow AI)

影子AI係指開發者未知或無法控制之AI使用情境。隨著AI模型複雜性增加,若開發人員與使用者未進行充分溝通,或使用者在未經充分指導下使用 AI 工具,將可能產生無法預期之風險。

參、事件評析

在Roberto Mata v. Avianca, Inc.案中,法院關注的焦點在於律師的行為,而非對AI技術使用的批判。法院認為,隨著技術的進步,利用可信賴的AI工具作為協助用途並無不當,惟,律師應踐行其專業素養,確保所提交文件之正確性[5]

當AI科技發展逐漸朝向自主與獨立的方向前進,仍需注意生成式AI使用上之侷限。當個人在使用生成式AI時,需具備獨立思考判斷的能力,並驗證產出結果之正確性,不宜全盤接受生成式AI提供之回答。針對企業或具高度專業領域人士使用生成式AI時,除確認結果正確性外,更需注意資料保護及治理議題,例如建立AI工具合理使用情境及加強員工使用相關工具之教育訓練。在成本能負擔的情況下,可選擇透過企業內部的基礎設施訓練AI模型,或是在訓練模型前確保敏感資料已經加密或匿名。並應注意自身行業領域相關法規之更新或頒布,以適時調整資料使用之方式。

雖目前生成式AI仍有其使用之侷限,仍應抱持開放的態度,在技術使用與風險預防之間取得平衡,以能夠在技術發展的同時,更好地學習新興科技工具之使用。

[1] Mata v. Avianca, Inc., 1:22-cv-01461, (S.D.N.Y.).

[2] Benjamin Weiser, Here’s What Happens When Your Lawyer Uses ChatGPT, The New York Times, May 27, 2023, https://www.nytimes.com/2023/05/27/nyregion/avianca-airline-lawsuit-chatgpt.html (last visited Aug. 4, 2023).

[3] Boston Consulting Group [BCG], The CEO’s Roadmap on Generative AI (Mar. 2023), https://media-publications.bcg.com/BCG-Executive-Perspectives-CEOs-Roadmap-on-Generative-AI.pdf (last visited Aug. 29, 2023).

[4] Kate Saenko, Is generative AI bad for the environment? A computer scientist explains the carbon footprint of ChatGPT and its cousins, The Conversation (May 23, 2023.), https://theconversation.com/is-generative-ai-bad-for-the-environment-a-computer-scientist-explains-the-carbon-footprint-of-chatgpt-and-its-cousins-204096 (last visited Sep. 7, 2023).

[5] Robert Lufrano, ChatGPT and the Limits of AI in Legal Research, National Law Review, Volume XIII, Number 195 (Mar. 2023), https://www.natlawreview.com/article/chatgpt-and-limits-ai-legal-research  (last visited Aug. 29, 2023).

※ 用ChatGPT找法院判決?從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限, 資訊工業策進會科技法律研究所, https://stli.iii.org.tw/article-detail.aspx?d=9050&no=64&tp=1 (最後瀏覽日:2025/11/18)
引註此篇文章
你可能還會想看
FCC將關閉北卡地區之類比無線電視

  完成700MHz頻段之頻譜拍賣後,美國通訊傳播委員會(Federal Communications Commission, FCC)亦開始積極著手準備頻譜回收工作,以期能夠順利在2009年2月17日全面關閉類比無線電視訊號,完成無線電視數位化及頻譜回收。   為能提早發現關閉類比無線電視訊號可能帶來之問題或影響,FCC於2008年5月8日宣布將在2008年9月8日中午12時正式關閉北卡威明頓(Wilmington)地區之類比無線電視訊號。在此次關閉類比無線電視訊號過程中,FCC將和無線電視、有線電視等相關業者及協會密切合作,以解決過程中發生的任何問題。FCC之所以選擇威明頓地區率先關閉無線類比電視訊號,主要原因之一在於威明頓地區的四大電視網均已完成數位化工作,並自願提前關閉類比無線電視訊號。   針對於FCC此一測試計畫,美國國家廣播電視協會(National Association of Broadcasters, NAB)亦發表聲明表示支持與配合。除此之外,NAB同時表示此次試驗的結果必須被審慎檢驗,並用於決定如何關閉全國的類比無線電視訊號。NAB希望有關單位透過此次試驗之結果,決定明年全面關閉類比無線電視訊號時,聯邦、州及地方政府應如何合作、數位機上盒供應、有線電視及衛星電視業者之配合等相關問題。

歐盟更新資料法問答助釐清適用範圍,企業宜因應調整資料管理機制

歐盟委員會(European Commission)於 2025年2月3日因應將於2025年9月12日施行的資料法(Data Act),就其常見問題說明進行補充與更新為1.2版(Frequently Asked Questions on the Data Act,下稱FAQs),以協助企業面對資料法施行後的挑戰。 於新版FAQs中就資料法進行補充說明,以助企業了解資料法之適用範圍,就資料法所稱之聯網裝置與服務,聯網裝置泛指可以連上網路的裝置,包含智慧型手機,並僅限於由使用者所擁有的聯網裝置,另就聯網服務則須具備雙向資料傳遞且須與聯網產品的操作功能有影響之服務。 就資料持有者有義務提供之資料適用範圍,僅限於聯網裝置與相關服務所產出的原始資料與預處理資料(原始但可用),資料持有者就原始資料或預處理資料進行加值所產生資料,如經分析所產生之衍生資料、經投入重大資源進行清理之資料等,則不在共享義務之範圍內,另就資料的內容有其他法律保護亦不在資料法的範疇中,如網路攝影機之照片/影片有受著作權法保護係屬於資料內容,網路攝影機之使用模式/電池狀態/照明強度等資料才是資料法所規範之資料,惟須留意若影像之內容非屬著作權保護之標的,如網路攝影機因具感測功能而自動就影像判斷是否異常現象或提供建議,此類影像因不具人類創意而不受著作權保護,仍屬資料法所涵蓋範圍。 於FAQs之解釋中,就資料法實際操作與預期有所差異,歐盟委員會後續亦會整合與數位資料相關之法規,如建立資料聯盟策略(Data Union Strategy),以助於企業促進數位資料的使用與共享。國內廠商若有提供歐盟客戶相關聯網設備與服務時,須留意內部資料管理制度能否滿足資料法要求,確保組織有因應相關法規議題的變化進行制度的變更,如何將外部議題與資料管理制度連結,可參資策會科法所創意智財中心就數位資料管理機制所公布之《重要數位資料治理暨管理制度規範(EDGS)》,將組織營運所在國別之法規範變動納入關注之外部議題,並設定對應之資料政策與目標,建立符合法令規範之資料管理制度,如是否得以識別為資料法所適用之資料等,以確保組織資料管理機制符合法令要求。 本文為資策會科法所創智中心完成之著作,非經同意或授權,不得為轉載、公開播送、公開傳輸、改作或重製等利用行為。 本文同步刊登於TIPS網站(https://www.tips.org.tw)

美國發起「投資報酬計畫」(Return on Investment Initiative, ROI)全面檢視科研成果商業化法制

  川普總統在2018年4月發布「總統管理議程」(President’s Management Agenda)將國家科研成果商業化之發展視為「聯邦跨機關優先目標」(Cross-Agency Priority Goal, CAP Goal)。為維持美國全球科技創新領先地位,美國政府每年投資約1500億美元於各聯邦所屬大學與研究機構進行科技研究。美國國家標準與技術中心(NIST)與白宮科技政策辦公室(OSTP)聯合發起「投資報酬計畫」(Return on Investment Initiative, ROI),宗旨為釋放美國創新(Unleashing American Innovation),讓政府投資預算發揮科研補助之最大效益。   計畫目的包括:1.評估現行政府從事技術移轉指導原則,檢視應予以維持與待改革之處;2.吸引後期研發、商業化與先進製程的技轉投資,並降低法規阻礙;3.支持科研創新產官學合作模式與技轉機制;4.有效移除技轉阻礙以利加速技轉成效,並聚焦於國家重要產業發展的新興措施;5.評估聯邦政府資金運用指標成效;6.創造激勵學研機構提升技轉成效之誘因。   NIST調查指出,阻礙技轉發展之原因包括:1.技轉與智慧財產權協商所涉高額交易與時間成本;2.不同政府單位對法規之解釋、適用與實踐意見相歧;3.智慧財產權保護不足、技術授權使用限制與政府行使介入權(march-in rights)限制;4.公務員參與科技新創與衍生企業(spin-off)限制與利益衝突規範。此ROI計畫已於2018年7月30日完成各方意見徵詢,總計共104份。預計於2019年年初,做出完整分析報告與法制建議。

美國眾議院提出「深度偽造究責法案」

  隨著人工智慧(AI)視覺處理技術愈發進步,圖片及影像的篡改也更加普遍,甚至使人難以分辨其真偽,例如一款應用程式(App)-DeepNude便是運用此技術,將人穿著衣服的照片改作為裸體圖像;此種AI技術因對於社會及被偽造之當事人權益影響重大,進而引起美國立法者的極度重視。   日前維吉尼亞州為了遏止如DeepNude此類的應用程式,便於該州之《復仇式色情法》(Revenge porn law),擴大復仇式色情的涵蓋範圍,使其包括利用機器學習技術偽造他人照片或影像等深度偽造(Deepfake)行為。   但該深度偽造技術之應用,實際上並不僅侷限於情色領域,故美國紐約州眾議員伊薇特.克拉克(Yvette Clarke)於本年度(2019年)6月即提出了《深度偽造究責法案》(Defending Each and Every Person from False Appearances by Keeping Exploitation Subject to Accountability Act of 2019., DEEP FAKES Accountability Act.)草案,本草案令人關注之處除配合現今科技發展特性為規定外,另針對實務上曾衍生的爭議問題,特別將外國勢力或其代理人(foreign power or an agent thereof)介入美國國內政治行為,如意圖影響美國國內公共政策辯論(domestic public policy debate)、選舉或其他不得合法從事的行為等納入規範。   依該草案之內容,其所規範者包含視聽紀錄、視覺紀錄及錄音紀錄;意即任何人使用任何技術或設備製作假冒他人名義(false personation)的紀錄,並於網路或其他知識傳播管道發布者,應有浮水印、口頭陳述或是於文本中有簡要說明等揭露,以使他人得清楚知悉該紀錄並非真實,如行為人有違反該揭露規定並利用深度偽造1.意圖羞辱或騷擾(包含性內容);2.意圖造成暴力、身體傷害、煽動暴亂、外交衝突或干預選舉;3.詐欺犯罪等,將可處5年以下有期徒刑,或科或併科罰金。另若行為人修改或刪除他人揭露之資訊而有上述意圖或犯罪行為者,亦可處以同等罰責。

TOP