用ChatGPT找法院判決？從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限
用ChatGPT找法院判決？從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限
資訊工業策進會科技法律研究所
2023年09月08日
生成式AI是透過研究過去資料，以創造新內容和想法的AI技術，其應用領域包括文字、圖像及影音。以ChatGPT為例，OpenAI自2022年11月30日發布ChatGPT後，短短二個月內，全球月均用戶數即達到1億人，無疑成為民眾日常生活中最容易近用的AI科技。
惟，生成式AI大量使用後，其中的問題也逐漸浮現。例如，ChatGPT提供的回答僅是從所學習的資料中統整歸納，無法保證資料的正確性。Roberto Mata v. Avianca, Inc.案即是因律師利用ChatGPT撰寫訴狀，卻未重新審視其所提供判決之正確性，以致後續引發訴狀中所描述的判決不存在爭議。
壹、事件摘要
Roberto Mata v. Avianca, Inc.案[1]中，原告Roberto Mata於2019年8月搭乘哥倫比亞航空從薩爾瓦多飛往紐約，飛行過程中膝蓋遭空服員的推車撞傷，並於2022年2月向法院提起訴訟，要求哥倫比亞航空為空服員的疏失作出賠償；哥倫比亞航空則主張已超過《蒙特婁公約》（Montreal Convention）第35條所訂之航空器抵達日起兩年內向法院提出損害賠償之請求時效。
R然而，法院審理過程中發現原告訴狀內引用之六個判決無法從判決系統中查詢，進而質疑判決之真實性。原告律師Steven A. Schwartz因而坦承訴狀中引用的六個判決是ChatGPT所提供，並宣稱針對ChatGPT所提供的判決，曾多次向ChatGPT確認該判決之正確性[2]。
貳、生成式AI應用之潛在風險
雖然運用生成式AI技術並結合自身專業知識執行特定任務，可能有助於提升效率，惟，從前述Roberto Mata v. Avianca, Inc.案亦可看出，依目前生成式AI技術之發展，仍可能產生資訊正確性疑慮。以下彙整生成式AI應用之8大潛在風險[3]：
一、能源使用及對環境危害
相較於傳統機器學習，生成式AI模型訓練將耗費更多運算資源與能源。根據波士頓大學電腦科學系Kate Saenko副教授表示，OpenAI的GPT-3模型擁有1,750億個參數，約會消耗1,287兆瓦/時的電力，並排放552噸二氧化碳。亦即，每當向生成式AI下一個指令，其所消耗的能源量相較於一般搜尋引擎將可能高出4至5倍[4]。
二、能力超出預期（Capability Overhang）
運算系統的黑盒子可能發展出超乎開發人員或使用者想像的隱藏功能，此發展將會對人類帶來新的助力還是成為危險的阻力，則會隨著使用者之間的相互作用而定。
三、輸出結果有偏見
生成式AI通常是利用公開資料進行訓練，若輸入資料在訓練時未受監督，而帶有真實世界既存的刻板印象（如語言、種族、性別、性取向、能力、文化等），據此建立之AI模型輸出結果可能帶有偏見。
四、智慧財產權疑慮
生成式AI進行模型訓練時，需仰賴大量網路資料或從其他大型資料庫蒐集訓練資料。然而，若原始資料來源不明確，可能引發取得資料未經同意或違反授權條款之疑慮，導致生成的內容存在侵權風險。
五、缺乏驗證事實功能
生成式AI時常提供看似正確卻與實際情形不符的回覆，若使用者誤信該答案即可能帶來風險。另外，生成式AI屬於持續動態發展的資訊生態系統，當產出結果有偏誤時，若沒有大規模的人為干預恐難以有效解決此問題。
六、數位犯罪增加與資安攻擊
過去由人工產製的釣魚郵件或網站可能受限於技術限制而容易被識破，然而，生成式AI能夠快速建立具高度說服力的各種擬真資料，降低詐騙的進入門檻。又，駭客亦有可能在不熟悉技術的情況下，利用AI進一步找出資安弱點或攻擊方法，增加防禦難度。
七、敏感資料外洩
使用雲端服務提供商所建立的生成式AI時，由於輸入的資料存儲於外部伺服器，若要追蹤或刪除有一定難度，若遭有心人士利用而導致濫用、攻擊或竄改，將可能產生資料外洩的風險。
八、影子AI（Shadow AI）
影子AI係指開發者未知或無法控制之AI使用情境。隨著AI模型複雜性增加，若開發人員與使用者未進行充分溝通，或使用者在未經充分指導下使用 AI 工具，將可能產生無法預期之風險。
參、事件評析
在Roberto Mata v. Avianca, Inc.案中，法院關注的焦點在於律師的行為，而非對AI技術使用的批判。法院認為，隨著技術的進步，利用可信賴的AI工具作為協助用途並無不當，惟，律師應踐行其專業素養，確保所提交文件之正確性[5]。
當AI科技發展逐漸朝向自主與獨立的方向前進，仍需注意生成式AI使用上之侷限。當個人在使用生成式AI時，需具備獨立思考判斷的能力，並驗證產出結果之正確性，不宜全盤接受生成式AI提供之回答。針對企業或具高度專業領域人士使用生成式AI時，除確認結果正確性外，更需注意資料保護及治理議題，例如建立AI工具合理使用情境及加強員工使用相關工具之教育訓練。在成本能負擔的情況下，可選擇透過企業內部的基礎設施訓練AI模型，或是在訓練模型前確保敏感資料已經加密或匿名。並應注意自身行業領域相關法規之更新或頒布，以適時調整資料使用之方式。
雖目前生成式AI仍有其使用之侷限，仍應抱持開放的態度，在技術使用與風險預防之間取得平衡，以能夠在技術發展的同時，更好地學習新興科技工具之使用。
[1] Mata v. Avianca, Inc., 1:22-cv-01461, (S.D.N.Y.).
[2] Benjamin Weiser, Here’s What Happens When Your Lawyer Uses ChatGPT, The New York Times, May 27, 2023, https://www.nytimes.com/2023/05/27/nyregion/avianca-airline-lawsuit-chatgpt.html (last visited Aug. 4, 2023).
[3] Boston Consulting Group [BCG], The CEO’s Roadmap on Generative AI (Mar. 2023), https://media-publications.bcg.com/BCG-Executive-Perspectives-CEOs-Roadmap-on-Generative-AI.pdf (last visited Aug. 29, 2023).
[4] Kate Saenko, Is generative AI bad for the environment? A computer scientist explains the carbon footprint of ChatGPT and its cousins, The Conversation (May 23, 2023.), https://theconversation.com/is-generative-ai-bad-for-the-environment-a-computer-scientist-explains-the-carbon-footprint-of-chatgpt-and-its-cousins-204096 (last visited Sep. 7, 2023).
[5] Robert Lufrano, ChatGPT and the Limits of AI in Legal Research, National Law Review, Volume XIII, Number 195 (Mar. 2023), https://www.natlawreview.com/article/chatgpt-and-limits-ai-legal-research (last visited Aug. 29, 2023).
英國資訊委員辦公室（Information Commissioner’s Office，簡稱 ICO）在2013年聖誕節前夕，呼籲消費者在聖誕節或其他重要節日使用行動裝置下載app應用程式時，需特別注意個人資料之保護，以防止遭受惡意攻擊而導致個人資料外洩。因為根據相關資料顯示，光是2012年聖誕節當天，即有32億8000萬個app應用程式被消費者下載使用。從ICO公布的ㄧ項調查結果中發現，有62%的app使用者，關心app供應商會透過何種方式使用他們的個人資料；此外，有49%的app使用者，會因為隱私權問題而拒絕下載使用app應用程式。 為提升消費者個人資料保護意識，降低個資外洩事件發生，並促進app產業於當地之發展，ICO提供下列5項使用要點：1.只下載官方或備受信賴app商店所提供之app應用程式，盡量避免使用來源不明之app應用程式；2.下載app應用程式前，應詳細閱讀該app所公告之相關資訊，並確認願意提供相關資料作為後續可能之使用；3.養成定期移除不需要之app應用程式的好習慣，降低資料外洩可能；4建議安裝手機防毒軟體或相關程式，協助並確保手機之安全性；5.於手機轉售、丟棄或回收之前，將手機恢復成「原廠設定」之狀態，以確保手機不會留下任何個人相關之資訊。ICO期以透過使用要點之提供，協助消費者於享受app應用程式之樂趣時，仍能確保個人資料行蹤之掌握，以達個人資料之保護。
日本提出設置沙盒制度的法律修正案日本內閣府於2018年3月13日閣議決定，提出「國家戰略特別區域法」的法律修正案，以特定的地域為限，創設供自駕車、無人載具等技術測試與實踐運行之用的沙盒制度。 該法案為使這些前所未有、具高度革新性的近未來技術用於實地測試時，在確保監督管道的前提下，能獲得迅速、具彈性且友善的法律環境配合，將上開技術測試運行的事前管制強度降至最低，而以強化事後查核機制取代之，期望藉此增進產業的國際競爭力，並建立國際性經濟活動據點。 依該法案的設計，將因沙盒制度而受惠的技術實踐行為類型，包含下列五種：（1）部分未符合道路運送車輛法第41條技術基準要求的汽車運行；（2）自駕車運行而似會影響一般交通之情形；（3）在具影響一般飛航安全之虞的空域內、或在住宅密集地區上空令無人機飛行之行為；（4）未依照航空法所定之列舉方式運行無人機之行為；（5）因上開（1）至（4）之行為而必須使用無線設備的情形。 於現行法的規範下，上開技術測試行為本係牴觸法規範而不被允許、或需依各該特別法規定於個案例外取得許可或使用執照的情形。 但經沙盒制度修正案的調整後，該些測試行為只要是在經國家戰略特別區域會議制定、且受內閣總理大臣等相關機關主管認可的個別技術實證區域計劃之框架下提出，並交由獲得認定的業者進行，即可例外容許其得以不須滿足（1）當中的法定技術基準要求，或直接擬制其已獲得許可；此外，就必須使用無線設備的情況，要求總理大臣盡速發給執照予符合資格的業者。 於事後查核機制，則在區域會議設置由第三方組成的技術實證評價委員會，對各該區域計劃進行評價。
歐盟支付服務指令(PSD)將進行翻修，然而進程延宕歐盟執委會於2013年7月24日提出支付服務指令(Payment Service Directive，簡稱PSD，Directive 2007/64/EC)修正案，簡稱PSD2。最新消息指出，PSD2將無法在本屆歐洲議會審議完成，需於五月歐洲議會改選後，在新一屆的議會中再行審議。 PSD公布施行於2007年，該法降低支付服務市場新参進者(也就是非銀行業者)進入市場的困難度，活絡支付市場的競爭，提供消費者更多的選擇，並強化消費者保護。PSD讓「支付」在歐盟內更快更方便。 本次歐盟提出修正案，其修正目標包含： 一、提高歐盟支付市場的整合以及效率。 二、提升支付服務提供者(包含新参進者)的營運範圍。 三、確保強化消費者保護以及資訊安全。 四、鼓勵支付服務的減價。 五、促進共通技術規範以及互用性(interoperability)的形成。 實際做法，PSD2大致有以下修正重點: 一、因應科技發展及時代變遷，擴大適用範圍： (一)提出「第三方支付服務提供人(third party payment provider，簡稱TPP)」之名詞定義，並量身打造規範。原本PSD的附件(Annex)中關於「支付服務」定義，第七款「透過電信、數位或IT設備接收支付服務使用者的指示執行支付交易，而支付的進行也是透過電信或IT系統或網路營運人，而且只是擔任服務使用者與商品或服務提供人的中間媒介。」已可包含目前我國俗稱的第三方支付服務。本次PSD2則在第14條第11項中提出「第三方支付服務提供者」此名詞，對照於附件一(Annex I)第七款中，係指： 基於存取其他支付服務提供人之支付帳戶而提供下述服務- 1.發動支付服務； 2.帳戶資訊服務。」 例如透過TPP與銀行帳戶界接，從銀行帳戶扣款進行支付；或者是與信用卡界接，進行扣款。 依照PSD2，TPP為支付服務提供者(Payment service providers, 簡稱PSPs)，因此也需要取得各國主管機關之許可方能進行營業。 (二)透過手機或者是其它IT裝置進行的行動支付，如果單筆支付金額超過50歐元，或者是月支付金額超過200歐元，也應適用PSD2。 二、強化資安要求： (一)歐盟將另提出「網路及資訊安全指令(Direvctive on Network and Information Security，簡稱NIS Directive)」，PSPs應遵循之。 (二)歐洲銀行管理局(European Banking Authority，簡稱EBA)將與歐洲央行(ECB)密切合作，提出資訊安全指導原則(guidelines)，以輔導PSPs建立並執行、監控資安以確保PSPs符合資安事件處理要求。 三、強化消費者保護： (一)PSD對於支付服務應揭露資訊的規定只適用於支付全部在歐盟境內發生者，PSD2則要求對於涉及第三國以及外幣之交易，只要有任一支付服務提供者是在歐盟境內，都要適用。 (二)只要支付未經授權，應立即退款給付款方。 (三)保障無條件退款權，但是如果商品或服務已經完成消費則不在此限，例如下載的影片已經被觀賞完畢。 (四)無需另外授權的交易(如免輸入帳密之交易)，額度從原本的150歐元下調為50歐元。 對於客訴爭議，PSPs應於15個工作日內以書面回覆。
美國FDA更新軟體預驗證計畫，以明確化數位健康科技的軟體器材審查流程美國食品及藥物管理局（the U.S. Food and Drug Administration）於2019年1月更新「軟體預驗證計畫（Software Precertification Program）」及公布該計畫「2019測試方案（2019 Test Plan）」與「運作模式初版（A Working Model v1.0）」，使審查流程更加明確及具有彈性，並促進技術創新發展。 在更新計畫中，FDA聚焦於審查架構的說明，包含考量納入醫療器材新審查途徑（De Novo pathway）及優良評估流程（Excellence Appraisal process）的審查內涵。在優良評估流程中，相關研發人員須先行提供必要資訊，以供主管機關驗證該軟體器材之確效（validation）及是否已符合現行優良製造規範（current good manufacturing practices）與品質系統規範（Quality System Regulation, QSR）的要求。而由於以上標準已在此程序中先行驗證，主管機關得簡化上市前審查的相關查證程序，並加速查驗流程。 在測試方案中，則說明FDA將同時對同一軟體器材進行軟體預驗證審查及傳統審查，並比較兩種途徑的結果，以確保軟體預驗證審查途徑中的每一個程序都可以有效評估產品上市前所應符合的必要標準。最後，FDA綜合軟體預驗證計畫及測試方案，提出「運作模式初版」，以協助相關人員了解現行的規範架構與處理程序，並期待藉此促進技術開發者及主管機關間的溝通。FDA並於運作模式文件中提到，將在2019年3月8日前持續接受相關人員的建議，而未來將參酌建議調整計畫內容。