用ChatGPT找法院判決？從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限
用ChatGPT找法院判決？從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限
資訊工業策進會科技法律研究所
2023年09月08日
生成式AI是透過研究過去資料，以創造新內容和想法的AI技術，其應用領域包括文字、圖像及影音。以ChatGPT為例，OpenAI自2022年11月30日發布ChatGPT後，短短二個月內，全球月均用戶數即達到1億人，無疑成為民眾日常生活中最容易近用的AI科技。
惟，生成式AI大量使用後，其中的問題也逐漸浮現。例如，ChatGPT提供的回答僅是從所學習的資料中統整歸納，無法保證資料的正確性。Roberto Mata v. Avianca, Inc.案即是因律師利用ChatGPT撰寫訴狀，卻未重新審視其所提供判決之正確性，以致後續引發訴狀中所描述的判決不存在爭議。
壹、事件摘要
Roberto Mata v. Avianca, Inc.案[1]中，原告Roberto Mata於2019年8月搭乘哥倫比亞航空從薩爾瓦多飛往紐約，飛行過程中膝蓋遭空服員的推車撞傷，並於2022年2月向法院提起訴訟，要求哥倫比亞航空為空服員的疏失作出賠償；哥倫比亞航空則主張已超過《蒙特婁公約》（Montreal Convention）第35條所訂之航空器抵達日起兩年內向法院提出損害賠償之請求時效。
R然而，法院審理過程中發現原告訴狀內引用之六個判決無法從判決系統中查詢，進而質疑判決之真實性。原告律師Steven A. Schwartz因而坦承訴狀中引用的六個判決是ChatGPT所提供，並宣稱針對ChatGPT所提供的判決，曾多次向ChatGPT確認該判決之正確性[2]。
貳、生成式AI應用之潛在風險
雖然運用生成式AI技術並結合自身專業知識執行特定任務，可能有助於提升效率，惟，從前述Roberto Mata v. Avianca, Inc.案亦可看出，依目前生成式AI技術之發展，仍可能產生資訊正確性疑慮。以下彙整生成式AI應用之8大潛在風險[3]：
一、能源使用及對環境危害
相較於傳統機器學習，生成式AI模型訓練將耗費更多運算資源與能源。根據波士頓大學電腦科學系Kate Saenko副教授表示，OpenAI的GPT-3模型擁有1,750億個參數，約會消耗1,287兆瓦/時的電力，並排放552噸二氧化碳。亦即，每當向生成式AI下一個指令，其所消耗的能源量相較於一般搜尋引擎將可能高出4至5倍[4]。
二、能力超出預期（Capability Overhang）
運算系統的黑盒子可能發展出超乎開發人員或使用者想像的隱藏功能，此發展將會對人類帶來新的助力還是成為危險的阻力，則會隨著使用者之間的相互作用而定。
三、輸出結果有偏見
生成式AI通常是利用公開資料進行訓練，若輸入資料在訓練時未受監督，而帶有真實世界既存的刻板印象（如語言、種族、性別、性取向、能力、文化等），據此建立之AI模型輸出結果可能帶有偏見。
四、智慧財產權疑慮
生成式AI進行模型訓練時，需仰賴大量網路資料或從其他大型資料庫蒐集訓練資料。然而，若原始資料來源不明確，可能引發取得資料未經同意或違反授權條款之疑慮，導致生成的內容存在侵權風險。
五、缺乏驗證事實功能
生成式AI時常提供看似正確卻與實際情形不符的回覆，若使用者誤信該答案即可能帶來風險。另外，生成式AI屬於持續動態發展的資訊生態系統，當產出結果有偏誤時，若沒有大規模的人為干預恐難以有效解決此問題。
六、數位犯罪增加與資安攻擊
過去由人工產製的釣魚郵件或網站可能受限於技術限制而容易被識破，然而，生成式AI能夠快速建立具高度說服力的各種擬真資料，降低詐騙的進入門檻。又，駭客亦有可能在不熟悉技術的情況下，利用AI進一步找出資安弱點或攻擊方法，增加防禦難度。
七、敏感資料外洩
使用雲端服務提供商所建立的生成式AI時，由於輸入的資料存儲於外部伺服器，若要追蹤或刪除有一定難度，若遭有心人士利用而導致濫用、攻擊或竄改，將可能產生資料外洩的風險。
八、影子AI（Shadow AI）
影子AI係指開發者未知或無法控制之AI使用情境。隨著AI模型複雜性增加，若開發人員與使用者未進行充分溝通，或使用者在未經充分指導下使用 AI 工具，將可能產生無法預期之風險。
參、事件評析
在Roberto Mata v. Avianca, Inc.案中，法院關注的焦點在於律師的行為，而非對AI技術使用的批判。法院認為，隨著技術的進步，利用可信賴的AI工具作為協助用途並無不當，惟，律師應踐行其專業素養，確保所提交文件之正確性[5]。
當AI科技發展逐漸朝向自主與獨立的方向前進，仍需注意生成式AI使用上之侷限。當個人在使用生成式AI時，需具備獨立思考判斷的能力，並驗證產出結果之正確性，不宜全盤接受生成式AI提供之回答。針對企業或具高度專業領域人士使用生成式AI時，除確認結果正確性外，更需注意資料保護及治理議題，例如建立AI工具合理使用情境及加強員工使用相關工具之教育訓練。在成本能負擔的情況下，可選擇透過企業內部的基礎設施訓練AI模型，或是在訓練模型前確保敏感資料已經加密或匿名。並應注意自身行業領域相關法規之更新或頒布，以適時調整資料使用之方式。
雖目前生成式AI仍有其使用之侷限，仍應抱持開放的態度，在技術使用與風險預防之間取得平衡，以能夠在技術發展的同時，更好地學習新興科技工具之使用。
[1] Mata v. Avianca, Inc., 1:22-cv-01461, (S.D.N.Y.).
[2] Benjamin Weiser, Here’s What Happens When Your Lawyer Uses ChatGPT, The New York Times, May 27, 2023, https://www.nytimes.com/2023/05/27/nyregion/avianca-airline-lawsuit-chatgpt.html (last visited Aug. 4, 2023).
[3] Boston Consulting Group [BCG], The CEO’s Roadmap on Generative AI (Mar. 2023), https://media-publications.bcg.com/BCG-Executive-Perspectives-CEOs-Roadmap-on-Generative-AI.pdf (last visited Aug. 29, 2023).
[4] Kate Saenko, Is generative AI bad for the environment? A computer scientist explains the carbon footprint of ChatGPT and its cousins, The Conversation (May 23, 2023.), https://theconversation.com/is-generative-ai-bad-for-the-environment-a-computer-scientist-explains-the-carbon-footprint-of-chatgpt-and-its-cousins-204096 (last visited Sep. 7, 2023).
[5] Robert Lufrano, ChatGPT and the Limits of AI in Legal Research, National Law Review, Volume XIII, Number 195 (Mar. 2023), https://www.natlawreview.com/article/chatgpt-and-limits-ai-legal-research (last visited Aug. 29, 2023).
歐盟執委會（European Commission）於去（2011）年10月公布一份「建立共通性智慧讀表功能要項及影響因素（Set of Common Functional Requirements of the Smart Meter）」調查報告，對於各會員國發出問券，調查對於建設智慧讀表（智慧電網SmartGrid系統首要基礎）之經濟評估要項，藉此瞭解各國於推動建立，所考量之優先因素及差異性，並藉此彙整出「成本效益評估項目（Cost Benefit Assessments , CBAs)」，建立歐盟層級之共通性功能要項，以利後續其他會員國援用導入之政策工具。 以及，歐盟執委會所屬聯合研究中心（Joint Research Centre , JRC），於去（2011）年7月亦公布一份「歐盟智慧電網關鍵挑戰及發展趨勢（Smart Grids: New Study Highlights Key Challenges and Trends in the EU）」研究報告，指出歐盟各會員國現今已投入219個智慧電網計畫，總經費達5.5兆歐元以上，並設立展示（Showcases）網站，供外界瞭解推動進度；此研究報告並指出，要健全智慧電網發展，除了大規模投入經費資源建設外，更應重視各會員國對於原既有能源管制規範之體檢審視；該報告呼籲各會員國應積極建立新世代智慧電網規範，因為於現有管制規範下，常導向各國推動實務，多僅強調可降低系統運作支出成本，而不是直接朝向升級為智慧性整合體系而發展，於現有監管模式（Current Regulatory Models）下，縱使眾多投資於智慧電網，亦無法出現突破性發展。該報告並倡議，新世代管理規範，至少應建立服務平台運作原則及遵守規範，並導引效益之公平分享。 此外，歐盟執委會於去（2011）年4月間，關於智慧電網發展重要法制政策之關鍵議題，亦曾發布「智慧電網創新發展（Smart Grids: From Innovation to Deployment）」政策文件，其中明列發展智慧電網，首要應重視資料隱私及安全性議題（Addressing data privacy and security issues），亦必須建立共通性標準（Developing common European Smart Grids standards），及提供優惠政策措施，並且應確保消費者資料接取（Access）權利，保證維持公開競爭市場並鼓勵增進消費者利益之各項發展。
芬蘭財政部通過《虛擬貨幣供應商法》，以防制洗錢及資恐行為近來虛擬貨幣已成為國際洗錢犯罪工具，為有效防制洗錢及打擊資助恐怖主義行為，芬蘭財政部（Ministry of Finance）宣布通過虛擬貨幣供應商法（The Act on virtual currency providers），於2019年5月1日生效，立法目的係為了將虛擬貨幣供應商納入洗錢防制監管範圍，並由芬蘭金融監管局（Financial Supervisory Authority, FIN-FSA）擔任虛擬貨幣供應商之註冊機構及監管機構。 根據該法案，虛擬貨幣交易所、託管錢包供應商及虛擬貨幣發行者皆須向芬蘭金融監管局進行註冊，以確保遵守相關法規要求，包括：（1）供應商應具可靠性；（2）保存和保護客戶資金；（3）須將客戶資金與自有資金隔離；（4）服務行銷規則；（5）遵守防制洗錢與打擊資助恐怖主義（AML / CFT）規定。虛擬貨幣供應商須符合法規要求才能在芬蘭營運，若未符合法規，將被禁止其業務活動，並依規定科以罰金。 另外，該法案之基本框架，是以2018年5月歐盟宣布通過之「第五號洗錢防制指令」（the Fifth Anti-Money Laundering Directive）為基礎，該指令要求所有歐盟成員國必須於2020年1月10日前，將虛擬貨幣相關服務納入國內AML / CFT監管框架中，以降低洗錢和恐怖主義融資風險。然而，芬蘭金融監管局表示，虛擬貨幣交易風險高，儘管制訂新法案，投資者保護問題仍無法完全解決，呼籲投資者仍須注意虛擬貨幣相關服務所涉及之風險，應謹慎為之。
「英國開放網路守則」英國2011年3月由寬頻政策顧問小組(Broadband Stakeholder Group, BSG)公布促進流量管理政策透明化守則，2012年並依該流量管理政策守則公布「開放網路守則」，此即英國之網路中立性規範，ISP業者必須遵守流量管理規定且不得阻礙服務競爭。2016年6月，BSG公布新修訂之開放網路守則（Open Internet Code of Practice），支持業者以開放網路做為原則，網路使用者得於網路上取得合法內容，並確保ISP業者依據網路中立性原則提供管理或其他服務。在對於流量管理的分配調整方面，ISP業者必須依據開放網路原則提供相關服務，而不得因商業競爭的考量影響使用者權益與服務品質。在使用者權益保障方面，流量管理資訊必須透明化，ISP業者同意依合理方式提供清楚正確之流量管理原則，且該原則必須具有適當性且不得歧視。此外，透過定期公布關鍵事實指標(Key Facts Indicator, KFI)，ISP業者應讓消費者瞭解流量使用與管理情形。在我國，目前僅於電信法第21條訂有網路中立性之宣示性規範。通訊傳播委員將提出之新匯流五法中的電信法與數位通訊傳播法當中，不論是否訂有網路中立性之具體規範，在此之前亦得參考英國之自律管理模式，以建構平等開放之網路環境。
歐盟網路與資訊安全局發布「行動支付與電子錢包安全防護」報告為因應探討並強化網路安全環境，歐盟網路與資訊安全局（European Union Agency for Network and Information Security , ENISA）2016年12月發布「行動支付與電子錢包安全防護」研究報告（Security of Mobile Payments and Digital Wallets）。歐盟網路與資訊安全局ENISA主要係因，近來行動支付興起，利用行動支付方式買賣貨品，係象徵著朝向數位化轉換趨勢，消費者希望透過更便捷的方式購物避免帶著實體錢包和一堆卡片，增加購物的不便。但是使用電子錢包和行動支付並非全然沒有安全疑慮，根據2015年的一項調查，有百分之20的美國消費者對於行動支付的過程中可能遭到有心人士擷取個人資料，這就表示此乃使用行動支付的主要擔心重點，有13%使用者擔心自己的電話遭到駭客入侵。此外根據另一項調查，針對九百名資安專家所做的調查顯示，僅有23%的的人員認為目前現有的安全機制足以防範個資外洩，但有47%的人員認為現有的機制缺乏安全性，但當中也有百分之30的回覆認為現在的安全機制是否安全不能確定。因此，目前而言，安全防護可謂是消費者最關心的重點，且對於安全的疑慮亦使得行動支付沒有辦法大量推行採用。 因此歐盟網路與資訊安全局ENISA於此報告提出了目前經確認的主要威脅有： 行動用戶的安全威脅：任意裝設惡意軟體、釣魚軟體、社交工程軟體。 行動設備威脅：行動設備遭竊或遺失與不當近用。 行動支付與電子錢包威脅：逆向工程、竄改支付軟體、使用在滲透到系統之後，會隱藏登錄項目、檔案或處理序等資源的一種軟體。 消費者威脅：POS惡意軟體、MiTM、重放攻擊。 付款服務提供者威脅：付款系統與資料連結崩潰的疑慮。 支付網路提供者威脅：代碼服務崩潰、拒絕服務。 發行商威脅：付款授權流程崩潰與代碼資料崩潰。 行動支付軟體提供者威脅：機敏個資外洩、雲端客戶資訊管理遭到入侵、代碼服務拒絕。 因此有鑑於行動支付產業目前仍在新興階段，欠缺明確標準，業者間的自主管理顯得相當重要，所以網路與資訊安全局ENISA提出了一些得以遵循的建議與標準： 消費者在使用行動支付的服務軟體時，必須採取多項最低安全防護措施。 行動主機提供業者應該確保軟體定時更新，並且修補安全上的漏洞，針對安全性與近用用戶資料的可能性部分加強。 行動支付的應用程式提供者，應該再提供服務給消費者時，同時提供消費者資訊，本應用軟體做了何種安全防護，供消費者知悉。 行動支付業者應當建立詐騙監控機制。 網路與資訊安全局ENISA提出上述建議與標準，主要係希望業者採用這樣的標準或好習慣的建議後，可以對於消費者、零售商、銀行等業者產生益處。