用ChatGPT找法院判決？從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限
用ChatGPT找法院判決？從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限
資訊工業策進會科技法律研究所
2023年09月08日
生成式AI是透過研究過去資料，以創造新內容和想法的AI技術，其應用領域包括文字、圖像及影音。以ChatGPT為例，OpenAI自2022年11月30日發布ChatGPT後，短短二個月內，全球月均用戶數即達到1億人，無疑成為民眾日常生活中最容易近用的AI科技。
惟，生成式AI大量使用後，其中的問題也逐漸浮現。例如，ChatGPT提供的回答僅是從所學習的資料中統整歸納，無法保證資料的正確性。Roberto Mata v. Avianca, Inc.案即是因律師利用ChatGPT撰寫訴狀，卻未重新審視其所提供判決之正確性，以致後續引發訴狀中所描述的判決不存在爭議。
壹、事件摘要
Roberto Mata v. Avianca, Inc.案[1]中，原告Roberto Mata於2019年8月搭乘哥倫比亞航空從薩爾瓦多飛往紐約，飛行過程中膝蓋遭空服員的推車撞傷，並於2022年2月向法院提起訴訟，要求哥倫比亞航空為空服員的疏失作出賠償；哥倫比亞航空則主張已超過《蒙特婁公約》（Montreal Convention）第35條所訂之航空器抵達日起兩年內向法院提出損害賠償之請求時效。
R然而，法院審理過程中發現原告訴狀內引用之六個判決無法從判決系統中查詢，進而質疑判決之真實性。原告律師Steven A. Schwartz因而坦承訴狀中引用的六個判決是ChatGPT所提供，並宣稱針對ChatGPT所提供的判決，曾多次向ChatGPT確認該判決之正確性[2]。
貳、生成式AI應用之潛在風險
雖然運用生成式AI技術並結合自身專業知識執行特定任務，可能有助於提升效率，惟，從前述Roberto Mata v. Avianca, Inc.案亦可看出，依目前生成式AI技術之發展，仍可能產生資訊正確性疑慮。以下彙整生成式AI應用之8大潛在風險[3]：
一、能源使用及對環境危害
相較於傳統機器學習，生成式AI模型訓練將耗費更多運算資源與能源。根據波士頓大學電腦科學系Kate Saenko副教授表示，OpenAI的GPT-3模型擁有1,750億個參數，約會消耗1,287兆瓦/時的電力，並排放552噸二氧化碳。亦即，每當向生成式AI下一個指令，其所消耗的能源量相較於一般搜尋引擎將可能高出4至5倍[4]。
二、能力超出預期（Capability Overhang）
運算系統的黑盒子可能發展出超乎開發人員或使用者想像的隱藏功能，此發展將會對人類帶來新的助力還是成為危險的阻力，則會隨著使用者之間的相互作用而定。
三、輸出結果有偏見
生成式AI通常是利用公開資料進行訓練，若輸入資料在訓練時未受監督，而帶有真實世界既存的刻板印象（如語言、種族、性別、性取向、能力、文化等），據此建立之AI模型輸出結果可能帶有偏見。
四、智慧財產權疑慮
生成式AI進行模型訓練時，需仰賴大量網路資料或從其他大型資料庫蒐集訓練資料。然而，若原始資料來源不明確，可能引發取得資料未經同意或違反授權條款之疑慮，導致生成的內容存在侵權風險。
五、缺乏驗證事實功能
生成式AI時常提供看似正確卻與實際情形不符的回覆，若使用者誤信該答案即可能帶來風險。另外，生成式AI屬於持續動態發展的資訊生態系統，當產出結果有偏誤時，若沒有大規模的人為干預恐難以有效解決此問題。
六、數位犯罪增加與資安攻擊
過去由人工產製的釣魚郵件或網站可能受限於技術限制而容易被識破，然而，生成式AI能夠快速建立具高度說服力的各種擬真資料，降低詐騙的進入門檻。又，駭客亦有可能在不熟悉技術的情況下，利用AI進一步找出資安弱點或攻擊方法，增加防禦難度。
七、敏感資料外洩
使用雲端服務提供商所建立的生成式AI時，由於輸入的資料存儲於外部伺服器，若要追蹤或刪除有一定難度，若遭有心人士利用而導致濫用、攻擊或竄改，將可能產生資料外洩的風險。
八、影子AI（Shadow AI）
影子AI係指開發者未知或無法控制之AI使用情境。隨著AI模型複雜性增加，若開發人員與使用者未進行充分溝通，或使用者在未經充分指導下使用 AI 工具，將可能產生無法預期之風險。
參、事件評析
在Roberto Mata v. Avianca, Inc.案中，法院關注的焦點在於律師的行為，而非對AI技術使用的批判。法院認為，隨著技術的進步，利用可信賴的AI工具作為協助用途並無不當，惟，律師應踐行其專業素養，確保所提交文件之正確性[5]。
當AI科技發展逐漸朝向自主與獨立的方向前進，仍需注意生成式AI使用上之侷限。當個人在使用生成式AI時，需具備獨立思考判斷的能力，並驗證產出結果之正確性，不宜全盤接受生成式AI提供之回答。針對企業或具高度專業領域人士使用生成式AI時，除確認結果正確性外，更需注意資料保護及治理議題，例如建立AI工具合理使用情境及加強員工使用相關工具之教育訓練。在成本能負擔的情況下，可選擇透過企業內部的基礎設施訓練AI模型，或是在訓練模型前確保敏感資料已經加密或匿名。並應注意自身行業領域相關法規之更新或頒布，以適時調整資料使用之方式。
雖目前生成式AI仍有其使用之侷限，仍應抱持開放的態度，在技術使用與風險預防之間取得平衡，以能夠在技術發展的同時，更好地學習新興科技工具之使用。
[1] Mata v. Avianca, Inc., 1:22-cv-01461, (S.D.N.Y.).
[2] Benjamin Weiser, Here’s What Happens When Your Lawyer Uses ChatGPT, The New York Times, May 27, 2023, https://www.nytimes.com/2023/05/27/nyregion/avianca-airline-lawsuit-chatgpt.html (last visited Aug. 4, 2023).
[3] Boston Consulting Group [BCG], The CEO’s Roadmap on Generative AI (Mar. 2023), https://media-publications.bcg.com/BCG-Executive-Perspectives-CEOs-Roadmap-on-Generative-AI.pdf (last visited Aug. 29, 2023).
[4] Kate Saenko, Is generative AI bad for the environment? A computer scientist explains the carbon footprint of ChatGPT and its cousins, The Conversation (May 23, 2023.), https://theconversation.com/is-generative-ai-bad-for-the-environment-a-computer-scientist-explains-the-carbon-footprint-of-chatgpt-and-its-cousins-204096 (last visited Sep. 7, 2023).
[5] Robert Lufrano, ChatGPT and the Limits of AI in Legal Research, National Law Review, Volume XIII, Number 195 (Mar. 2023), https://www.natlawreview.com/article/chatgpt-and-limits-ai-legal-research (last visited Aug. 29, 2023).
「合成資料」（synthetic data）的出現，是為了保護原始資料所可能帶有的隱私資料或機敏資料，或是因法規或現實之限制而無法取得或利用研究所需資料的情況下，透過統計學方法、深度學習、或自然語言處理等方式，讓電腦以「模擬」方式生成研究所需之「合成資料」並進行後續研究跟利用，透過這個方法，資料科學家可以在無侵犯隱私的疑慮下，使合成資料所訓練出來的分類模型（classifiers）不會比原始資料所訓練出來的分類模型差。 在合成資料的生成技術當中，最熱門的研究為運用「生成對抗網路」（Generative Adversarial Network, GAN）形成合成資料（亦有其他生成合成資料之方法），生成對抗網路透過兩組類神經網路「生成網路」（generator）與辨識網路（discriminator）對於不同真偽目標值之反覆交錯訓練之結果，使其中一組類神經網路可生成與原始資料極度近似但又不完全一樣之資料，也就是具高度複雜性與擬真性而可供研究運用之「合成資料」。 英國國防科技實驗室（Defense Science and Technology Laboratory, DSTL）於2020年8月12日發布「合成資料」技術報告，此技術報告為DSTL委託英國航太系統公司（BAE Systems）的應用智慧實驗室（Applied Intelligence Labs, AI Labs）執行「後勤科技調查」（Logistics Technology Investigations, LTI）計畫下「資料科學與分析」主題的工作項目之一，探討在隱私考量下（privacy-preserving）「合成資料」當今技術發展情形，並提供評估技術之標準與方法。 技術報告中指出，資料的種類多元且面向廣泛，包含數字、分類資訊、文字與地理空間資訊等，針對不同資料種類所適用之生成技術均有所不同，也因此對於以監督式學習、非監督式學習或是統計學方法生成之「合成資料」需要採取不同的質化或量化方式進行技術評估；報告指出，目前尚未有一種可通用不同種類資料的合成資料生成技術或技術評估方法，建議應配合研究資料種類選取合適的生成技術與評估方法。
英國發布人工智慧網路資安實務守則英國政府於2025年1月31日發布「人工智慧網路資安實務守則」（Code of Practice for the Cyber Security of AI，以下簡稱「實務守則」），目的是提供人工智慧（AI）系統的網路資安指引。該實務守則為英國參考國際上主要標準、規範後所訂定之自願性指引，以期降低人工智慧所面臨的網路資安風險，並促使人工智慧系統開發者與供應商落實基本的資安措施，以確保人工智慧系統的安性和可靠性。 由於人工智慧系統在功能與運作模式上與傳統網路架構及軟體有明顯的不同，因此產生新的資安風險，主要包含以下： 1. 資料投毒（Data Poisoning）：在AI系統的訓練資料中蓄意加入有害或錯誤的資料，影響模型訓練結果，導致人工智慧系統產出錯誤推論或決策。 2. 模型混淆（Model Obfuscation）：攻擊者有意識地隱藏或掩飾AI模型的內部運作特徵與行為，以增加系統漏洞、引發混亂或防礙資安管理，可能導致AI系統的安全性與穩定性受損。 3. 輸入間接指令（Indirect Prompt Injection）：藉由輸入經精心設計的指令，使人工智慧系統的產出未預期、錯誤或是有害的結果。 為了提升實務守則可操作性，實務守則涵蓋了人工智慧生命週期的各階段，並針對相關角色提出指導。角色界定如下： 1. 人工智慧系統開發者（Developers）：負責設計和建立人工智慧系統的個人或組織。 2. 人工智慧系統供應鏈（Supply chain）：涵蓋人工智慧系統開發、部署、營運過程中的的所有相關個人和組織。 實務守則希望上述角色能夠參考以下資安原則，以確保人工智慧系統的安全性與可靠性： 1. 風險評估（Risk Assessment）：識別、分析和減輕人工智慧系統安全性或功能的潛在威脅的過程。 2. 資料管理（Data management）：確保AI系統整個資料生命週期中的資料安全及有效利用，並採取完善管理措施。 3. 模型安全（Model Security）：在模型訓練、部署和使用階段，均應符合當時的技術安全標準。 4. 供應鏈安全（Supply chain security）：確保AI系統供應鏈中所有利益相關方落實適當的安全措施。 「人工智慧網路資安實務守則」藉由清晰且全面的指導方針，期望各角色能有效落實AI系統安全管控，促進人工智慧技術在網路環境中的安全性與穩健發展。
日本政府擬修法加強交友網站管制以保護未成年人有鑑於未滿18歲青少年透過交友網站而遭受性侵害等事件頻傳，日本警察廳專家研究會議，建議增訂課以交友網站業者應向地方政府公安委員會提出申請，以及嚴格確認會員年齡等義務。警察廳在接受前述意見後，將進行「交友網站規範法」修法作業，並於徵求各方意見後，向國會提出修正法案。 日本政府於2003年施行「利用網路異性介紹事業引誘兒童行為規範法」（簡稱「交友網站規範法」）後，被害兒童人數逐年減少；但自2006年起再度呈現攀升趨勢。依據現行法規定，引誘未滿18歲兒童利用交友網站而進行性行為或援助交際者，將處以六個月以下拘役或100萬日圓以下罰金。對於交友網站業者，除應明示禁止兒童利用外，並課以確認使用者非兒童之義務。然而，在該法施行後，警察廳雖得對特定業者進行警告，卻因交友網站使用海外伺服器或利用免費網站，伺服器管理者無法確認交友網站業者的資料，而引發許多問題。因此，警察廳認為現行規範法實施四年後，規範效果已經遞減，而開始著手進行修法。 日本警察廳根據專家研究會議之建議，提出「網站經營者責任明確化」、「防止兒童利用」以及「排除資格不符的業者」等三大因應策略。未來「交友網站規範法」之修法方向，將課以交友網站業者向地方政府公安委員會提出申請，並應嚴格確認會員年齡等之義務。如業者發現使用者為兒童，或得知大人對兒童留下買春的邀約時，業者必須刪除該文字，並應要求該使用者退出會員。此外，「交友網站規範法」也將增訂停止命令，對於不遵從改善命令之業者，將可以強制停止業務外，並應審查是否為黑道等不良份子，以排除不適格的業者。為使停止命令具有實效性，也將檢討是否對不服從命令之業者科以刑事罰則。另一方面，從保護兒童的觀點來看，監護人與行動電話業者亦扮演重要角色，故也擬增訂加強電信業者應負限制連結或過濾交友網站等之責任。
日本提出未來車聯網社會之三大威脅及促進實現車聯網社會策略日本總務省之實現車聯網社會研究會（Connected Car 社会の実現に向けた研究会，下稱車聯網研究會），於2017年8月4日公布研究成果。車聯網研究會指出未來車聯網將面對①遠距離操作、網絡攻擊之威脅；②資料（Data）真實性之威脅；③隱私權之保護等三大威脅。針對遠距離操作、網絡攻擊之威脅，在汽車端及網路端皆應提出防止威脅之策略；在確保資料真實性方面，需建立機制，以防止資料中途被篡改；未來在車輛雲端資料之應用，應以隱私權保護為前提，始促進車輛資料之利用及活用，以保護相關人之隱私權。 車聯網研究會在促進實現車聯網社會策略中，希望透過①聯網計畫（Connected Network プロジェクト）、②互聯資料計畫（Connected Data プロジェクト）、③互聯平台計畫（Connected Platform プロジェクト）等三個計畫，共同建立推廣實證平台，以確立及實證必要之技術，建立資料利用及活用之模式及環境，架構開放性合作模式，並確保隱私及安全性。進而建設高度可靠性之無線通信網路、透過創新產業和商業模式促進資料之利用、創新環境的發展，達到解決日本之社會問題、實踐便利與舒適之生活、國家競爭力之強化與確保等車聯網社會三大目標，最終落實安全、安心、舒適的車聯網社會。