用ChatGPT找法院判決？從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限
用ChatGPT找法院判決？從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限
資訊工業策進會科技法律研究所
2023年09月08日
生成式AI是透過研究過去資料，以創造新內容和想法的AI技術，其應用領域包括文字、圖像及影音。以ChatGPT為例，OpenAI自2022年11月30日發布ChatGPT後，短短二個月內，全球月均用戶數即達到1億人，無疑成為民眾日常生活中最容易近用的AI科技。
惟，生成式AI大量使用後，其中的問題也逐漸浮現。例如，ChatGPT提供的回答僅是從所學習的資料中統整歸納，無法保證資料的正確性。Roberto Mata v. Avianca, Inc.案即是因律師利用ChatGPT撰寫訴狀，卻未重新審視其所提供判決之正確性，以致後續引發訴狀中所描述的判決不存在爭議。
壹、事件摘要
Roberto Mata v. Avianca, Inc.案[1]中，原告Roberto Mata於2019年8月搭乘哥倫比亞航空從薩爾瓦多飛往紐約，飛行過程中膝蓋遭空服員的推車撞傷，並於2022年2月向法院提起訴訟，要求哥倫比亞航空為空服員的疏失作出賠償；哥倫比亞航空則主張已超過《蒙特婁公約》（Montreal Convention）第35條所訂之航空器抵達日起兩年內向法院提出損害賠償之請求時效。
R然而，法院審理過程中發現原告訴狀內引用之六個判決無法從判決系統中查詢，進而質疑判決之真實性。原告律師Steven A. Schwartz因而坦承訴狀中引用的六個判決是ChatGPT所提供，並宣稱針對ChatGPT所提供的判決，曾多次向ChatGPT確認該判決之正確性[2]。
貳、生成式AI應用之潛在風險
雖然運用生成式AI技術並結合自身專業知識執行特定任務，可能有助於提升效率，惟，從前述Roberto Mata v. Avianca, Inc.案亦可看出，依目前生成式AI技術之發展，仍可能產生資訊正確性疑慮。以下彙整生成式AI應用之8大潛在風險[3]：
一、能源使用及對環境危害
相較於傳統機器學習，生成式AI模型訓練將耗費更多運算資源與能源。根據波士頓大學電腦科學系Kate Saenko副教授表示，OpenAI的GPT-3模型擁有1,750億個參數，約會消耗1,287兆瓦/時的電力，並排放552噸二氧化碳。亦即，每當向生成式AI下一個指令，其所消耗的能源量相較於一般搜尋引擎將可能高出4至5倍[4]。
二、能力超出預期（Capability Overhang）
運算系統的黑盒子可能發展出超乎開發人員或使用者想像的隱藏功能，此發展將會對人類帶來新的助力還是成為危險的阻力，則會隨著使用者之間的相互作用而定。
三、輸出結果有偏見
生成式AI通常是利用公開資料進行訓練，若輸入資料在訓練時未受監督，而帶有真實世界既存的刻板印象（如語言、種族、性別、性取向、能力、文化等），據此建立之AI模型輸出結果可能帶有偏見。
四、智慧財產權疑慮
生成式AI進行模型訓練時，需仰賴大量網路資料或從其他大型資料庫蒐集訓練資料。然而，若原始資料來源不明確，可能引發取得資料未經同意或違反授權條款之疑慮，導致生成的內容存在侵權風險。
五、缺乏驗證事實功能
生成式AI時常提供看似正確卻與實際情形不符的回覆，若使用者誤信該答案即可能帶來風險。另外，生成式AI屬於持續動態發展的資訊生態系統，當產出結果有偏誤時，若沒有大規模的人為干預恐難以有效解決此問題。
六、數位犯罪增加與資安攻擊
過去由人工產製的釣魚郵件或網站可能受限於技術限制而容易被識破，然而，生成式AI能夠快速建立具高度說服力的各種擬真資料，降低詐騙的進入門檻。又，駭客亦有可能在不熟悉技術的情況下，利用AI進一步找出資安弱點或攻擊方法，增加防禦難度。
七、敏感資料外洩
使用雲端服務提供商所建立的生成式AI時，由於輸入的資料存儲於外部伺服器，若要追蹤或刪除有一定難度，若遭有心人士利用而導致濫用、攻擊或竄改，將可能產生資料外洩的風險。
八、影子AI（Shadow AI）
影子AI係指開發者未知或無法控制之AI使用情境。隨著AI模型複雜性增加，若開發人員與使用者未進行充分溝通，或使用者在未經充分指導下使用 AI 工具，將可能產生無法預期之風險。
參、事件評析
在Roberto Mata v. Avianca, Inc.案中，法院關注的焦點在於律師的行為，而非對AI技術使用的批判。法院認為，隨著技術的進步，利用可信賴的AI工具作為協助用途並無不當，惟，律師應踐行其專業素養，確保所提交文件之正確性[5]。
當AI科技發展逐漸朝向自主與獨立的方向前進，仍需注意生成式AI使用上之侷限。當個人在使用生成式AI時，需具備獨立思考判斷的能力，並驗證產出結果之正確性，不宜全盤接受生成式AI提供之回答。針對企業或具高度專業領域人士使用生成式AI時，除確認結果正確性外，更需注意資料保護及治理議題，例如建立AI工具合理使用情境及加強員工使用相關工具之教育訓練。在成本能負擔的情況下，可選擇透過企業內部的基礎設施訓練AI模型，或是在訓練模型前確保敏感資料已經加密或匿名。並應注意自身行業領域相關法規之更新或頒布，以適時調整資料使用之方式。
雖目前生成式AI仍有其使用之侷限，仍應抱持開放的態度，在技術使用與風險預防之間取得平衡，以能夠在技術發展的同時，更好地學習新興科技工具之使用。
[1] Mata v. Avianca, Inc., 1:22-cv-01461, (S.D.N.Y.).
[2] Benjamin Weiser, Here’s What Happens When Your Lawyer Uses ChatGPT, The New York Times, May 27, 2023, https://www.nytimes.com/2023/05/27/nyregion/avianca-airline-lawsuit-chatgpt.html (last visited Aug. 4, 2023).
[3] Boston Consulting Group [BCG], The CEO’s Roadmap on Generative AI (Mar. 2023), https://media-publications.bcg.com/BCG-Executive-Perspectives-CEOs-Roadmap-on-Generative-AI.pdf (last visited Aug. 29, 2023).
[4] Kate Saenko, Is generative AI bad for the environment? A computer scientist explains the carbon footprint of ChatGPT and its cousins, The Conversation (May 23, 2023.), https://theconversation.com/is-generative-ai-bad-for-the-environment-a-computer-scientist-explains-the-carbon-footprint-of-chatgpt-and-its-cousins-204096 (last visited Sep. 7, 2023).
[5] Robert Lufrano, ChatGPT and the Limits of AI in Legal Research, National Law Review, Volume XIII, Number 195 (Mar. 2023), https://www.natlawreview.com/article/chatgpt-and-limits-ai-legal-research (last visited Aug. 29, 2023).
英國上議院人工智慧專責委員會（Select Committee on Artificial Intelligence）2018年4月18日公開「AI在英國：準備、意願與可能性？（AI in the UK: ready, willing and able?）」報告，針對AI可能產生的影響與議題提出政策建議。 委員會建議為避免AI的系統與應用上出現偏頗，應注重大量資訊蒐集之方式；無論是企業或學術界，皆應於人民隱私獲得保障之情況下方有合理近用數據資訊的權利。因此為建立保護框架與相關機制，其呼籲政府應主動檢視潛在英國中大型科技公司壟斷數據之可能性；為使AI的發展具有可理解性和避免產生偏見，政府應提供誘因發展審查AI領域中資訊應用之方法，並鼓勵增加AI人才訓練與招募的多元性。 再者，為促進AI應用之意識與了解，委員會建議產業應建立機制，知會消費者其應用AI做出敏感決策的時機。為因應AI對就業市場之衝擊，建議利用如國家再訓練方案發展再訓練之計畫，並於早期教育中即加入AI教育；並促進公部門AI之發展與布建，特別於健康照顧應用層面。另外，針對AI失靈可能性，應釐清目前法律領域是否足以因應其失靈所造成之損害，並應提供資金進行更進一步之研究，特別於網路安全風險之面向。 本報告並期待建立AI共通之倫理原則，為未來AI相關管制奠定初步基礎與框架。
美國資訊安全分析新挑戰：巨量資料（Big Data）之應用在2013年的國際資訊安全會議（RSA Conference）上，資安專家紛紛表示，將Big Data技術應用於資訊安全分析的項目上，確實可以幫助企業建立更佳的情勢判斷能力，但在實際執行過程中是一大挑戰。 資安廠商如RSA和賽門鐵克公司，在會議上表示目前的策略是透過新的數據匯集、比對和分析協助企業篩選、過濾結構化和未結構化資料的威脅指標，這是傳統的特徵偵測（signature-based）安全工具無法做到的。 不像傳統的安全手段著重於阻斷攻擊，新的技術強調偵測並立即回應違犯行為，也就是提前遏止任何違犯行為，協助企業作全面性的偵測而不擔心有所遺漏。 由於越來越多的美國政府機關和民間企業遭受到針對性和持續性的攻擊，巨量資料技術的應用需求激增。企業內部都累積著大量的數據和多元的數據種類，而需要動新技術來保護這些數據資料免於惡意人士或對手的竊取或其他侵害行為。企業應該要因應實際面臨的威脅和所獲悉的威脅情報來建立安全模型，取代部署特定產品和外圍系統的防禦。 美國無論是政府機關或民間企業都被捲入了不對稱戰爭-對手是武器精良、準備充分並有嚴密組織的網路敵人。 「駭客只需要攻擊成功一次，但我們必須每次都是成功的」賽門鐵克的總裁deSouza表示。「因此與其專注的在阻擋所有威脅，更好的辦法是使用巨量資料技術偵測侵入行為並消解之」。而在會議中資安專家都肯認至少從理論上來說，以巨量資料技術強化資訊安全是很好的想法。 不過另有其他的說法，金融服務企業LSQ的首席安全及法務主管皮爾遜認為，許多人的電腦紀錄檔和所有的電子裝置都早就被侵入滲透了，這才是問題所在。他表示，目前現存的SIEM（安全性資訊及事件管理）工具可以讓企業聚集來自許多個安全設備的巨量登錄數據整合在同一系統內，但真正的問題是，SIEM工具必須要有能力分析數據並找出關聯性，如此才能偵測到駭客入侵的前兆證據和真實的入侵行為，這和彙整數據是不同的兩件事。許多企業所面臨的問題不是缺乏數據資料，而是要如何為資訊安全的目的建立關聯規則和應用方式，以有效率的方式找出有用的巨量數據並進行分析，和留下可供進行訴訟使用的證據。
新興網路音樂流通模式之法律政策趨勢與實例研討 歐盟第29條資料保護工作小組澄清有關網際行為廣告cookie的使用歐盟電子通訊隱私指令（Directive 2002/58/EC on Privacy and Electronic Communications, e-Privacy Directive）第五條(3)中對於cookie（即業者為辨別使用者身份而儲存在用戶端上的資料）設置的規範，將於2011年5月全面施行。惟對於cookie之使用，部分網路業者認為如果網路使用者沒有選擇不要裝置cookie (opt-out)，那麼就等同於同意裝置，而不需另外取得使用者的同意。針對此點，歐盟第29條資料保護工作小組（Article 29 Data Protection Working Party）於2010年06月22日對於網際行為廣告作出一份意見（Opinion 2/2010 on online behavioural advertising）。 意見中澄清，網際行為廣告係一種透過cookie的使用，追蹤蒐集網路使用者上網行為的資料，其網路資訊將被使用於日後發放與使用者上網行為相對應的廣告之用。除非是屬於網路使用者明白要求使用cookie，或是使用網路服務所『必要』的cookie（例如，沒有cookie就無法顯示或進行至下一個頁面），則不必先行取得使用者的同意外；其他凡經由cookie所儲存的資料，均應被視為『個人資料』，使用上必需先行取得網路使用者的明示同意，以自行選擇（opt-in）的方式接受cookie的使用，後存於網路使用者的個人電腦中。業者不得以搜尋引擎的cookie設定主張視為網路使用者等同已經明示同意使用cookie進行被追蹤及蒐集資料。 該意見受到許多歐盟及國際之網際出版、廣告及商務業者的反彈，業者表示所蒐集的資料並非可辨認性或敏感性資料，此規範的執行將會嚴重衝擊到廣告產業的收益，建議採行自律規範或使用行為守則來取代上述規定。 由於這項規範尚未於歐盟中被執行，歐盟第29條資料保護工作小組對於技術上如何遵循該規範也並沒有提出具體的建議。