用ChatGPT找法院判決？從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限
用ChatGPT找法院判決？從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限
資訊工業策進會科技法律研究所
2023年09月08日
生成式AI是透過研究過去資料，以創造新內容和想法的AI技術，其應用領域包括文字、圖像及影音。以ChatGPT為例，OpenAI自2022年11月30日發布ChatGPT後，短短二個月內，全球月均用戶數即達到1億人，無疑成為民眾日常生活中最容易近用的AI科技。
惟，生成式AI大量使用後，其中的問題也逐漸浮現。例如，ChatGPT提供的回答僅是從所學習的資料中統整歸納，無法保證資料的正確性。Roberto Mata v. Avianca, Inc.案即是因律師利用ChatGPT撰寫訴狀，卻未重新審視其所提供判決之正確性，以致後續引發訴狀中所描述的判決不存在爭議。
壹、事件摘要
Roberto Mata v. Avianca, Inc.案[1]中，原告Roberto Mata於2019年8月搭乘哥倫比亞航空從薩爾瓦多飛往紐約，飛行過程中膝蓋遭空服員的推車撞傷，並於2022年2月向法院提起訴訟，要求哥倫比亞航空為空服員的疏失作出賠償；哥倫比亞航空則主張已超過《蒙特婁公約》（Montreal Convention）第35條所訂之航空器抵達日起兩年內向法院提出損害賠償之請求時效。
R然而，法院審理過程中發現原告訴狀內引用之六個判決無法從判決系統中查詢，進而質疑判決之真實性。原告律師Steven A. Schwartz因而坦承訴狀中引用的六個判決是ChatGPT所提供，並宣稱針對ChatGPT所提供的判決，曾多次向ChatGPT確認該判決之正確性[2]。
貳、生成式AI應用之潛在風險
雖然運用生成式AI技術並結合自身專業知識執行特定任務，可能有助於提升效率，惟，從前述Roberto Mata v. Avianca, Inc.案亦可看出，依目前生成式AI技術之發展，仍可能產生資訊正確性疑慮。以下彙整生成式AI應用之8大潛在風險[3]：
一、能源使用及對環境危害
相較於傳統機器學習，生成式AI模型訓練將耗費更多運算資源與能源。根據波士頓大學電腦科學系Kate Saenko副教授表示，OpenAI的GPT-3模型擁有1,750億個參數，約會消耗1,287兆瓦/時的電力，並排放552噸二氧化碳。亦即，每當向生成式AI下一個指令，其所消耗的能源量相較於一般搜尋引擎將可能高出4至5倍[4]。
二、能力超出預期（Capability Overhang）
運算系統的黑盒子可能發展出超乎開發人員或使用者想像的隱藏功能，此發展將會對人類帶來新的助力還是成為危險的阻力，則會隨著使用者之間的相互作用而定。
三、輸出結果有偏見
生成式AI通常是利用公開資料進行訓練，若輸入資料在訓練時未受監督，而帶有真實世界既存的刻板印象（如語言、種族、性別、性取向、能力、文化等），據此建立之AI模型輸出結果可能帶有偏見。
四、智慧財產權疑慮
生成式AI進行模型訓練時，需仰賴大量網路資料或從其他大型資料庫蒐集訓練資料。然而，若原始資料來源不明確，可能引發取得資料未經同意或違反授權條款之疑慮，導致生成的內容存在侵權風險。
五、缺乏驗證事實功能
生成式AI時常提供看似正確卻與實際情形不符的回覆，若使用者誤信該答案即可能帶來風險。另外，生成式AI屬於持續動態發展的資訊生態系統，當產出結果有偏誤時，若沒有大規模的人為干預恐難以有效解決此問題。
六、數位犯罪增加與資安攻擊
過去由人工產製的釣魚郵件或網站可能受限於技術限制而容易被識破，然而，生成式AI能夠快速建立具高度說服力的各種擬真資料，降低詐騙的進入門檻。又，駭客亦有可能在不熟悉技術的情況下，利用AI進一步找出資安弱點或攻擊方法，增加防禦難度。
七、敏感資料外洩
使用雲端服務提供商所建立的生成式AI時，由於輸入的資料存儲於外部伺服器，若要追蹤或刪除有一定難度，若遭有心人士利用而導致濫用、攻擊或竄改，將可能產生資料外洩的風險。
八、影子AI（Shadow AI）
影子AI係指開發者未知或無法控制之AI使用情境。隨著AI模型複雜性增加，若開發人員與使用者未進行充分溝通，或使用者在未經充分指導下使用 AI 工具，將可能產生無法預期之風險。
參、事件評析
在Roberto Mata v. Avianca, Inc.案中，法院關注的焦點在於律師的行為，而非對AI技術使用的批判。法院認為，隨著技術的進步，利用可信賴的AI工具作為協助用途並無不當，惟，律師應踐行其專業素養，確保所提交文件之正確性[5]。
當AI科技發展逐漸朝向自主與獨立的方向前進，仍需注意生成式AI使用上之侷限。當個人在使用生成式AI時，需具備獨立思考判斷的能力，並驗證產出結果之正確性，不宜全盤接受生成式AI提供之回答。針對企業或具高度專業領域人士使用生成式AI時，除確認結果正確性外，更需注意資料保護及治理議題，例如建立AI工具合理使用情境及加強員工使用相關工具之教育訓練。在成本能負擔的情況下，可選擇透過企業內部的基礎設施訓練AI模型，或是在訓練模型前確保敏感資料已經加密或匿名。並應注意自身行業領域相關法規之更新或頒布，以適時調整資料使用之方式。
雖目前生成式AI仍有其使用之侷限，仍應抱持開放的態度，在技術使用與風險預防之間取得平衡，以能夠在技術發展的同時，更好地學習新興科技工具之使用。
[1] Mata v. Avianca, Inc., 1:22-cv-01461, (S.D.N.Y.).
[2] Benjamin Weiser, Here’s What Happens When Your Lawyer Uses ChatGPT, The New York Times, May 27, 2023, https://www.nytimes.com/2023/05/27/nyregion/avianca-airline-lawsuit-chatgpt.html (last visited Aug. 4, 2023).
[3] Boston Consulting Group [BCG], The CEO’s Roadmap on Generative AI (Mar. 2023), https://media-publications.bcg.com/BCG-Executive-Perspectives-CEOs-Roadmap-on-Generative-AI.pdf (last visited Aug. 29, 2023).
[4] Kate Saenko, Is generative AI bad for the environment? A computer scientist explains the carbon footprint of ChatGPT and its cousins, The Conversation (May 23, 2023.), https://theconversation.com/is-generative-ai-bad-for-the-environment-a-computer-scientist-explains-the-carbon-footprint-of-chatgpt-and-its-cousins-204096 (last visited Sep. 7, 2023).
[5] Robert Lufrano, ChatGPT and the Limits of AI in Legal Research, National Law Review, Volume XIII, Number 195 (Mar. 2023), https://www.natlawreview.com/article/chatgpt-and-limits-ai-legal-research (last visited Aug. 29, 2023).
歐洲藥物管理局（European Medicine Agency，EMA）於今年六月下旬起至九月底止，開放接受公眾針對該局所擬「臨床試驗資料公開與近用政策」草案（draft policy on publication and access to clinical-trial data）提出回饋意見。所有公眾建言都將由EMA加以檢視，並將成為上述政策草案正式定案前之參考。原本EMA預計在2013年年底即對上述政策草案拍版定案，然而，由於歐洲藥物管理局收到超過一千則來自四面八方、不同立場之公眾回饋意見，為求妥適、深入檢視、分析這些意見，EMA原訂之定案時程將被迫遞延。新的定案時間表最慢將於十二月中上旬公布。 根據上述「臨床試驗資料公開與近用政策」草案之現行版本（亦即提供公眾評論並回饋意見之版本），原則上，EMA所持有之臨床試驗資料，將依其類型之差異而適用不同的公開或近用標準。依照EMA之分類，試驗資料將被區分為（1）「公開後不會導致個資保護疑慮之試驗資料」、（2）「如經公開，可能產生個資保護疑慮之試驗資料」、（3）「內含商業機密資訊之試驗資料」等三大類。上述第三類之「內含商業機密資訊之試驗資料」不會受到此一政策草案之影響，第二類資料將有限制的公開與提供近用，至於第一類資料，則將公開於EMA網站上供公眾下載。
OECD啟動全球首創的《開發先進人工智慧系統組織的報告框架》2025年2月7日，經濟合作暨發展組織（Organization for Economic Cooperation and Development，OECD）正式啟動《開發先進人工智慧系統組織的報告框架》（Reporting Framework for the Hiroshima Process International Code of Conduct for Organizations Developing Advanced AI Systems，簡稱G7AI風險報告框架）。 該框架之目的是具體落實《廣島進程國際行為準則》（Hiroshima Process International Code of Conduct）的11項行動，促進開發先進人工智慧系統（Advanced AI Systems）的組織建立透明度和問責制。該框架為組織提供標準化方法，使其能夠證明自身符合《廣島進程國際行為準則》的行動，並首次讓組織可以提供有關其人工智慧風險管理實踐、風險評估、事件報告等資訊。對於從事先進人工智慧開發的企業與組織而言，該框架將成為未來風險管理、透明度揭露與國際合規的重要依據。 G7 AI風險報告框架設計，對應《廣島進程國際行為準則》的11項行動，提出七個核心關注面向，具體說明組織於AI系統開發、部署與治理過程中應採取之措施： 1. 組織如何進行AI風險識別與評估； 2. 組織如何進行AI風險管理與資訊安全； 3. 組織如何進行先進AI系統的透明度報告； 4. 組織如何將AI風險管理納入治理框架； 5. 組織如何進行內容驗證與來源追溯機制； 6. 組織如何投資、研究AI安全與如何降低AI社會風險； 7. 組織如何促進AI對人類與全球的利益。 為協助G7推動《廣島進程國際行為準則》，OECD建構G7「AI風險報告框架」網路平台，鼓勵開發先進人工智慧的組織與企業於2025年4月15日前提交首份人工智慧風險報告至該平台（https://transparency.oecd.ai/），目前已有包含OpenAI等超過15家國際企業提交報告。OECD亦呼籲企業與組織每年定期更新報告，以提升全球利益相關者之間的透明度與合作。 目前雖屬自願性報告，然考量到國際監理機關對生成式AI及高風險AI 系統透明度、可問責性（Accountability）的日益關注，G7 AI風險報告框架內容可能成為未來立法與監管的參考作法之一。建議企業組織持續觀測國際AI治理政策變化，預做合規準備。
美國聯邦最高法院判決網域名稱「booking.com」可取得聯邦商標註冊美國聯邦最高法院（Supreme Court of the United States）於2020年6月30日以8票對1票之決定，肯認網域名稱「booking.com」可取得聯邦商標註冊。 本案之爭點在於，「通用名稱.com（generic.com）」是否亦會被認定為通用名稱而無法取得商標註冊。過去美國專利商標局（United States Patent and Trademark Office, USPTO）認為，當通用名稱與通用頂級域名（如「.com」）組合時，所得到之組合仍會被認定具有通用性（generic），因為僅在通用名稱中加入「.com」，如同加入「公司」一詞，無法藉此傳達任何可識別來源之意義。就「booking.com」而言，由於 「Booking」一詞意指旅行預訂，「.com」一詞表示其為一個商業網站，故消費者觀諸「booking.com」此一用語，會認為其是提供旅遊住宿之線上預訂服務。且即便認為「booking.com」屬於描述性商標，其亦缺乏第二意義而無法註冊。 惟聯邦最高法院認為，因為同一時間僅有一個實體可占用一特定網域名稱，因此「generic.com」一詞可向消費者傳達與特定網站之關聯。且對於通用性之認定原則主要有三：首先，通用性係指商品或服務之類別，而非該類別之特定示例；其次，對於複合用語而言，其識別性之認定應以整體觀之，非個別隔離觀察；最後，應視用語之相關意涵對於消費者之意義而定。基於該等原則，「booking.com」是否具有通用性，取決於該用語是否整體上向消費者表示為線上旅館預定服務之類別，例如：消費者是否會認為另一家提供相似服務之Travelocity也是一種「booking.com」；但消費者並非以此種方式來認知「booking.com」用語，因此，由於「booking.com」對於消費者而言並非通用名稱，其未具通用性。 USPTO另認為基於政策考量，其反對如「booking.com」之「generic.com」之商標註冊，因此種商標保護將使商標權人對於其他應保持自由使用之相似文字擁有過度控制權，例如可能會妨礙競爭者使用「booking」用語或「ebooking.com」、「hotel-booking.com」等域名。聯邦最高法院指出，USPTO顧慮之情形其實也會出現於任何描述性商標。事實上，除非可能造成消費者混淆，競爭者之使用並不會侵害商標權。「booking.com」是識別性較弱的商標，較難導致消費者混淆，且booking.com公司亦自承「booking.com」之註冊不會阻止競爭者使用「booking」之用語來描述其之服務。因此，聯邦最高法院最終認定「booking.com」之註冊不會使商標權人壟斷「booking」此一用語。
歐盟議會發布《可信賴人工智慧倫理準則》2019年4月9日，歐盟議會發布《可信賴人工智慧倫理準則》（Ethics Guidelines for Trustworthy AI）。此次內容大致延續歐盟人工智慧高階專家小組（High-level Expert Group on Artificial Intelligence）於2018年12月18日發布的《可信賴人工智慧倫理準則草案》（Draft Ethics Guidelines for Trustworthy Artificial Intelligence）之內容，要求人工智慧須遵守行善（do good）、不作惡（do no harm）、保護人類（preserve human Agency）、公平（be fair）與公開透明（operate transparency）等倫理原則；並在4月9日發布的正式內容中更加具體描述可信賴的人工智慧的具體要件，共計七面向概述如下： 人類自主性和監控(Human agency and oversight)：AI係為強化人類能力而存在，使人類使用者能夠做出更明智的決策並培養自身的基礎能力。同時，AI應有相關監控機制以確保AI系統不會侵害人類自主性或是引發其他負面效果。本準則建議，監控機制應可透過人機混合（一種整合人工智慧與人類協作的系統，例如human-in-the-loop, human-on-the-loop, and human-in-command）的操作方法來實現。 技術穩健性和安全性(Technical Robustness and safety)：為防止損害擴張與確保損害最小化，AI系統除需具備準確性、可靠性和可重複性等技術特質，同時也需在出現問題前訂定完善的備援計劃。 隱私和資料治理(Privacy and data governance)：除了確保充分尊重隱私和資料保護之外，還必須確保適當的資料治理機制，同時考慮到資料的品質和完整性，並確保合法近用資料為可行。 透明度(Transparency)：資料、系統和AI的商業模型應該是透明的。可追溯性機制（Traceability mechanisms）有助於實現這一目標。此外，應以利害關係人能夠理解的方式解釋AI系統的邏輯及運作模式。人類參與者和使用者需要意識到他們正在與AI系統進行互動，並且必須了解AI系統的功能和限制。 保持多樣性、不歧視和公平(Diversity, non-discrimination and fairness)：AI不公平的偏見可能會加劇對弱勢群體的偏見和歧視，導致邊緣化現象更為嚴重。為避免此種情況，AI系統應該設計為所有人皆可以近用，達成使用者多樣性的目標。 社會和環境福祉(Societal and environmental well-being)：AI應該使包含我們的後代在內的所有人類受益。因此AI必須兼顧永續發展、環境友善，並能提供正向的社會影響。 問責制(Accountability)：應建立機制以妥當處理AI所導致的結果的責任歸屬，演算法的可審計性（Auditability）為關鍵。此外，應確保補救措施為無障礙設計。