用ChatGPT找法院判決？從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限
用ChatGPT找法院判決？從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限
資訊工業策進會科技法律研究所
2023年09月08日
生成式AI是透過研究過去資料，以創造新內容和想法的AI技術，其應用領域包括文字、圖像及影音。以ChatGPT為例，OpenAI自2022年11月30日發布ChatGPT後，短短二個月內，全球月均用戶數即達到1億人，無疑成為民眾日常生活中最容易近用的AI科技。
惟，生成式AI大量使用後，其中的問題也逐漸浮現。例如，ChatGPT提供的回答僅是從所學習的資料中統整歸納，無法保證資料的正確性。Roberto Mata v. Avianca, Inc.案即是因律師利用ChatGPT撰寫訴狀，卻未重新審視其所提供判決之正確性，以致後續引發訴狀中所描述的判決不存在爭議。
壹、事件摘要
Roberto Mata v. Avianca, Inc.案[1]中，原告Roberto Mata於2019年8月搭乘哥倫比亞航空從薩爾瓦多飛往紐約，飛行過程中膝蓋遭空服員的推車撞傷，並於2022年2月向法院提起訴訟，要求哥倫比亞航空為空服員的疏失作出賠償；哥倫比亞航空則主張已超過《蒙特婁公約》（Montreal Convention）第35條所訂之航空器抵達日起兩年內向法院提出損害賠償之請求時效。
R然而，法院審理過程中發現原告訴狀內引用之六個判決無法從判決系統中查詢，進而質疑判決之真實性。原告律師Steven A. Schwartz因而坦承訴狀中引用的六個判決是ChatGPT所提供，並宣稱針對ChatGPT所提供的判決，曾多次向ChatGPT確認該判決之正確性[2]。
貳、生成式AI應用之潛在風險
雖然運用生成式AI技術並結合自身專業知識執行特定任務，可能有助於提升效率，惟，從前述Roberto Mata v. Avianca, Inc.案亦可看出，依目前生成式AI技術之發展，仍可能產生資訊正確性疑慮。以下彙整生成式AI應用之8大潛在風險[3]：
一、能源使用及對環境危害
相較於傳統機器學習，生成式AI模型訓練將耗費更多運算資源與能源。根據波士頓大學電腦科學系Kate Saenko副教授表示，OpenAI的GPT-3模型擁有1,750億個參數，約會消耗1,287兆瓦/時的電力，並排放552噸二氧化碳。亦即，每當向生成式AI下一個指令，其所消耗的能源量相較於一般搜尋引擎將可能高出4至5倍[4]。
二、能力超出預期（Capability Overhang）
運算系統的黑盒子可能發展出超乎開發人員或使用者想像的隱藏功能，此發展將會對人類帶來新的助力還是成為危險的阻力，則會隨著使用者之間的相互作用而定。
三、輸出結果有偏見
生成式AI通常是利用公開資料進行訓練，若輸入資料在訓練時未受監督，而帶有真實世界既存的刻板印象（如語言、種族、性別、性取向、能力、文化等），據此建立之AI模型輸出結果可能帶有偏見。
四、智慧財產權疑慮
生成式AI進行模型訓練時，需仰賴大量網路資料或從其他大型資料庫蒐集訓練資料。然而，若原始資料來源不明確，可能引發取得資料未經同意或違反授權條款之疑慮，導致生成的內容存在侵權風險。
五、缺乏驗證事實功能
生成式AI時常提供看似正確卻與實際情形不符的回覆，若使用者誤信該答案即可能帶來風險。另外，生成式AI屬於持續動態發展的資訊生態系統，當產出結果有偏誤時，若沒有大規模的人為干預恐難以有效解決此問題。
六、數位犯罪增加與資安攻擊
過去由人工產製的釣魚郵件或網站可能受限於技術限制而容易被識破，然而，生成式AI能夠快速建立具高度說服力的各種擬真資料，降低詐騙的進入門檻。又，駭客亦有可能在不熟悉技術的情況下，利用AI進一步找出資安弱點或攻擊方法，增加防禦難度。
七、敏感資料外洩
使用雲端服務提供商所建立的生成式AI時，由於輸入的資料存儲於外部伺服器，若要追蹤或刪除有一定難度，若遭有心人士利用而導致濫用、攻擊或竄改，將可能產生資料外洩的風險。
八、影子AI（Shadow AI）
影子AI係指開發者未知或無法控制之AI使用情境。隨著AI模型複雜性增加，若開發人員與使用者未進行充分溝通，或使用者在未經充分指導下使用 AI 工具，將可能產生無法預期之風險。
參、事件評析
在Roberto Mata v. Avianca, Inc.案中，法院關注的焦點在於律師的行為，而非對AI技術使用的批判。法院認為，隨著技術的進步，利用可信賴的AI工具作為協助用途並無不當，惟，律師應踐行其專業素養，確保所提交文件之正確性[5]。
當AI科技發展逐漸朝向自主與獨立的方向前進，仍需注意生成式AI使用上之侷限。當個人在使用生成式AI時，需具備獨立思考判斷的能力，並驗證產出結果之正確性，不宜全盤接受生成式AI提供之回答。針對企業或具高度專業領域人士使用生成式AI時，除確認結果正確性外，更需注意資料保護及治理議題，例如建立AI工具合理使用情境及加強員工使用相關工具之教育訓練。在成本能負擔的情況下，可選擇透過企業內部的基礎設施訓練AI模型，或是在訓練模型前確保敏感資料已經加密或匿名。並應注意自身行業領域相關法規之更新或頒布，以適時調整資料使用之方式。
雖目前生成式AI仍有其使用之侷限，仍應抱持開放的態度，在技術使用與風險預防之間取得平衡，以能夠在技術發展的同時，更好地學習新興科技工具之使用。
[1] Mata v. Avianca, Inc., 1:22-cv-01461, (S.D.N.Y.).
[2] Benjamin Weiser, Here’s What Happens When Your Lawyer Uses ChatGPT, The New York Times, May 27, 2023, https://www.nytimes.com/2023/05/27/nyregion/avianca-airline-lawsuit-chatgpt.html (last visited Aug. 4, 2023).
[3] Boston Consulting Group [BCG], The CEO’s Roadmap on Generative AI (Mar. 2023), https://media-publications.bcg.com/BCG-Executive-Perspectives-CEOs-Roadmap-on-Generative-AI.pdf (last visited Aug. 29, 2023).
[4] Kate Saenko, Is generative AI bad for the environment? A computer scientist explains the carbon footprint of ChatGPT and its cousins, The Conversation (May 23, 2023.), https://theconversation.com/is-generative-ai-bad-for-the-environment-a-computer-scientist-explains-the-carbon-footprint-of-chatgpt-and-its-cousins-204096 (last visited Sep. 7, 2023).
[5] Robert Lufrano, ChatGPT and the Limits of AI in Legal Research, National Law Review, Volume XIII, Number 195 (Mar. 2023), https://www.natlawreview.com/article/chatgpt-and-limits-ai-legal-research (last visited Aug. 29, 2023).
美國能源部（Department of Energy, DOE）所屬之電力傳輸與能源可靠度辦公室（Office of Electricity Delivery and Energy Reliability, OE）與聯邦智慧電網工作小組（Federal Smart Grid Task Force）對於由智慧電網技術所生之資料相關隱私保護問題，經過一系列包括相關業者在內的公眾意見徵集與專家學者討論後，於2015年1月12日所發布之「自願行為守則」（Voluntary Code of Conduct, VCC），係屬美國總統歐巴馬同日宣示政策，公布對於強化消費者安全、處理身分盜用（identity theft）、並促進線上隱私保護之總體策略方向中的重要部份。 「自願行為守則」的適用對象是供電業者與第三方，目的在於保護包括能源使用資訊（energy usage information）在內的電業消費者資料，並提高消費者的隱私意識與相關資料在提供與近用上所須行使的同意與控制。「自願行為守則」揭示其三大目標，包括：（一）於鼓勵創新的同時，適切地保護消費者資料的隱私與機密性，並提供可靠與不致於無法負擔之電業與能源相關服務；（二）提供消費者對其自身資料的適當近用（appropriate access）；以及（三）不生違反或取代任何聯邦、州、或地方主管機關之法令或管制措施之效果。 而為求取前揭目標之達成與實現，「自願行為守則」訂有五大步驟。此五大步驟包括：（一）「消費者之注意與意識」：透過相關規定向消費者解釋資料蒐集的相關政策與程序，並聚焦於消費者的選擇與責任，藉以讓消費者了解其所必須行使之同意；（二）「消費者之選擇與同意」：透過相關規定讓消費者能為非原始目的（Secondary Purposes）——例如向數個第三方為差別化之近用授權、限制近用之期間、留存資料釋出之記錄、取消授權、以及於授權終止或不再需要相關資料時之資料處置或去識別化等——對其資料之近用進行相關管控、確認有哪些類型的資料與揭露無須消費者同意、以及要求特定資料應直接由消費者處取得；（三）「消費者資料近用」：透過相關規定允許消費者近用其資料、確認可能的錯誤、以及要求更正的相關程序，其中包括在特定情況下就非常態性要求收取費用的可能性；（四）「資料的完整性與安全性」：透過相關規定規範網路安全管理計畫，以及聚合性資料（Aggregated Data）或匿名性資料的建立方式；（五）「自發性執行、管理、與矯正」：透過相關規定對自願採納本「自願行為守則」之服務提供者的行動作出規範，以確保其遵守行為守則。「自願行為守則」雖屬自律規範，但其制定過程有包括電力業者在內之利害關係人的充分參與，並經充分之專家與公民意見徵集，被預期在公布之後將有相當程度之約束力量，並能令因智慧電網與能源資通訊技術所生之相關隱私權保護問題得到更進一步的解決。
加拿大政府提交予國會《人工智慧資料法案》加拿大政府由創新、科學和工業部長（Minister of Innovation, Science and Industry）代表，於2022年6月16日提交C-27號草案，內容包括聯邦的私部門隱私權制度更新，以及新訂的《人工智慧資料法案》（Artificial Intelligence and Data Act, 下稱AIDA）。如獲通過，AIDA將是加拿大第一部規範人工智慧系統使用的法規，其內容環繞「在加拿大制定符合國家及國際標準的人工智慧設計、開發與應用要求」及「禁止某些可能對個人或其利益造成嚴重損害的人工智慧操作行為」兩大目的。雖然AIDA的一般性規則相當簡單易懂，但唯有在正式發布這部包含絕大多數應用狀況的法規後，才能實際了解其所造成的影響。 AIDA為人工智慧監管所設立的框架包含以下六項： （1）方法 以類似於歐盟《人工智慧法案》採用的方式，建立適用於人工智慧系統具「高影響力」的應用方式的規範，關注具有較高損害與偏見風險的領域。 （2）適用範圍 AIDA將適用於在國際與省際貿易及商業行動中，設計、發展或提供人工智慧系統使用管道的私部門組織。「人工智慧系統」的定義則涵蓋任何「透過基因演算法、神經網路、機器學習或其他技術，自動或半自動處理與人類活動相關的資料，以產生結果、做出決策、建議或預測」的技術性系統。 （3）一般性義務 I 評估及緩和風險的措施 負責人工智慧系統的人員應評估它是否是一個「高影響系統」（將在後續法規中詳細定義），並制定措施以辨識、評估與減輕使用該系統可能造成的傷害風險或具有偏見的結果。 II 監控 對該「高影響系統」負責的人員應建立準則，以監控風險緩解措施的遵守情況。 III 透明度 提供使用管道或管理「高影響系統」運作的人員應在公開網站上，以清晰的英語揭露 i 系統如何或打算如何使用。 ii 系統所生成果的類型及它所做出的決策、建議與預測。 iii 為辨識、評估與減輕使用該系統可能造成的傷害風險或具有偏見的結果，而制定的緩解措施。 iv 法規明定應揭露的其他訊息。 IV 記錄保存 執行受規範活動的人員應遵守紀錄保存要求。 V 通知 若使用該系統將導致或可能導致重大傷害，「高影響系統」的負責人應通知部門首長。 VI 匿名資料的使用 從事法案所規定的活動及在活動過程中使用或提供匿名資料的人員，必須依據規範制定關於（a）資料被匿名化處理的方式（b）被匿名化資料的使用與管理，兩方面的措施。 （4）部長命令 部門首長可以透過命令要求（a）製作紀錄（b）從事審計或聘請一位獨立的審計師執行（c）成立一個專責執行審計程序的組織（d）成立一個在有理由相信「高影響系統」之使用可能造成急迫重大傷害風險時負責進行終止或准許的組織。 （5）行政管理 AIDA為部門首長制定一項，可指定其所管轄部門中一名高級官員為「人工智慧與資料專員」的權利，其職責在協助部門首長管理與執行AIDA。 （6）罰則 違反AIDA規範之罰則主要為按公司、個人之收入衡量的罰款。特定嚴重狀況如以非法方式取得人工智慧訓練用資料、明知或故意欺騙大眾造成嚴重或心理傷害或財產上重大損失，亦可能判處刑事監禁。
哈佛研究者以私募基金展開人類胚胎複製哈佛大學的醫學研究人員最近公開表示，他們已經展開複製人類胚胎、創造幹細胞的工作，由於布希政府在數年前即已頒布禁令，禁止聯邦政府資助新的幹細胞系，故哈佛幹細胞研究所的這項計劃將以私人募集的基金進行。 人類胚胎幹細胞的研究一直具爭議性，因為抽取細胞需要破壞人類胚胎。哈佛幹細胞研究計劃以創造特定疾病的幹細胞系為目標，希望研發出多種不治之症的療法。哈佛大學認為這項計劃的潛在好處，大於人類生命神聖遭挑戰的關切，蓋其長期目標是，創造從病患細胞組織取得的胚胎幹細胞，修正基因缺陷，將修復細胞植回病患體內。校長薩默斯在聲明中說：「雖然我們了解且尊重反對此項研究者所持的信念，我們同樣誠摯地面對我們的信仰，相信攸關無數受苦孩童與成人生死的醫學需要，賦予這項研究繼續前進的正當性。」
OECD啟動全球首創的《開發先進人工智慧系統組織的報告框架》2025年2月7日，經濟合作暨發展組織（Organization for Economic Cooperation and Development，OECD）正式啟動《開發先進人工智慧系統組織的報告框架》（Reporting Framework for the Hiroshima Process International Code of Conduct for Organizations Developing Advanced AI Systems，簡稱G7AI風險報告框架）。 該框架之目的是具體落實《廣島進程國際行為準則》（Hiroshima Process International Code of Conduct）的11項行動，促進開發先進人工智慧系統（Advanced AI Systems）的組織建立透明度和問責制。該框架為組織提供標準化方法，使其能夠證明自身符合《廣島進程國際行為準則》的行動，並首次讓組織可以提供有關其人工智慧風險管理實踐、風險評估、事件報告等資訊。對於從事先進人工智慧開發的企業與組織而言，該框架將成為未來風險管理、透明度揭露與國際合規的重要依據。 G7 AI風險報告框架設計，對應《廣島進程國際行為準則》的11項行動，提出七個核心關注面向，具體說明組織於AI系統開發、部署與治理過程中應採取之措施： 1. 組織如何進行AI風險識別與評估； 2. 組織如何進行AI風險管理與資訊安全； 3. 組織如何進行先進AI系統的透明度報告； 4. 組織如何將AI風險管理納入治理框架； 5. 組織如何進行內容驗證與來源追溯機制； 6. 組織如何投資、研究AI安全與如何降低AI社會風險； 7. 組織如何促進AI對人類與全球的利益。 為協助G7推動《廣島進程國際行為準則》，OECD建構G7「AI風險報告框架」網路平台，鼓勵開發先進人工智慧的組織與企業於2025年4月15日前提交首份人工智慧風險報告至該平台（https://transparency.oecd.ai/），目前已有包含OpenAI等超過15家國際企業提交報告。OECD亦呼籲企業與組織每年定期更新報告，以提升全球利益相關者之間的透明度與合作。 目前雖屬自願性報告，然考量到國際監理機關對生成式AI及高風險AI 系統透明度、可問責性（Accountability）的日益關注，G7 AI風險報告框架內容可能成為未來立法與監管的參考作法之一。建議企業組織持續觀測國際AI治理政策變化，預做合規準備。