用ChatGPT找法院判決？從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限
用ChatGPT找法院判決？從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限
資訊工業策進會科技法律研究所
2023年09月08日
生成式AI是透過研究過去資料，以創造新內容和想法的AI技術，其應用領域包括文字、圖像及影音。以ChatGPT為例，OpenAI自2022年11月30日發布ChatGPT後，短短二個月內，全球月均用戶數即達到1億人，無疑成為民眾日常生活中最容易近用的AI科技。
惟，生成式AI大量使用後，其中的問題也逐漸浮現。例如，ChatGPT提供的回答僅是從所學習的資料中統整歸納，無法保證資料的正確性。Roberto Mata v. Avianca, Inc.案即是因律師利用ChatGPT撰寫訴狀，卻未重新審視其所提供判決之正確性，以致後續引發訴狀中所描述的判決不存在爭議。
壹、事件摘要
Roberto Mata v. Avianca, Inc.案[1]中，原告Roberto Mata於2019年8月搭乘哥倫比亞航空從薩爾瓦多飛往紐約，飛行過程中膝蓋遭空服員的推車撞傷，並於2022年2月向法院提起訴訟，要求哥倫比亞航空為空服員的疏失作出賠償；哥倫比亞航空則主張已超過《蒙特婁公約》（Montreal Convention）第35條所訂之航空器抵達日起兩年內向法院提出損害賠償之請求時效。
R然而，法院審理過程中發現原告訴狀內引用之六個判決無法從判決系統中查詢，進而質疑判決之真實性。原告律師Steven A. Schwartz因而坦承訴狀中引用的六個判決是ChatGPT所提供，並宣稱針對ChatGPT所提供的判決，曾多次向ChatGPT確認該判決之正確性[2]。
貳、生成式AI應用之潛在風險
雖然運用生成式AI技術並結合自身專業知識執行特定任務，可能有助於提升效率，惟，從前述Roberto Mata v. Avianca, Inc.案亦可看出，依目前生成式AI技術之發展，仍可能產生資訊正確性疑慮。以下彙整生成式AI應用之8大潛在風險[3]：
一、能源使用及對環境危害
相較於傳統機器學習，生成式AI模型訓練將耗費更多運算資源與能源。根據波士頓大學電腦科學系Kate Saenko副教授表示，OpenAI的GPT-3模型擁有1,750億個參數，約會消耗1,287兆瓦/時的電力，並排放552噸二氧化碳。亦即，每當向生成式AI下一個指令，其所消耗的能源量相較於一般搜尋引擎將可能高出4至5倍[4]。
二、能力超出預期（Capability Overhang）
運算系統的黑盒子可能發展出超乎開發人員或使用者想像的隱藏功能，此發展將會對人類帶來新的助力還是成為危險的阻力，則會隨著使用者之間的相互作用而定。
三、輸出結果有偏見
生成式AI通常是利用公開資料進行訓練，若輸入資料在訓練時未受監督，而帶有真實世界既存的刻板印象（如語言、種族、性別、性取向、能力、文化等），據此建立之AI模型輸出結果可能帶有偏見。
四、智慧財產權疑慮
生成式AI進行模型訓練時，需仰賴大量網路資料或從其他大型資料庫蒐集訓練資料。然而，若原始資料來源不明確，可能引發取得資料未經同意或違反授權條款之疑慮，導致生成的內容存在侵權風險。
五、缺乏驗證事實功能
生成式AI時常提供看似正確卻與實際情形不符的回覆，若使用者誤信該答案即可能帶來風險。另外，生成式AI屬於持續動態發展的資訊生態系統，當產出結果有偏誤時，若沒有大規模的人為干預恐難以有效解決此問題。
六、數位犯罪增加與資安攻擊
過去由人工產製的釣魚郵件或網站可能受限於技術限制而容易被識破，然而，生成式AI能夠快速建立具高度說服力的各種擬真資料，降低詐騙的進入門檻。又，駭客亦有可能在不熟悉技術的情況下，利用AI進一步找出資安弱點或攻擊方法，增加防禦難度。
七、敏感資料外洩
使用雲端服務提供商所建立的生成式AI時，由於輸入的資料存儲於外部伺服器，若要追蹤或刪除有一定難度，若遭有心人士利用而導致濫用、攻擊或竄改，將可能產生資料外洩的風險。
八、影子AI（Shadow AI）
影子AI係指開發者未知或無法控制之AI使用情境。隨著AI模型複雜性增加，若開發人員與使用者未進行充分溝通，或使用者在未經充分指導下使用 AI 工具，將可能產生無法預期之風險。
參、事件評析
在Roberto Mata v. Avianca, Inc.案中，法院關注的焦點在於律師的行為，而非對AI技術使用的批判。法院認為，隨著技術的進步，利用可信賴的AI工具作為協助用途並無不當，惟，律師應踐行其專業素養，確保所提交文件之正確性[5]。
當AI科技發展逐漸朝向自主與獨立的方向前進，仍需注意生成式AI使用上之侷限。當個人在使用生成式AI時，需具備獨立思考判斷的能力，並驗證產出結果之正確性，不宜全盤接受生成式AI提供之回答。針對企業或具高度專業領域人士使用生成式AI時，除確認結果正確性外，更需注意資料保護及治理議題，例如建立AI工具合理使用情境及加強員工使用相關工具之教育訓練。在成本能負擔的情況下，可選擇透過企業內部的基礎設施訓練AI模型，或是在訓練模型前確保敏感資料已經加密或匿名。並應注意自身行業領域相關法規之更新或頒布，以適時調整資料使用之方式。
雖目前生成式AI仍有其使用之侷限，仍應抱持開放的態度，在技術使用與風險預防之間取得平衡，以能夠在技術發展的同時，更好地學習新興科技工具之使用。
[1] Mata v. Avianca, Inc., 1:22-cv-01461, (S.D.N.Y.).
[2] Benjamin Weiser, Here’s What Happens When Your Lawyer Uses ChatGPT, The New York Times, May 27, 2023, https://www.nytimes.com/2023/05/27/nyregion/avianca-airline-lawsuit-chatgpt.html (last visited Aug. 4, 2023).
[3] Boston Consulting Group [BCG], The CEO’s Roadmap on Generative AI (Mar. 2023), https://media-publications.bcg.com/BCG-Executive-Perspectives-CEOs-Roadmap-on-Generative-AI.pdf (last visited Aug. 29, 2023).
[4] Kate Saenko, Is generative AI bad for the environment? A computer scientist explains the carbon footprint of ChatGPT and its cousins, The Conversation (May 23, 2023.), https://theconversation.com/is-generative-ai-bad-for-the-environment-a-computer-scientist-explains-the-carbon-footprint-of-chatgpt-and-its-cousins-204096 (last visited Sep. 7, 2023).
[5] Robert Lufrano, ChatGPT and the Limits of AI in Legal Research, National Law Review, Volume XIII, Number 195 (Mar. 2023), https://www.natlawreview.com/article/chatgpt-and-limits-ai-legal-research (last visited Aug. 29, 2023).
美國眾議院於2015年4月22日以307票同意，116票反對，通過網路保護法（The Protecting Cyber Networks Act）。本法之立法目的在於移除法規障礙，美國公司藉此將得以與其他公機關或私人分享資安威脅的相關資訊，以防範駭客攻擊。 本法之重點內容主要係為對於網路威脅指標與防禦辦法之分享。依網路保護法第102條與第104條之規定，分享的客體包括「網路威脅指標」（cyber threat indicator）與「防禦辦法」（defensive measures），分享之對象則分為非聯邦機構（non-Federal entities）以及（國防部或國安局之外的）適當之聯邦機構（appropriate Federal entities）。本法第102條規定，在符合機密資訊、情報來源與方法、以及隱私及公民自由之保護下，國家情報總監（the Director of National Intelligence, DNI）經與其他適當聯邦機構諮商後，應展開並頒布相關程序，以促進下列事項之進行：「（一）與相關非聯邦機構中具有適當安全權限之代表，及時分享（timely sharing）聯邦政府所有之機密網路威脅指標；（二）與相關非聯邦機構及時分享聯邦政府所有，且可能被解密並以非機密等級分享之網路威脅指標；（三）於適當情況下與非聯邦機構分享聯邦政府所有，且與該些機構即將或正在發生之網路安全威脅（cybersecurity threat）有關之資訊，以防止或降低該網路安全威脅所造成之負面影響。」 以及，對於隱私權與公民自由之保障亦非常重要，就隱私權與公民自由之保障，網路保護法主要在第103條第4項設有相關規定。對於資訊安全，該項第1款規定，依本法第103條之規定進行資訊系統之監控、執行防禦辦法、或提供或取得網路威脅指標或防禦辦法之非聯邦機構，應實施適當之安全管控，以保護該些網路威脅指標或防禦辦法免遭未經授權之近用或取得。同項第2款則更進一步規定了特定個人資料在一定條件下應被移除。該款規定，依本法進行網路威脅指標分享的非聯邦機構，於分享前應合理地對該網路威脅指標進行復核，以評估該指標是否含有任何令該機構合理相信（reasonably believes）與網路安全威脅非直接相關，且於分享時（at the time of sharing）屬於特定個人之個人資訊或指向特定個人之資訊，並移除該等資訊。
歐盟執委會發布《受禁止人工智慧行為指引》歐盟執委會發布《受禁止人工智慧行為指引》 資訊工業策進會科技法律研究所 2025年02月24日 歐盟繼《人工智慧法》[1]（Artificial Intelligence Act, 下稱AI Act）於2024年8月1日正式生效後，針對該法中訂於2025年2月2日始實施之第5條1，有關「不可接受風險」之內容中明文禁止的人工智慧行為類型，由歐盟執委會於2025年2月4日發布《受禁止人工智慧行為指引》[2]。 壹、事件摘要 歐盟AI Act於2024年8月1日正式生效，為歐盟人工智慧系統引入統一之人工智慧風險分級規範，主要分為四個等級[3]： 1. 不可接受風險（Unacceptable risk） 2. 高風險（High risk） 3. 有限風險，具有特定透明度義務（Limited risk） 4. 最低風險或無風險（Minimal to no risk） AI Act之風險分級系統推出後，各界對於法規中所說的不同風險等級的系統，究竟於實務上如何判斷？該等系統實際上具備何種特徵？許多內容仍屬概要而不確定，不利於政府、企業遵循，亦不利於各界對人工智慧技術進行監督。是以歐盟本次針對「不可接受風險」之人工智慧系統，推出相關指引，目的在明確化規範內涵規範，協助主管機關與市場參與者予以遵循。 貳、重點說明 一、AI Act本文第5條1（a）、（b）－有害操縱、欺騙與剝削行為 （一）概念說明 本禁止行為規定旨在防止透過人工智慧系統施行操縱與剝削，使他人淪為實現特定目的工具之行為，以保護社會上最為脆弱且易受有害操控與剝削影響的群體。 （二）禁止施行本行為之前提要件 1.該行為必須構成將特定人工智慧系統「投放於歐盟市場」（placing on the market）[4]、「啟用」（putting into service）[5]或「使用」（use）[6]。 2.應用目的：該人工智慧系統所採用的技術具有能實質扭曲個人或團體行為的「目的」或「效果」，此種扭曲明顯削弱個人或團體做出正確決定的能力，導致其做出的決定偏離正常情形。 3.技術特性：關於(a)有害的操縱與欺騙部分，係指使用潛意識（超出個人意識範圍）、或刻意操控或欺騙的技術；關於(b)有害地利用弱勢群體部分，是指利用個人年齡、身心障礙或社會經濟狀況上弱點。 4.後果：該扭曲行為已造成或合理可預見將造成該個人、另一人或某群體的重大傷害。 5.因果關係：該人工智慧系統所採用的技術、個人或團體行為的扭曲，以及由此行為造成或可合理預見將造成的重大傷害之間，具備相當因果關係。 二、AI Act本文第5條1（c）－社會評分行為 （一）概念說明 本禁止行為規定旨在防止透過人工智慧系統進行「社會評分」可能對特定個人或團體產生歧視和不公平的結果，以及引發與歐盟價值觀不相容的社會控制與監視行為。 （二）禁止施行本行為之前提要件 1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。 2.應用目的：該人工智慧系統必須用於對一定期間內，自然人及群體的社會行為，或其已知、預測的個人特徵或人格特質進行評價或分類。 3.後果：透過該人工智慧系統所產生的社會評分，必須可能導致個人或群體，在與評分用資料生成或蒐集時無關的環境遭受不利待遇，或遭受與其行為嚴重性不合比例的不利待遇。 三、AI Act本文第5條1（d）－個人犯罪風險評估與預測行為 （一）概念說明 本禁止行為規定之目的，旨在考量自然人應依其實際行為接受評判，而非由人工智慧系統僅基於對自然人的剖析、人格特質或個人特徵等，即逕予評估或預測個人犯罪風險。 （二）禁止施行本行為之前提要件 1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。 2.應用目的：該人工智慧系統必須生成旨在評估或預測自然人施行犯罪行為風險的風險評估結果。 3.後果：前述風險評估結果僅依據於對自然人的剖析，或對其人格特質與個人特徵的評估。 4.除外規定：若人工智慧系統係基於與犯罪活動直接相關的客觀、可驗證事實，針對個人涉入犯罪活動之程度進行評估，則不適用本項禁止規定。 四、AI Act本文第5條1（e）－無差別地擷取（Untargeted Scraping）臉部影像之行為 （一）概念說明 本禁止行為規定之目的，旨在考量以人工智慧系統從網路或監視器影像中無差別地擷取臉部影像，用以建立或擴充人臉辨識資料庫，將嚴重干涉個人的隱私權與資料保護權，並剝奪其維持匿名的權利。 （二）禁止施行本行為之前提要件 1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。 2.應用目的：該行為以建立或擴充人臉辨識資料庫為目的。 3.技術特性：填充人臉辨識資料庫的方式係以人工智慧工具進行「無差別的擷取行為」。 4.因果關係：建立或擴充人臉辨識資料庫之影像來源，須為網路或監視器畫面。 五、AI Act本文第5條1（f）－情緒辨識行為 （一）概念說明 本禁止行為規定之目的，旨在考量情緒辨識可廣泛應用於分析消費者行為，以更有效率的手段執行媒體推廣、個人化推薦、監測群體情緒或注意力，以及測謊等目的。然而情緒表達在不同文化、情境與個人反應皆可能存在差異，缺乏明確性、較不可靠且難以普遍適用，因此應用情緒辨識可能導致歧視性結果，並侵害相關個人或群體的權利，尤以關係較不對等的職場與教育訓練環境應加以注意。 （二）禁止施行本行為之前提要件 1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。 2.應用目的：該系統係用於推斷情緒。 3.因果關係：該行為發生於職場或教育訓練機構。 4.除外規定：為醫療或安全目的而採用的人工智慧系統不在禁止範圍內。例如在醫療領域中，情緒辨識可協助偵測憂鬱症、預防自殺等，具有正面效果。 六、AI Act本文第5條1（g）－為推測敏感特徵所進行之生物辨識分類行為 （一）概念說明 本禁止行為規定之目的，旨在考量利用人工智慧之生物辨識分類系統（Biometric Categorisation System）[7]，可依據自然人的生物辨識資料用以推斷其性取向、政治傾向、信仰或種族等「敏感特徵」在內的各類資訊，並可能在當事人不知情的情況下依據此資訊對自然人進行分類，進而可能導致不公平或歧視性待遇。 （二）禁止施行本行為之前提要件 1.該行為必須屬於將特定人工智慧系統「投放於歐盟市場」、「啟用」或「使用」。 2.應用目的：該行為係針對個人進行分類；而其辨識目的係為推斷其種族、政治傾向、工會成員身分、宗教或哲學信仰、性生活或性取向等。 3.技術特性：該系統必須為利用人工智慧，並依據自然人的生物辨識資料，將其歸類至特定類別之生物辨識分類系統。 4.因果關係：前述分類依據為其生物辨識資訊。 5.除外規定：本項禁止規定未涵蓋對合法取得的生物辨識資料進行標記（Labelling）或過濾（Filtering）行為，如用於執法目的等。 七、AI Act本文第5條1（h）－使用即時遠端生物辨識（Remote Biometric Identification, RBI）系統[8]執法[9]之行為 （一）概念說明 本禁止行為規定之目的，旨在考量在公共場所使用即時RBI系統進行執法，可能對人民權利與自由造成嚴重影響，使其遭受監視或間接阻礙其行使集會自由及其他基本權利。此外，RBI系統的不準確性，將可能導致針對年齡、族群、種族、性別或身心障礙等方面的偏見與歧視。 （二）禁止施行本行為之前提要件 1.該行為必須涉及對即時RBI系統的「使用」行為。 2.應用目的：使用目的須為執法需要。 3.技術特性：該系統必須為利用人工智慧，在無需自然人主動參與的情況下，透過遠距離比對個人生物辨識資料與參考資料庫中的生物辨識資料，從而達成識別自然人身份目的之RBI系統。 4.因果關係：其使用情境須具備即時性，且使用地點須為公共場所。 參、事件評析 人工智慧技術之發展固然帶來多樣化的運用方向，惟其所衍生的倫理議題仍應於全面使用前予以審慎考量。觀諸歐盟AI Act與《受禁止人工智慧行為指引》所羅列之各類行為，亦可觀察出立法者對人工智慧之便利性遭公、私部門用於「欺詐與利用」及「辨識與預測」，對《歐盟基本權利憲章》[10]中平等、自由等權利造成嚴重影響的擔憂。 為在促進創新與保護基本權利及歐盟價值觀間取得平衡，歐盟本次爰參考人工智慧系統提供者、使用者、民間組織、學術界、公部門、商業協會等多方利害關係人之意見，推出《受禁止人工智慧行為指引》，針對各項禁止行為提出「概念說明」與「成立條件」，期望協助提升歐盟AI Act主管機關等公部門執行相關規範時之法律明確性，並確保具體適用時的一致性。於歐盟內部開發、部署及使用人工智慧系統的私部門企業與組織，則亦可作為實務參考，有助確保其自身在遵守AI Act所規定的各項義務前提下順利開展其業務。 [1]European Union, REGULATION (EU) 2024/1689 OF THE EUROPEAN PARLIAMENT AND OF THE COUNCIL (2024), https://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=OJ:L_202401689 (last visited Feb. 24, 2025). [2]Commission publishes the Guidelines on prohibited artificial intelligence (AI) practices, as defined by the AI Act., European Commission, https://digital-strategy.ec.europa.eu/en/library/commission-publishes-guidelines-prohibited-artificial-intelligence-ai-practices-defined-ai-act (last visited Feb. 24, 2025). [3]AI Act, European Commission, https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai (last visited Feb. 24, 2025). [4]依據本指引第2.3點，所謂「投放於歐盟市場」（placing on the market），係指該人工智慧系統首次在歐盟市場「提供」；所謂「提供」，則係指在商業活動過程中，以收費或免費方式將該AI系統供應至歐盟市場供分發或使用。 [5]依據本指引第2.3點，所謂「啟用」（putting into service），係指人工智慧系統供應者為供應使用者首次使用或自行使用，而於歐盟內供應人工智慧系統。 [6]依據本指引第2.3點，「使用」（use）之範疇雖未在AI Act內容明確定義，惟應廣義理解為涵蓋人工智慧系統在「投放於歐盟市場」或「啟用」後，其生命週期內的任何使用或部署；另參考AI Act第5條的規範目的，所謂「使用」應包含任何受禁止的誤用行為。 [7]依據AI Act第3條(40)之定義，生物辨識分類系統係指一種依據自然人的生物辨識資料，將其歸類至特定類別之人工智慧系統。 [8]依據AI Act第3條(41)之定義，RBI系統係指一種在無需自然人主動參與的情況下，透過遠距離比對個人生物辨識資料與參考資料庫中的生物辨識資料，從而達成識別自然人身份目的之人工智慧系統。 [9]依據AI Act第3條(46)之定義，「執法（law enforcement）」一詞，係指由執法機關或其委任之代表，代替其執行目的包括預防、調查、偵測或起訴刑事犯罪，或執行刑事處罰，並涵蓋防範與應對公共安全威脅等範疇之行為。 [10]CHARTER OF FUNDAMENTAL RIGHTS OF THE EUROPEAN UNION, Official Journal of the European Union, https://eur-lex.europa.eu/legal-content/EN/TXT/HTML/?uri=CELEX:12012P/TXT (last visited Feb. 24, 2025).
歐盟專利強化合作方案 不同意見再起2011年3月，25個歐盟國家提案成立專利合作強化方案，以強化歐洲境內的專利申請以及審查速度。然而原本在波蘭接下2011年下半年歐盟主席後，希望於任內完成此一強化合作方案的簽署，目前似已遭遇瓶頸。義大利與西班牙兩國與其他25國不同，而對於歐盟（執委會）所提出之「強化專利合作程序」採取反對立場，他們認為因為該程序以英文、法文與德文為專利申請的官方語言，故羅馬及馬德里方面認為這將使得來自這「三大」國家的企業享有不公平的競爭優勢。 前揭方案的背景架構可放大到歐洲專利制度的整合規劃，2011年12月5日召開的歐盟競爭委員會，於有關歐洲專利統合的議題，原預計討論專利法庭所在城市（倫敦、慕尼黑與巴黎被提名）、上訴法庭、仲裁機構、財務分攤與程序接軌等議題。最後經過兩天的會議，只有專利法庭一案的討論，在多國表示願意擔任第一審法庭的情況下，獲得處理方向的決議。而有關財務負擔及其他仍未有確定共識的議題，有待丹麥主席任期中去進行最後協定的催生了。
資訊安全與電子商務－談資訊安全通報機制