用ChatGPT找法院判決？從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限
用ChatGPT找法院判決？從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限
資訊工業策進會科技法律研究所
2023年09月08日
生成式AI是透過研究過去資料，以創造新內容和想法的AI技術，其應用領域包括文字、圖像及影音。以ChatGPT為例，OpenAI自2022年11月30日發布ChatGPT後，短短二個月內，全球月均用戶數即達到1億人，無疑成為民眾日常生活中最容易近用的AI科技。
惟，生成式AI大量使用後，其中的問題也逐漸浮現。例如，ChatGPT提供的回答僅是從所學習的資料中統整歸納，無法保證資料的正確性。Roberto Mata v. Avianca, Inc.案即是因律師利用ChatGPT撰寫訴狀，卻未重新審視其所提供判決之正確性，以致後續引發訴狀中所描述的判決不存在爭議。
壹、事件摘要
Roberto Mata v. Avianca, Inc.案[1]中，原告Roberto Mata於2019年8月搭乘哥倫比亞航空從薩爾瓦多飛往紐約，飛行過程中膝蓋遭空服員的推車撞傷，並於2022年2月向法院提起訴訟，要求哥倫比亞航空為空服員的疏失作出賠償；哥倫比亞航空則主張已超過《蒙特婁公約》（Montreal Convention）第35條所訂之航空器抵達日起兩年內向法院提出損害賠償之請求時效。
R然而，法院審理過程中發現原告訴狀內引用之六個判決無法從判決系統中查詢，進而質疑判決之真實性。原告律師Steven A. Schwartz因而坦承訴狀中引用的六個判決是ChatGPT所提供，並宣稱針對ChatGPT所提供的判決，曾多次向ChatGPT確認該判決之正確性[2]。
貳、生成式AI應用之潛在風險
雖然運用生成式AI技術並結合自身專業知識執行特定任務，可能有助於提升效率，惟，從前述Roberto Mata v. Avianca, Inc.案亦可看出，依目前生成式AI技術之發展，仍可能產生資訊正確性疑慮。以下彙整生成式AI應用之8大潛在風險[3]：
一、能源使用及對環境危害
相較於傳統機器學習，生成式AI模型訓練將耗費更多運算資源與能源。根據波士頓大學電腦科學系Kate Saenko副教授表示，OpenAI的GPT-3模型擁有1,750億個參數，約會消耗1,287兆瓦/時的電力，並排放552噸二氧化碳。亦即，每當向生成式AI下一個指令，其所消耗的能源量相較於一般搜尋引擎將可能高出4至5倍[4]。
二、能力超出預期（Capability Overhang）
運算系統的黑盒子可能發展出超乎開發人員或使用者想像的隱藏功能，此發展將會對人類帶來新的助力還是成為危險的阻力，則會隨著使用者之間的相互作用而定。
三、輸出結果有偏見
生成式AI通常是利用公開資料進行訓練，若輸入資料在訓練時未受監督，而帶有真實世界既存的刻板印象（如語言、種族、性別、性取向、能力、文化等），據此建立之AI模型輸出結果可能帶有偏見。
四、智慧財產權疑慮
生成式AI進行模型訓練時，需仰賴大量網路資料或從其他大型資料庫蒐集訓練資料。然而，若原始資料來源不明確，可能引發取得資料未經同意或違反授權條款之疑慮，導致生成的內容存在侵權風險。
五、缺乏驗證事實功能
生成式AI時常提供看似正確卻與實際情形不符的回覆，若使用者誤信該答案即可能帶來風險。另外，生成式AI屬於持續動態發展的資訊生態系統，當產出結果有偏誤時，若沒有大規模的人為干預恐難以有效解決此問題。
六、數位犯罪增加與資安攻擊
過去由人工產製的釣魚郵件或網站可能受限於技術限制而容易被識破，然而，生成式AI能夠快速建立具高度說服力的各種擬真資料，降低詐騙的進入門檻。又，駭客亦有可能在不熟悉技術的情況下，利用AI進一步找出資安弱點或攻擊方法，增加防禦難度。
七、敏感資料外洩
使用雲端服務提供商所建立的生成式AI時，由於輸入的資料存儲於外部伺服器，若要追蹤或刪除有一定難度，若遭有心人士利用而導致濫用、攻擊或竄改，將可能產生資料外洩的風險。
八、影子AI（Shadow AI）
影子AI係指開發者未知或無法控制之AI使用情境。隨著AI模型複雜性增加，若開發人員與使用者未進行充分溝通，或使用者在未經充分指導下使用 AI 工具，將可能產生無法預期之風險。
參、事件評析
在Roberto Mata v. Avianca, Inc.案中，法院關注的焦點在於律師的行為，而非對AI技術使用的批判。法院認為，隨著技術的進步，利用可信賴的AI工具作為協助用途並無不當，惟，律師應踐行其專業素養，確保所提交文件之正確性[5]。
當AI科技發展逐漸朝向自主與獨立的方向前進，仍需注意生成式AI使用上之侷限。當個人在使用生成式AI時，需具備獨立思考判斷的能力，並驗證產出結果之正確性，不宜全盤接受生成式AI提供之回答。針對企業或具高度專業領域人士使用生成式AI時，除確認結果正確性外，更需注意資料保護及治理議題，例如建立AI工具合理使用情境及加強員工使用相關工具之教育訓練。在成本能負擔的情況下，可選擇透過企業內部的基礎設施訓練AI模型，或是在訓練模型前確保敏感資料已經加密或匿名。並應注意自身行業領域相關法規之更新或頒布，以適時調整資料使用之方式。
雖目前生成式AI仍有其使用之侷限，仍應抱持開放的態度，在技術使用與風險預防之間取得平衡，以能夠在技術發展的同時，更好地學習新興科技工具之使用。
[1] Mata v. Avianca, Inc., 1:22-cv-01461, (S.D.N.Y.).
[2] Benjamin Weiser, Here’s What Happens When Your Lawyer Uses ChatGPT, The New York Times, May 27, 2023, https://www.nytimes.com/2023/05/27/nyregion/avianca-airline-lawsuit-chatgpt.html (last visited Aug. 4, 2023).
[3] Boston Consulting Group [BCG], The CEO’s Roadmap on Generative AI (Mar. 2023), https://media-publications.bcg.com/BCG-Executive-Perspectives-CEOs-Roadmap-on-Generative-AI.pdf (last visited Aug. 29, 2023).
[4] Kate Saenko, Is generative AI bad for the environment? A computer scientist explains the carbon footprint of ChatGPT and its cousins, The Conversation (May 23, 2023.), https://theconversation.com/is-generative-ai-bad-for-the-environment-a-computer-scientist-explains-the-carbon-footprint-of-chatgpt-and-its-cousins-204096 (last visited Sep. 7, 2023).
[5] Robert Lufrano, ChatGPT and the Limits of AI in Legal Research, National Law Review, Volume XIII, Number 195 (Mar. 2023), https://www.natlawreview.com/article/chatgpt-and-limits-ai-legal-research (last visited Aug. 29, 2023).
美國公布實施零信任架構相關資安實務指引 資訊工業策進會科技法律研究所 2022年09月10日 美國國家標準技術研究院（National Institute of Standards and Technology, NIST）所管轄的國家網路安全卓越中心（National Cybersecurity Center of Excellence, NCCoE），於2022年8月前公布「NIST SP 1800-35實施零信任架構相關資安實務指引」（NIST Cybersecurity Practice Guide SP 1800-35, Implementing a Zero Trust Architecture）系列文件初稿共四份[1] ，並公開徵求意見。 壹、發布背景 此系列指引文件主要係回應美國白宮於2021年5月12日發布「改善國家資安行政命令」(Executive Oder on Improving the Nation’s Cybersecurity) [2]當中，要求聯邦政府採用現代化網路安全措施（Modernizing Federal Government Cybersecurity），邁向零信任架構（advance toward Zero Trust Architecture）的安全防護機制，以強化美國網路安全。 有鑑於5G網路、雲端服務、行動設備等科技快速發展，生活型態因疫情推動遠距工作、遠距醫療等趨勢，透過各類連線設備隨時隨地近用企業系統或資源進行遠端作業，皆使得傳統的網路安全邊界逐漸模糊，難以進行邊界防護，導致駭客可透過身分權限存取之監控缺失，對企業進行攻擊行動。為此NIST早於2020年8月已公布「SP 800-207零信任架構」（Zero Trust Architecture, ZTA）標準文件[3] ，協助企業基於風險評估建立和維護近用權限，如請求者的身分和角色、請求近用資源的設備狀況和憑證，以及所近用資源之敏感性等，避免企業資源被不當近用。 貳、內容摘要 考量企業於實施ZTA可能面臨相關挑戰，包含ZTA部署需要整合多種不同技術和確認技術差距以構建完整的ZTA架構；擔心ZTA可能會對環境運行或終端客戶體驗產生負面影響；整個組織對ZTA 缺乏共識，無法衡量組織的ZTA成熟度，難確定哪種ZTA方法最適合業務，並制定實施計畫等，NCCoE與合作者共同提出解決方案，以「NIST SP 800-207零信任架構」中的概念與原則，於2022年8月9日前發布實施零信任架構之實務指引系列文件初稿共四份，包含： 一、NIST SP 1800-35A：執行摘要（初稿）（NIST SP 1800-35A: Executive Summary (Preliminary Draft)） 主要針對資安技術長（chief information security and technology officers）等業務決策者所編寫，可使用該指引來瞭解企業於實施ZTA所可能遭遇挑戰與解決方案，實施ZTA所能帶來優點等。 二、NIST SP 1800-35B：方法、架構和安全特性（初稿）（NIST SP 1800-35B: Approach, Architecture, and Security Characteristics (Preliminary Draft)） 主要針對關注如何識別、理解、評估和降低風險的專案經理和中層管理決策者所編寫，闡述風險分析、安全/隱私控制對應業務流程方法（mappings）的設計理念與評估內容。 三、NIST SP 1800-35C：如何操作指引（初稿）（NIST SP 1800-35C: How-To Guides (Preliminary Draft)） 主要針對於現場部署安全工具的IT 專業人員所編寫，指導和說明特定資安產品的安裝、配置和整合，提供具體的技術實施細節，可全部或部分應用指引中所揭示的例示內容。 四、NIST SP 1800-35D：功能演示（初稿）（NIST SP 1800-35D: Functional Demonstrations (Preliminary Draft)） 此份指引主要在闡述商業應用技術如何被整合與使用以建構ZTA架構，展示使用案例情境的實施結果。 參、評估分析 美國自總統發布行政命令，要求聯邦機構以導入ZTA為主要目標，並發布系列指引文件，透過常見的實施零信任架構案例說明，消除零信任設計的複雜性，協助組織運用商用技術來建立和實施可互操作、基於開放標準的零信任架構，未來可預見數位身分將成為安全新核心。 此外，NIST於2022年5月發布資安白皮書－規劃零信任架構：聯邦管理員指引[4] ，描繪NIST風險管理框架（Risk Management Framework, RMF）逐步融合零信任架構的過程，幫助聯邦系統管理員和操作員在設計和實施零信任架構時使用RMF。 我國企業若有與美國地區業務往來者，或欲降低遠端應用的安全風險者，宜參考以上標準文件與實務指引，以建立、推動和落實零信任架構，降低攻擊者在環境中橫向移動和提升權限的能力，與保護組織重要資源。 [1] Implementing a Zero Trust Architecture, NATIONAL INSTITUTE OF STANDARDS AND TECHNOLOGY, https://www.nccoe.nist.gov/projects/implementing-zero-trust-architecture (last visited Aug. 22, 2022). [2] Executive Order on Improving the Nation’s Cybersecurity, THE WHITE HOUSE, https://www.whitehouse.gov/briefing-room/presidential-actions/2021/05/12/executive-order-on-improving-the-nations-cybersecurity (last visited Aug. 22, 2022). [3] SP 800-207- Zero Trust Architecture, NATIONAL INSTITUTE OF STANDARDS AND TECHNOLOGY, https://csrc.nist.gov/publications/detail/sp/800-207/final (last visited Aug. 22, 2022). [4] NIST Releases Cybersecurity White Paper: Planning for a Zero Trust Architecture, NATIONAL INSTITUTE OF STANDARDS AND TECHNOLOGY, https://csrc.nist.gov/News/2022/planning-for-a-zero-trust-architecture-white-paper (last visited Aug. 22, 2022).
法國資料保護機關要求Clearview AI刪除非法蒐集的個人資料法國國家資訊自由委員會（Commission nationale de l’informatique et des libertés, CNIL）自2020年5月起陸續收到民眾對臉部辨識軟體公司Clearview AI的投訴，並展開調查。嗣後，CNIL於2021年12月16公布調查結果，認為Clearview AI公司蒐集及使用生物特徵識別資料（biometric data）的行為，違反《一般資料保護規範》（General Data Protection Regulation，GDPR）的規定，分別為： 非法處理個人資料：個人資料的處理必須符合GDPR第6條所列舉之任一法律依據，始得合法。Clearview AI公司從社群網路蒐集大量全球公民的照片與影音資料，並用於臉部辨識軟體的開發，其過程皆未取得當事人之同意，故缺乏個人資料處理的合法性依據。 欠缺保障個資主體的權利：Clearview AI公司未考慮到GDPR第12條、第15條及第17條個資主體權利之行使，特別是資料查閱權，並且忽視當事人的個資刪除請求。 因此，CNIL要求Clearview AI公司必須於兩個月內改善上述違法狀態，包括：（1）在沒有法律依據的情況下，停止蒐集及使用法國人民的個資；（2）促進個資主體行使其權利，並落實個資刪除之請求。若Clearview AI公司未能於此期限內向CNIL提交法令遵循之證明，則CNIL可依據GDPR進行裁罰，可處以最高 2000萬歐元的罰鍰，或公司全球年收入的4%。
Facebook支付5.5億美元解決涉及侵犯隱私的訴訟案使用過Facebook（臉書）上傳照片時，不難發現其內建功能可透過臉部辨識「自動標記」（tag）好友的功能，建議用戶標記照片內的人物，而自從該功能於2011年啟用後，始終存有侵害用戶隱私權的疑慮。本案訴訟自2015年開始，及針對臉書「自動標記」的標籤建議功能爭論。美國於2018年經美國聯邦法院裁定，該功能在未經用戶同意的情況下蒐集並存儲相關使用者的生物特徵資料（biometric data），違反美國伊利諾州（Illinois）生物識別資料隱私法（Biometric Information Privacy Act）。雖然臉書已開始公開與用戶說明其可選擇關閉其識別功能，並針對上述聯邦法院判決提出上訴，卻仍於2019年8月敗訴。因此臉書同意以5.5億美元和解，用於支付伊利諾州的用戶（符合條件的）及訴訟相關費用。
德國外交部發布《聯邦政府對中國戰略》明確與中國競爭及繼續合作方向德國外交部（Menü Auswärtiges Amt）於2023年7月13日發布《聯邦政府對中國戰略》（China-Strategie der Bundesregierung），該戰略目的係提供使德國各個聯邦機關能夠協調其對中政策的架構，重點如下： （1）德國對中國戰略為歐盟對中國政策的一部分：依據歐盟理事會2020年10月決議，德國聯邦政府支持以國家元首、政府首腦以及歐盟機構領導人位階，與中國建立新的高峰會談等。 （2）與中國雙邊關係：期待透過兩國合作，保護氣候、環境、生物多樣性、促進全球食物安全，以及實施2030永續發展進程等。 （3）深化德國與歐盟關係：維護全球供應鏈與價值鏈的安全性；避免關鍵領域資訊科技過度依賴中國，加強數位主權（digital sovereignty）；積極參與歐盟對外投資審查的檢視與安全評估；針對新興關鍵科技，修正出口管制清單等。 （4）國際合作：在貿易政策與多元化的層面，更有效地實施環境、社會與人權的保護；與夥伴國合作共享對於關鍵科技如半導體、人工智慧及綠色科技的價值等。 （5）協調政策與建構對中國的專業知識：德國聯邦政府將定期召開針對中國議題的部長級會議，並公開對中國戰略的實施情形；鼓勵各級機關、公民團體建構其中國專業知識掌握的量能。 該戰略作為加強德國在中國問題上的參考，是否能作為歐盟其他會員國在對中國政策上的參考，有待持續關注。