用ChatGPT找法院判決？從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限
用ChatGPT找法院判決？從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限
資訊工業策進會科技法律研究所
2023年09月08日
生成式AI是透過研究過去資料，以創造新內容和想法的AI技術，其應用領域包括文字、圖像及影音。以ChatGPT為例，OpenAI自2022年11月30日發布ChatGPT後，短短二個月內，全球月均用戶數即達到1億人，無疑成為民眾日常生活中最容易近用的AI科技。
惟，生成式AI大量使用後，其中的問題也逐漸浮現。例如，ChatGPT提供的回答僅是從所學習的資料中統整歸納，無法保證資料的正確性。Roberto Mata v. Avianca, Inc.案即是因律師利用ChatGPT撰寫訴狀，卻未重新審視其所提供判決之正確性，以致後續引發訴狀中所描述的判決不存在爭議。
壹、事件摘要
Roberto Mata v. Avianca, Inc.案[1]中，原告Roberto Mata於2019年8月搭乘哥倫比亞航空從薩爾瓦多飛往紐約，飛行過程中膝蓋遭空服員的推車撞傷，並於2022年2月向法院提起訴訟，要求哥倫比亞航空為空服員的疏失作出賠償；哥倫比亞航空則主張已超過《蒙特婁公約》（Montreal Convention）第35條所訂之航空器抵達日起兩年內向法院提出損害賠償之請求時效。
R然而，法院審理過程中發現原告訴狀內引用之六個判決無法從判決系統中查詢，進而質疑判決之真實性。原告律師Steven A. Schwartz因而坦承訴狀中引用的六個判決是ChatGPT所提供，並宣稱針對ChatGPT所提供的判決，曾多次向ChatGPT確認該判決之正確性[2]。
貳、生成式AI應用之潛在風險
雖然運用生成式AI技術並結合自身專業知識執行特定任務，可能有助於提升效率，惟，從前述Roberto Mata v. Avianca, Inc.案亦可看出，依目前生成式AI技術之發展，仍可能產生資訊正確性疑慮。以下彙整生成式AI應用之8大潛在風險[3]：
一、能源使用及對環境危害
相較於傳統機器學習，生成式AI模型訓練將耗費更多運算資源與能源。根據波士頓大學電腦科學系Kate Saenko副教授表示，OpenAI的GPT-3模型擁有1,750億個參數，約會消耗1,287兆瓦/時的電力，並排放552噸二氧化碳。亦即，每當向生成式AI下一個指令，其所消耗的能源量相較於一般搜尋引擎將可能高出4至5倍[4]。
二、能力超出預期（Capability Overhang）
運算系統的黑盒子可能發展出超乎開發人員或使用者想像的隱藏功能，此發展將會對人類帶來新的助力還是成為危險的阻力，則會隨著使用者之間的相互作用而定。
三、輸出結果有偏見
生成式AI通常是利用公開資料進行訓練，若輸入資料在訓練時未受監督，而帶有真實世界既存的刻板印象（如語言、種族、性別、性取向、能力、文化等），據此建立之AI模型輸出結果可能帶有偏見。
四、智慧財產權疑慮
生成式AI進行模型訓練時，需仰賴大量網路資料或從其他大型資料庫蒐集訓練資料。然而，若原始資料來源不明確，可能引發取得資料未經同意或違反授權條款之疑慮，導致生成的內容存在侵權風險。
五、缺乏驗證事實功能
生成式AI時常提供看似正確卻與實際情形不符的回覆，若使用者誤信該答案即可能帶來風險。另外，生成式AI屬於持續動態發展的資訊生態系統，當產出結果有偏誤時，若沒有大規模的人為干預恐難以有效解決此問題。
六、數位犯罪增加與資安攻擊
過去由人工產製的釣魚郵件或網站可能受限於技術限制而容易被識破，然而，生成式AI能夠快速建立具高度說服力的各種擬真資料，降低詐騙的進入門檻。又，駭客亦有可能在不熟悉技術的情況下，利用AI進一步找出資安弱點或攻擊方法，增加防禦難度。
七、敏感資料外洩
使用雲端服務提供商所建立的生成式AI時，由於輸入的資料存儲於外部伺服器，若要追蹤或刪除有一定難度，若遭有心人士利用而導致濫用、攻擊或竄改，將可能產生資料外洩的風險。
八、影子AI（Shadow AI）
影子AI係指開發者未知或無法控制之AI使用情境。隨著AI模型複雜性增加，若開發人員與使用者未進行充分溝通，或使用者在未經充分指導下使用 AI 工具，將可能產生無法預期之風險。
參、事件評析
在Roberto Mata v. Avianca, Inc.案中，法院關注的焦點在於律師的行為，而非對AI技術使用的批判。法院認為，隨著技術的進步，利用可信賴的AI工具作為協助用途並無不當，惟，律師應踐行其專業素養，確保所提交文件之正確性[5]。
當AI科技發展逐漸朝向自主與獨立的方向前進，仍需注意生成式AI使用上之侷限。當個人在使用生成式AI時，需具備獨立思考判斷的能力，並驗證產出結果之正確性，不宜全盤接受生成式AI提供之回答。針對企業或具高度專業領域人士使用生成式AI時，除確認結果正確性外，更需注意資料保護及治理議題，例如建立AI工具合理使用情境及加強員工使用相關工具之教育訓練。在成本能負擔的情況下，可選擇透過企業內部的基礎設施訓練AI模型，或是在訓練模型前確保敏感資料已經加密或匿名。並應注意自身行業領域相關法規之更新或頒布，以適時調整資料使用之方式。
雖目前生成式AI仍有其使用之侷限，仍應抱持開放的態度，在技術使用與風險預防之間取得平衡，以能夠在技術發展的同時，更好地學習新興科技工具之使用。
[1] Mata v. Avianca, Inc., 1:22-cv-01461, (S.D.N.Y.).
[2] Benjamin Weiser, Here’s What Happens When Your Lawyer Uses ChatGPT, The New York Times, May 27, 2023, https://www.nytimes.com/2023/05/27/nyregion/avianca-airline-lawsuit-chatgpt.html (last visited Aug. 4, 2023).
[3] Boston Consulting Group [BCG], The CEO’s Roadmap on Generative AI (Mar. 2023), https://media-publications.bcg.com/BCG-Executive-Perspectives-CEOs-Roadmap-on-Generative-AI.pdf (last visited Aug. 29, 2023).
[4] Kate Saenko, Is generative AI bad for the environment? A computer scientist explains the carbon footprint of ChatGPT and its cousins, The Conversation (May 23, 2023.), https://theconversation.com/is-generative-ai-bad-for-the-environment-a-computer-scientist-explains-the-carbon-footprint-of-chatgpt-and-its-cousins-204096 (last visited Sep. 7, 2023).
[5] Robert Lufrano, ChatGPT and the Limits of AI in Legal Research, National Law Review, Volume XIII, Number 195 (Mar. 2023), https://www.natlawreview.com/article/chatgpt-and-limits-ai-legal-research (last visited Aug. 29, 2023).
2020年11月3日，加州於其大選中以公投方式批准通過第24號提案（Proposition 24），該提案頒布《加州隱私權法》（California Privacy Rights Act，以下簡稱CPRA）。CPRA對加州消費者隱私保護法（California Consumer Privacy Act 2018，以下簡稱CCPA）所規定之隱私權進行重要修正，改變了加州的隱私權格局。 CPRA賦予加州消費者新的隱私權利，並對企業施加新的義務，例如消費者將有權限制其敏感性個人資料（例如財務資料、生物特徵資料、健康狀況、精確的地理位置、電子郵件或簡訊內容及種族等）之使用與揭露；消費者有權利要求企業更正不正確的個人資料；CPRA同時修改現有的CCPA的「拒絕販售權」，擴張為「拒絕販售或共享權」，消費者有權拒絕企業針對其於網際網路上之商業活動、應用或服務而獲得的個人資料所進行之特定廣告推播。CPRA亦要求企業對各類別之個人資料，按其蒐集、處理、利用之目的範圍及個人資料揭露目的，設定預期的保留期限標準。 CPRA另創設「加州隱私保護局」（California Privacy Protection Agency）為隱私權執行機構，該機構具有CPRA之調查、執行和法規制定權，改變了CCPA 係由加州檢察長（California Attorney General）負責調查與執行起訴的規定，並規定加州隱私保護局應於2021年7月1日之前成立。 CPRA將在2022年7月1日之前通過最終法規，且自2023年1月1日起生效，並適用於2022年1月1日起所蒐集之消費者資料，隨著CPRA的通過，預期可能促使其他州效仿加州制定更嚴格之隱私法，企業應持續關注有關CPRA之資訊，並迅速評估因應措施。
“Cookies”—餅乾或是毒藥？ 人工智慧技術用於醫療臨床決策支援之規範與挑戰—以美國FDA為例人工智慧技術用於醫療臨床決策支援之規範與挑戰—以美國FDA為例 資訊工業策進會科技法律研究所 蔡宜臻法律研究員 2018年11月27日 壹、事件摘要 美國係推動人工智慧用於醫療服務的領航國家，FDA轄下的數位健康計畫（Digital Health Program）小組負責針對軟體醫療器材規劃新的技術監管模式，在過去五年中，該計畫發布了若干指導文件 ，嘗試為醫用軟體提供更為合適的監督管理機制。但由於指導文件並非法律，監管的不確定性依舊存在，因此近兩年 FDA推動修法並做成多項草案與工作計畫，望以更具約束力的方式回應軟體醫療器材最新技術於臨床之適用。當中最為重要的法制變革，便是2016年底國會通過之《21世紀治癒法》（21st Century Cures Act）。該法重新定義了醫用軟體的監管範圍，一般認為是對人工智慧醫用軟體的監管進行鬆綁，或有助於人工智慧醫用軟體的開發與上市。然而在新法實施近兩年以來，實務上發現人工智慧的技術特質，會導致在進行某些「臨床決策支援之人工智慧軟體」是否為醫療器材軟體之認定時，產生極大的不確定性。對此FDA也於2017年12月作成《臨床與病患決策支持軟體指南草案》（Clinical and Patient Decision Support Software-Draft Guidance for Industry and Food and Drug Administration），望能就部份《21世紀治癒法》及其所修正之《聯邦食品藥物化妝品法》（Federal Food, Drug, and Cosmetic Act, FD&C Act）[1]裡的規範文字提供更為詳細的說明。 本文望能為此項法制變革與其後續衍生之爭議進行剖析。以下將在第貳部分重點說明美國2016年頒布的《21世紀治癒法》內容；在第參部份則針對人工智慧技術用於醫療臨床決策支援所發生之爭議進行分析；最後在第肆部份進行總結。 貳、重點說明 2016年12月美國國會頒布了《21世紀治癒法》，在第3060節明確界定了FDA對數位健康產品（Digital Health Products）之管轄範圍，將某些類型的數位健康產品排除在FDA醫療器材（medical device）定義之外而毋須受FDA監管。此規定亦修正了美國《聯邦食品藥物化妝品法》第520節（o）項有關FDA排除納管之軟體類別之規定。 根據新修正的《聯邦食品藥物化妝品法》第520節（o）（1）項，美國對於醫用軟體的監管範疇之劃設乃是採取負面表列，規定以下幾種類型的軟體為不屬於FDA監管的醫用軟體： 行政管理目的[2]；或 目的在於非關診斷、治療、緩解、預防或病症處置之健康維持或健康生活習慣養成[3]；或 目的在於進行電子化的個人健康紀錄[4]；或 目的用於傳輸、儲存、格式轉換、展示臨床研究或其他裝置資料與結果[5]；或 同時符合以下四點之軟體： (1)不從體外醫療器材或訊號蒐集系統來讀取、處理或分析醫療影像或訊號[6]。 (2)目的在於展示、分析或印製病患醫療資訊，或其他醫療訊息（例如：偕同診斷之醫療研究、臨床處置指南）[7]。 (3)目的在於替醫療專業人員就疾病或症狀之預防、診斷或處置提供支持或臨床建議[8]。 (4)使醫師在使用該軟體時尚能獨立審查「臨床建議產生之基礎」，因此醫師所做成之臨床診斷或決策，並非主要依賴該軟體提供之臨床建議[9]。 雖然大多數被排除的類別相對無爭議，但仍有一部分引起法律上不小的討論，即《聯邦食品藥物化妝品法》第520節（o）（1）（E）項所指涉的某些類型之臨床決策支援軟體（Clinical Decision Support Software，以下簡稱CDS軟體）。 CDS軟體係指分析數據以幫助醫療手段實施者（例如：醫師）做出臨床決策的軟體。多數以人工智慧為技術基礎的醫療軟體屬於此一類型，比方病理影像分析系統。根據《21世紀治癒法》與《聯邦食品藥物化妝品法》，CDS軟體是否被排除在FDA的管轄範圍之外，取決於該軟體是否「使醫師在使用該軟體時尚能獨立審查『臨床建議產生之基礎』，因此醫師所做成之臨床診斷或決策，並非主要依賴該軟體提供之臨床建議」[10]。若肯定，則將不被視為FDA所定義之醫療器材。為使此一規定更加明確，FDA於2017年12月8日發布了《臨床與病患決策支持軟體指南草案》，該指南草案針對如何評估軟體是否能讓醫師獨立審查臨床建議產生之基礎進行說明。FDA表示該軟體至少要能清楚解釋以下四點[11]： 該軟體功能之目的或用途；及 預期使用者（例如超音波技師、心血管外科醫師）；及 用於產生臨床建議的原始資料（例如患者的年齡和性別）；及 臨床建議產生背後之邏輯或支持證據 後續方有機會被FDA認定係令醫療專業人員使用該軟體時，能「獨立審查」臨床建議產生之基礎。換言之，指南草案所提的四點，為FDA肯認醫師在使用軟體時尚能「獨立審查」之必要前提。除此之外，指南草案尚稱預期使用者必須能自己做成與軟體相同之判斷，並且要求「用於生成臨床建議與演算邏輯的原始資料必須可被預期使用者辨識、近用、理解，並為公眾可得」[12]，進而方有機會符合《聯邦食品藥物化妝品法》第520節（o）（1）（E）（iii）之規定；若該軟體亦同時符合第520節（o）（1）（E）之其他要件，則有望被劃分為非醫療器材而不必受FDA監管。 由於規範內容較為複雜，指南草案亦提供案例說明。比方若一糖尿病診斷軟體是由醫生輸入患者參數和實驗室測試結果（例如空腹血糖、口服葡萄糖耐量測試結果或血紅蛋白A1c測試結果），並且該裝置根據既定臨床指南建議患者的病情是否符合糖尿病的定義，可被FDA認定為「非醫療器材」[13]；而諸如分析電腦斷層、超音波影像之軟體，則仍維持屬於醫療器材[14]。 另需注意的是，《聯邦食品藥物化妝品法》在第520節（o）（3）（A）（i）項亦建立「彌補性納回（claw-back）」機制，FDA需遵守通知評論程序（notice-and-comment process）以便及時發現軟體可能對健康造成嚴重危害的風險，並隨時將之納回監管範疇中。同時FDA每兩年必須向國會報告醫療器材軟體的實施經驗[15]。 參、事件評析 《21世紀治癒法》頒布至今兩年，FDA已核准多個以人工智慧為技術核心的軟體，例如在2018年2月13日通過能自動偵測可疑的大血管阻塞（large vessel occlusion, LVO），並迅速通知醫師病人可能有的中風危險的臨床決策支援軟體：Viz.AI Contact application；又比如於2018年4月11日通過利用演算法分析由視網膜攝影機（Topcon NW400）所獲得的影像，快速篩檢糖尿病病人是否有必須由專業眼科醫師治療的視網膜病變的IDx-DR。 然而，在CDS軟體以人工智慧為技術核心時，現有的法規與監管框架依舊有幾點疑慮： 一、「理解」演算法？ 根據新修正之《聯邦食品藥物化妝品法》，如果CDS軟體欲不受FDA監管，醫師的決策必須保持獨立性。目前規定只要該醫療產品「企圖」（intended to）使醫師等專業人員理解演算法即可，並不論醫師是否真正理解演算法。然而，若FDA肯認理解演算法對於執行醫療行為是重要的，那麼當CDS係基於機器學習產生演算法時，具體該如何「理解」就連開發者本身都未必能清楚解釋的演算法？有學者甚至認為，CDS軟體是否受到FDA法規的約束，可能會引導至一個典型的認識論問題：「我們是怎麼知道的？（How do we know?）」[16]。對此問題，我們或許需要思考：當醫師無法理解演算法，會發生什麼問題？更甚者，未來我們是否需要訓練一批同時具備人工智慧科學背景的醫療人員？[17] 二、如何要求演算法透明度？ 指南草案所提之「清楚解釋臨床建議產生背後之邏輯或支持證據」以及資料來源為公眾可得、醫生對演算法使用的資料來源之近用權限等，被認為是FDA要求廠商應使CDS軟體之演算法透明[18]。但根據FDA指南草案公告後得到的反饋，醫療軟體廠商對此要求認為並不合理。廠商認為，應該從實際使用效益來審視人工智慧或機器學習軟體所提出的臨床建議是否正確，而不是演算法是什麼、怎麼產生[19]。 三、醫療專業人員之獨立專業判斷是否會逐漸被演算法取代？未來醫療軟體廠商與醫療專業人員之責任該如何區分？ FDA目前的法規與指南並未直接回應此二問題，惟其對於不被列管之CDS軟體之規定係需使醫師並非主要依賴該軟體提供之臨床建議、醫師能自己做成與軟體相同之判斷。由反面解釋，即FDA肯認部份CDS軟體具備與醫師雷同之臨床診斷、處置、決策之功能，或能部份取代醫師職能，因此需受FDA監管。是故，醫師之專業能力與人工智慧演算法相互之間具有取代關係，已是現在進行式。惟究竟醫師的判斷有多少是倚靠人工智慧現階段尚無法取得量化證據，或需數年時間透過實證研究方能研判。往後，醫療軟體廠商與醫師之責任該如何區分，將會是一大難題。 肆、結語 隨著醫療大數據分析與人工智慧技術的發展，傳統認知上的醫療器材定義已隨之改變。雖然硬體設備仍然在診斷、治療與照護上扮演極為重要的角色，但軟體技術的進步正在重新改寫現代醫療服務執行以及管理模式。這些新產品及服務為醫療器材市場帶來活水，但同時也形成新的監管議題而必須採取適當的調整措施。美國FDA針對近年來呈爆炸性發展的醫療軟體產業不斷調整或制定新的監管框架，以兼顧使用者安全與新技術開展，並於2016年通過了極具改革意義的《21世紀治癒法》，且以此法修正了《聯邦食品藥物化妝品法》。 然而，新法實施後，關於個別醫用軟體是否納為不受FDA監管的醫療器材仍有法律認定上的灰色空間。舉例而言，倍受矚目的以人工智慧為核心技術的CDS軟體，在新法框架下似乎可能存在於監管紅線的兩側。根據新修正之《聯邦食品藥物化妝品法》，一CDS軟體是否屬於醫療器材軟體，關鍵在於醫師能否「獨立審查」從而「非主要依賴」軟體所提供之臨床建議。也由於此要件概念較為模糊，FDA後續在2017年發布《臨床與病患決策支持軟體指南草案》為此提供進一步解釋，然而仍無法妥適處理人工智慧機器學習技術所導致的演算法「該如何理解？」、「透明度該如何認定？」等問題。更甚者，從整體醫療服務體系納入人工智慧協助臨床決策診斷之趨勢觀之，未來醫療專業人員的獨立判斷是否會逐漸被演算法取代？未來人工智慧軟體與醫療專業人員之責任該如何區分？都是醞釀當中的重要議題，值得持續關注。 [1] 21 U.S. Code §360j [2] FD&C Act Sec. 520(o)(1)(A) [3] FD&C Act Sec. 520(o)(1)(B) [4] FD&C Act Sec. 520(o)(1)(C) [5] FD&C Act Sec. 520(o)(1)(D) [6] FD&C Act Sec. 520(o)(1)(E) [7] FD&C Act Sec. 520(o)(1)(E)(i) [8] FD&C Act Sec. 520(o)(1)(E)(ii) [9] FD&C Act Sec. 520(o)(1)(E)(iii) [10] “Enabling such health care professionals to independently review the bases for such recommendations that such software presents so that it is not the intent that such health care professional rely primary on any of such recommendations to make clinical diagnosis or treatment decisions regarding individual patient.” FD&C Act, Sec. 520(O)(1)(E)(iii) [11] FOOD AND DRUG ADMINISTRATION[FDA], Clinical and Patient Decision Support Software-Draft Guidance for Industry and Food and Drug Administration (2017), .at 8 https://www.fda.gov/downloads/medicaldevices/deviceregulationandguidance/guidancedocuments/ucm587819.pdf (last visited Sep. 21, 2018) [12] 原文為 “The sources supporting the recommendation or underlying the rationale for the recommendation should be identified and easily accessible to the intended user, understandable by the intended user (e.g., data points whose meaning is well understood by the intended user), and publicly available (e.g., clinical practice guidelines, published literature)”, id, at 8 [13] FOOD AND DRUG ADMINISTRATION[FDA], supra note 11 [14]FOOD AND DRUG ADMINISTRATION[FDA], supra note 11 [15] 21th Century Cures Act, Sec. 3060(b) [16] Barbara J. Evans & Pilar Ossorio, The Challenge of Regulating Clinical Decision Support Software after 21st Century Cures. AMERICAN JOURNAL OF LAW AND MEDICINE (2018), https://papers.ssrn.com/sol3/Delivery.cfm/SSRN_ID3142822_code1078988.pdf?abstractid=3142822&mirid=1 (last visited Sep. 21, 2018) [17] Id. [18] Gail H. Javitt & J.D., M.P.H., ANESTHESIOLOGY, Regulatory Landscape for Clinical Decision Support Technology (2018), http://anesthesiology.pubs.asahq.org/article.aspx?articleid=2669863 (last visited Sep. 21, 2018) [19] REGULATIONS.GOV, Clinical and Patient Decision Support Software; Draft Guidance for Industry and Food and Drug Administration Staff; Availability(Dec. 8, 2017) https://www.regulations.gov/docketBrowser?rpp=25&po=0&dct=PS&D=FDA-2017-D-6569&refD=FDA-2017-D-6569-0001 (last visited Sep. 25, 2018)
歐盟訂定新規範 管理傳統草藥品上市近年來，歐洲市場對傳統草藥的接受程度逐漸上升。傳統草藥銷售市場在歐盟成員國正在快速成長，其中從中國進口的傳統中藥數量更以倍數上升。目前歐洲市場上的天然植物藥約略可分為三大類：第一類是處方藥，用於治療危重病症的植物藥針劑也包括在內；第二類是非處方植物藥；第三類是保健製藥，可在保健食品店購買。歐盟去年通過的傳統草藥品指令（EU Directive on Traditional Herbal Medicinal Products）自2005年10年31日起，已全面生效適用於歐盟地區。該指令為傳統植物來源藥品於歐盟境市場內銷售，開啟了依照簡化查驗程序上市的途徑，但也限制了部分草藥品的上市可能。 其中較具衝擊性的是：傳統使用要件之認定嚴格。根據指令第16c（1）條，此一傳統使用歷史必須是30年以上，且其中至少有15年是在歐盟境內的使用歷史，方可考慮其安全性及療效。「傳統使用」仍須有相關文獻及專家證明其：（1）已使用相當年限之客觀事實、（2）具有安全性與療效之可信度，因此，簡化程序並無法適用於”偏方”之傳統草藥。而「必須是在歐盟境內至少有15年的使用歷史紀錄或資料」，更大大限制了在1990年前尚未進入歐盟會員國的草藥品，將可能因此被擠出歐盟市場。 該指令規定了七年的緩衝限期，可讓歐盟會員國調整不符合簡化查驗程序申請資格、但在該指令生效前已在各會員國市面上銷售的草藥品。