歐盟執委會於2020年2月公布《人工智慧白皮書》(AI White Paper)後,持續蒐集各方意見並提出新的人工智慧規範與行動。2021年4月針對人工智慧法律框架提出規範草案(Proposal for a Regulation on a European approach for Artificial Intelligence),透過規範確保人民與企業運用人工智慧時之安全及基本權利,藉以強化歐盟對人工智慧之應用、投資與創新。
新的人工智慧法律框架未來預計將統一適用於歐盟各成員國,而基於風險規範方法將人工智慧系統主要分為「不可接受之風險」、「高風險」、「有限風險」及「最小風險」四個等級。「不可接受之風險」因為對人類安全、生活及基本權利構成明顯威脅,故將被禁止使用,例如:政府進行大規模的公民評分系統;「高風險」則是透過正面例舉方式提出,包括:可能使公民生命或健康處於危險之中的關鍵基礎設施、教育或職業培訓、產品安全、勞工與就業、基本之私人或公共服務、可能會干擾基本權之司法應用、移民與庇護等面向,而高風險之人工智慧在進入市場之前須要先行遵守嚴格之義務,並進行適當風險評估及緩解措施等。「有限風險」則是指部分人工智慧應有透明度之義務,例如當用戶在與該人工智慧系統交流時,需要告知並使用戶意識到其正與人工智慧系統交流。最後則是「最小風險」,大部分人工智慧應屬此類型,因對公民造成很小或零風險,各草案並未規範此類人工智慧。
未來在人工智慧之治理方面,歐盟執委會建議各國現有管理市場之主管機關督導新規範之執行,且將成立歐洲人工智慧委員會(European Artificial Intelligence Board),推動人工智慧相關規範、標準及準則之發展,也將提出法規沙盒以促進可信賴及負責任之人工智慧。
日本內閣府網路安全戰略本部(サイバーセキュリティ戦略本部)於2017年7月13日第14次會議中提出對2020年後網路安全相關戰略案之回顧(2020年及びその後を見据えたサイバーセキュリティの在り方(案)-サイバーセキュリティ戦略中間レビュー-),針對網路攻擊嚴重程度,訂立網路安全判斷基準(下稱本基準)草案。對於現代網路攻擊造成之嚴重程度、資訊之重要程度、影響範圍等情狀,為使相關機關可以做出適當之處理,進而可以迅速採取相應之行動,特制訂強化處理網路攻擊判斷基準草案。其後將陸續與相關專家委員討論,將於2017年年底發布相關政策。 本基準設置目的:為了於事故發生時,具有視覺上立即判斷標準,以有助於事故相關主體間溝通與理解,並可以做為政府在面對網路侵害時判斷之基準,成為相關事件資訊共享之體制與方法之基準。 本基準以侵害程度由低至高,分為第0級至第5級。第0級(無)為無侵害,乃對國民生活無影響之可能性;第1級(低)為對國民生活影響之可能性低;第2級(中)為對國民生活有影響之可能性;第3級(高)為明顯的對國民生活影響,並具高可能性;第4級(重大)為顯著的對國民生活影響,並具高可能性;第5級(危機)為對國民生活廣泛顯著的影響,並具有急迫性。除了對國民及社會影響,另外在相關系統(システム)評估上,在緊急狀況時,判斷對重要關鍵基礎設施之安全性、持續性之影響時,基準在第0級至第4級;平常時期,判斷對關鍵基礎設施之影響,只利用第0級至第3級。 本次報告及相關政策將陸續在一年內施行,日本透過內閣府網路安全戰略本部及總務省、經濟產業省與相關機構及單位之共同合作,按照統一之標準採取措施,並依據資訊系統所收集和管理之資料作出適當的監控及觀測,藉由構建之資訊共享系統,可以防止網絡攻擊造成重大的損失,並防止侵害持續蔓延及擴大,同時也將為2020年東京奧運會之資訊安全做準備。我國行政院國家資通安全會報目前公布了「國家資通安全通報應變作業綱要」,而日本以國民生活之影響程度標準列成0至5等級,其區分較為精細,且有區分平時基準及非常時期基準等,日本之相關標準可作為綱要修正時之參考。
美國NSF研究基金申請之利益衝突管理機制簡介美國NSF研究基金申請之利益衝突管理機制簡介 財團法人資訊工業策進會科技法律研究所 法律研究員 吳建興 106年07月17日 壹、事件摘要 國家科研計畫投入大量資金研發,旨在產出符合一定品質之研究成果,而無論其研究成功與否,需具備研究成果之客觀中立性[1]。為達成此目的,研究計畫申請時(含產學研究計畫),申請研究單位需已建立財務利益衝突管理機制,確保其研究人員能避免因其自身財務利益,而影響國家科研計畫所資助之研究客觀成果。以美國National Science Foundation Awards(以下簡稱:NSF)研究基金為例,NSF要求申請機關就其執行研究人員需揭露重大財務利益,並具備相關〈利益衝突管理機制〉[2]。以下將根據the NSF Proposal & Award Policies & Procedures Guide[3] (以下簡稱:PAPPG)簡介此機制內容及運作方式。 貳、NSF研究基金下財務利益衝突管理機制之特色 一、機制首重事前(Ex ante)揭露、審查及管理 美國NSF研究基金之機制,首重利益衝突管理,除非有不能管理之利益衝突存在,否則不會影響研究基金之申請。申請單位於NSF研究基金申請前即需管理利益衝突,主要參與研究計畫之人員,需事前揭露重大財務利益,並由申請機關審查有否利益衝突存在,若認定有財務利益衝突時,需提出管理利益衝突方法。 二、執行計畫研究人員需受利益衝突教育訓練義務。 NSF研究基金依據聯邦法規[4]規定,要求申請NSF研究基金之研究機關需在其計畫書中載明單位如何使參與研究人員接受教育訓練,明瞭何謂負責之研究行為(Responsible Conduct of Research:簡稱RCR),亦即如何避免研究上發生重大財務利益衝突行為。 三、重大財務利益[5]揭露需超越一定門檻 程序上需定義何為需揭露之重大財務利益,包括揭露主體、時機及揭露關係人範圍,以下分述之。 揭露主體:符合聯邦基金計畫下定義之主要研究計畫主持人(All Principal Investigators, Project Directors,Co- Principal Investigators)或其他負責研究計畫之設計、執行及報告之研究人員[6]。皆有填寫一份NSF財務揭露表單之義務。 揭露時機:於提出研究計畫書予NSF研究基金時,相關研究計畫主持人即需提交所需財務揭露表,而於執行計畫期間,研究計畫主持人或其配偶及同居人及未成年子女,仍有揭露新重大財務利益之義務[7]。 揭露關係人範圍:前揭揭露主體之配偶及同居人及未成年子女之所有超過美金一萬元之重大財務利益或持有受研究計畫影響公司之所有權利益超過百分之五皆須申報揭露。 NSF研究基金下所謂之重大財務利益概念係指[8]: 研究主持人及其配偶或未成年子女接受任何超過美金一萬元之合理市價股權利益(equity interest)(含股票、證券、其它所有權利益other ownership interests)或持有任何公司超過5%之所有權利益[9]。 研究主持人及其配偶或未成年子女,於申請前一年內從公司接受任何總計超過美金一萬元之薪資、智財權收入(含權利金)及其他收入[10]。 四、專人審查利益揭露及利益衝突需具備直接及重大性 NSF研究基金規定申請機關得指派一人或多人審查財務揭露[11]並認定是否存在利益衝突,審查型式可以委員會型式[12]呈現或由研究機關指派大學內院長等專人為之,無硬性規定。 關於如何認定重大財務利益衝突存在,NSF研究基金規定若審查人合理認定重大財務利益(SFI)可直接(Directly)或重大(Significantly)影響由NSF所資助研究計畫之設計、執行及報告時,即可認為存在利益衝突[13]。 五、利益衝突管理措施具多樣性,非只有當事人迴避一途 當審查人認定有利益衝突存在,審查人可決定採取限制措施或條件,以管理、降低及移除利益衝突[14]。其可能採取管理措施計包括但不限於:對公眾揭露重大財務利益、獨立審查人控管研究計畫、更改研究計畫、斷絕產生利益衝突關係、脫離重大財務利益及不參與研究計畫[15]。 參、事件評析 (一)美國NSF研究基金制度於有利益衝突時首重衝突管理,而目前臺灣科研計畫無所謂管理利益衝突概念,而採事前一律迴避義務[16]。 我國在研究計畫申請時就已採當然迴避規定,並要求計畫主持人及共同人主持人填寫利益迴避聲明書[17],但就研究執行期間發生利益衝突情況之處理方式並無規定[18]。 以今年2017科技基本法修法通過後為例,其立法意旨雖明確指出擬規範技術移轉的利益迴避,〈讓科研過程更加透明,以避免學研機構及人員在技轉時不慎踩線違法〉[19],然而此利益迴避機制仍是針對研發成果管理後端之技轉過程為利益迴避審查,尚未導入研發階段之利益衝突管理機制。目前子法的修訂仍正在進行中,且公布草案中有要求執行研究發展單位於其研發成果管理機制,建立技術移轉的〈利益迴避管理機制〉,惟對於研發前端的〈利益衝突管理機制〉仍未如NSF基金有一樣之制度建立[20]。 (二)目前臺灣對前端科研計畫之申請並無要求執行機關需對參與研究人員有財務利益衝突認識之教育與訓練 雖就目前科研計畫申請無要求,然在今年2017科技基本法修正後,在其子法預計要求執行研究發展單位需導入針對研發後端之技術移轉時所涉及利益迴避為教育訓練[21]。 (三)臺灣科研研究計畫申請前,仍需在研究前端導入利益衝突管理機制,目前修法僅預計在觸及技轉新創公司時,在研究成果管理機制中新增〈利益迴避管理機制〉,是從研究成果後端導入機制。 近年來,產學合作研究增加研究機關與產業之互動,然而此互動關係也漸趨複雜。為不影響產學研究成果之科學上之客觀性,研究計畫之財務利益衝突管理也需為適時調整。惟有加強此產學合作關係上透明性,確保利益衝突規範之遵行,且加強執行單位之自我監控,做好利益衝突管理及主責機關之監督,方可避免因日漸複雜的產學合作關係,使得其合作成果受到質疑[22]。若申請單位本身能提出財務利益衝突管理方法,落實預防性保護措施,自能保證研究成果之客觀性。 為達前述科研成果之客觀性,此利益衝突管理之導入時機,需在研發前端為之,也就是在研發申請前,執行研究發展單位就需為利益衝突管理。 臺灣似可參考NSF研究基金作法,由於其出自另一種思維,除消極防弊外,更積極將重大財務利益事前發現及揭露,並於揭露後判斷是否會直接及重大影響研究成果,若為肯定,則採行適當管理措施以減輕,消弭或管理利益衝突,達到研究成果客觀性目的。此項利益衝突管理思維,可為如何思考改進現行我國在研發計畫申請時只採當然迴避機制為參考。 [1]指科研計畫不受研究人員利益衝突而影響研究成果之科學上真實性。 [2] 本文用〈利益衝突管理機制〉文字來指稱NSF基金所設立之模式,在認定有重大利益衝突時,需採取一定措施來管理、減輕及移除利益衝突,迴避只是其中一種管理手段,與另一種〈利益迴避管理機制〉模式有所不同,該機制雖有利益揭露,及專人審查,然其審查結果只導向當事人需不需迴避之結果,無採取其他管理措施可言。 [3] Proposal & Award Policies & Procedures Guide, National Scence Foundation,https://www.nsf.gov/pubs/policydocs/pappg17_1/sigchanges.jsp (Last visited, June 14, 2017) [4]其法源依據為:Section 7009 of the America Creating Opportunities to Meaningfully Promote Excellence in Technology, Education, and Science (COMPETES) Act (42 USC 1862o–1) [5] Significant Financial Interest:以下簡稱SFI [6]A. Conflict of Interest Policies, 2., PAPPG, https://www.nsf.gov/pubs/policydocs/pappg17_1/pappg_9.jsp (Last visited, June 14, 2017) [7] 參NSF之財務揭露表 [8] 原文請參照:‘The term "significant financial interest" means anything of monetary value, including, but not limited to, salary or other payments for services (e.g., consulting fees or honoraria); equity interest (e.g., stocks, stock options or other ownership interests); and intellectual property rights (e.g., patents, copyrights and royalties from such rights).’. 參A. Conflict of Interest Policies, 2., PAPPG, https://www.nsf.gov/pubs/policydocs/pappg17_1/pappg_9.jsp (Last visited, June 14, 2017) [9]原文請參照:‘A.2.e. an equity interest that, when aggregated for the investigator and the investigator’s spouse and dependent children, meets both of the following tests: does not exceed $10,000 in value as determined through reference to public prices or other reasonable measures of fair market value, and does not represent more than a 5% ownership interest in any single entity;’由此段文字反推而出。 https://www.nsf.gov/pubs/policydocs/pappg17_1/pappg_9.jsp (Last visited, June 14, 2017) [10]原文請參照:‘A.2.f. salary, royalties or other payments that, when aggregated for the investigator and the investigator’s spouse and dependent children, are not expected to exceed $10,000 during the prior twelve-month period.’由此段文字反推而出。 https://www.nsf.gov/pubs/policydocs/pappg17_1/pappg_9.jsp (Last visited, June 14, 2017) [11] A. Conflict of Interest Policies, 4. PAPPG, https://www.nsf.gov/pubs/policydocs/pappg17_1/pappg_9.jsp (Last visited, June 14, 2017) [12] 加州柏克萊大學設有利益衝突委員會而史丹佛大學則由學院長指定專人審查。 [13] 原文為:‘‘A conflict of interest exists when the reviewer(s) reasonably determines that a significant financial interest could directly and significantly affect the design, conduct, or reporting of NSF-funded research or educational activities.’’ A. Conflict of Interest Policies, 4. supra note 6.(黑體字為本文所強調) [14]原文為:‘‘4.An organizational policy must designate one or more persons to review financial disclosures, determine whether a conflict of interest exists, and determine what conditions or restrictions, if any, should be imposed by the organization to manage, reduce or eliminate such conflict of interest.’’ A. Conflict of Interest Policies, 4. supra note 6. (黑體字為本文所強調) [15] A. Conflict of Interest Policies, 4. supra note 6. [16]參科技部補助產學合作研究計畫作業要點第一章通則之六、(迴避規定)以下。 [17]參科技部補助產學合作研究計畫書第三頁,https://www.most.gov.tw/folksonomy/list?menu_id=4dda1fd8-2aa9-412a-889b-9d34b50b6ccd&l=ch(最後瀏覽日:2017/06/14) [18] 經查科技部補助產學合作研究計畫作業要點無相關規定。 [19] 黃麗芸,〈科技基本法三讀,行政教職可兼新創董事〉,中央社,2017/05/26,https://finance.technews.tw/2017/05/26/administrative-staff-can-be-start-up-company-director/ (最後瀏覽日:2017/07/17) [20]請參照科技部公告〈政府科學技術研究發展成果歸屬及運用辦法部分條文修正草案對照表〉內修正條文第五條第三項之四、利益迴避、資訊揭露管理:受理資訊申報、審議利益迴避、公告揭露資訊 等程序,並落實人員、文件及資訊等保密措施。及修正條文第五條之一及修正條文第五條之二等相關條文。 https://www.most.gov.tw/most/attachments/61706f66-80b1-4812-9d6a-3fb140ab21f9 (最後瀏覽日:2017/07/17) (粗體字為本文強調所加)。 [21]請參照科技部公告〈從事研究人員兼職與技術作價投資事業管理辦法部分條文修正草案對照表〉內修正條文第七條學研機構應就依本辦法之兼職或技術作價投資設置管理單位,訂定迴避及資訊公開之管理機制,包括設置審議委員會、適用範圍、應公開揭露或申報事項、審議基準及作業程序、違反應遵行事項之處置、通報程序及教育訓練等。https://www.most.gov.tw/most/attachments/db227464-b0f8-4237-ae7c-d6eb712ff3f7 (最後瀏覽日:2017/07/17)(黑體字為本文強調所加)。 [22] 參美國聯邦衛生部(HHS)於2011年修改旗下PHS之研究基金申請規則之背景說明(42 CFR part 50, subpart F and 45 CFR part 94 (the 1995 regulations), that are designed to promote objectivity in PHSfunded research.)。Responsibility of Applicants for Promoting Objectivity in Research for Which Public Health Service Funding Is Sought and Responsible Prospective Contractors, 76 Fed. Reg.53,256,53,256(Aug. 25, 2011)(to be codified at 42 CFR Part 50 and 45 CFR Part 94).
美國聯邦首席資料長委員會指出2021年工作重點之一在於促進跨機關的資料共享2021年1月6日,美國聯邦首席資料長委員會(Federal Chief Data Officers Council, 後稱CDO Council)向美國國會提交報告,報告中指出今年度的工作重點之一將放在促進聯邦政府跨機關的資料共享,以極大化政府資料的價值。 CDO Council是根據2018年的《實證決策基本法》(Foundations for Evidence-Based Policymaking Act of 2018)所設立,並於2020年1月正式召開第一次會議,該委員會的成員包含聯邦政府各部會的首席資料長(Chief Data Officers, CDO)。該委員會的任務是加強各部會利用資料作為戰略資產的能力,促進聯邦政府資料的管理、使用、保護、傳播和衍生,以達到聯邦資料戰略(Federal Data Strategy)所設定的目標。 美國農業部首席資料長兼CDO Council主席Ted Kaouk表示,以農業部所建置的農業資料共通平台(Ag DATA COMMONS)為例,農業部所屬機關間透過資料共享,已產生許多應用。 譬如:該部所屬的食品與營養局(Food and Nutrition Service, FNS)利用經濟研究局(Economic Research Service, ERS)統計的糧食不安全(Food Insecurity)資料,推動食物箱計畫(Farmers to Families Food Box Program);農業部所屬風險管理局(Risk Management Agency, RMA)使用平台上其他單位的資料,作為作物保險(crop insurance)的決策依據;農業部所屬食品安全和檢驗局(Food Safety and Inspection Service, FSIS)使用平台上其他單位的資料,來追蹤肉品加工廠的狀況。 CDO Council於去(2020)年10月成立了一個資料共享工作小組(Data Sharing Working Group),負責研究聯邦政府各機關間資料共享的使用案例,希望透過這樣的努力,強化聯邦政府的資料治理,產生高品質與即時性的資料,以此作為政府的決策依據。
用ChatGPT找法院判決?從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限用ChatGPT找法院判決?從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限 資訊工業策進會科技法律研究所 2023年09月08日 生成式AI是透過研究過去資料,以創造新內容和想法的AI技術,其應用領域包括文字、圖像及影音。以ChatGPT為例,OpenAI自2022年11月30日發布ChatGPT後,短短二個月內,全球月均用戶數即達到1億人,無疑成為民眾日常生活中最容易近用的AI科技。 惟,生成式AI大量使用後,其中的問題也逐漸浮現。例如,ChatGPT提供的回答僅是從所學習的資料中統整歸納,無法保證資料的正確性。Roberto Mata v. Avianca, Inc.案即是因律師利用ChatGPT撰寫訴狀,卻未重新審視其所提供判決之正確性,以致後續引發訴狀中所描述的判決不存在爭議。 壹、事件摘要 Roberto Mata v. Avianca, Inc.案[1]中,原告Roberto Mata於2019年8月搭乘哥倫比亞航空從薩爾瓦多飛往紐約,飛行過程中膝蓋遭空服員的推車撞傷,並於2022年2月向法院提起訴訟,要求哥倫比亞航空為空服員的疏失作出賠償;哥倫比亞航空則主張已超過《蒙特婁公約》(Montreal Convention)第35條所訂之航空器抵達日起兩年內向法院提出損害賠償之請求時效。 R然而,法院審理過程中發現原告訴狀內引用之六個判決無法從判決系統中查詢,進而質疑判決之真實性。原告律師Steven A. Schwartz因而坦承訴狀中引用的六個判決是ChatGPT所提供,並宣稱針對ChatGPT所提供的判決,曾多次向ChatGPT確認該判決之正確性[2]。 貳、生成式AI應用之潛在風險 雖然運用生成式AI技術並結合自身專業知識執行特定任務,可能有助於提升效率,惟,從前述Roberto Mata v. Avianca, Inc.案亦可看出,依目前生成式AI技術之發展,仍可能產生資訊正確性疑慮。以下彙整生成式AI應用之8大潛在風險[3]: 一、能源使用及對環境危害 相較於傳統機器學習,生成式AI模型訓練將耗費更多運算資源與能源。根據波士頓大學電腦科學系Kate Saenko副教授表示,OpenAI的GPT-3模型擁有1,750億個參數,約會消耗1,287兆瓦/時的電力,並排放552噸二氧化碳。亦即,每當向生成式AI下一個指令,其所消耗的能源量相較於一般搜尋引擎將可能高出4至5倍[4]。 二、能力超出預期(Capability Overhang) 運算系統的黑盒子可能發展出超乎開發人員或使用者想像的隱藏功能,此發展將會對人類帶來新的助力還是成為危險的阻力,則會隨著使用者之間的相互作用而定。 三、輸出結果有偏見 生成式AI通常是利用公開資料進行訓練,若輸入資料在訓練時未受監督,而帶有真實世界既存的刻板印象(如語言、種族、性別、性取向、能力、文化等),據此建立之AI模型輸出結果可能帶有偏見。 四、智慧財產權疑慮 生成式AI進行模型訓練時,需仰賴大量網路資料或從其他大型資料庫蒐集訓練資料。然而,若原始資料來源不明確,可能引發取得資料未經同意或違反授權條款之疑慮,導致生成的內容存在侵權風險。 五、缺乏驗證事實功能 生成式AI時常提供看似正確卻與實際情形不符的回覆,若使用者誤信該答案即可能帶來風險。另外,生成式AI屬於持續動態發展的資訊生態系統,當產出結果有偏誤時,若沒有大規模的人為干預恐難以有效解決此問題。 六、數位犯罪增加與資安攻擊 過去由人工產製的釣魚郵件或網站可能受限於技術限制而容易被識破,然而,生成式AI能夠快速建立具高度說服力的各種擬真資料,降低詐騙的進入門檻。又,駭客亦有可能在不熟悉技術的情況下,利用AI進一步找出資安弱點或攻擊方法,增加防禦難度。 七、敏感資料外洩 使用雲端服務提供商所建立的生成式AI時,由於輸入的資料存儲於外部伺服器,若要追蹤或刪除有一定難度,若遭有心人士利用而導致濫用、攻擊或竄改,將可能產生資料外洩的風險。 八、影子AI(Shadow AI) 影子AI係指開發者未知或無法控制之AI使用情境。隨著AI模型複雜性增加,若開發人員與使用者未進行充分溝通,或使用者在未經充分指導下使用 AI 工具,將可能產生無法預期之風險。 參、事件評析 在Roberto Mata v. Avianca, Inc.案中,法院關注的焦點在於律師的行為,而非對AI技術使用的批判。法院認為,隨著技術的進步,利用可信賴的AI工具作為協助用途並無不當,惟,律師應踐行其專業素養,確保所提交文件之正確性[5]。 當AI科技發展逐漸朝向自主與獨立的方向前進,仍需注意生成式AI使用上之侷限。當個人在使用生成式AI時,需具備獨立思考判斷的能力,並驗證產出結果之正確性,不宜全盤接受生成式AI提供之回答。針對企業或具高度專業領域人士使用生成式AI時,除確認結果正確性外,更需注意資料保護及治理議題,例如建立AI工具合理使用情境及加強員工使用相關工具之教育訓練。在成本能負擔的情況下,可選擇透過企業內部的基礎設施訓練AI模型,或是在訓練模型前確保敏感資料已經加密或匿名。並應注意自身行業領域相關法規之更新或頒布,以適時調整資料使用之方式。 雖目前生成式AI仍有其使用之侷限,仍應抱持開放的態度,在技術使用與風險預防之間取得平衡,以能夠在技術發展的同時,更好地學習新興科技工具之使用。 [1]Mata v. Avianca, Inc., 1:22-cv-01461, (S.D.N.Y.). [2]Benjamin Weiser, Here’s What Happens When Your Lawyer Uses ChatGPT, The New York Times, May 27, 2023, https://www.nytimes.com/2023/05/27/nyregion/avianca-airline-lawsuit-chatgpt.html (last visited Aug. 4, 2023). [3]Boston Consulting Group [BCG], The CEO’s Roadmap on Generative AI (Mar. 2023), https://media-publications.bcg.com/BCG-Executive-Perspectives-CEOs-Roadmap-on-Generative-AI.pdf (last visited Aug. 29, 2023). [4]Kate Saenko, Is generative AI bad for the environment? A computer scientist explains the carbon footprint of ChatGPT and its cousins, The Conversation (May 23, 2023.), https://theconversation.com/is-generative-ai-bad-for-the-environment-a-computer-scientist-explains-the-carbon-footprint-of-chatgpt-and-its-cousins-204096 (last visited Sep. 7, 2023). [5]Robert Lufrano, ChatGPT and the Limits of AI in Legal Research, National Law Review, Volume XIII, Number 195 (Mar. 2023), https://www.natlawreview.com/article/chatgpt-and-limits-ai-legal-research (last visited Aug. 29, 2023).