美國商務部國家電信和資訊管理局呼籲透過第三方評測提高AI系統透明度
2024年3月27日，美國商務部國家電信和資訊管理局（National Telecommunications and Information Administration, NTIA）發布「人工智慧問責政策報告」（AI Accountability Policy Report），該報告呼籲對人工智慧系統進行獨立評估（Independent Evaluations）或是第三方評測，期待藉此提高人工智慧系統的透明度。
人工智慧問責政策報告就如何對人工智慧系統進行第三方評測提出八項建議作法，分別如下：
1.人工智慧稽核指引：聯邦政府應為稽核人員制定適合的人工智慧稽核指引，該指引須包含評估標準與合適的稽核員證書。
2.改善資訊揭露：人工智慧系統雖然已經應用在許多領域，但其運作模式尚缺乏透明度。NTIA認為未來可以透過類似營養標籤（Nutrition Label）的方式，使人工智慧模型的架構、訓練資料、限制與偏差等重要資訊更加透明。
3.責任標準（Liability Standards）：聯邦政府應盡快訂定相關責任歸屬標準，以解決現行制度下，人工智慧系統造成損害的法律責任問題。
4.增加第三方評測所需資源：聯邦政府應投入必要的資源，以滿足國家對人工智慧系統獨立評估的需求。相關必要資源如：
(1)資助美國人工智慧安全研究所（U.S. Artificial Intelligence Safety Institute）；
(2)嚴格評估所需的運算資源與雲端基礎設施（Cloud Infrastructure）；
(3)提供獎金和研究資源，以鼓勵參與紅隊測試的個人或團隊；
(4)培養第三方評測機構的專家人才。
5.開發及使用驗證工具：NTIA呼籲聯邦機關開發及使用可靠的評測工具，以評估人工智慧系統之使用情況，例如透明度工具（Transparency Tools）、認驗證工具（Verification and Validation Tools）等。
6.獨立評估：NTIA建議聯邦機關應針對高風險的人工智慧類別進行第三方評測與監管，特別是可能侵害權利或安全的模型，應在其發布或應用前進行評測。
7.提升聯邦機關風險管控能力：NTIA建議各機關應記錄人工智慧的不良事件、建立人工智慧系統稽核的登記冊，並根據需求提供評測、認證與文件紀錄。
8.契約：透過採購契約要求政府之供應商、承包商採用符合標準的人工智慧治理方式與實踐。
NTIA將持續與利害關係各方合作，以建立人工智慧風險的問責機制，並確保該問責報告之建議得以落實。
陳郁潔
副法律研究員 編譯整理
NATIONAL TELECOMMUNICATIONS AND INFORMATION ADMINISTRATION, NTIA calls for audits and investments in trustworthy AI systems (Mar. 27, 2024), https://www.ntia.gov/press-release/2024/ntia-calls-audits-and-investments-trustworthy-ai-systems (last visited April 26, 2024).
National Telecommunications and Information Administration, FACT SHEET: NTIA Urges Policy Changes to Boost Accountability and Trustworthiness in Artificial Intelligence Systems (Mar. 27, 2024), https://www.ntia.gov/other-publication/2024/fact-sheet-ntia-artificial-intelligency-policy-accountability (last visited April 26, 2024).
美國總統川普於2019年2月11日簽署一項行政命令，發布「美國AI倡議」（American AI Initiative），旨在確保美國在AI領域的領導地位，川普並說道：「美國在AI領域的領導地位對於維護美國的經濟和國家安全至關重要」。「美國AI倡議」從五大方面來促進美國在AI領域的領導地位，包括： （一） 投資AI的開發 指示聯邦機構在研發任務及編排預算時，將AI作為優先投資項，確保美國對於AI基礎研發的長遠重視，此外，政府機構並應說明如何將預算用於AI研發開支，以增進對於AI投資的評估。 （二） 數據和資源共享 將聯邦政府中所擁有的統計數據資料、運算模型及運算資源提供給AI研發人員，促進交通和醫療保健等領域的AI發展。 （三） 建立政府標準及監管 白宮科技政策辦公室和美國國家與技術研究院（NIST）制定標準，以提升AI系統的「可靠、穩健、值得信賴、安全、可移轉和具協同性」。透過為不同技術和產業的AI制定使用指南，確保AI的使用安全和適當監管。 （四） 人才培訓 要求各機構為AI進步形成的就業市場變化做好準備，並考慮透過技能培訓課程、獎學金和學徒制度，因應市場人力產生之變化。 （五） 國際參與 與其他國家制定合作策略，協同AI技術的開發，同時確保AI領域之開發符合和不損及美國人的價值觀和利益。 此項倡議雖提及許多面向之發展，但仍然缺少發展細節，亦未提及計畫新資金的投入，因此，許多人對此倡議皆提出質疑。曾協助歐巴馬政府制定AI報告的哈佛大學教授Jason Furman即表示，此「倡議」雖令人鼓舞，但僅是邁出第一步，關鍵的考驗將在於是否能以強而有力的方式確實貫徹執行倡議中的內容，此倡議仍欠缺細節及執行面之部分。
何謂德國KOINNO創新採購中心?德國KOINNO創新採購中心是由德國經濟暨能源辦事處(Bundesministerium für Wirtschaft und Energie)轄下的倉儲管理、採購與物流經濟協會(Bundesverband Materialwirtschaft,Einkauf und Logistik e.V, BME)所執掌，該協會主要任務為關於政府採購與各領域的物流管理的研發成果技術移轉、促進職業與終生教育的補助與經驗交流，目的在於創造未來趨勢、經濟發展與鼓勵創新。而KOINNO創新採購中心的成立宗旨即是持續提供政府採購的創新來源，並引導具有創新元素的政府採購實踐為成功經驗與最佳練習。 其中政府採購方面，BME在2004年建立該平臺，其功能為提供使研發成果能最佳實踐的對話交流、創造未來發展趨勢與創新、將研發成果技轉給採購機關與提升政府採購的價值。德國慕尼黑國防大學的公共採購法學與管理研究中心(Forschungszenturm für Recht und Management öffentlicher Beschaffung der Universität der Bundeswehr München,FoRMöB)是KOINNO的合作夥伴，同時也是德國唯一以企業經營與法學觀點分析公共採購問題的跨領域研究中心。
美國國家標準與技術研究院公布人工智慧風險管理框架（AI RMF 1.0）美國國家標準與技術研究院（National Institute of Standards and Technology, NIST）於2023年1月26日公布「人工智慧風險管理框架1.0」（Artificial Intelligence Risk Management Framework, AI RMF 1.0），該自願性框架提供相關資源，以協助組織與個人管理人工智慧風險，並促進可信賴的人工智慧（Trustworthy AI）之設計、開發與使用。NIST曾於2021年7月29日提出「人工智慧風險管理框架」草案進行公眾徵詢，獲得業界之建議包含框架應有明確之衡量方法以及數值指標、人工智慧系統設計時應先思考整體系統之假設於真實世界中運作時，是否會產生公平性或誤差的問題等。本框架將隨著各界使用後的意見回饋持續更新，期待各產業發展出適合自己的使用方式。 本框架首先說明人工智慧技術的風險與其他科技的差異，定義人工智慧與可信賴的人工智慧，並指出設計該自願性框架的目的。再來，其分析人工智慧風險管理的困難，並用人工智慧的生命週期定義出風險管理相關人員（AI actors）。本框架提供七種評估人工智慧系統之信賴度的特徵，包含有效且可靠（valid and reliable）：有客觀證據證明人工智慧系統的有效性與系統穩定度；安全性（safe）：包含生命、健康、財產、環境安全，且應依照安全風險種類決定管理上的優先次序；資安與韌性（secure and resilient）；可歸責與資訊透明度（accountable and transparent）；可解釋性與可詮譯性（explainable and interpretable）；隱私保護（privacy-enhanced）；公平性—有害偏見管理（fair – with harmful bias managed）。 本框架亦提出人工智慧風險管理框架核心（AI RMF Core）概念，包含四項主要功能：治理、映射（mapping）、量測與管理。其中，治理功能為一切的基礎，負責孕育風險管理文化。各項功能皆有具體項目與子項目，並對應特定行動和結果產出。NIST同時公布「人工智慧風險管理框架教戰手冊」（AI RMF Playbook），提供實際做法之建議，並鼓勵業界分享其具體成果供他人參考。
用ChatGPT找法院判決？從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限用ChatGPT找法院判決？從Roberto Mata v. Avianca, Inc.案淺析生成式AI之侷限 資訊工業策進會科技法律研究所 2023年09月08日 生成式AI是透過研究過去資料，以創造新內容和想法的AI技術，其應用領域包括文字、圖像及影音。以ChatGPT為例，OpenAI自2022年11月30日發布ChatGPT後，短短二個月內，全球月均用戶數即達到1億人，無疑成為民眾日常生活中最容易近用的AI科技。 惟，生成式AI大量使用後，其中的問題也逐漸浮現。例如，ChatGPT提供的回答僅是從所學習的資料中統整歸納，無法保證資料的正確性。Roberto Mata v. Avianca, Inc.案即是因律師利用ChatGPT撰寫訴狀，卻未重新審視其所提供判決之正確性，以致後續引發訴狀中所描述的判決不存在爭議。 壹、事件摘要 Roberto Mata v. Avianca, Inc.案[1]中，原告Roberto Mata於2019年8月搭乘哥倫比亞航空從薩爾瓦多飛往紐約，飛行過程中膝蓋遭空服員的推車撞傷，並於2022年2月向法院提起訴訟，要求哥倫比亞航空為空服員的疏失作出賠償；哥倫比亞航空則主張已超過《蒙特婁公約》（Montreal Convention）第35條所訂之航空器抵達日起兩年內向法院提出損害賠償之請求時效。 R然而，法院審理過程中發現原告訴狀內引用之六個判決無法從判決系統中查詢，進而質疑判決之真實性。原告律師Steven A. Schwartz因而坦承訴狀中引用的六個判決是ChatGPT所提供，並宣稱針對ChatGPT所提供的判決，曾多次向ChatGPT確認該判決之正確性[2]。 貳、生成式AI應用之潛在風險 雖然運用生成式AI技術並結合自身專業知識執行特定任務，可能有助於提升效率，惟，從前述Roberto Mata v. Avianca, Inc.案亦可看出，依目前生成式AI技術之發展，仍可能產生資訊正確性疑慮。以下彙整生成式AI應用之8大潛在風險[3]： 一、能源使用及對環境危害 相較於傳統機器學習，生成式AI模型訓練將耗費更多運算資源與能源。根據波士頓大學電腦科學系Kate Saenko副教授表示，OpenAI的GPT-3模型擁有1,750億個參數，約會消耗1,287兆瓦/時的電力，並排放552噸二氧化碳。亦即，每當向生成式AI下一個指令，其所消耗的能源量相較於一般搜尋引擎將可能高出4至5倍[4]。 二、能力超出預期（Capability Overhang） 運算系統的黑盒子可能發展出超乎開發人員或使用者想像的隱藏功能，此發展將會對人類帶來新的助力還是成為危險的阻力，則會隨著使用者之間的相互作用而定。 三、輸出結果有偏見 生成式AI通常是利用公開資料進行訓練，若輸入資料在訓練時未受監督，而帶有真實世界既存的刻板印象（如語言、種族、性別、性取向、能力、文化等），據此建立之AI模型輸出結果可能帶有偏見。 四、智慧財產權疑慮 生成式AI進行模型訓練時，需仰賴大量網路資料或從其他大型資料庫蒐集訓練資料。然而，若原始資料來源不明確，可能引發取得資料未經同意或違反授權條款之疑慮，導致生成的內容存在侵權風險。 五、缺乏驗證事實功能 生成式AI時常提供看似正確卻與實際情形不符的回覆，若使用者誤信該答案即可能帶來風險。另外，生成式AI屬於持續動態發展的資訊生態系統，當產出結果有偏誤時，若沒有大規模的人為干預恐難以有效解決此問題。 六、數位犯罪增加與資安攻擊 過去由人工產製的釣魚郵件或網站可能受限於技術限制而容易被識破，然而，生成式AI能夠快速建立具高度說服力的各種擬真資料，降低詐騙的進入門檻。又，駭客亦有可能在不熟悉技術的情況下，利用AI進一步找出資安弱點或攻擊方法，增加防禦難度。 七、敏感資料外洩 使用雲端服務提供商所建立的生成式AI時，由於輸入的資料存儲於外部伺服器，若要追蹤或刪除有一定難度，若遭有心人士利用而導致濫用、攻擊或竄改，將可能產生資料外洩的風險。 八、影子AI（Shadow AI） 影子AI係指開發者未知或無法控制之AI使用情境。隨著AI模型複雜性增加，若開發人員與使用者未進行充分溝通，或使用者在未經充分指導下使用 AI 工具，將可能產生無法預期之風險。 參、事件評析 在Roberto Mata v. Avianca, Inc.案中，法院關注的焦點在於律師的行為，而非對AI技術使用的批判。法院認為，隨著技術的進步，利用可信賴的AI工具作為協助用途並無不當，惟，律師應踐行其專業素養，確保所提交文件之正確性[5]。 當AI科技發展逐漸朝向自主與獨立的方向前進，仍需注意生成式AI使用上之侷限。當個人在使用生成式AI時，需具備獨立思考判斷的能力，並驗證產出結果之正確性，不宜全盤接受生成式AI提供之回答。針對企業或具高度專業領域人士使用生成式AI時，除確認結果正確性外，更需注意資料保護及治理議題，例如建立AI工具合理使用情境及加強員工使用相關工具之教育訓練。在成本能負擔的情況下，可選擇透過企業內部的基礎設施訓練AI模型，或是在訓練模型前確保敏感資料已經加密或匿名。並應注意自身行業領域相關法規之更新或頒布，以適時調整資料使用之方式。 雖目前生成式AI仍有其使用之侷限，仍應抱持開放的態度，在技術使用與風險預防之間取得平衡，以能夠在技術發展的同時，更好地學習新興科技工具之使用。 [1]Mata v. Avianca, Inc., 1:22-cv-01461, (S.D.N.Y.). [2]Benjamin Weiser, Here’s What Happens When Your Lawyer Uses ChatGPT, The New York Times, May 27, 2023, https://www.nytimes.com/2023/05/27/nyregion/avianca-airline-lawsuit-chatgpt.html (last visited Aug. 4, 2023). [3]Boston Consulting Group [BCG], The CEO’s Roadmap on Generative AI (Mar. 2023), https://media-publications.bcg.com/BCG-Executive-Perspectives-CEOs-Roadmap-on-Generative-AI.pdf (last visited Aug. 29, 2023). [4]Kate Saenko, Is generative AI bad for the environment? A computer scientist explains the carbon footprint of ChatGPT and its cousins, The Conversation (May 23, 2023.), https://theconversation.com/is-generative-ai-bad-for-the-environment-a-computer-scientist-explains-the-carbon-footprint-of-chatgpt-and-its-cousins-204096 (last visited Sep. 7, 2023). [5]Robert Lufrano, ChatGPT and the Limits of AI in Legal Research, National Law Review, Volume XIII, Number 195 (Mar. 2023), https://www.natlawreview.com/article/chatgpt-and-limits-ai-legal-research (last visited Aug. 29, 2023).