落實完善數位資料管理機制,
有助於降低AI歧視及資料外洩風險
資訊工業策進會科技法律研究所
2023年07月07日
近年來,科技快速發展,AI(人工智慧)等技術日新月異,在公私部門的應用日益廣泛,而且根據美國資訊科技研究與顧問公司Gartner在2023年5月發布的調查指出,隨著由OpenAI開發的ChatGPT取得成功,更促使各領域對於AI應用的高度重視與投入[1],與此同時,AI歧視及資料外洩等問題,亦成為社會各界的重大關切議題。
壹、事件摘要
目前AI科技發展已牽動全球經濟發展,根據麥肯錫公司近期發布的《生成式人工智慧的經濟潛力:下一個生產力前沿(The next productivity frontier)》研究報告指出,預測生成式AI(Generative AI)有望每年為全球經濟增加2.6兆至4.4兆的經濟價值[2]。同時在美國資訊科技研究與顧問公司Gartner對於超過2500名高階主管的調查中,45%受訪者認為ChatGPT問世,增加其對於AI的投資。而且68%受訪者認為AI的好處大於風險,僅有5%受訪者認為風險大於好處[3]。然而有社會輿論認為AI的判斷依賴訓練資料,將可能複製人類偏見,造成AI歧視問題,而且若程式碼有漏洞或帳戶被盜用時,亦會造成資料外洩問題。
貳、重點說明
首先,關於AI歧視問題,以金融領域為例,近期歐盟委員會副主席Margrethe Vestager強調若AI用於可能影響他人生計的關鍵決策時,如決定是否能取得貸款,應確保申請人不受性別或膚色等歧視[4],同時亦有論者認為若用於訓練AI的歷史資料,本身存有偏見問題,則可能導致系統自動拒絕向邊緣化族群貸款,在無形之中加劇,甚至永久化對於特定種族或性別的歧視[5]。
其次,關於資料外洩問題,資安公司Group-IB指出因目前在預設情況下,ChatGPT將保存使用者查詢及AI回應的訊息紀錄,若帳戶被盜,則可能洩露機敏資訊。據統計在2022年6月至2023年5月間,在亞太地區有近41000個帳戶被盜,而在中東和非洲地區有近25000個帳戶被盜,甚至在歐洲地區也有近17000個帳戶被盜[6]。另外在2023年3月時,ChatGPT除了發生部分用戶能夠檢視他人聊天紀錄標題的問題外,甚至發生個人資料外洩問題,即用戶可能知悉他人的姓名、電子郵件,付款地址,信用卡到期日及號碼末四碼等資料[7]。
參、事件評析
對於AI歧視及資料外洩等問題,應透過落實完善數位資料治理與管理機制,以降低問題發生的風險。首先,在收集訓練資料時,為篩選適合作為模型或演算法基礎的資料,應建立資料評估或審查機制,減少或避免使用有潛在歧視問題的資料,以確保分析結果之精確性。
其次,不論對於訓練資料、分析所得資料或用戶個人資料等,均應落實嚴謹的資料保密措施,避免資料外洩,如必須對於資料進行標示或分類,並依照不同標示或分類,評估及採取適當程度的保密措施。同時應對於資料進行格式轉換,以無法直接開啟的檔案格式進行留存,縱使未來可能不慎發生資料外洩,任意第三人仍難以直接開啟或解析資料內容。甚至在傳送帳戶登入訊息時,亦應採取適當加密傳送機制,避免遭他人竊取,盜取帳戶或個人資料。
財團法人資訊工業策進會科技法律研究所長期致力於促進國家科技法制環境完善,於2021年7月發布「重要數位資料治理暨管理制度規範(Essential Data Governance and Management System,簡稱EDGS)」,完整涵蓋數位資料的生成、保護與維護,以及存證資訊的取得、維護與驗證的流程化管理機制,故對於不同公私部門的AI相關資料,均可參考EDGS,建立系統性數位資料管理機制或強化既有機制。
本文同步刊登於TIPS網站(https://www.tips.org.tw)
[1]Gartner, Gartner Poll Finds 45% of Executives Say ChatGPT Has Prompted an Increase in AI Investment (May 3, 2023), https://www.gartner.com/en/newsroom/press-releases/2023-05-03-gartner-poll-finds-45-percent-of-executives-say-chatgpt-has-prompted-an-increase-in-ai-investment (last visited June 30, 2023).
[2]McKinsey, The economic potential of generative AI: The next productivity frontier (June 14, 2023), https://www.mckinsey.com/capabilities/mckinsey-digital/our-insights/the-economic-potential-of-generative-AI-the-next-productivity-frontier#introduction (last visited June 30, 2023).
[3]Gartner, supra note 1.
[4]Zoe Kleinman, Philippa Wain & Ashleigh Swan, Using AI for loans and mortgages is big risk, warns EU boss (June 14, 2023), https://www.bbc.com/news/technology-65881389 (last visited June 30, 2023).
[5]Ryan Browne & MacKenzie Sigalos, A.I. has a discrimination problem. In banking, the consequences can be severe (June 23, 2023), https://www.cnbc.com/2023/06/23/ai-has-a-discrimination-problem-in-banking-that-can-be-devastating.html (last visited June 30, 2023).
[6]Group-IB, Group-IB Discovers 100K+ Compromised ChatGPT Accounts on Dark Web Marketplaces; Asia-Pacific region tops the list (June 20, 2023), https://www.group-ib.com/media-center/press-releases/stealers-chatgpt-credentials/ (last visited June 30, 2023).
[7]OpenAI, March 20 ChatGPT outage: Here’s what happened (Mar. 24, 2023),https://openai.com/blog/march-20-chatgpt-outage (last visited June 30, 2023).
台南市低碳自治條例與國際促進能源效率立法趨勢 科技法律研究所 2013年3月26日 壹、事件摘要 根據自由時報3月5日報導,台南市為將該市打造為國際指標性之低碳城市,在去年制訂了「台南市低碳城市自治條例」,並在未來規劃對大建築面積、及用量超過800千瓦之用戶,要求必須裝置一定比例太陽光電系統的強制規定。該條例同時要求公有、及供公眾使用的建築物,須為銀級以上綠建築之規定,亦在近日吸引了媒體的關注。 貳、重點說明 一、臺南市政府低碳城市自治條例 台南市政府於2012年12月22日以府法規字第1011084760A號令公布了「台南市低碳城市自治條例」,共六章、三十八條,並於第四章「低碳城市推動與管理」,做了前述對耗電大的用戶為一定比例太陽能光電系統設置要求之規範。 在綠建築的部分,依據該條例第21條第1款之規定,台南市公有或經該市公告指定地區之新建建築物於申請建造執照時,若非供公眾使用之建築物,須為合格級以上之綠建築。而公有及供公眾使用之建築物,則須進一步符合為銀級以上之綠建築。此策略採取賦予公部門較高的法規遵循義務,與國外立法例趨勢相當吻合。詳述如下。 參、事件評析 一、國外立法例 (一)從一定面積以上面積建築著手 根據自由時報的報導,台南市政府在未來將針對大建築面積用戶,強制其裝設用電量一定比例的太陽光電系統。關於面積的細部規範雖然未見於該市低碳自治條例,但此一規劃無疑符合國際間為提高節能效率所採取的規範趨勢。 例如美國在2007年能源獨立及安全法架構下,由總統在2009年所發佈的行政命令第13514號的第2條第g項第3款,即要求確保既有聯邦建築或聯邦機構(agency)所承租之建築,面積超過5000平方英呎者,應在財政年度2015年前,使其面積的15%完全符合「聯邦永續建築指導原則」(Federal Leadership in High Performance and Sustainable Building, 在該行政命令中簡稱 Guiding Principle)。 而新加坡也有類似的規範。根據該國「2008年建築管制(環境永續)規定」(Building Control《Environmental Sustainability》2008)第3條與第4條之規定,所有總樓板面積(gross floor area) 超過2,000平方公尺的建築之建設或有關總樓板面積超過2,000平方公尺既有建築之面積增建(increasing the gross floor area),或關於建築外殼或建築服務的提供、擴大或實質的改變,皆應至少達到依據建築環境永續規範(Code for Environmental Sustainability of Buildings)的綠色標誌積分(Green Mark scores) 50分。 (二)對公部門採取較民間更高標準 由前述關於南市低碳自治條例中關綠建築之規範可知,該市在為相關管制的規劃時,所採取的政策是讓公部門先承擔較高的法規遵循義務(在該條例第21條的規定中,公有建築物在申請建照時須符合銀級綠建築之標準,而不若一般非供眾使用之建築物,僅要求其須合格)。此種作法亦為國際間為引領民間部門推動節能減碳常見的法制政策規劃。 除了上述美國的規定也是先對公部門作要求外,歐盟能源指令第5條第1項也有類似之規範。該條款要求歐盟各會員國自2014年1月1日起,就其中央政府所擁有或佔有之面積超過500平方公尺之建築,每年應翻修總樓板面積的3%,使其至少符合建築效率指令(2010/31/EU, Directive on Energy Performance of Buildings)第4條關於最低建築能源效率(minimum energy performance requirements for buildings)之要求。 二、短評與小結 由上述介紹可知,台南市低碳自治條例,為促進節能減碳而採行諸如由一定面積以上建築物著手,並對公部門此取更高標準之規定皆與國際趨勢相符。無獨有偶,高雄市於去年通過的綠建築自治條例,也有類似規定。我國在各級地方政府皆能與國際接軌的共同努力下,能否在促進能源效率方面達成較歐美等先進國家更耀眼的成積,著實令人期待。
音樂串流服務網站鼻祖Grooveshark正式關閉美國音樂串流服務網站Grooveshark於2015年4月30日在紐約聯邦法院與三家唱片公司(Warner Music Group, Universal Music Group, Sony Music Entertainment)達成和解協議,以避免由陪審團判決(jury verdict)所帶來高達7億3千6佰萬美金的侵權賠償金。Escape Media Group以5千萬美金、公開道歉及關閉經營將近10年的Grooveshark網站為代價結束了這起爭訟多年的著作權訴訟案。 Grooveshark網站的成立理念爲提供使用者上傳音樂的平臺,樂迷可透過平臺互相分享與檢索音樂,因此網站原本適用於數位千禧年著作權法(Digital Millennium Copyright Act)中的避風港原則。惟Grooveshark網站實質上透過員工上傳盜版音樂,此一做法已明顯超出避風港原則的保護範圍。紐約聯邦法院法官於去年秋季的裁定中指出,Escape Media Group透過員工上傳盜版音樂獲取利益為無可爭辯的證據,因此認爲該公司應對著作侵權負責。 紐約聯邦法院法官於審前會議中指出一旦Escape Media Group的故意侵權罪成立,每首歌曲應賠償15萬美金的侵權賠償金,而網站目前擁有近5千首歌曲,因此侵權賠償金額將高達7億3千6佰萬美金。此裁定成爲了此案達成和解協議的催化劑。對於此次的訴訟結果,美國唱片業協會(The Recording Industry Association of America,)代表三家唱片公司表示此次的和解成功杜絕了侵權音樂的主要來源,對於藝術工作者而言十分可貴。
美國聯邦交通部公布自駕車4.0政策文件美國交通部(Department of Transportation)於2020年1月8日公布「確保美國於自動駕駛技術之領導地位:自駕車4.0」(Ensuring American Leadership in Automated Vehicle Technologies : Automated Vehicles 4.0)政策文件,提出三個核心原則及相對應的策略規劃: 一、 使用者與社會的保護: 整合自動駕駛技術之安全性,包括防堵對自駕車性能之詐欺或誤導行為,以強化民眾對此新興技術的信心。 與自駕車技術開發商、製造商及服務商合作,預防與降低惡意使用自動駕駛技術所造成的公共安全威脅及犯罪,如制定網路安全標準、於運輸系統之資料傳輸媒介及資料庫設計能夠防止、反應、偵測潛在或已知危險之可行作法。 要求製造商於設計和結合相關自動駕駛技術時,採取具整體風險考量之方式,以確保資料安全性與公眾隱私保護,特別是針對駕駛者與乘客,以及第三人資料存取、分享及使用。 支援與協助自動駕駛技術研發,並透過提供多樣化商品和服務,滿足消費者需求並增加自駕車的普及性,使國人能使用安全且能負擔的移動載具。 二、 保障市場效率: 採取靈活及技術中立政策,由大眾選擇具經濟及有效率的運輸方案。 透過相關智慧財產法規,保護相關技術,並持續推動經濟增長之政策及提升國內技術創新競爭力。 收集與研擬國內外法規資料,並使自動駕駛技術產品及服務能夠與國際標準接軌。 三、 促進與協調各方合作: 積極協調全國自動駕駛技術研究、法規和政策,以利有效運用各機構資源。 參考國際間自動駕駛技術標準及監理法規,並與各州政府及業界共同研擬與整合自動駕駛技術至現行運輸系統標準與相關法規。
人工智慧技術用於醫療臨床決策支援之規範與挑戰—以美國FDA為例人工智慧技術用於醫療臨床決策支援之規範與挑戰—以美國FDA為例 資訊工業策進會科技法律研究所 蔡宜臻法律研究員 2018年11月27日 壹、事件摘要 美國係推動人工智慧用於醫療服務的領航國家,FDA轄下的數位健康計畫(Digital Health Program)小組負責針對軟體醫療器材規劃新的技術監管模式,在過去五年中,該計畫發布了若干指導文件 ,嘗試為醫用軟體提供更為合適的監督管理機制。但由於指導文件並非法律,監管的不確定性依舊存在,因此近兩年 FDA推動修法並做成多項草案與工作計畫,望以更具約束力的方式回應軟體醫療器材最新技術於臨床之適用。當中最為重要的法制變革,便是2016年底國會通過之《21世紀治癒法》(21st Century Cures Act)。該法重新定義了醫用軟體的監管範圍,一般認為是對人工智慧醫用軟體的監管進行鬆綁,或有助於人工智慧醫用軟體的開發與上市。然而在新法實施近兩年以來,實務上發現人工智慧的技術特質,會導致在進行某些「臨床決策支援之人工智慧軟體」是否為醫療器材軟體之認定時,產生極大的不確定性。對此FDA也於2017年12月作成《臨床與病患決策支持軟體指南草案》(Clinical and Patient Decision Support Software-Draft Guidance for Industry and Food and Drug Administration),望能就部份《21世紀治癒法》及其所修正之《聯邦食品藥物化妝品法》(Federal Food, Drug, and Cosmetic Act, FD&C Act)[1]裡的規範文字提供更為詳細的說明。 本文望能為此項法制變革與其後續衍生之爭議進行剖析。以下將在第貳部分重點說明美國2016年頒布的《21世紀治癒法》內容;在第參部份則針對人工智慧技術用於醫療臨床決策支援所發生之爭議進行分析;最後在第肆部份進行總結。 貳、重點說明 2016年12月美國國會頒布了《21世紀治癒法》,在第3060節明確界定了FDA對數位健康產品(Digital Health Products)之管轄範圍,將某些類型的數位健康產品排除在FDA醫療器材(medical device)定義之外而毋須受FDA監管。此規定亦修正了美國《聯邦食品藥物化妝品法》第520節(o)項有關FDA排除納管之軟體類別之規定。 根據新修正的《聯邦食品藥物化妝品法》第520節(o)(1)項,美國對於醫用軟體的監管範疇之劃設乃是採取負面表列,規定以下幾種類型的軟體為不屬於FDA監管的醫用軟體: 行政管理目的[2];或 目的在於非關診斷、治療、緩解、預防或病症處置之健康維持或健康生活習慣養成[3];或 目的在於進行電子化的個人健康紀錄[4];或 目的用於傳輸、儲存、格式轉換、展示臨床研究或其他裝置資料與結果[5];或 同時符合以下四點之軟體: (1)不從體外醫療器材或訊號蒐集系統來讀取、處理或分析醫療影像或訊號[6]。 (2)目的在於展示、分析或印製病患醫療資訊,或其他醫療訊息(例如:偕同診斷之醫療研究、臨床處置指南)[7]。 (3)目的在於替醫療專業人員就疾病或症狀之預防、診斷或處置提供支持或臨床建議[8]。 (4)使醫師在使用該軟體時尚能獨立審查「臨床建議產生之基礎」,因此醫師所做成之臨床診斷或決策,並非主要依賴該軟體提供之臨床建議[9]。 雖然大多數被排除的類別相對無爭議,但仍有一部分引起法律上不小的討論,即《聯邦食品藥物化妝品法》第520節(o)(1)(E)項所指涉的某些類型之臨床決策支援軟體(Clinical Decision Support Software,以下簡稱CDS軟體)。 CDS軟體係指分析數據以幫助醫療手段實施者(例如:醫師)做出臨床決策的軟體。多數以人工智慧為技術基礎的醫療軟體屬於此一類型,比方病理影像分析系統。根據《21世紀治癒法》與《聯邦食品藥物化妝品法》,CDS軟體是否被排除在FDA的管轄範圍之外,取決於該軟體是否「使醫師在使用該軟體時尚能獨立審查『臨床建議產生之基礎』,因此醫師所做成之臨床診斷或決策,並非主要依賴該軟體提供之臨床建議」[10]。若肯定,則將不被視為FDA所定義之醫療器材。為使此一規定更加明確,FDA於2017年12月8日發布了《臨床與病患決策支持軟體指南草案》,該指南草案針對如何評估軟體是否能讓醫師獨立審查臨床建議產生之基礎進行說明。FDA表示該軟體至少要能清楚解釋以下四點[11]: 該軟體功能之目的或用途;及 預期使用者(例如超音波技師、心血管外科醫師);及 用於產生臨床建議的原始資料(例如患者的年齡和性別);及 臨床建議產生背後之邏輯或支持證據 後續方有機會被FDA認定係令醫療專業人員使用該軟體時,能「獨立審查」臨床建議產生之基礎。換言之,指南草案所提的四點,為FDA肯認醫師在使用軟體時尚能「獨立審查」之必要前提。除此之外,指南草案尚稱預期使用者必須能自己做成與軟體相同之判斷,並且要求「用於生成臨床建議與演算邏輯的原始資料必須可被預期使用者辨識、近用、理解,並為公眾可得」[12],進而方有機會符合《聯邦食品藥物化妝品法》第520節(o)(1)(E)(iii)之規定;若該軟體亦同時符合第520節(o)(1)(E)之其他要件,則有望被劃分為非醫療器材而不必受FDA監管。 由於規範內容較為複雜,指南草案亦提供案例說明。比方若一糖尿病診斷軟體是由醫生輸入患者參數和實驗室測試結果(例如空腹血糖、口服葡萄糖耐量測試結果或血紅蛋白A1c測試結果),並且該裝置根據既定臨床指南建議患者的病情是否符合糖尿病的定義,可被FDA認定為「非醫療器材」[13];而諸如分析電腦斷層、超音波影像之軟體,則仍維持屬於醫療器材[14]。 另需注意的是,《聯邦食品藥物化妝品法》在第520節(o)(3)(A)(i)項亦建立「彌補性納回(claw-back)」機制,FDA需遵守通知評論程序(notice-and-comment process)以便及時發現軟體可能對健康造成嚴重危害的風險,並隨時將之納回監管範疇中。同時FDA每兩年必須向國會報告醫療器材軟體的實施經驗[15]。 參、事件評析 《21世紀治癒法》頒布至今兩年,FDA已核准多個以人工智慧為技術核心的軟體,例如在2018年2月13日通過能自動偵測可疑的大血管阻塞(large vessel occlusion, LVO),並迅速通知醫師病人可能有的中風危險的臨床決策支援軟體:Viz.AI Contact application;又比如於2018年4月11日通過利用演算法分析由視網膜攝影機(Topcon NW400)所獲得的影像,快速篩檢糖尿病病人是否有必須由專業眼科醫師治療的視網膜病變的IDx-DR。 然而,在CDS軟體以人工智慧為技術核心時,現有的法規與監管框架依舊有幾點疑慮: 一、「理解」演算法? 根據新修正之《聯邦食品藥物化妝品法》,如果CDS軟體欲不受FDA監管,醫師的決策必須保持獨立性。目前規定只要該醫療產品「企圖」(intended to)使醫師等專業人員理解演算法即可,並不論醫師是否真正理解演算法。然而,若FDA肯認理解演算法對於執行醫療行為是重要的,那麼當CDS係基於機器學習產生演算法時,具體該如何「理解」就連開發者本身都未必能清楚解釋的演算法?有學者甚至認為,CDS軟體是否受到FDA法規的約束,可能會引導至一個典型的認識論問題:「我們是怎麼知道的?(How do we know?)」[16]。對此問題,我們或許需要思考:當醫師無法理解演算法,會發生什麼問題?更甚者,未來我們是否需要訓練一批同時具備人工智慧科學背景的醫療人員?[17] 二、如何要求演算法透明度? 指南草案所提之「清楚解釋臨床建議產生背後之邏輯或支持證據」以及資料來源為公眾可得、醫生對演算法使用的資料來源之近用權限等,被認為是FDA要求廠商應使CDS軟體之演算法透明[18]。但根據FDA指南草案公告後得到的反饋,醫療軟體廠商對此要求認為並不合理。廠商認為,應該從實際使用效益來審視人工智慧或機器學習軟體所提出的臨床建議是否正確,而不是演算法是什麼、怎麼產生[19]。 三、醫療專業人員之獨立專業判斷是否會逐漸被演算法取代?未來醫療軟體廠商與醫療專業人員之責任該如何區分? FDA目前的法規與指南並未直接回應此二問題,惟其對於不被列管之CDS軟體之規定係需使醫師並非主要依賴該軟體提供之臨床建議、醫師能自己做成與軟體相同之判斷。由反面解釋,即FDA肯認部份CDS軟體具備與醫師雷同之臨床診斷、處置、決策之功能,或能部份取代醫師職能,因此需受FDA監管。是故,醫師之專業能力與人工智慧演算法相互之間具有取代關係,已是現在進行式。惟究竟醫師的判斷有多少是倚靠人工智慧現階段尚無法取得量化證據,或需數年時間透過實證研究方能研判。往後,醫療軟體廠商與醫師之責任該如何區分,將會是一大難題。 肆、結語 隨著醫療大數據分析與人工智慧技術的發展,傳統認知上的醫療器材定義已隨之改變。雖然硬體設備仍然在診斷、治療與照護上扮演極為重要的角色,但軟體技術的進步正在重新改寫現代醫療服務執行以及管理模式。這些新產品及服務為醫療器材市場帶來活水,但同時也形成新的監管議題而必須採取適當的調整措施。美國FDA針對近年來呈爆炸性發展的醫療軟體產業不斷調整或制定新的監管框架,以兼顧使用者安全與新技術開展,並於2016年通過了極具改革意義的《21世紀治癒法》,且以此法修正了《聯邦食品藥物化妝品法》。 然而,新法實施後,關於個別醫用軟體是否納為不受FDA監管的醫療器材仍有法律認定上的灰色空間。舉例而言,倍受矚目的以人工智慧為核心技術的CDS軟體,在新法框架下似乎可能存在於監管紅線的兩側。根據新修正之《聯邦食品藥物化妝品法》,一CDS軟體是否屬於醫療器材軟體,關鍵在於醫師能否「獨立審查」從而「非主要依賴」軟體所提供之臨床建議。也由於此要件概念較為模糊,FDA後續在2017年發布《臨床與病患決策支持軟體指南草案》為此提供進一步解釋,然而仍無法妥適處理人工智慧機器學習技術所導致的演算法「該如何理解?」、「透明度該如何認定?」等問題。更甚者,從整體醫療服務體系納入人工智慧協助臨床決策診斷之趨勢觀之,未來醫療專業人員的獨立判斷是否會逐漸被演算法取代?未來人工智慧軟體與醫療專業人員之責任該如何區分?都是醞釀當中的重要議題,值得持續關注。 [1] 21 U.S. Code §360j [2] FD&C Act Sec. 520(o)(1)(A) [3] FD&C Act Sec. 520(o)(1)(B) [4] FD&C Act Sec. 520(o)(1)(C) [5] FD&C Act Sec. 520(o)(1)(D) [6] FD&C Act Sec. 520(o)(1)(E) [7] FD&C Act Sec. 520(o)(1)(E)(i) [8] FD&C Act Sec. 520(o)(1)(E)(ii) [9] FD&C Act Sec. 520(o)(1)(E)(iii) [10] “Enabling such health care professionals to independently review the bases for such recommendations that such software presents so that it is not the intent that such health care professional rely primary on any of such recommendations to make clinical diagnosis or treatment decisions regarding individual patient.” FD&C Act, Sec. 520(O)(1)(E)(iii) [11] FOOD AND DRUG ADMINISTRATION[FDA], Clinical and Patient Decision Support Software-Draft Guidance for Industry and Food and Drug Administration (2017), .at 8 https://www.fda.gov/downloads/medicaldevices/deviceregulationandguidance/guidancedocuments/ucm587819.pdf (last visited Sep. 21, 2018) [12] 原文為 “The sources supporting the recommendation or underlying the rationale for the recommendation should be identified and easily accessible to the intended user, understandable by the intended user (e.g., data points whose meaning is well understood by the intended user), and publicly available (e.g., clinical practice guidelines, published literature)”, id, at 8 [13] FOOD AND DRUG ADMINISTRATION[FDA], supra note 11 [14]FOOD AND DRUG ADMINISTRATION[FDA], supra note 11 [15] 21th Century Cures Act, Sec. 3060(b) [16] Barbara J. Evans & Pilar Ossorio, The Challenge of Regulating Clinical Decision Support Software after 21st Century Cures. AMERICAN JOURNAL OF LAW AND MEDICINE (2018), https://papers.ssrn.com/sol3/Delivery.cfm/SSRN_ID3142822_code1078988.pdf?abstractid=3142822&mirid=1 (last visited Sep. 21, 2018) [17] Id. [18] Gail H. Javitt & J.D., M.P.H., ANESTHESIOLOGY, Regulatory Landscape for Clinical Decision Support Technology (2018), http://anesthesiology.pubs.asahq.org/article.aspx?articleid=2669863 (last visited Sep. 21, 2018) [19] REGULATIONS.GOV, Clinical and Patient Decision Support Software; Draft Guidance for Industry and Food and Drug Administration Staff; Availability(Dec. 8, 2017) https://www.regulations.gov/docketBrowser?rpp=25&po=0&dct=PS&D=FDA-2017-D-6569&refD=FDA-2017-D-6569-0001 (last visited Sep. 25, 2018)