網路爬蟲治理趨勢與我國法制啟示 資訊工業策進會科技法律研究所 2026年04月30日 壹、網路爬蟲治理議題背景 隨生成式人工智慧產業蓬勃發展,模型訓練對於巨量資料之依賴度與日俱增,促使網路爬蟲(Crawlers)技術運用愈發頻繁。傳統網路生態原係建立於網站經營者與網路爬蟲索引功能的導流互惠默契[1],網站容忍爬取以換取流量曝光。然而,當網路爬蟲大量爬取資料用於訓練,而非提供連結導流時,不僅造成流量分流與價值分配失衡,更損及內容產製者的廣告與訂閱收益[2]。 此經濟模式的轉變,讓技術訊號與法律意思表示長期脫節的矛盾浮上檯面。事實上,以自然語言呈現的服務條款與機器可讀的技術訊號(如 robots.txt)不一致之情形普遍存在。在搜尋引擎主導的時代,雙方多維持以資料換流量的默契,類矛盾尚能維持在技術管理層次,未釀成大規模法律對立。 如今,當爬取行為涉及訓練具備商業替代性的模型時,原本被掩蓋的技術脫節便陡然升級為法律風險。內容產製者因對傳統協定失去信任,轉向採行強硬的技術阻擋[3];而 AI開發者則因 robots.txt 結構過於簡單,難以精確辨識複雜的著作權授權意願。即便開發者主觀上有遵循意願,但在自動化爬取過程中,仍因技術工具無法即時解讀自然語言聲明,進而陷入侵害著作權或違反契約之困境。 這種從互惠轉向競爭的變化,促使全球必須正視法制層面對於技術訊號與法律意願對齊的緊迫性。目前國際主要有兩種治理路徑:一是以美國為代表,仰賴著作權法中合理使用(Fair Use)之彈性空間,透過司法個案衡酌商業替代性與轉化性利用;二是以歐盟為首,透過《數位單一市場著作權指令》(The Copyright in the Digital Single Market Directive, CDSM Directive)明文確立「文本及資料探勘(Text and Data Mining, TDM)」之法定例外[4],建立起事前規範。 相較於上述兩大主流路徑,我國目前既缺乏如歐盟般明確的法定例外制度作為避風港,在司法實務對於合理使用的解釋上也尚待更多AI相關案例累積心證,導致相關爭議高度仰賴司法事後認定,其不確定性使本土AI研發者往往須在法律風險與技術創新間艱難取捨,對產業生態系形成潛在的寒蟬效應。爰此,本文旨在爬梳歐美法規範趨勢與國內外司法實務案例,進而針對我國網路爬蟲治理路徑提出具體之政策建議。 貳、重點說明 一、網路爬蟲治理與國際趨勢 觀測全球AI治理趨勢,網路爬蟲管理議題漸受重視。相關討論已從純粹的技術攻防轉化為法律規範的核心。目前國際間主要以美國的合理使用彈性與歐盟的法定例外架構路徑為觀測重點,並輔以國際組織推動的技術標準自律。 (一)美國路徑:以合理使用為核心的事後審查 以美國為觀測對象,其著作權局(United States Copyright Office, USCO)於2025年的報告中揭示了關鍵立場:為AI訓練而建立資料集的重製行為,本質上已構成初步侵權(Prima Facie Infringement)[5],其合法性最終取決於合理使用抗辯是否成立。此見解釐清了技術上的公開可得(publicly available)並不等同於法律上的授權利用,即便內容於網際網路上可自由存取,其著作權保護並不因此消滅。 這法律定性與技術現狀的落差,直接衝擊了美國司法實務過往採取之默示授權(Implied License)理論。在早期判例(如 Parker v. Yahoo!案)[6]中,若網站未設置 robots.txt 阻擋爬蟲,法院常傾向認為權利人已默許搜尋引擎進行索引。然而,robots.txt 的初衷並非針對生成式 AI設計,其技術結構無法區分導流索引與模型內化這兩類本質迥異的行為,並導致內容產製者即便有意反對AI訓練利用,卻因缺乏精準的技術工具表達其授權意願,使法庭在個案審酌授權意圖或合理使用時,面臨證據判讀上的困境。 此外,針對大規模爬取行為,美國監理機關亦開始從著作權以外的視角強化監管。例如,聯邦貿易委員會(Federal Trade Commission, FTC)近期高度關注「普遍性擷取(Pervasive Extraction)」所涉及的隱私風險。FTC強調,即便資料經去識別化,若能透過巨量資料點反推個人敏感資訊,仍可能違反個人資料保護法規範。[7]由此可推敲,美國正透過著作權法遵與個資保護責任之雙重規範,強化對爬取行為事後責任之追究,而非單純從技術面禁止存取。 (二)歐盟路徑:以權利保留(Opt-out)為基礎的法定例外 相對於美國模式,歐盟透過《數位單一市場著作權指令》建立層次分明的TDM法定例外體系,依據利用目的之性質,區分為科學研究與一般性利用兩種目的:基於科學研究目的而進行之TDM,屬於強制性的法定例外。在此範圍內,權利人不得主張選擇退出,亦即權利人必須容忍符合公益目的之資料探勘行為;基於一般性利用目的(即科學研究目的以外),原則上允許資料爬取,但賦予權利人權利保留選擇。但權利人必須以機器可讀(Machine-readable)形式明確聲明,否則即須容忍一定程度的爬取行為。[8][9] 此制度的核心爭點在於機器可讀性與技術落實間的落差。近期歐盟實務(如荷蘭 DPG Media v. HowardsHome 案)進一步探討:若權利人僅在 robots.txt 中以自然語言註解法律聲明,該方式是否即應被認定為符合法律要求的機器可讀格式?[10]此類討論反映出歐盟司法實務正試圖釐清,在技術中立的原則下,機器可讀的判定基準是否應隨AI的辨識能力而動態調整? 亦即,若 AI 確實能辨識該聲明,則該非結構化的文字是否就已該當法律上的權利保留效力。 此外,為解決內容產製者與 AI 開發者間的價值分配失衡,歐盟亦提出引入法定衡平報酬權(Statutory Right to Equitable Remuneration)之構想,試圖透過著作權集體管理組織(Collective Management Organisations , CMOs)建立公平的利益補償模式,將商業性爬取行為由單純的侵權爭議,轉化為制度性的商業授權框架。[11] (三) 國際合作與技術標準:形塑自律框架 在法律規範之外,國際組織正積極透過軟法與技術標準化,試圖緩解內容產製者與 AI 開發者間的緊張關係。目前,觀察標竿組織重點如下: 1. OECD:探索產業自律與授權框架 在國際合作層面,經濟合作暨發展組織(Organisation for Economic Co-operation and Development, OECD)在報告中,探討透過資料爬取行為準則(Code of Conduct)與定型化契約等手段,形塑產業自律框架[12]的可能性,期望能透過標準化的授權條款降低雙方磋商成本,並為開發者提供更明確的法遵指引,以減輕司法事後判決不確定性所帶來的衝擊。 2. IETF:研議以「利用目的」為基礎之技術協定 針對現有技術訊號(如 robots.txt)無法精確承載法律意願之缺陷,網際網路工程任務組(IETF)相關工作小組正嘗試研發新一代技術協定(如 train-ai 標籤)。研究焦點在於建立以利用目的為基礎的識別機制,探討自然語言與機器語言銜接的技術路徑,使權利人未來能更精確地表達其授權意向(如:區分搜尋索引與 AI 訓練),進而試圖彌補技術訊號與法律意思表示間的落差。[13] 二、 國內外司法實務案例分析 觀測近期司法實務,各國法院對爬蟲行為邊界之判定趨向細緻化,且美、歐兩地在司法判斷標準與關注焦點上各具特色。 (一)美國實務:從默示授權轉向契約與反競爭之平衡 在美國實務方面,爭議核心從早期有關默示授權轉向近期契約效力與競爭政策間平衡發展的演進。法院雖曾於 Parker v. Yahoo! [14]等早期案件中認為,若網站未以技術手段(如 robots.txt)限制爬取,在搜尋快取情境下可能視為默示授權。然而,此見解在AI時代已難以擴張至大規模重製以訓練模型之範疇。 近期法院判斷標準更傾向於認為,單純缺乏技術設定並不等同於達成全面授權的意思合致。在此種技術訊號與授權意向脫節的現狀下,網站經營者轉而強化服務條款之規範,試圖以契約債權彌補技術控制之不足。然而,這也引發了服務條款拘束力邊界的法律論辯。具體而言,在 hiQ Labs v. LinkedIn [15]等案中,法律爭議核心在於《電腦詐欺與濫用法》(Computer Fraud and Abuse Act,CFAA)的適用邊界。針對技術上無需登入即可存取的公開資料(Public Data),平台方不得僅憑撤銷授權(如寄發停止並終止函或阻斷 IP)便主張資料爬取者構成CFAA之無權限存取。法院在裁定中展現其法律見解:若容許平台透過服務條款對未登入狀態下即可存取之公開資料建立壟斷性控制權,將損及資訊自由流通與競爭之公共利益。[16] (二) 歐盟實務:聚焦權利保留(退出權)之有效性認定 在歐盟司法實務方面,司法實務判斷的重點則由單純的存取權限轉向權利保留之有效性認定。此轉變反映司法機關試圖確認,在技術中立原則下,法律要求之機器可讀性應如何解釋。德國法院在 Kneschke v. LAION 案[17]中提出重要觀點,認為機器可讀性之判定應取決於利用行為發生時之技術發展水平。該判決傾向認定,若 AI 應用程式在技術上已能實質理解自然語言,則僅以自然語言撰寫的服務條款亦可能被視為有效的機器可讀聲明;相對地,荷蘭法院在 DPG Media v. HowardsHome案[18]中則採取較嚴格的檢視標準,認為若出版商僅以自然語言註解或針對特定機器人進行封鎖,但在技術執行上未能達成適當且明確之辨識程度,致使自動化工具無法將其識別為法律上的權利保留指令,該聲明仍可能被判定為無效。 上述案例顯示歐盟實務正處於探索期,試圖在法律規範與技術現狀間尋求對齊,以確立法定例外制度下權利人與利用人之間的權利義務邊界。 (三) 我國實務:側重對權利人財產權之保障 相較於美、歐司法實務傾向於在競爭政策或著作權例外框架下進行權衡,我國司法實務現階段對於權利人利益之保障呈現更為嚴謹的審視態度,且在法律適用上展現出獨特的刑事定性。在國內有關網路資料爬取的指標性案例(法源與七法案)[19]中,法院認定即便爬取之資料本身不具著作權(例如法規內容),但若行為人明知網站已設有禁止規範,卻仍利用自動化程式大規模爬取資訊,且該利用行為具備直接商業競爭目的、實質損及原告之潛在市場,則此種行為除可能構成著作權侵害外,亦將涉及《刑法》第359條之無故取得他人電腦電磁紀錄罪。此見解凸顯出我國實務高度側重保護內容產製者對於電磁紀錄之支配權與商業投資成果之完整性,使得網路爬蟲行為在臺灣法制環境下,不僅面臨民事侵權責任,更具備顯著的刑事責任風險。 三、 我國現況與產業環境觀察 我國目前針對網路爬蟲之治理模式主要由司法實務主導,且現行法制環境對於權利人利益之保障維持一貫保守且嚴謹的認定態度。在法律層面,由於我國尚未引進類似歐盟之TDM法定例外制度,我國 AI開發者在進行大規模語料收集時,僅能仰賴《著作權法》中關於合理使用之不確定法律概念進行個案認定。此類高度依賴司法事後認定的現狀,使研發過程籠罩在法遵風險之下,對產業創新形成明顯的寒蟬效應。 在技術與商業實務層面,robots.txt 等傳統技術協定在生成式AI 時代,已顯現出語義表達能力不足之侷限,難以在機器語言中精準區分流量引導與資料訓練內化兩類本質差異甚廣的授權意願。觀察整體產業環境,內容產製者與AI開發者間的衝突核心,在於資料利用已具備高度商業替代性競爭意涵,且開發者無償利用巨量資料行為,與內容產製者要求合理對價之間產生巨大鴻溝,而非單純的技術存取議題。此外,《刑法》第359條無故取得電磁紀錄罪於網路爬蟲案件中適用邊界之不確定性,不僅加劇AI開發者對於技術行為入罪化的恐懼,更因缺乏明確的付費授權路徑或法定例外,成為我國AI生態系發展中難以跨越的法律屏障。 參、事件評析 綜觀國際趨勢,網路爬蟲治理的爭議已跨越單純的技術存取爭議,演進為在AI時代下治理路徑的策略選擇。 美國雖以合理使用作為事後裁決標準,但觀察其司法實務發展,實質上已有仰賴私法契約與其他多重法規構築防護網之傾向;相對於此,歐盟則採法定例外搭配權利保留(退出權),將治理重心提前至事前規範。兩種路徑雖規範密度有別,但均試圖在著作權人與利用人之間建構可資依循的權利義務框架。 歸結而言,我國現行網路爬蟲治理困境,似並非單純的法規空白問題,更涉及技術訊號與法律表述之結構性落差。首先,我國未引進類似歐盟法定例外制度,僅能仰賴具高度不確定性之合理使用概念;其次,即便欲從私法契約角度建立事前約束,仍面臨傳統技術協定因語義表達之侷限性,難以精確傳達權利人對於導流索引與AI訓練利用之差異化授權意願,其結果往往導致技術訊號與法律服務條款內容產生落差。 面對此困境,我國未來治理路徑首要之務,或可思考建構足以縮短技術訊號與法律意思表示落差的緩衝空間,調和當前導流互惠轉向替代競爭所引發的價值分配矛盾。 [1] Yichen Zhang, Kneschke v LAION: Are Text and Data Mining Exceptions a “Get-Out-of-Jail-Free Card” for AI Training?(2025),15, https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5439454 (last visited Nov. 22, 2025). [2] Inbar Cohen, From Headlines to Al: Narrowing the Bargaining Gaps between News and AI Companies(2024), 9, https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4878254 (last visited Nov. 22, 2025). [3] UK Dep’t for Sci., Innovation & Tech., International AI Safety Report 2025 (2025), 2.3.6. Risks of copyright infringement, https://www.gov.uk/government/publications/international-ai-safety-report-2025/international-ai-safety-report-2025 (last visited Sept. 29, 2025). [4] European Parliament, Generative AI and Copyright: Training, Creation, Regulation (2025), Policy Department for Justice, Civil Liberties and Institutional Affairs, PE 774.095, 32-33,https://www.europarl.europa.eu/RegData/etudes/STUD/2025/774095/IUST_STU(2025)774095_EN.pdf (last visited Oct. 14, 2025). [5] United States Copyright Office, Copyright and Artificial Intelligence Part 3: Generative AI Training pre-publication version(2025) , 26-31,https://www.copyright.gov/ai/Copyright-and-Artificial-Intelligence-Part-3-Generative-AI-Training-Report-Pre-Publication-Version.pdf (last visited Nov. 24, 2025). [6] Parker v. Yahoo!, Inc., No. 07-2757, 2008 WL 4410095 (E.D. Pa. Sept. 25, 2008). [7] Federal Trade Commission, “FTC Cracks Down on Mass Data Collectors: A Closer Look at Avast x-Mode,” Technology Blog, Mar. 15, 2024, https://www.ftc.gov/policy/advocacy-research/tech-at-ftc/2024/03/ftc-cracks-down-mass-data-collectors-closer-look-avast-x-mode-inmarket (last visited Nov. 24, 2025). [8] European Parliament, Generative AI and Copyright: Training, Creation, Regulation (2025), Policy Department for Justice, Civil Liberties and Institutional Affairs, PE 774.095, 35-36, https://www.europarl.europa.eu/RegData/etudes/STUD/2025/774095/IUST_STU(2025)774095_EN.pdf (last visited Oct. 14, 2025). [9] European Parliament, Generative AI and Copyright: Training, Creation, Regulation (2025), Policy Department for Justice, Civil Liberties and Institutional Affairs, PE 774.095, 120, https://www.europarl.europa.eu/RegData/etudes/STUD/2025/774095/IUST_STU(2025)774095_EN.pdf (last visited Oct. 14, 2025). [10] DPG Media et al. v. HowardsHome, C/13/737170 / HA ZA 23-690, ECLI:NL:RBAMS:2024:6563 (Amsterdam District Court, 30 Oct. 2024). Available at: https://www.nlp.legal/xms/files/Between_labs_and_algorithms__…pdf (last visited Oct. 7, 2025). [11] European Parliament, Generative AI and Copyright: Training, Creation, Regulation (2025), Policy Department for Justice, Civil Liberties and Institutional Affairs, PE 774.095, 128-129, https://www.europarl.europa.eu/RegData/etudes/STUD/2025/774095/IUST_STU(2025)774095_EN.pdf (last visited Oct. 14, 2025). [12] Organisation for Economic Co-operation and Development (OECD). Intellectual Property Issues in Artificial Intelligence Trained on Scraped Data. OECD Artificial Intelligence Papers No. 33, February 2025, 10, https://www.oecd.org/content/dam/oecd/en/publications/reports/2025/02/intellectual-property-issues-in-artificial-intelligence-trained-on-scraped-data_a07f010b/d5241a23-en.pdf (last visited Nov. 19, 2025). [13] IETF, Progress on AI Preferences(2025), https://www.ietf.org/blog/ai-pref-progress/ (last visited Nov. 26, 2025). [14] Parker v. Yahoo!, Inc., No. 07-2757, 2008 WL 4410095 (E.D. Pa. Sept. 25, 2008). [15] hiQ Labs, Inc. v. LinkedIn Corp., 31 F.4th 1180 (9th Cir. 2022). [16] Meta Platforms, Inc. v. Bright Data Ltd., 661 F. Supp. 3d 1086 (N.D. Cal. 2023). [17] Kneschke v. LAION, e.V., Case No. 310 O 227/23, Hamburg Regional Court (Landgericht Hamburg), Sept. 27 2024. Available at: https://www.wipo.int/wipolex/en/judgments/details/2381 (last visited Oct. 7, 2025). [18] DPG Media et al. v. HowardsHome, C/13/737170 / HA ZA 23-690, ECLI:NL:RBAMS:2024:6563 (Amsterdam District Court, 30 Oct. 2024). Available at: https://www.nlp.legal/xms/files/Between_labs_and_algorithms__…pdf (last visited Oct. 7, 2025). [19] 臺灣新北地方法院 114 年 6 月 24 日 111 年度智訴字第 8 號刑事判決。
南韓司法單位擬懲處黃禹錫等四人去(2005)年11月,全球幹細胞研究先驅-韓國首爾大學黃禹錫(Hwang Woo-suk)教授承認其研究有國際醫學倫理瑕疵,引發軒然大波。其後,相關的醜聞頻傳,黃教授更被控研究造假,使得原本以前瞻之胚胎幹細胞研究技術(即體細胞核轉置技術”somatic cell nuclear transfer”)獨步全球的韓國科學界,研究信譽遭受嚴重打擊。 偵辦「黃禹錫科研論文造假醜聞案」的南韓檢察當局,經連日傳訊相關人員後,正考慮對黃禹錫等四人採取司法懲處。 對於被查出不法獲得並使用科研用卵子的黃禹錫,檢方考慮依據違反「生命倫理及安全之法律」等條文予以懲處。 據指出,檢方在調查中,掌握了2004年及2005年刊登在「科學」雜誌上的科研論文,黃禹錫等人捏造體細胞複製幹細胞,和為病患複製培育胚胎幹細胞的科研數據,矇騙了整個科學界。調查顯示,黃禹錫去年十一月檢驗幹細胞的遺傳基因(DNA)指紋之前,似乎真的不曉得根本就不存在為病患量身打造複製培育胚胎幹細胞的事實。但檢方卻證實黃禹錫確實指示屬下研究員,將部分照片等科研數據和資料,自我膨脹等造假的事實。 由於生醫研究給許多病患帶來新的治療希望,因此其通常會以實際行動(即自願捐贈研究用檢體、協助經費募集等)表達支持。惟研究瑕疵或造假則會讓病患及一般民眾認為遭受欺騙,進而影響其未來捐贈檢體或以受試者身份參與生醫研究之意願。可見生醫倫理並不僅是道德呼籲,也是生醫研究能否順利進行、生醫研究能否生根發芽的重要基石。 黃禹錫案之相關報導可參見 The Economists, December 3 rd 2005, p. 71; The Economist, December 24 th 2005, p. 109-110
Airbnb針對紐約新短期租賃法規進行訴訟紐約市政府於2018年8月通過「短期租賃規則」(Regulation of Short-term Residential Rentals)。該規則將於通過後180天生效適用,強制要求平台業者必須定期提供下列數據報告給紐約市政府: 在交易中住房的地址,須包括街道名稱、公寓或單位號碼、鄉鎮及郵遞區號。 短租房東的地址、電話及email、網頁地址、姓名及該平台的房東數量。 廣告的個別名稱及網頁地址。 關於短期租賃的說明:註明出租的是整間公寓還是單一房間。 該建築透過訂房網站提供短期租賃之天數。 短期租賃的所有費用。 若該平台代收租金費用,則需提供費用明細。 若相關平台業者未提交報告,則須面臨1,500美元以下之罰鍰。目前紐約市是Airbnb在美國最大的市場,該項規則的通過及生效勢必會對Airbnb造成相當大的影響及成本負擔。因此Airbnb在該規則通過後不久,旋即向法院提起訴訟,聲稱該規範違反了平台用戶之隱私權及美國憲法第一及第四修正案所保障之權利。 紐約市政府方面則作出回應,這項規則可協助政府取得保護住房安全所需的關鍵資訊,並保證遊客及租賃者之安全,同時並打擊非法的短期出租。而該規則也顯示紐約政府對於短期日租套房之服務將趨向保守的態度。
運用AI工具協助管理智慧財產組合(IP Portfolio)之方式美國實務界律師2023年6月9日撰文指出,人工智慧(artificial intelligence,簡稱AI)將對智慧財產法律和策略帶來改變,大部分企業熟悉的改變是目前仍有爭議的法律問題—由AI工具產生的發明創造是否為專利或著作權適格的保護標的。但除此之外,AI工具對於創建和管理智慧財產組合(IP Portfolio)的方式也已發生改變,並介紹以下五種利用AI工具協助管理智慧財產組合之方式。 1.簡化先前技術之檢索 無論是評估新產品的可專利性、評估競爭對手之智慧財產權之相關風險、抑或是回應侵權索賠,企業均須了解特定領域之先前技術,因應此需求,全球已有大量公司提供先前技術檢索服務,惟AI工具的出現使得企業可自行進行先前技術檢索。例如知名的文件審查平台Relativity創造了Relativity Patents,使用者輸入專利號碼等特定關鍵字即可進行先前技術檢索;美國專利商標局亦為了審查官開發一種AI工具,提升其確認先前技術之準確性及效率。 2.協助專利申請文件撰寫 對於專利申請人而言,可使用AI工具協助草擬專利申請範圍,有些企業甚至會運用AI工具自動化撰寫專利申請文件,惟使用AI工具撰寫專利申請文件時,應留意提供AI工具的資料是否會保密,抑或有向第三人提供之風險。此外,AI工具撰寫之內容建議仍須雙重確認內容正確性及適當性,如引用來源及內容是否正確。 3.改善商標維權能力 企業可使用AI工具協助監控潛在的侵權及仿冒產品,有鑒於現今網站及社群媒體仍有大量未經商標授權的賣家存在,AI工具可作為審查貼文及識別商標侵權案件之工具,相較於傳統的人工審查可更有效率。 4.協助商標檢索作業 於美國、澳洲、歐盟、中國,甚至世界智慧財產組織導入AI工具協助審查官進行商標審查,包括以關鍵字及影像標記之搜尋功能,此一工具不僅可簡化商標申請和註冊審查程序與時間,亦有部分國家提供使用者自行檢索之功能,使企業可進行更快速、有效率之商標檢索,使其於品牌保護策略上節省不必要之時間及金錢。 5.支持策略性專利組合管理 AI工具亦可協助專利組合管理,包括最廣的專利範圍、評估是否需繼續維護專利、或是評估擬收購專利之價值,以AI工具協助評估以上事項,雖無法完全取代人工進行策略評估,惟可顯著減少勞動力支出。 AI工具改變了智慧財產組合創建及管理之方式,雖然AI工具不能完全承擔管理智慧財產權組合之職責,但AI工具在專利/商標檢索、專利申請文件撰寫、專利權評估、商標維權等方面已可大量減少人力及管理成本,有助於企業智慧財產組合管理,惟企業及使用者須留意使用AI工具的資料管理問題,以避免機密資訊遭到外洩。 本文同步刊登於TIPS網站(https://www.tips.org.tw)