網路爬蟲治理趨勢與我國法制啟示

網路爬蟲治理趨勢與我國法制啟示

資訊工業策進會科技法律研究所

2026年04月30日

壹、網路爬蟲治理議題背景

隨生成式人工智慧產業蓬勃發展，模型訓練對於巨量資料之依賴度與日俱增，促使網路爬蟲（Crawlers）技術運用愈發頻繁。傳統網路生態原係建立於網站經營者與網路爬蟲索引功能的導流互惠默契[1]，網站容忍爬取以換取流量曝光。然而，當網路爬蟲大量爬取資料用於訓練，而非提供連結導流時，不僅造成流量分流與價值分配失衡，更損及內容產製者的廣告與訂閱收益[2]。

此經濟模式的轉變，讓技術訊號與法律意思表示長期脫節的矛盾浮上檯面。事實上，以自然語言呈現的服務條款與機器可讀的技術訊號（如 robots.txt）不一致之情形普遍存在。在搜尋引擎主導的時代，雙方多維持以資料換流量的默契，類矛盾尚能維持在技術管理層次，未釀成大規模法律對立。

如今，當爬取行為涉及訓練具備商業替代性的模型時，原本被掩蓋的技術脫節便陡然升級為法律風險。內容產製者因對傳統協定失去信任，轉向採行強硬的技術阻擋[3]；而 AI開發者則因 robots.txt 結構過於簡單，難以精確辨識複雜的著作權授權意願。即便開發者主觀上有遵循意願，但在自動化爬取過程中，仍因技術工具無法即時解讀自然語言聲明，進而陷入侵害著作權或違反契約之困境。

這種從互惠轉向競爭的變化，促使全球必須正視法制層面對於技術訊號與法律意願對齊的緊迫性。目前國際主要有兩種治理路徑：一是以美國為代表，仰賴著作權法中合理使用（Fair Use）之彈性空間，透過司法個案衡酌商業替代性與轉化性利用；二是以歐盟為首，透過《數位單一市場著作權指令》（The Copyright in the Digital Single Market Directive, CDSM Directive）明文確立「文本及資料探勘（Text and Data Mining, TDM）」之法定例外[4]，建立起事前規範。

相較於上述兩大主流路徑，我國目前既缺乏如歐盟般明確的法定例外制度作為避風港，在司法實務對於合理使用的解釋上也尚待更多AI相關案例累積心證，導致相關爭議高度仰賴司法事後認定，其不確定性使本土AI研發者往往須在法律風險與技術創新間艱難取捨，對產業生態系形成潛在的寒蟬效應。爰此，本文旨在爬梳歐美法規範趨勢與國內外司法實務案例，進而針對我國網路爬蟲治理路徑提出具體之政策建議。

貳、重點說明

一、網路爬蟲治理與國際趨勢

觀測全球AI治理趨勢，網路爬蟲管理議題漸受重視。相關討論已從純粹的技術攻防轉化為法律規範的核心。目前國際間主要以美國的合理使用彈性與歐盟的法定例外架構路徑為觀測重點，並輔以國際組織推動的技術標準自律。

（一）美國路徑：以合理使用為核心的事後審查

以美國為觀測對象，其著作權局（United States Copyright Office, USCO）於2025年的報告中揭示了關鍵立場：為AI訓練而建立資料集的重製行為，本質上已構成初步侵權（Prima Facie Infringement）[5]，其合法性最終取決於合理使用抗辯是否成立。此見解釐清了技術上的公開可得（publicly available）並不等同於法律上的授權利用，即便內容於網際網路上可自由存取，其著作權保護並不因此消滅。

這法律定性與技術現狀的落差，直接衝擊了美國司法實務過往採取之默示授權（Implied License）理論。在早期判例（如 Parker v. Yahoo!案）[6]中，若網站未設置 robots.txt 阻擋爬蟲，法院常傾向認為權利人已默許搜尋引擎進行索引。然而，robots.txt 的初衷並非針對生成式 AI設計，其技術結構無法區分導流索引與模型內化這兩類本質迥異的行為，並導致內容產製者即便有意反對AI訓練利用，卻因缺乏精準的技術工具表達其授權意願，使法庭在個案審酌授權意圖或合理使用時，面臨證據判讀上的困境。

此外，針對大規模爬取行為，美國監理機關亦開始從著作權以外的視角強化監管。例如，聯邦貿易委員會（Federal Trade Commission, FTC）近期高度關注「普遍性擷取（Pervasive Extraction）」所涉及的隱私風險。FTC強調，即便資料經去識別化，若能透過巨量資料點反推個人敏感資訊，仍可能違反個人資料保護法規範。[7]由此可推敲，美國正透過著作權法遵與個資保護責任之雙重規範，強化對爬取行為事後責任之追究，而非單純從技術面禁止存取。

（二）歐盟路徑：以權利保留（Opt-out）為基礎的法定例外

相對於美國模式，歐盟透過《數位單一市場著作權指令》建立層次分明的TDM法定例外體系，依據利用目的之性質，區分為科學研究與一般性利用兩種目的：基於科學研究目的而進行之TDM，屬於強制性的法定例外。在此範圍內，權利人不得主張選擇退出，亦即權利人必須容忍符合公益目的之資料探勘行為；基於一般性利用目的（即科學研究目的以外），原則上允許資料爬取，但賦予權利人權利保留選擇。但權利人必須以機器可讀（Machine-readable）形式明確聲明，否則即須容忍一定程度的爬取行為。[8][9]

此制度的核心爭點在於機器可讀性與技術落實間的落差。近期歐盟實務（如荷蘭 DPG Media v. HowardsHome 案）進一步探討：若權利人僅在 robots.txt 中以自然語言註解法律聲明，該方式是否即應被認定為符合法律要求的機器可讀格式？[10]此類討論反映出歐盟司法實務正試圖釐清，在技術中立的原則下，機器可讀的判定基準是否應隨AI的辨識能力而動態調整？ 亦即，若 AI 確實能辨識該聲明，則該非結構化的文字是否就已該當法律上的權利保留效力。

此外，為解決內容產製者與 AI 開發者間的價值分配失衡，歐盟亦提出引入法定衡平報酬權（Statutory Right to Equitable Remuneration）之構想，試圖透過著作權集體管理組織（Collective Management Organisations , CMOs）建立公平的利益補償模式，將商業性爬取行為由單純的侵權爭議，轉化為制度性的商業授權框架。[11]

（三） 國際合作與技術標準：形塑自律框架

在法律規範之外，國際組織正積極透過軟法與技術標準化，試圖緩解內容產製者與 AI 開發者間的緊張關係。目前，觀察標竿組織重點如下：

1. OECD：探索產業自律與授權框架

在國際合作層面，經濟合作暨發展組織（Organisation for Economic Co-operation and Development, OECD）在報告中，探討透過資料爬取行為準則（Code of Conduct）與定型化契約等手段，形塑產業自律框架[12]的可能性，期望能透過標準化的授權條款降低雙方磋商成本，並為開發者提供更明確的法遵指引，以減輕司法事後判決不確定性所帶來的衝擊。

2. IETF：研議以「利用目的」為基礎之技術協定

針對現有技術訊號（如 robots.txt）無法精確承載法律意願之缺陷，網際網路工程任務組（IETF）相關工作小組正嘗試研發新一代技術協定（如 train-ai 標籤）。研究焦點在於建立以利用目的為基礎的識別機制，探討自然語言與機器語言銜接的技術路徑，使權利人未來能更精確地表達其授權意向（如：區分搜尋索引與 AI 訓練），進而試圖彌補技術訊號與法律意思表示間的落差。[13]

二、 國內外司法實務案例分析

觀測近期司法實務，各國法院對爬蟲行為邊界之判定趨向細緻化，且美、歐兩地在司法判斷標準與關注焦點上各具特色。

（一）美國實務：從默示授權轉向契約與反競爭之平衡

在美國實務方面，爭議核心從早期有關默示授權轉向近期契約效力與競爭政策間平衡發展的演進。法院雖曾於 Parker v. Yahoo! [14]等早期案件中認為，若網站未以技術手段（如 robots.txt）限制爬取，在搜尋快取情境下可能視為默示授權。然而，此見解在AI時代已難以擴張至大規模重製以訓練模型之範疇。

近期法院判斷標準更傾向於認為，單純缺乏技術設定並不等同於達成全面授權的意思合致。在此種技術訊號與授權意向脫節的現狀下，網站經營者轉而強化服務條款之規範，試圖以契約債權彌補技術控制之不足。然而，這也引發了服務條款拘束力邊界的法律論辯。具體而言，在 hiQ Labs v. LinkedIn [15]等案中，法律爭議核心在於《電腦詐欺與濫用法》（Computer Fraud and Abuse Act，CFAA）的適用邊界。針對技術上無需登入即可存取的公開資料（Public Data），平台方不得僅憑撤銷授權（如寄發停止並終止函或阻斷 IP）便主張資料爬取者構成CFAA之無權限存取。法院在裁定中展現其法律見解：若容許平台透過服務條款對未登入狀態下即可存取之公開資料建立壟斷性控制權，將損及資訊自由流通與競爭之公共利益。[16]

（二） 歐盟實務：聚焦權利保留（退出權）之有效性認定

在歐盟司法實務方面，司法實務判斷的重點則由單純的存取權限轉向權利保留之有效性認定。此轉變反映司法機關試圖確認，在技術中立原則下，法律要求之機器可讀性應如何解釋。德國法院在 Kneschke v. LAION 案[17]中提出重要觀點，認為機器可讀性之判定應取決於利用行為發生時之技術發展水平。該判決傾向認定，若 AI 應用程式在技術上已能實質理解自然語言，則僅以自然語言撰寫的服務條款亦可能被視為有效的機器可讀聲明；相對地，荷蘭法院在 DPG Media v. HowardsHome案[18]中則採取較嚴格的檢視標準，認為若出版商僅以自然語言註解或針對特定機器人進行封鎖，但在技術執行上未能達成適當且明確之辨識程度，致使自動化工具無法將其識別為法律上的權利保留指令，該聲明仍可能被判定為無效。

上述案例顯示歐盟實務正處於探索期，試圖在法律規範與技術現狀間尋求對齊，以確立法定例外制度下權利人與利用人之間的權利義務邊界。

（三） 我國實務：側重對權利人財產權之保障

相較於美、歐司法實務傾向於在競爭政策或著作權例外框架下進行權衡，我國司法實務現階段對於權利人利益之保障呈現更為嚴謹的審視態度，且在法律適用上展現出獨特的刑事定性。在國內有關網路資料爬取的指標性案例（法源與七法案）[19]中，法院認定即便爬取之資料本身不具著作權（例如法規內容），但若行為人明知網站已設有禁止規範，卻仍利用自動化程式大規模爬取資訊，且該利用行為具備直接商業競爭目的、實質損及原告之潛在市場，則此種行為除可能構成著作權侵害外，亦將涉及《刑法》第359條之無故取得他人電腦電磁紀錄罪。此見解凸顯出我國實務高度側重保護內容產製者對於電磁紀錄之支配權與商業投資成果之完整性，使得網路爬蟲行為在臺灣法制環境下，不僅面臨民事侵權責任，更具備顯著的刑事責任風險。

三、 我國現況與產業環境觀察

我國目前針對網路爬蟲之治理模式主要由司法實務主導，且現行法制環境對於權利人利益之保障維持一貫保守且嚴謹的認定態度。在法律層面，由於我國尚未引進類似歐盟之TDM法定例外制度，我國 AI開發者在進行大規模語料收集時，僅能仰賴《著作權法》中關於合理使用之不確定法律概念進行個案認定。此類高度依賴司法事後認定的現狀，使研發過程籠罩在法遵風險之下，對產業創新形成明顯的寒蟬效應。

在技術與商業實務層面，robots.txt 等傳統技術協定在生成式AI 時代，已顯現出語義表達能力不足之侷限，難以在機器語言中精準區分流量引導與資料訓練內化兩類本質差異甚廣的授權意願。觀察整體產業環境，內容產製者與AI開發者間的衝突核心，在於資料利用已具備高度商業替代性競爭意涵，且開發者無償利用巨量資料行為，與內容產製者要求合理對價之間產生巨大鴻溝，而非單純的技術存取議題。此外，《刑法》第359條無故取得電磁紀錄罪於網路爬蟲案件中適用邊界之不確定性，不僅加劇AI開發者對於技術行為入罪化的恐懼，更因缺乏明確的付費授權路徑或法定例外，成為我國AI生態系發展中難以跨越的法律屏障。

參、事件評析

綜觀國際趨勢，網路爬蟲治理的爭議已跨越單純的技術存取爭議，演進為在AI時代下治理路徑的策略選擇。

美國雖以合理使用作為事後裁決標準，但觀察其司法實務發展，實質上已有仰賴私法契約與其他多重法規構築防護網之傾向；相對於此，歐盟則採法定例外搭配權利保留（退出權），將治理重心提前至事前規範。兩種路徑雖規範密度有別，但均試圖在著作權人與利用人之間建構可資依循的權利義務框架。

歸結而言，我國現行網路爬蟲治理困境，似並非單純的法規空白問題，更涉及技術訊號與法律表述之結構性落差。首先，我國未引進類似歐盟法定例外制度，僅能仰賴具高度不確定性之合理使用概念；其次，即便欲從私法契約角度建立事前約束，仍面臨傳統技術協定因語義表達之侷限性，難以精確傳達權利人對於導流索引與AI訓練利用之差異化授權意願，其結果往往導致技術訊號與法律服務條款內容產生落差。

面對此困境，我國未來治理路徑首要之務，或可思考建構足以縮短技術訊號與法律意思表示落差的緩衝空間，調和當前導流互惠轉向替代競爭所引發的價值分配矛盾。

[1] Yichen Zhang, Kneschke v LAION: Are Text and Data Mining Exceptions a “Get-Out-of-Jail-Free Card” for AI Training?(2025),15, https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5439454 (last visited Nov. 22, 2025).

[2] Inbar Cohen, From Headlines to Al: Narrowing the Bargaining Gaps between News and AI Companies(2024), 9, https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4878254 (last visited Nov. 22, 2025).

[3] UK Dep’t for Sci., Innovation & Tech., International AI Safety Report 2025 (2025), 2.3.6. Risks of copyright infringement, https://www.gov.uk/government/publications/international-ai-safety-report-2025/international-ai-safety-report-2025  (last visited Sept. 29, 2025).

[4] European Parliament, Generative AI and Copyright: Training, Creation, Regulation (2025), Policy Department for Justice, Civil Liberties and Institutional Affairs, PE 774.095, 32-33,https://www.europarl.europa.eu/RegData/etudes/STUD/2025/774095/IUST_STU(2025)774095_EN.pdf (last visited Oct. 14, 2025).

[5] United States Copyright Office, Copyright and Artificial Intelligence Part 3: Generative AI Training pre-publication version(2025) , 26-31,https://www.copyright.gov/ai/Copyright-and-Artificial-Intelligence-Part-3-Generative-AI-Training-Report-Pre-Publication-Version.pdf (last visited Nov. 24, 2025).

[6] Parker v. Yahoo!, Inc., No. 07-2757, 2008 WL 4410095 (E.D. Pa. Sept. 25, 2008).

[7] Federal Trade Commission, “FTC Cracks Down on Mass Data Collectors: A Closer Look at Avast x-Mode,” Technology Blog, Mar. 15, 2024, https://www.ftc.gov/policy/advocacy-research/tech-at-ftc/2024/03/ftc-cracks-down-mass-data-collectors-closer-look-avast-x-mode-inmarket (last visited Nov. 24, 2025).

[8] European Parliament, Generative AI and Copyright: Training, Creation, Regulation (2025), Policy Department for Justice, Civil Liberties and Institutional Affairs, PE 774.095, 35-36, https://www.europarl.europa.eu/RegData/etudes/STUD/2025/774095/IUST_STU(2025)774095_EN.pdf (last visited Oct. 14, 2025).

[9] European Parliament, Generative AI and Copyright: Training, Creation, Regulation (2025), Policy Department for Justice, Civil Liberties and Institutional Affairs, PE 774.095, 120, https://www.europarl.europa.eu/RegData/etudes/STUD/2025/774095/IUST_STU(2025)774095_EN.pdf (last visited Oct. 14, 2025).

[10] DPG Media et al. v. HowardsHome, C/13/737170 / HA ZA 23-690, ECLI:NL:RBAMS:2024:6563 (Amsterdam District Court, 30 Oct. 2024). Available at: https://www.nlp.legal/xms/files/Between_labs_and_algorithms__…pdf (last visited Oct. 7, 2025).

[11] European Parliament, Generative AI and Copyright: Training, Creation, Regulation (2025), Policy Department for Justice, Civil Liberties and Institutional Affairs, PE 774.095, 128-129, https://www.europarl.europa.eu/RegData/etudes/STUD/2025/774095/IUST_STU(2025)774095_EN.pdf (last visited Oct. 14, 2025).

[12] Organisation for Economic Co-operation and Development (OECD). Intellectual Property Issues in Artificial Intelligence Trained on Scraped Data. OECD Artificial Intelligence Papers No. 33, February 2025, 10, https://www.oecd.org/content/dam/oecd/en/publications/reports/2025/02/intellectual-property-issues-in-artificial-intelligence-trained-on-scraped-data_a07f010b/d5241a23-en.pdf (last visited Nov. 19, 2025).

[13] IETF, Progress on AI Preferences(2025), https://www.ietf.org/blog/ai-pref-progress/ (last visited Nov. 26, 2025).

[14] Parker v. Yahoo!, Inc., No. 07-2757, 2008 WL 4410095 (E.D. Pa. Sept. 25, 2008).

[15] hiQ Labs, Inc. v. LinkedIn Corp., 31 F.4th 1180 (9th Cir. 2022).

[16] Meta Platforms, Inc. v. Bright Data Ltd., 661 F. Supp. 3d 1086 (N.D. Cal. 2023).

[17] Kneschke v. LAION, e.V., Case No. 310 O 227/23, Hamburg Regional Court (Landgericht Hamburg), Sept. 27 2024. Available at: https://www.wipo.int/wipolex/en/judgments/details/2381 (last visited Oct. 7, 2025).

[18] DPG Media et al. v. HowardsHome, C/13/737170 / HA ZA 23-690, ECLI:NL:RBAMS:2024:6563 (Amsterdam District Court, 30 Oct. 2024). Available at: https://www.nlp.legal/xms/files/Between_labs_and_algorithms__…pdf (last visited Oct. 7, 2025).

[19] 臺灣新北地方法院 114 年 6 月 24 日 111 年度智訴字第 8 號刑事判決。