網絡流量已變！Cloudflare全新分類機制 阻隔AI爬蟲機器人

全球連通雲公司Cloudflare推出全新分類機制、加強分析功能，以及全新工具與整合方案，協助網站擁有者與AI企業合作提升內容曝光、效率及變現能力。Cloudflare共同創辦人暨行政總裁Matthew Prince表示：「如今，大多數網絡流量已非由人類所產生，我們必須更進一步並加快行動，建立可持續發展的生態系統。」

網絡流量的本質已經改變。如今，自動化代理程式及機器人驅動逾半數網絡請求。AI正成為線上存取資訊和進行商務活動的新介面，並改變了內容被瀏覽的規則。大多數網站擁有者希望自己的內容能被納入AI系統。但對依靠廣告或訂閱模式營運的企業而言，若AI系統在未提供任何報酬的情況下，利用其內容訓練系統，無疑構成威脅。

Cloudflare相信，若企業希望其內容被納入AI系統，相關流程應盡可能簡單高效；但若企業不希望其內容被AI存取，亦應具備相應工具。有見及此，Cloudflare正測試全新預設分類機制，為客戶提供更深入的見解，加快AI搜尋速度，並確保當創作者的內容用作生成答案時能獲得相應報酬。這項理念旨在創造公平的競爭環境，完善爬取效率、保護知識產權，並讓創作者與AI能在代理式經濟中蓬勃發展。

Cloudflare共同創辦人暨行政總裁Matthew Prince表示：「我們去年讓網站擁有者能夠清楚掌握並控制哪些機器人能存取其內容。我們樂見這項計劃為整個生態系統帶來正面影響。Cloudflare的全新工具及合作為網站擁有者提高可見度及商業機會，同時亦惠及擁有意圖明確且資訊透明的機器人的AI企業。」

混合用途爬蟲的「自由通行」迎來終結

經過與AI企業和網站擁有者進行數千次交流後，有一點非常明確：大多數網站擁有者都希望其內容能在AI平台被瀏覽。然而，對於透過廣告及/或訂閱模式營利的網站而言，最大化曝光率不應代表免費提供知識產權。秉持透明原則的AI企業已能根據機器人用途清楚標示並區分其機器人。然而，混合用途的爬蟲機器人同時損害網站擁有者及資訊透明的AI企業利益，因為它們將搜尋、代理程式使用及訓練混為一談，迫使內容擁有者必須選擇在代理式時代被搜尋，或在未獲報酬的情況下免費提供其最具價值的內容。現時全球最大的搜尋器所掌握的資訊量約為領先AI企業的兩倍，原因在於領先AI企業讓客戶難以在不被用於AI訓練的情況下維持可搜尋性。

Cloudflare未來兩個月將與生態系統各方交流、聽取意見，並展開測試，以最終確定新的預設設定及分類，並以2026年9月15日為實施期限。

由2026年9月15日起，新客戶以及現有客戶新建立的網站，預設設定將允許搜尋用途，但會封鎖含有廣告頁面的AI模型訓練及AI代理用途。若混合用途爬蟲未有讓網站擁有者在搜尋、使用代理程式和訓練之間選擇，將被封鎖存取所有含有廣告的頁面。客戶隨時可以在其儀表板中變更這些設定。

自2026年9月15日起，所有當日前未有於儀表板中變更設定的現有免費客戶，亦將自動套用此變更。此項轉變旨在為AI企業與傳統搜尋業者建立公平競爭環境，讓AI企業能以公平且透明的方式重新定義代理時代「被瀏覽」的意義。

加強分析功能以提升可見度並將內容變現

內容變現市場已經來臨，僅過去一年，內容發佈者與AI平台簽署了超過50項主要內容授權協議。為加速推行這些協議，Cloudflare推出全新Attribution Business Insights儀表板，改善讓內容擁有者一直在處於弱勢的資訊不對稱問題。商業持分者，包括資安和IT團隊，首次能夠清晰掌握AI機器人如何使用其內容，並追蹤特定AI企業實際帶回的人類流量。

然而，了解AI如何使用內容只是第一步。隨著內容探索方式從搜尋引擎轉向解答引擎，客戶需要掌握一項新的關鍵能力：解答引擎優化 (Answer Engine Optimization，AEO)。AEO不僅了解誰在爬取資訊，更掌握內容在各個AI模型生成的答案中被引用的方式、頻率，以及位置。正如網頁分析曾是搜尋時代必備的技術架構，Cloudflare的目標是在AI 時代提供權威的評估及優化平台。

更智能的搜尋及公平報酬

協商授權或許適用於大型內容發佈者，但難以擴展至整個網絡。Cloudflare正從兩方面著手，同時惠及創作者和AI企業：提升AI搜尋效率，並在內容被使用時向創作者自動支付報酬。目前，AI模型和搜尋引擎會重複爬取數百萬個未變更的網頁，以尋找新資訊來回應使用者查詢。Cloudflare數據顯示，來自AI爬蟲的爬取流量中，超過一半耗於重新爬取未變更的頁面上。結果內容發佈者耗費頻寬、AI企業耗費運算資源且卻未能提供更佳的搜尋結果。由於Cloudflare能辨識頁面實際變更內容，因此可判斷哪些頁面值得重新擷取，何時無必要爬取，在減少不必要爬取的同時，提供更佳的結果。Cloudflare正與領先的AI企業測試這些訊號，以評估其能多大程度上能提升資訊新鮮度並減少不必要的爬取，並計劃於今年稍後廣泛推出此功能。

一年前，在首個「內容自主日」（Content Independence Day）當日，Cloudflare推出首個按爬取次數付費 (Pay Per Crawl) 方案，讓內容發佈者向爬取其內容的AI企業收費。如今，Cloudflare將按爬取次數付費升級為按使用次數付費 (Pay Per Use)，使內容發佈者能在其內容實際創造價值時獲得報酬，而不僅是內容在被爬取時。Cloudflare正與Ceramic.ai及You.com等領先合作夥伴，攜手將此理念發展成為可運作的市場機制。內容發佈者透過與Ceramic.ai合作，當其內容出現在Ceramic的AI搜尋結果中，便會獲得報酬，同時亦可取得相關查詢、引用及排名等數據。其他AI企業則可採用最符合其運作模式的方案，例如 You.com將允許代理按需為所需的特定優質內容付費，而Cloudflare則為所有這些服務提供共通的基礎技術架構。

「內容自主」一週年：已推出的功能

去年的「內容自主日」主要圍繞防禦，即提供工具讓用戶重新掌握其資料的控制權。過去十二個月，Cloudflare 一直積極建構所需的基礎架構，推動整個生態系統由單純防護邁向主動賦能。近日的發佈代表這項基礎的成果，為一個可持續發展的生態系統建立三大支柱：控制權、透明度及內容變現。

Cloudflare去年推出AI Crawl Control，建立了以許可為基礎的AI爬取模式。為普及這些保護措施，Cloudflare與beehiiv等平台合作，為獨立創作者及主流媒體提供精細儀表板，以便輕易追蹤、封鎖或選擇加入允許特定 AI 模型存取。為徹底確保代理的互動安全，Cloudflare亦推出開放框架Web Bot Auth，允許AI機器人及自主購物代理程式向內容發佈者和商戶驗證其身分和合法性。Cloudflare亦與領先的支付服務供應商合作，為新興的代理式商務經濟奠定基礎支付架構。Cloudflare直接在Web Bot Auth上建構，協助確保AI購物代理能夠與全球數百萬商戶安全交易，而無需透露原始認證。這些措施有助成為可持續代理式經濟的後盾，確保網絡的下一階段建立在透明度、可發現性及公平報酬的基礎上。