美國知名數字與平面媒體集團People公司（原Dotdash Meredith）首席執行官尼爾·沃格爾近日公開指控谷歌存在雙重利用網絡爬蟲的爭議行為。這家擁有《人物》《美食與美酒》等40余個知名品牌的出版集團發現，谷歌通過同一套爬蟲系統同時為搜索引擎和AI產品研發抓取內容，導致出版商面臨內容被"無償使用"的困境。

沃格爾在《財富》科技頭腦風暴大會上透露，谷歌的爬蟲系統既承擔著為搜索引擎索引內容的傳統職能，又直接服務于AI模型訓練。這種"一蟲兩用"的模式使得出版商內容在為搜索引擎帶來流量的同時，也被無償用于開發競爭性AI產品。"本質上這就是內容盜竊，"沃格爾強調，"我們不反對技術進步，但拒絕成為他人創新的免費原料供應商。"

數據對比顯示，谷歌搜索為People公司帶來的流量占比已從三年前的65%驟降至當前的20%出頭。更令人震驚的是，沃格爾透露數年前該比例曾高達90%。盡管公司通過多元化發展保持了營收增長，但這種流量依賴度的急劇變化仍引發行業對搜索引擎與內容創作者關系重構的關注。

面對AI時代的挑戰，People公司已采取技術防御措施。通過與網絡基礎設施服務商Cloudflare合作，該公司成功屏蔽了未支付授權費用的AI爬蟲，此舉立即引發多家大型語言模型開發商的主動接洽。沃格爾特別指出，與OpenAI的合作模式證明"正當行事的企業"完全可以通過商業談判達成共贏，目前已有數家未具名科技巨頭進入實質性談判階段。

但谷歌的特殊地位使得出版商陷入兩難。沃格爾坦言，完全屏蔽谷歌爬蟲將導致失去剩余20%的搜索引擎流量，而谷歌拒絕拆分爬蟲系統的態度使其成為"故意采取不正當行為的典型"。這種判斷得到電子通訊服務商Ankler Media首席執行官賈尼斯·明的支持，她直言科技巨頭長期存在"內容盜竊"行為，其公司同樣采取了AI爬蟲屏蔽策略。

作為技術解決方案提供方，Cloudflare首席執行官馬修·普林斯在會議中預測，行業變革可能由新法規推動。他質疑依賴傳統版權法對抗AI企業的有效性，指出當前法律框架下"高度衍生性內容"往往受"合理使用"原則保護，這解釋了為何Anthropic等企業能在版權訴訟中占據優勢。不過普林斯也預言，谷歌等搜索巨頭將在未來12個月內被迫為AI訓練內容支付授權費用。

這場爭議折射出數字內容產業的結構性矛盾：搜索引擎流量分配機制與AI技術發展需求形成直接沖突。當被問及出版商是否應完全拒絕AI合作時，賈尼斯·明坦言尚未看到合作帶來的實質性收益。而沃格爾的實踐則顯示，通過技術手段建立內容使用門檻，可能成為重塑數字內容價值鏈的關鍵轉折點。