Cloudflare近期推出了一項(xiàng)名為“按爬蟲(chóng)付費(fèi)”的創(chuàng)新服務(wù)，旨在重新定義網(wǎng)站內(nèi)容與人工智能（AI）公司之間的交互模式。這一服務(wù)意圖為內(nèi)容創(chuàng)作者提供更加靈活的內(nèi)容控制權(quán)，同時(shí)也為AI公司提供一種更為公正的獲取內(nèi)容的途徑。

過(guò)去一年中，為了應(yīng)對(duì)AI爬蟲(chóng)數(shù)量的急劇增加，Cloudflare已經(jīng)開(kāi)發(fā)了一系列工具，例如可以一鍵屏蔽所有AI爬蟲(chóng)的解決方案，以及能夠監(jiān)控AI爬蟲(chóng)訪(fǎng)問(wèn)活動(dòng)的儀表板。Cloudflare的首席執(zhí)行官馬修?普林斯在訪(fǎng)談中提到，這些工具為構(gòu)建新的服務(wù)模式奠定了堅(jiān)實(shí)的基礎(chǔ)。

在“按爬蟲(chóng)付費(fèi)”服務(wù)框架下，網(wǎng)站所有者有權(quán)決定允許AI爬蟲(chóng)以何種費(fèi)率抓取他們的內(nèi)容，或者選擇免費(fèi)開(kāi)放，甚至完全禁止爬蟲(chóng)訪(fǎng)問(wèn)。這種模式賦予了網(wǎng)站更大的自主權(quán)，讓它們能夠更好地管理內(nèi)容的使用情況。

隨著新聞出版行業(yè)面臨多重挑戰(zhàn)，特別是在谷歌搜索流量下滑和AI聊天機(jī)器人迅速崛起的大背景下，Cloudflare的這一創(chuàng)新服務(wù)顯得尤為重要。盡管一些大型報(bào)社已經(jīng)與科技巨頭簽訂了內(nèi)容授權(quán)協(xié)議，但眾多中小型出版商仍未獲得公平的報(bào)酬。Cloudflare希望通過(guò)這一全新的商業(yè)模式，為更多出版商帶來(lái)可持續(xù)的收入渠道。

Cloudflare還宣布，所有新創(chuàng)建的網(wǎng)站將默認(rèn)屏蔽AI爬蟲(chóng)，除非網(wǎng)站所有者明確授權(quán)某些爬蟲(chóng)進(jìn)行訪(fǎng)問(wèn)。這一舉措得到了康泰納仕、時(shí)代雜志和美國(guó)新聞社等大型出版商的積極響應(yīng)，他們希望通過(guò)這種方式實(shí)現(xiàn)“許可制抓取”。

然而，AI時(shí)代的到來(lái)也為出版商帶來(lái)了新的難題。數(shù)據(jù)顯示，AI爬蟲(chóng)的抓取頻率遠(yuǎn)高于傳統(tǒng)爬蟲(chóng)，如OpenAI的爬蟲(chóng)每為出版商帶來(lái)一次推薦流量，需要進(jìn)行1700次抓取，而Anthropic的爬蟲(chóng)更是高達(dá)73000次。這對(duì)于依賴(lài)用戶(hù)訪(fǎng)問(wèn)量的商業(yè)模式構(gòu)成了嚴(yán)峻考驗(yàn)。

Cloudflare還展望了未來(lái)“智能代理”的廣泛應(yīng)用前景。在這種場(chǎng)景下，用戶(hù)將通過(guò)智能代理程序獲取最新的科研成果或法律信息，而這些代理程序?qū)葱铻楦哔|(zhì)量?jī)?nèi)容支付費(fèi)用。

參與這一項(xiàng)目的AI公司和出版商需要在Cloudflare平臺(tái)上注冊(cè)賬戶(hù)，并通過(guò)平臺(tái)設(shè)置價(jià)格和完成交易。盡管目前尚未采用加密貨幣，但Cloudflare的首席執(zhí)行官暗示，未來(lái)可能會(huì)探索使用穩(wěn)定幣作為交易媒介。