隨著人工智能技術(shù)的飛速發(fā)展,AI爬蟲的使用日益廣泛,但這與當(dāng)前社會(huì)對(duì)于隱私信息安全的關(guān)注形成了鮮明對(duì)比。為了應(yīng)對(duì)這一矛盾,知名云服務(wù)提供商Cloudflare近日宣布,將采取新措施,未經(jīng)網(wǎng)站所有者明確許可或給予補(bǔ)償,將默認(rèn)阻止AI爬蟲抓取其內(nèi)容。
Cloudflare的這一決定表面上是為了維護(hù)內(nèi)容創(chuàng)作者的權(quán)益,然而,也有網(wǎng)友質(zhì)疑其背后的動(dòng)機(jī)可能并不單純,推測(cè)此舉或與公司自身的項(xiàng)目推廣有關(guān)。據(jù)悉,Cloudflare正在與搜索巨頭谷歌進(jìn)行談判,要求谷歌將傳統(tǒng)搜索引擎爬蟲與AI爬蟲進(jìn)行分離,以便網(wǎng)站所有者能夠根據(jù)自身需求決定是否屏蔽AI爬蟲。Cloudflare甚至放出狠話,如果谷歌拒絕這一要求,他們可能會(huì)考慮推動(dòng)立法來強(qiáng)制實(shí)施。
然而,這一舉措無疑會(huì)遭到谷歌的強(qiáng)烈反對(duì)。AI搜索作為谷歌的重要業(yè)務(wù)板塊,一旦AI爬蟲無法自由抓取內(nèi)容,其市場(chǎng)競(jìng)爭(zhēng)力無疑將受到嚴(yán)重打擊。那么,Cloudflare為何還要冒險(xiǎn)挑戰(zhàn)谷歌的底線呢?
事實(shí)上,Cloudflare近期推出了一個(gè)名為Pay Per Crawl的交易平臺(tái),旨在搭建一個(gè)內(nèi)容創(chuàng)作者與AI廠商之間的交易橋梁。為了實(shí)現(xiàn)這一目標(biāo),Cloudflare早在一年前就已推出了AI審計(jì)工具,向網(wǎng)站站長(zhǎng)報(bào)告AI廠商的爬蟲訪問情況。Cloudflare希望通過這種方式,在內(nèi)容創(chuàng)作者和AI廠商之間建立一個(gè)公平的交易機(jī)制,并從中獲取收益。
盡管內(nèi)容創(chuàng)作者對(duì)Pay Per Crawl平臺(tái)有著迫切的需求,但AI廠商對(duì)此卻并不熱衷。長(zhǎng)期以來,AI廠商已經(jīng)習(xí)慣了免費(fèi)抓取內(nèi)容,不愿意讓Cloudflare作為中間商賺取差價(jià),因?yàn)檫@將大幅增加訓(xùn)練AI的成本。相比之下,谷歌自身也提出了針對(duì)這一問題的解決方案,但模式與Cloudflare截然不同。Cloudflare的這一舉措,無疑也是在為自己拉攏用戶的一種策略。