近期，歐洲正醞釀一場針對搜索引擎領域的重大變革，旨在打破對現(xiàn)有搜索巨頭的依賴，特別是針對Google搜索質(zhì)量下滑及生成式AI整合后的不盡人意表現(xiàn)。這一變革的核心在于構(gòu)建一個公共網(wǎng)頁索引（Open Web Index），為新型搜索引擎的開發(fā)提供堅實的基礎。

據(jù)悉，該公共索引的早期試驗將于下個月正式啟動，由多家歐洲機構(gòu)聯(lián)手推進，包括大學、數(shù)據(jù)中心、科技公司以及著名的歐洲核子研究中心（CERN）。這一項目的推出，旨在減輕歐洲國家對于廣告驅(qū)動型搜索引擎的過度依賴，特別是在美國科技巨頭愈發(fā)將搜索服務向生成式AI與廣告優(yōu)化傾斜的背景下。

Open Web Index并非一個直接的搜索引擎，而是更像一座數(shù)字資源的寶庫，供各類搜索引擎從中挖掘網(wǎng)頁與文件。當前，主流搜索引擎多依賴于專有索引，小型搜索引擎則往往依附于這些大型系統(tǒng)。Open Web項目指出，這種高度集中的結(jié)構(gòu)賦予了Google等公司過大的網(wǎng)絡控制權(quán)。

歐洲監(jiān)管機構(gòu)，特別是英國與歐盟方面，長期以來一直在對抗美國科技巨頭的壟斷行為，特別是在搜索與人工智能等關鍵領域。與此同時，全球用戶普遍反映搜索結(jié)果質(zhì)量下滑，許多網(wǎng)站運營者也抱怨Google正在構(gòu)建一個封閉的生態(tài)系統(tǒng)，限制用戶流向其他平臺。生成式AI工具頻繁出現(xiàn)信息不準確的問題，進一步加劇了這種不滿。

為了應對這些挑戰(zhàn)，一個由14個成員機構(gòu)組成的聯(lián)盟應運而生，致力于出資并構(gòu)建開放網(wǎng)頁索引的基礎設施。這一項目不僅將服務于搜索引擎的研發(fā)，還將助力中小企業(yè)構(gòu)建大語言模型（LLM）或其他非廣告驅(qū)動的應用，從而減少對Google和Bing的依賴。

該項目還著眼于開發(fā)符合歐洲法規(guī)、價值觀與文化的應用。例如，基于歐盟的搜索引擎和語言模型在處理非英語語種信息方面可能更為精準。同時，聯(lián)盟正在深入研究網(wǎng)頁爬取方式以及用戶點擊行為對排名機制的影響，以期提供更加精準、公正的搜索結(jié)果。

首次公開試驗定于6月6日通過Zoom線上會議舉行，參與者將有機會訪問約1PB的網(wǎng)頁內(nèi)容。據(jù)透露，最終版本的Open Web Index預計將托管約5PB的內(nèi)容，并計劃在未來擴展至10PB的規(guī)模，為全球用戶提供更加多元化、高質(zhì)量的搜索選擇。