Baiduspider-render/2.0是百度渲染蜘蛛!百度渲染蜘蛛是什么?第一次聽到這個詞是不是很神奇,其實這個詞早在2017年就已經(jīng)出現(xiàn)了,百度渲染蜘蛛(Baiduspider-render)是百度專門用來抓取網(wǎng)頁上的CSS、Javascript代碼的蜘蛛UA,通常被俗稱為高級爬蟲。
百度高級爬蟲UA匹配的IP段:111.206.221.* ,111.206.198.*,兩個IP段經(jīng)常同時出現(xiàn)。
Baiduspider-render的出現(xiàn)是百度為了給搜索用戶更好的體驗、對站點實現(xiàn)更好地索引和呈現(xiàn),百度渲染蜘蛛訪問網(wǎng)站的CSS、Javascript和圖片信息,以便更精準(zhǔn)地理解頁面內(nèi)容,實現(xiàn)搜索結(jié)果最優(yōu)排名,百度搜索會全面啟用最新UA來訪問站點的上述資源。
從2017年3月24日開始,百度搜索就抽取了部分優(yōu)質(zhì)站點進行抓取內(nèi)測,可能會對站點服務(wù)器造成一定壓力影響,請盡量不要對UA進行封禁,以免造成不可逆轉(zhuǎn)的損失。
2017年百度官方提供最新UA如下:
PC:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
移動:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
聽百度官方的文檔描述,對優(yōu)質(zhì)站點進行抓取內(nèi)測,這個是隨機選取高質(zhì)量站點,原因是什么呢?
1、高質(zhì)量站點內(nèi)容豐富,包含css、js、圖片等,便于蜘蛛抓取和理解;
2、高質(zhì)量站點服務(wù)器好,因為這個高級爬蟲數(shù)量大,一般小站點會導(dǎo)致站點不穩(wěn)定;
推推蛙總結(jié):百度渲染蜘蛛是百度想要理解網(wǎng)頁中css、js、圖片中的信息,之前百度是無法識別js的,百度一直在朝著可以理解js文件和圖片描述的信息,這樣便于更好地制定新的排名算法和更好地提升用戶體驗。