久久99夜日&56无码&欧洲老妇毛茸茸&夜夜国自+&人人爱人人操欧美成人&日a夜v爽 天堂tp&超碰96在线免费观看&超碰caoporn12中文字幕&日韩人妻无码一区二区三区99&人人爱碰&风骚丰满高跟美女淫语语音&亚洲波多野结衣中文字幕

當(dāng)前位置: 聯(lián)商論壇 -  博文選編 -  貼子
4231  |  1

主題:百度蜘蛛Baiduspider User-Agent字段更新與IP判斷

  |   只看他 樓主
來(lái)自百度站長(zhǎng)俱樂(lè)部的消息:百度網(wǎng)頁(yè)搜索spider(也就是大家俗稱的百度爬蟲(chóng)、百度蜘蛛)的User-Agent字段內(nèi)容于2011年5月10日更新。查看網(wǎng)站日志時(shí)會(huì)發(fā)現(xiàn),以前baiduspider在爬取網(wǎng)頁(yè)時(shí),發(fā)送請(qǐng)求的User-Agent字段是這樣的:

Baiduspider+(+http://www.baidu.com/search/spider.htm)

更新后的baiduspider User-Agent字段內(nèi)容內(nèi)容為:

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

Baiduspider User-Agent的更新,對(duì)于一般網(wǎng)站是沒(méi)什么影響的,因?yàn)橐话愕木W(wǎng)站都沒(méi)有屏蔽百度蜘蛛,所以你不需要做任何修改;如果你通過(guò)robots.txt文件屏蔽了百度蜘蛛,也不需要做任何修改,因?yàn)榘俣戎┲朊Q依然是Baiduspider沒(méi)變;如果你此前主動(dòng)在服務(wù)器端封禁了百度網(wǎng)頁(yè)搜索的User-Agent,那么建議修改服務(wù)器端要封禁的User-Agent字段,或者更換為robots封禁。

不知道Baiduspider User-Agent的更新,會(huì)不會(huì)讓百度爬蟲(chóng)更加高效、百度的排名機(jī)制更加完善。做SEO的人知道,百度搜索的技術(shù)與Google不可同日而語(yǔ),百度蜘蛛的低效、排名機(jī)制的不完善,讓各位站長(zhǎng)和SEOer傷透了腦筋!但是如果做中文站的話,百度的排名是必須要考慮的問(wèn)題,因?yàn)榘俣仍谥形乃阉黝I(lǐng)域已經(jīng)幾乎處于壟斷地位了!
 
百度各個(gè)產(chǎn)品使用不同的user-agent:
產(chǎn)品名稱
對(duì)應(yīng)user-agent
無(wú)線搜索
Baiduspider
圖片搜索
Baiduspider-image
視頻搜索
Baiduspider-video
新聞搜索
Baiduspider-news
百度搜藏
Baiduspider-favo
百度聯(lián)盟
Baiduspider-cpro
商務(wù)搜索
Baiduspider-ads
網(wǎng)頁(yè)以及其他搜索
Baiduspider

有冒充百度蜘蛛抓取的情況,如何判斷呢?
可以使用nslookup ip命令反解ip來(lái) 判斷是否來(lái)自Baiduspider的抓取。
打開(kāi)命令處理器 輸入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 來(lái)判斷是否來(lái)自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。

  快速回復(fù) 高級(jí)回復(fù)
用戶名:   密碼:   [注冊(cè)]
[Ctrl+Enter直接提交帖子]  



網(wǎng)站簡(jiǎn)介 | 聯(lián)系我們 | 法律聲明

ICP證:浙B2-20070104