上篇為大家分享了常見的一些普通的百度蜘蛛IP段,如,降權(quán)蜘蛛,競價蜘蛛,圖片蜘蛛,新站爬行蜘蛛,沙盒蜘蛛,高權(quán)蜘蛛,內(nèi)頁蜘蛛,隱藏蜘蛛等等。本次為大家分享的是如何精確的識別是否是真實的百度蜘蛛的方法,因為網(wǎng)站空間的問題以及本身技術(shù)的問題,很多站長的網(wǎng)站日志無法開啟或者日志格式不夠規(guī)范,導致在網(wǎng)站日志分析過程中,不能非常有效、迅速的去識別百度蜘蛛的爬行記錄,對我們?nèi)粘EO工作帶來了諸多的不便,現(xiàn)在大家跟我一起來學習一個非常簡單、準確的通過IP來判斷是否是真實的百度蜘蛛的方法:
可以通過DNS反查方式來解決這個問題。根據(jù)平臺不同驗證方法不同,如linux/windows/os三種平臺下的驗證方法分別如下:
1、在linux平臺下,您可以使用host ip命令反解ip來判斷是否來自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。
2、在windows平臺或者IBM OS/2平臺下,您可以使用nslookup ip命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 來判斷是否來自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。
3、在mac os平臺下,您可以使用dig 命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 來判斷是否來自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。
在日常工作中最常見的就是windows和linux兩種,本次以windows為示范:
我們通過dos命令來查看,本次找兩個IP段220.181.108.140和117.28.255.37,開始菜單—運行—輸入 cmd 命令:
開始菜單cmd命令
然后用命令 nslookup ip(ip前面加空格)來查看是否是真實蜘蛛ip,截圖如下
nslookup命令
大家要注意的是:只要是百度的IP段,代碼中會有出現(xiàn):name:baiduspider,如果沒有出現(xiàn),那就不說不是真的百度IP段哦!