大家進行網站日志分析的時候,常見到很多不同IP段的百度蜘蛛,為了方便大家更好的進行日志分析,下面列舉了百度不同IP段常見蜘蛛的一些詳情情況,及所謂的降權蜘蛛,沙盒蜘蛛,高權重蜘蛛等等
下面的百度蜘蛛IP造訪,準備抓取你東西,抓取網頁的
百度蜘蛛。
60.172.229.61
61.129.45.72
61.135.162.*
百度競價蜘蛛
61.135.165.134
117.34.74.66
118.122.188.194
119.63.196.9
125.39.78.185
(百度聯(lián)盟爬蟲),說白了就是百度統(tǒng)計。
61.135.186.*
站長工具模仿的百度蜘蛛。
61.147.98.146
61.188.39.16
113.98.254.245
117.21.220.245
117.28.255.42
114站長工具箱(這個是你的網站不穩(wěn)定時常來的)
119.147.114.213
121.10.141.*
這個蜘蛛經常來,別的來的少,表示網站可能要進入沙盒了,或被者降權。
123.125.68.*
抓取內頁收錄的,權重較低,爬過此段的內頁文章暫時被收錄但不放出來(意思也就是說待定),因不是原創(chuàng)或采集文章。(百度網頁爬蟲(百度圖片爬蟲)
123.125.71.*
也屬于百度蜘蛛IP 主要造成成分,是新上線站較多,還有使用過站長工具,或SEO綜合檢測造成的,沒有多大用。
125.90.88.*
百度蜘蛛
159.226.50.*
180.76.5.*
180.76.5.87
220.181.158.107
這個ip段出現(xiàn)在新站及站點有不正常現(xiàn)象后。
183.91.40.144
203.208.60.*
這個ip段不間斷巡邏各站,就是路過一下。
210.72.225.*
每天這個IP 段只增不減很有可能進沙盒或K站
218.30.118.102
220.181.68.*
123.125.68.*
220.181.68.*
主要是抓取首頁占80%,內頁占30%,這此爬過的文章或首頁,絕對24小時內放出來和隔夜快照的!一般成功抓取返回代碼都是 200 0 0返回304 0 0代表網站沒更新,蜘蛛來過,如果是 200 0 64別擔心這不是K站,可能是網站是動態(tài)的,所以返回就是這個代碼。
220.181.108.*
代表百度蜘蛛IP來訪準備抓取你東西
220.181.7.*
123.125.66.*
這個ip段作為度過新站考察期
121.14.89.*
這個ip段出現(xiàn)在新站或站點有不正,F(xiàn)象后
203.208..60.*
這個ip段不間斷巡邏各站
210.72.225.*
這個是百度抓取首頁的專用IP如是220.181.108段的ip來的話基本來說網站會天天隔夜快照,絕對錯不了的
220.181.108.95
98%抓取首頁可能還會抓取其他「不是指內頁)屬于權重IP段此段爬過的文章或首頁基本24小時放出來.
220.181.108.92
抓取內頁收錄的 權重較低 爬過此段的內頁文章不會很快放出來,因不是原創(chuàng)或采集文章
123.125.71.106
屬于綜合的。主要抓取首頁和內頁或者其它頁面。屬于權重IP段, 抓過的文章或首頁基本24小時放出來
220.181.108.91
重點抓取更新文章的內頁達到90%,8%的抓取首頁,2%其他權重ip段,抓過的文章或首頁基本24小時放出來
220.181.108.75
專用抓取首頁ip 權重段,一般返回代碼304 0 0代表未更新
220.181.108.86
抓取內頁收錄的,權重較低,爬過此段的內頁文章不會很快放出來,因不是原創(chuàng)
123.125.71.95
123.125.71.97
專用抓取首頁ip 權重段,一般返回代碼304 0 0代表未更新
220.181.108.89
220.181.108.94
220.181.108.97
220.181.108.80
220.181.108.77
抓取內頁收錄的, 權重較低,爬過此段的內頁文章不會很快放出來,因不是原創(chuàng)
123.181.108.77
專用抓取首頁ip 權重段,一般返回代碼304 0 0代表未更新
220.181.108.83