剛剛看到一個非常有意思的提問,提問如下:求解,為什么我站,重來沒有百度蜘蛛來過?從以上的問題可以看出,這位站長遇到這樣的問題一定非常的蛋疼。自己精心做的站點,沒想到蜘蛛壓根就沒來爬過。那么是什么原因?qū)е轮┲氩粊砼滥。來分析下?
遇到這樣的問題,情況只有倆種:一、屏蔽蜘蛛的爬行了。二、被蜘蛛屏蔽了。
一、屏蔽蜘蛛了
屏蔽了蜘蛛,蜘蛛當然不可能來抓取我網(wǎng)站拉。
1.首先我要檢測自己的網(wǎng)站robots.txt文件,看看文件的書寫是否正確,若有大小寫混亂的情況呈現(xiàn),建站初期的時候有屏蔽所有蜘蛛的爬行的指令忘記修改了。正常情況下robots.txt檢測的事情就直接交給站長工具檢查就可以了。
2.服務(wù)器商是否屏蔽了蜘蛛的爬行。別認為這事不可能,當初主機屋,就誤把百度蜘蛛當成黑客攻擊給屏蔽了,不懂導致多少人被K站。如果是主機商屏蔽了蜘蛛的爬行盡早換主機吧,時間等不起。
二、被蜘蛛屏蔽了
1.檢查自己的域名以前的主人,看看域名以前是否做了違法的站點。如果是的話,那么蜘蛛不爬是完全有道理的。就好比Maa以前論壇那個域名以前是做liuhecai站的,至今搜狗和谷歌蜘蛛壓根沒來過。
2.檢查下自己同服務(wù)器的站點,否有非常嚴重違規(guī)的作弊行為,若有的話,搜索引擎很有可能屏蔽整條IP站點,為了自己的網(wǎng)站發(fā)展健康還是選擇獨立IP服務(wù)器吧。
如果發(fā)現(xiàn)自己網(wǎng)站的爬行日志壓根沒呈現(xiàn)蜘蛛來訪,那么我就應(yīng)該考慮自己的站點是否出現(xiàn)以上的情況,應(yīng)該及時的清理。然后向相關(guān)的搜索引擎提交,或者利用高質(zhì)量的外鏈引導蜘蛛爬行。