更新時(shí)間：2016-10-26作為網(wǎng)站SEO優(yōu)化師，觀察網(wǎng)站服務(wù)器日志是一件日常的工作，有可能會(huì)遇到這樣的問題，那就是網(wǎng)站爬蟲來得太少。今天我們就來說一下影響網(wǎng)站爬蟲來訪問的因素。
爬蟲，在互聯(lián)網(wǎng)中師搜索引擎公司編寫的抓取企業(yè)網(wǎng)站頁面的工具，具備探測(cè)和抓取網(wǎng)頁的能力，簡(jiǎn)單的說就是發(fā)現(xiàn)網(wǎng)頁，并把網(wǎng)頁帶回到搜索引擎的數(shù)據(jù)庫。其運(yùn)作原理是尋著互聯(lián)網(wǎng)中的各種超鏈接訪問不同的網(wǎng)站，因此鏈接是爬蟲訪問的通路。
那么影響爬蟲來得少的原因是哪些呢？下面就由成都網(wǎng)站建設(shè)來為大家分析分析。
1、外部鏈接太少。
這里指的外部鏈接，主要是外鏈。包括友情鏈接，留在博客、論壇、貼吧等的鏈接。這些鏈接都會(huì)被爬蟲爬取，使得爬蟲頻繁來到網(wǎng)站。外部鏈接的作用就是讓爬蟲能夠有足夠的入口訪問網(wǎng)站。因此，隨著網(wǎng)站的發(fā)展，網(wǎng)站的外鏈應(yīng)該稱比例增加。但是不建議盲目添加或批量添加大量外鏈，讓爬蟲不斷訪問同樣的網(wǎng)頁是沒有意義的，反而會(huì)遭到降權(quán)。
2、網(wǎng)站最近受到降權(quán)處罰
這個(gè)主要是黑帽操作所謂，或者是因?yàn)榫W(wǎng)站安全問題，被黑客攻擊，被掛黑鏈，站外有大量垃圾外鏈等，引起網(wǎng)站被降權(quán)處罰，至使爬蟲降低訪問頻率。解決辦法是，清理所有黑帽技術(shù)，如鏈接工廠，處理掉網(wǎng)站的掛馬或黑鏈，修復(fù)網(wǎng)站漏洞。并在外部發(fā)布高質(zhì)量外鏈，逐步使網(wǎng)站恢復(fù)信任。
3、人為調(diào)整網(wǎng)站訪問頻率
站長(zhǎng)工具可以調(diào)整爬蟲訪問的頻率，可查看是否因操作問題，失誤造成爬蟲訪問頻率低。建議將此頻率改為自動(dòng)，一般無需調(diào)整站長(zhǎng)工具的爬蟲抓取頻率。
4、內(nèi)部?jī)?nèi)容更新太少
更新是指網(wǎng)站的內(nèi)容，主要是文章信息。爬蟲喜歡新的東西，如果每次來爬取網(wǎng)站，內(nèi)容都沒有太大變化，爬蟲來得也就少了。對(duì)于企業(yè)不能為了更新而更新，也不能不更新，尤其是企業(yè)網(wǎng)站，本來就沒有太多可更新的內(nèi)容，建議每周更新2-3篇文章即可，有條件或有專業(yè)團(tuán)隊(duì)的企業(yè)可以每天更新一篇文章。
5、網(wǎng)站內(nèi)容質(zhì)量差
更新是一個(gè)工作，但是大量的抄襲互聯(lián)網(wǎng)的信息是不被搜索引擎認(rèn)可的。建議更新內(nèi)容為原創(chuàng)的，或者是比其他互聯(lián)網(wǎng)內(nèi)容更好的內(nèi)容（我們稱之為偽原創(chuàng)）。
6、服務(wù)器問題
這里主要是指共享IP的虛擬主機(jī)，因?yàn)榉⻊?wù)器中有太多站點(diǎn)，極有可能有的網(wǎng)站被黑，或者是某站長(zhǎng)在網(wǎng)站中使用比較耗費(fèi)資源的程序，讓爬蟲抓去困難或者不信任，造成爬蟲訪問頻率低。另外一種可能是你的網(wǎng)站服務(wù)器設(shè)置了IP黑白名單，把爬蟲給屏蔽了，這種情況會(huì)沒有爬蟲訪問。
