更新時間：2014-07-02
搜索引擎蜘蛛對搜索引擎來說就是信息來源所在對于網(wǎng)站站長，總是希望網(wǎng)站對搜索引擎蜘蛛友好，希望蜘蛛能在自己的網(wǎng)站多待會多抓取點網(wǎng)頁。其實這些蜘蛛又何嘗不想多抓取點頁面，多更新點頁面呢，只不過互聯(lián)網(wǎng)信息過于巨大，有時候蜘蛛也是力不能及。這就引出了對搜索引擎蜘蛛的一個考核，蜘蛛每天也是苦逼的干活的也是需要考核評價的其中有3個最主要的考核規(guī)范:抓取網(wǎng)頁覆蓋率、抓取網(wǎng)頁時效性及抓取網(wǎng)頁的重要性。
抓取網(wǎng)頁覆蓋率
對于現(xiàn)在搜索引擎來說，還沒有哪個搜索引擎能抓取互聯(lián)網(wǎng)上呈現(xiàn)的所有網(wǎng)頁，所有搜索引擎只能索引互聯(lián)網(wǎng)的一部分而已，這里就有一個概念—暗網(wǎng)”暗網(wǎng)是指目前搜索引擎蜘蛛依照慣例方式很難抓取到互聯(lián)網(wǎng)頁面，蜘蛛是依賴頁面中的鏈接發(fā)現(xiàn)新的頁面，進而抓取索引，但是很多頁面內(nèi)容是以數(shù)據(jù)庫方式存儲的這樣蜘蛛很難或無法抓取這些信息，結(jié)果就是用戶也無法在搜索引擎搜索得到這些信息。
抓取網(wǎng)頁覆蓋率指的蜘蛛抓取的網(wǎng)頁數(shù)量占互聯(lián)網(wǎng)所有網(wǎng)頁數(shù)量的比例，很明顯，這個覆蓋率越高，搜索引擎所能索引排名的數(shù)量級也就越大，能夠參與比擬展現(xiàn)的搜索結(jié)果也就越多，用戶搜索體驗也越好。所以為了讓用戶在搜索時可以得到更精準、更全面的結(jié)果，提供抓取網(wǎng)頁覆蓋率至關(guān)重要，而除了抓取方式的提高，對暗網(wǎng)數(shù)據(jù)的抓取已成為各大搜索引擎的重要研究方向。
由此可見，抓取網(wǎng)頁覆蓋率是考核搜索引擎蜘蛛的一個關(guān)鍵標準，這是一個很大的基數(shù)，關(guān)乎到后面的索引量、排序量和展現(xiàn)量等，對于用戶搜索體驗至關(guān)重要。
抓取網(wǎng)頁時效性
說到用戶的搜索體驗，網(wǎng)頁的時效性相對覆蓋率句更加直觀了比方你搜索結(jié)果搜索到一個結(jié)果，當你點擊后頁面是不存在作何感想?搜索引擎是努力防止這些的所以蜘蛛抓取網(wǎng)頁時效性同樣是一個重要考核點�；ヂ�(lián)網(wǎng)信息比擬多，蜘蛛抓取一輪需要較長的時間周期，這個時間內(nèi)之前建立索引的很多網(wǎng)頁可能已經(jīng)發(fā)生變化或者被刪除，這就導致搜索結(jié)果中有一部分是過期的數(shù)據(jù)。
用一句話就是蜘蛛不能在網(wǎng)頁變化后第一時間將這些變化反映到網(wǎng)頁庫中，這樣問題就來了首先比方頁面只是內(nèi)容發(fā)生變化，搜索引擎不能及時的去重新比擬這些變化，給予用戶更合理的排名。其次，如果排在搜索結(jié)果前面的頁面已經(jīng)被刪除了由于沒有及時抓取更新，還排在重要位置，那么無疑對用戶是一種傷害。最后，很多人會在頁面收錄后另外加一些不好的信息，這樣用之前的排名展現(xiàn)現(xiàn)在信息，下次蜘蛛更新才會處理。
所以對于搜索引擎而言，肯定是希望數(shù)據(jù)庫內(nèi)網(wǎng)頁能及時更新的網(wǎng)頁庫過期的數(shù)據(jù)越少，則網(wǎng)頁的時效性越好，這對用戶體驗的作用顯而易見。
抓取網(wǎng)頁的重要性
蜘蛛抓取了很多內(nèi)容，也及時更新了但如果抓取的都是一些低質(zhì)量內(nèi)容，那肯定是不行的盡管要多抓勤抓，但是每個網(wǎng)頁重要性差異很大，這就是矛盾的地方，搜索引擎蜘蛛不只要干得多、干得快、還要干得好。所以必定會優(yōu)先照顧局部能經(jīng)常提供高質(zhì)量內(nèi)容的網(wǎng)站，特別是定時定量更新的這樣才干最大水平上保證優(yōu)質(zhì)內(nèi)容不被漏掉，這也可以說是沒辦法的方法。如果搜索引擎蜘蛛抓回的網(wǎng)頁大都是比擬重要的網(wǎng)頁，則可說其在抓取網(wǎng)頁重要性方面做得很好。
總而言之，目前的搜索引擎蜘蛛由于種種原因限制，只能抓取互聯(lián)網(wǎng)部分網(wǎng)頁的所以在努力抓取盡可能多頁面的同時會盡可能選擇比擬重要的那局部頁面來索引，而對于己經(jīng)抓取到網(wǎng)頁，也會盡可能快地更新其內(nèi)容。注意所有的這些都是盡可能而已，所以這是各大搜索引擎努力的方向。如果這3個方面都做得好，搜索引擎用戶體驗肯定會更好。
寫在最后
搜索引擎對于以上3個標準一直在做努力，同時也號召站長一起進行，比方百度站長平臺的數(shù)據(jù)提交就能很好的擴大百度蜘蛛抓取覆蓋率，再比方百度鼓勵站長對網(wǎng)頁進行提交或直接提交sitemap這也為蜘蛛的抓取更新提供便當。搜索引擎蜘蛛工作比擬累，要干得多，還要干得快，更要干得好，一點都不容易。所以網(wǎng)站站長首先就應該讓網(wǎng)站鏈接路徑便于抓取，結(jié)構(gòu)扁平，讓蜘蛛在有限的時間能抓取更多的東西，讓蜘蛛在網(wǎng)站能干得多而且干得快，同時有規(guī)律的更新高質(zhì)量內(nèi)容，讓蜘蛛在這能干得好，這樣久而久之，蜘蛛在網(wǎng)站就會干得更多、干得更快、干得更好，因為它需要。如果網(wǎng)站結(jié)構(gòu)混亂，總是更新垃圾內(nèi)容或不更新，那蜘蛛也只能走走停停了因為它也要干活。
