• 當(dāng)前位置：創(chuàng)新互聯(lián) >> 常見問題 >> 營銷推廣 >> 搜索引擎 >> 搜索引擎如何監(jiān)控網(wǎng)站網(wǎng)頁變化？

搜索引擎如何監(jiān)控網(wǎng)站網(wǎng)頁變化？

• 作者：創(chuàng)新互聯(lián) 文章來源：網(wǎng)絡(luò)營銷部 點(diǎn)擊數(shù)： 更新時間：2008-11-02
• (1) 為減少瀏覽器對web服務(wù)器流量過大，http 1.1 設(shè)計(jì)了 if-modified-since 和 E-tag 功能，你可以在每一次下載后，記住last-modified-time 和 E-tag內(nèi)容，然后下一次抓取時，在http協(xié)議上帶上這些值，如果內(nèi)容沒變化，web服務(wù)器直接返回頁面未變化錯誤碼，從而快速得出網(wǎng)頁未變化結(jié)論；此法判斷不出，在跳入指紋比較。
  
  (2) 從效率上考慮，我們不能對所有網(wǎng)頁一視同仁，而應(yīng)該重點(diǎn)檢查；測試發(fā)現(xiàn)，大部分網(wǎng)站的網(wǎng)頁變化應(yīng)該有一定規(guī)律的，比如首頁和論壇列表頁等容易發(fā)生變化，但老新聞內(nèi)容頁可能幾年都不會發(fā)生變化；只要把經(jīng)常變的給揪出來，變化內(nèi)容就順便發(fā)現(xiàn)了，那么 怎么跟蹤這些變化呢？可以記錄每個url的階段性變化歷史(如訪問了幾次，變化了幾次)，然后下次抓取時，對其進(jìn)行預(yù)測，優(yōu)先級排序，經(jīng)常變化的經(jīng)常訪問。
  
• 自已動手做搜索引擎24種方案 :上一篇
  成都網(wǎng)站優(yōu)化搜索引擎的基本工作原理 :下一篇