更新時間：2014-11-04
robots文件的有無可以衡量一個網(wǎng)站優(yōu)化做的是否到位。星爾認為：有robots文件的網(wǎng)站也許網(wǎng)站優(yōu)化做的不好，但是如果網(wǎng)站沒有robots那么優(yōu)化做的一定不好。因為有些網(wǎng)站無關(guān)鏈接是要及時來屏蔽掉的，如果不屏蔽反而不好。
一：robots屏蔽掉主題目錄鏈接
通常情況下我們使用的網(wǎng)站都是主題和程序單獨分開的，比如河北SEO博客用的Wordpress程序就是主題分開的，dedecms、discuz等很多開源程序都是這樣的。主題目的對我們網(wǎng)站優(yōu)化是沒有任何作用的，也是無關(guān)鏈接所以我們就要用robots屏蔽掉的。
二：robots屏蔽掉后臺登錄目錄鏈接
后臺登錄目錄文件主要是網(wǎng)站管理員登錄后臺，然后對網(wǎng)站進行修改和維護的，所以一般也不會展示在前臺的，也是對我們網(wǎng)站優(yōu)化沒有作用的，我們都認為是無關(guān)鏈接也要用robots來屏蔽掉。這個結(jié)合自己網(wǎng)站程序的后臺目錄文件來屏蔽就可以的。
三：robots屏蔽掉重復(fù)的鏈接
和河北SEO博客一樣，WordPress通常情況下我們都是使用偽靜態(tài)，這就導(dǎo)致靜態(tài)鏈接和動態(tài)鏈接都能打開網(wǎng)站，這個對網(wǎng)站優(yōu)化也是非常不利的，所以就要用robots文件來屏蔽掉動態(tài)鏈接。和Wordpress一樣還有很多程序要是不支持純靜態(tài)，只能使用偽靜態(tài)，這樣就要也對動態(tài)鏈接進行屏蔽掉，如果是dedecms就不用了，它是純靜態(tài)的。
