做SEO不得不知道的robots文件

　　robots這個詞對每一位做SEO優(yōu)化的人來說都不陌生，但是你知道了解全部有關(guān)robots文件的知識了嗎?不妨來看看創(chuàng)新互聯(lián)SEO專家接下來要給大家介紹的robots文件潛規(guī)則。

　　有關(guān)robots文件潛規(guī)則：

　　1、spider名字的大小寫問題

　　大多數(shù)搜索引擎的spider在讀取user-agent值的時候都是忽略大小寫，既Googlebot和googlebot應(yīng)該都能被google識別。但是，我在學(xué)習(xí)淘寶seo的時候也發(fā)現(xiàn)，或許為了保險起見，淘寶的工作人員在自己的“/robots.txt”里面分別寫了“user-agent: baiduspider”和“user-agent: baiduspider”兩條。(參見：http://www.taobao.com/robots.txt)

　　2、不允許出現(xiàn)多條user-agent的記錄

　　一份“/robots.txt”文檔中不允許出現(xiàn)多條包含“user-agent: *”的記錄(但允許沒有此記錄)。

　　3、allow和disallow的順序

　　大部分情況下，想要兼容所有的機器人，就應(yīng)當(dāng)將allow指令放在disallow指令的前面，例如：

　　Allow: /a/b.html

　　Disallow: /a/

　　這會阻止對”/a/”內(nèi)除了”/a/b.html”以外一切內(nèi)容的檢索，因為后者是優(yōu)先匹配成功的。雖然對于google和百度來說，先后順序并不重要。但是不排除會導(dǎo)致其他搜索引擎出現(xiàn)抓取問題。

　　4、allow與disallow的角力

　　如果allow指令中的地址同disallow指令中的地址相比具有相同或更多字符(意味著allow指令所描述的地址更“深”、更“具體”)的話，雖然disallow指令也能匹配，但allow指令仍然會“獲勝”(這樣就達(dá)到開放子文件夾的目的了，同時沒被allow的部分依然不會被檢索)。

　　舉個例子吧(假設(shè)和順序無關(guān))

　　Disallow:/a/b

　　Allow:/a

　　這樣就是允許除b以外的所有a

　　Disallow:/a

　　Allow:/a/b

　　這樣就是禁止除b以外的所有a

　　反斜杠“/”的意義

　　反斜杠“/”表示禁止搜索引擎進(jìn)入該目錄。

　　User-agent: spider

　　Disallow: /a

　　對這樣的記錄機器人該怎么反應(yīng)?按照res標(biāo)準(zhǔn)，機器人會將名為“a”的文件和名為“a”的目錄都disallow。當(dāng)然，比較符合邏輯切清晰的寫法是使用“/”來標(biāo)識所聲明的路徑：

　　Disallow: /a/

　　注意不要忘記“a”前面的“/”

　　根據(jù)“/”的意義，對于只允許某搜索引擎，有些robots.txt會這樣寫

　　User-agent: Baiduspider

　　Disallow:

　　User-agent: *

　　Disallow: /

　　這樣用百度的robots工具測試也是OK的,但從百度自家產(chǎn)品，百度知道的robots來看，更多的是寫成

　　User-agent: Baiduspider

　　Allow: ?/

　　User-agent: *

　　Disallow: /

　　我其實在想，或許“/”正確的表述應(yīng)該是"進(jìn)入該目錄"的意思，要不然Allow: ?/就不好理解了

　　在指示行末尾加注的問題

　　在“/robots.txt”文件中，凡以“#”開頭的行，均被視為注解內(nèi)容，這和unix中的慣例是一樣的。例如：

　　Disallow: /cgi-bin/ # this bans robots from our cgi-bin

　　盡量不要在一行的前面出現(xiàn)空格

　　如“ disallow: /”《很多人非常不小心，空格就沒了》

　　Res標(biāo)準(zhǔn)并未對這種格式予以特別說明，但和上面一個問題一樣，可能導(dǎo)致某些機器人無法正確解讀。

　　文件目錄區(qū)分大小寫(這個或許是困惑大多數(shù)人的)

　　雖然res標(biāo)準(zhǔn)忽略大小寫(case insensitive)，但目錄和文件名卻是大小寫敏感的。所以對于”user-agent”和”disallow”指令，用大小寫都是可以的。但對于所聲明的目錄或文件名卻一定要注意大小寫的問題。例如：

　　Disallow: /abc.htm

　　會攔截“http://www.example.com/abc.htm”

　　卻會允許http://www.example.com/Abc.htm

　　所以在IIS服務(wù)器可能出現(xiàn)的 諸多 大小寫目錄問題，可以通過此方法得到圓滿解決。

　　如果頁面中包含了多個同類型meta標(biāo)簽，spider會累加內(nèi)容取值

　　對于下面兩條語句來說：

　　搜索引擎將會理解成：

　　當(dāng)內(nèi)容取值沖突的時候，google和百度等大多數(shù)搜索引擎會采納限制性最強的參數(shù)

　　例如，如果頁面中包含如下meta標(biāo)簽：

　　Spider會服從noindex的取值。

　　如果你既用了robots.txt文件又用了robots meta標(biāo)簽

　　當(dāng)二者出現(xiàn)沖突，googlebot會服從其中限制較嚴(yán)的規(guī)則

　　如果你在robots.txt中阻止了對一個頁面的檢索，googlebot永遠(yuǎn)不會爬到這個頁面，因此也根本不會讀到這個頁面上的meta標(biāo)簽。 如果你在robots.txt里面允許了對一個頁面的檢索，卻在meta標(biāo)簽中禁止了這一行為，googlebot會到達(dá)這個頁面，在讀到meta標(biāo)簽后終止進(jìn)一步的檢索行為。

　　robots文件是我們跟搜索引擎對話的渠道，而且通過設(shè)置，我們能夠告訴搜索引擎蜘蛛哪些可以抓取，哪些不可以抓取。