3分鐘帶你快速了解robot文件

假設(shè)您以了解一下名詞含義:搜索引擎，spider（搜索引擎蜘蛛），死鏈接，權(quán)重，網(wǎng)站排名

何為Robots協(xié)議？

Robots協(xié)議是國(guó)際互聯(lián)網(wǎng)界通行的道德規(guī)范，基于以下原則建立：

1、搜索技術(shù)應(yīng)服務(wù)于人類(lèi)，同時(shí)尊重信息提供者的意愿，并維護(hù)其隱私權(quán)；

2、網(wǎng)站有義務(wù)保護(hù)其使用者的個(gè)人信息和隱私不被侵犯。

何為robot文件？

robots.txt是限制搜索引擎spider（或稱(chēng)為蜘蛛）收錄或爬取您網(wǎng)站內(nèi)容的一種文件。搜索引擎蜘蛛在網(wǎng)站中第一個(gè)訪問(wèn)的文件就是robot文件，當(dāng)然，也可以沒(méi)有robot文件，不過(guò)spider會(huì)訪問(wèn)您的網(wǎng)站的所有頁(yè)面。

robot文件有何作用？

屏蔽您網(wǎng)站的死鏈接，限制spider爬取您的網(wǎng)站內(nèi)容，保護(hù)您網(wǎng)站的隱私內(nèi)容。例如您的后臺(tái)目錄，或者存有您個(gè)人信息的頁(yè)面或目錄。

如果您網(wǎng)站的重復(fù)頁(yè)面或死鏈接過(guò)多，搜索引擎蜘蛛會(huì)認(rèn)為您的網(wǎng)站不行，價(jià)值較低，就會(huì)降低您網(wǎng)站的權(quán)重，網(wǎng)站排名就會(huì)下降，如果創(chuàng)建了robot文件并寫(xiě)入了相應(yīng)的規(guī)則，那么搜索引擎蜘蛛就不會(huì)爬取您限制的頁(yè)面，您網(wǎng)站的權(quán)重與排名也就不會(huì)降低了。

如何構(gòu)建robot文件

robot文件也沒(méi)什么特殊的地方，就是一文本文件（txt）。新建一個(gè)文本文件，然后重命名為robots并在此文件中編寫(xiě)相應(yīng)的規(guī)則，最后上傳到網(wǎng)站跟目錄就行了，注意一定要放置到跟目錄且文件名一定要小寫(xiě)，不然就失效了。

如何編寫(xiě)robot文件規(guī)則？

或許您沒(méi)有太多的時(shí)間來(lái)了解并學(xué)會(huì)robot文件規(guī)則，那么您可以生成robot文件規(guī)則，當(dāng)然，您需要一定的英語(yǔ)基礎(chǔ)，并了解特定的名詞。假設(shè)您有時(shí)間來(lái)學(xué)習(xí)的話(huà)，就往下看下面的規(guī)則。

現(xiàn)假設(shè)一個(gè)robot文件里面規(guī)則有：

User-agent: *

Disallow: /admin/

Disallow: /user/

規(guī)則解讀為：所有的搜索引擎蜘蛛都不允許訪問(wèn)根目錄的admin目錄與user目錄。

現(xiàn)在你可能就明白了，user-agent:后面輸入的是欲限制搜索引擎蜘蛛的名稱(chēng)，*為全部限制，baiduspider為限制百度搜索引擎蜘蛛不可以訪問(wèn)。

disallow:后面追加的是欲限制蜘蛛訪問(wèn)的目錄名稱(chēng)。

注意，不管你有多少個(gè)disallow，只要有一個(gè)后面為空或者只有一個(gè)/符號(hào)的，就是所以目錄都可以訪問(wèn)。符號(hào)一定是英文符號(hào)。

robot文件只是一種規(guī)則，并不是強(qiáng)制約束搜索引擎蜘蛛，需要搜索引擎蜘蛛配合才有用，有些spider會(huì)不顧您的robot文件,擅自訪問(wèn)您的限制頁(yè)面。不過(guò)，就目前而且，大部分spider是遵守的robots.txt規(guī)則的。

當(dāng)前題目：3分鐘帶你快速了解robot文件
當(dāng)前路徑：http://www.jbt999.com/news/16529.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供服務(wù)器托管、網(wǎng)站維護(hù)、網(wǎng)站收錄、ChatGPT、定制開(kāi)發(fā)、微信小程序

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：[email protected]。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)