當(dāng)你開(kāi)啟一個(gè)全新站點(diǎn)的時(shí)候，默認(rèn)的情況下網(wǎng)站根目錄中是沒(méi)有Robots.txt文件的，這導(dǎo)致很多站長(zhǎng)并不關(guān)心Robots協(xié)議，這為日后的運(yùn)營(yíng)，埋下隱患，比如：  

① 產(chǎn)生大量重復(fù)頁(yè)面，動(dòng)態(tài)鏈接被抓取。  

② 新站無(wú)內(nèi)容欄目，被收錄，影響站點(diǎn)質(zhì)量評(píng)定。  

對(duì)于新站而言，由于蜘蛛抓取頻率有限，我們應(yīng)該合理利用Robos協(xié)議，巧用Robots.txt文件，引導(dǎo)蜘蛛爬行與抓取。  

那么，Robots協(xié)議是什么，Robots.txt的作用有哪些？  

1、Robots協(xié)議  

簡(jiǎn)單理解：Robots協(xié)議是搜索引擎蜘蛛爬行的一種標(biāo)準(zhǔn)，當(dāng)蜘蛛來(lái)訪的時(shí)候會(huì)首先檢測(cè)網(wǎng)站根目錄下是否存在Robots.txt這個(gè)文件。  

如果存在，它會(huì)根據(jù)Robots協(xié)議的規(guī)定，去抓取只被SEO管理允許抓取的頁(yè)面，而屏蔽不需要抓取的內(nèi)容，它可以理解為是蜘蛛與站點(diǎn)之間的橋梁。  

2、Robots.txt文件樣式  

Robots.txt通常存放在網(wǎng)站跟目錄，你可以登錄FTP查看站點(diǎn)跟目錄下是否存在這個(gè)文件，如果沒(méi)有可以自行創(chuàng)建，當(dāng)Robotx.txt為空的時(shí)候，它代表不為網(wǎng)站做任何的抓取限制。  

通常Robots.txt的寫(xiě)法如下：  

User-agent:*  

Allow:/  

它表示允許抓取所有的內(nèi)容，而將Allow:/替換成Disallow:/則表示禁止抓取站點(diǎn)所有內(nèi)容。  

其中值得注意的是，百度支持使用通配符"*"和"$"來(lái)模糊匹配URL，具體關(guān)于Robots.txt文件的相關(guān)設(shè)置，你可以參考百度官方文檔，百度搜索資源平臺(tái)->網(wǎng)站支持->數(shù)據(jù)監(jiān)控->Robots。  

同時(shí)，當(dāng)你修改了相關(guān)Robots.txt文件，而并不清楚是否設(shè)置正確的時(shí)候，也可以通過(guò)上述工具進(jìn)行檢測(cè)。  

3、Robots.txt常見(jiàn)問(wèn)題  

① 如何生成Robots.txt文件  

目前線上平臺(tái)有很多SEO推廣軟件，都支持客戶端自動(dòng)生成Robots.txt文件，它提供了一些便利的條件，比如：自動(dòng)屏蔽一些沒(méi)必要的爬蟲(chóng)，避免浪費(fèi)過(guò)多資源，以及相關(guān)欄目頁(yè)面與圖片等。  

② 網(wǎng)站不收錄，熊掌號(hào)不出數(shù)據(jù)  

通常出現(xiàn)這個(gè)問(wèn)題，你可以第一時(shí)間查看Robots.txt文件，是否由于操作失誤，屏蔽了百度蜘蛛，導(dǎo)致網(wǎng)站不收錄  

③ Robots.txt與nofollow標(biāo)簽  

有的時(shí)候當(dāng)你試圖屏蔽一個(gè)URL的時(shí)候，明明在Robots.txt禁止抓取了，仍然會(huì)被索引，這種情況是可能存在的，為了安全起見(jiàn)，你可以在<meta>標(biāo)簽中，添加nofollow，來(lái)達(dá)到萬(wàn)無(wú)一失的作用。  

總結(jié)：Robots.txt文件是一個(gè)值得站長(zhǎng)研究的協(xié)議，它合理的調(diào)配網(wǎng)站資源，有利于站點(diǎn)運(yùn)營(yíng)的快速發(fā)展。