邯鄲網(wǎng)站加上robots的作用?robots協(xié)議(也稱(chēng)為爬蟲(chóng)協(xié)議、機(jī)器人協(xié)議等)的全稱(chēng)是“網(wǎng)爬蟲(chóng)排除標(biāo)準(zhǔn)”  ( robots exclusion protocol)’。網(wǎng)站通過(guò)robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取，哪些頁(yè)面不能抓取。

當(dāng)一個(gè)搜索蜘蛛訪問(wèn)一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容確定訪問(wèn)的范圍;如果該文件不在所有的搜索蜘蛛將能夠訪問(wèn)網(wǎng)站上所有沒(méi)有被口令保護(hù)的頁(yè)面。

如果將網(wǎng)站視為酒店里的一個(gè)房間，robots.txt就是主人在房間門(mén)口懸掛的“請(qǐng)勿打擾”的提示牌。這個(gè)文件告訴來(lái)訪的搜索引擎哪些房間可以進(jìn)入和參觀，哪些房間因?yàn)榇娣刨F重物品，或可能涉及住戶(hù)及訪客的隱私而不對(duì)搜索引擎開(kāi)放。

但是，robots.txt不是命令，也不是防火墻，如同守門(mén)人無(wú)法阻止竊賊等惡意闖人者。

robots協(xié)議可以屏蔽一些網(wǎng)站中比較大的文件，如圖片、音樂(lè)、視頻等內(nèi)容，節(jié)省服務(wù)器帶寬;也可以屏蔽站點(diǎn)的一些死鏈接，禁止搜索引擎抓取。