robot文件，它的作用是搜索引擎抓取程序蜘蛛，自動(dòng)訪問(wèn)互聯(lián)網(wǎng)上的網(wǎng)頁(yè)并獲取網(wǎng)頁(yè)信息，如果需要限制搜索引擎抓取，也可以在robot文件中設(shè)置，限制后該搜索引擎就不會(huì)抓取網(wǎng)站，信息也不會(huì)被泄露，大大提高了網(wǎng)站后臺(tái)和用戶信息的安全系數(shù)。

看到這里，想必大家對(duì)robot文件有了更為深刻的認(rèn)識(shí)，那么如何編輯robot文件呢？下面深圳網(wǎng)站建設(shè)為大家簡(jiǎn)單介紹一下robot文件的編輯規(guī)則。
第一，robots.txt首行必寫User-agent，它是用于定位搜索引擎的蜘蛛類型。常見(jiàn)的蜘蛛類型如：谷歌蜘蛛googlebot，百度蜘蛛baidusoider，騰訊蜘蛛sosospider，搜狗蜘蛛sogouspider，360蜘蛛360spider……如果你想讓所有的蜘蛛都可以來(lái)抓取那么我們可以用*來(lái)表示，意為說(shuō)是有蜘蛛。
第二，robots.txt禁止抓取命令Disallow，我們可以用改命令來(lái)屏蔽抓取。常見(jiàn)的屏蔽操作有屏蔽js css，屏蔽動(dòng)態(tài)路徑，屏蔽tag標(biāo)簽，屏蔽低質(zhì)量頁(yè)面，屏蔽模板、插件文件等等，這些屏蔽內(nèi)容都是為了將資源權(quán)重傳遞給網(wǎng)站參與排名的網(wǎng)頁(yè)。
第三，robots.txt允許抓取命令A(yù)llow，其實(shí)一般情況下，如果我們吧設(shè)置允許抓取命令，那么搜索引擎蜘蛛默認(rèn)就是允許抓取，所以這里我們就不再多做解釋。
第四，robots.txt文件書(shū)寫時(shí)還有很多需要我們注意的地方，如通配符“*”的使用，終止符“$”運(yùn)用，最為重要的是，當(dāng)我們書(shū)寫robots.txt文件時(shí)一定要注意，我們的書(shū)寫格式要定義在英文格式下，否則是不被識(shí)別的。
將robots.txt文件完成后，要將其傳入我們的網(wǎng)站的根目錄中，然后通過(guò)站長(zhǎng)工具如，百度站長(zhǎng)，站長(zhǎng)之家等將robots文件進(jìn)行提交檢測(cè)，我們的robots文件才算正在完成。
這里還要提醒大家一下，雖然robots.txt文件有屏蔽作用，但是最好不要采取全站屏蔽，因?yàn)槠帘问怯袝r(shí)效的，釋放也是有時(shí)效，所以全站屏蔽這種操作往往會(huì)耽誤我們的網(wǎng)站優(yōu)化。