許多優化新手不知道怎么用robots,乃至不大白robots文件到底是為何物，許多網站就是沒有配置好這個文件導致了排名不抱負，因此這個文件對網站優化長短常重要的，以下就是具體先容：

 

　　robots對SEO重要性

 

　　一、robots文件是什么

 

　　這個文件是一種協議,全部的搜索引擎蜘蛛進入網站的時辰第一個會見的就是這個文件，詳細的浸染就是用來自由配置哪些文件可以抓取，哪些不能抓取。

 

　　二、robots文件配置的名目：

 

　　User-agent：界說搜索引擎的范例；

 

　　Crawl-delay：界說抓取耽誤

 

　　Disallow：界說榨取搜索引擎收錄的地點

 

　　Allow：界說應承搜索引擎收錄的地點

 

　　三、為什么robots很是重要

 

　　1.網站優化切忌的就是一再頁面，可是不少人沒有重視，此刻的主流網站措施都很輕易自動發生一些沒用的頁面，好比緩存頁面，搜索頁面，等等，這些頁面內容每每和主體內容相一再，并且沒有什么用，假如被蜘蛛抓到，那么對網站排名會有很是嚴峻的負面影響。

 

　　2.搜索引擎喜畛丨創內容，而這一方面并不是單單是指文章的原創度，另一方面網站模板的原創度也長短常重要的評分點，以是假如本身網站的模板不是原創，最好要屏障css目次和模板目次。

 

　　3.操作robots文件可以用來屏障一些沒有效的頁面，好比隱私頁面，靠山登岸頁面，圖片目次等內容。

 

　　4.可以大大的加強蜘蛛網站的爬取服從，輔佐搜索引擎領略哪些才是網站最重要的內容，不再揮霍到其余的那些無用的頁面上。