很多站长在给网站优化时，都会提到网站robots协议，那么网站robots是什么意思呢？今天琳玲seo就给大家讲一讲什么是robots，robots文件要不要加？
一、网站robots是什么意思
我们常说的robots文件其实就是一个txt文本文件，网站与搜索引擎之间的一个协议。如果你想查看更详细的解释可以看看百科。
根据官方给出的定义，这个协议可以告诉蜘蛛哪些文件可以被抓取，哪些文件不可以被抓取。理论上，当搜索引擎蜘蛛访问我们的网站时，首先会看看网站是否有robots文件，有的话会根据robots文件内容进行下一步的抓取工作。
但是，这个协议是单方面的，至于搜索引擎是否遵守，这个就没法决定了。一般情况下，搜索引擎是会遵守这个robots协议的。不过，有经验的站长应该会发现，即使robots禁用了的内容，搜索引擎还是有可能会抓取和收录的。
二、网站robots文件的作用是什么？
- 引导搜索引擎蜘蛛抓取网站指定内容，有助于提高蜘蛛对网站的抓取效率；
- 可以评论页、搜索结果页等重复页面或者不参与网站排名的无价值页面；
- 引导蜘蛛抓取网站sitemap地图，有效提高蜘蛛的效率。
三、robots文件要不要加？
了解robots文件的作用后，你就知道了robots文件可以引导蜘蛛抓取指定的内容，屏蔽一些价值不大的页面，能有效帮助搜索引擎蜘蛛提高网站的抓取效率，进而提高蜘蛛对我们网站的好感度和信任度。之前有做过这样一个实验，给网站添加robots文件并允许蜘蛛抓取后，相比没设置robots文件时，网站的收录量大大提升了，所以添加网站robots文件是利大于弊的。看完这些内容想必对于“robots文件要不要加”，你也心中有数了吧。
以上就是关于网站robots是什么意思以及robots文件要不要加的所有内容，希望能帮助你更好的了解seo专业术语。
其他seo名词或seo专业术语，请点击以下链接查看：
