robots.txt影响网站收录吗

点击: 分类:robots

robots俗称蜘蛛协议,是否影响收录呢?

如果你没有把不想让搜索引擎收录的页面禁止收录,那么理论上是不影响我们的网站正常收录的。

没有robots也是可以的。

image.png

但是如果你在robots里面做了一些禁止收录的操作可能会影响其他页面的收录,具体如下:

比如我们的js、css、图片文件这些很多人喜欢把它做一下禁止收录,然后让搜索引擎爬自己的内容页面,殊不知这里面就出现了一个问题。比如我们的js或者css包括图片都是搜索引擎判断你页面质量,网站是否作弊,用户体验功能的一些必须要爬取分析的文件。而你禁止它爬,那么搜索引擎无法判断你的内容质量,如此的话很可能你整个网页它都不喜欢爬取。

image.png

最后提示大家不要把地图和后台地址放robots里面去禁止抓取,因为这样很危险,直接暴露了你的后台地址。等于是告诉黑客你的后门在哪里。

所以robots没有是可以的,但是有的话一定要慎重选择。如果你还有疑问可以咨询我!

本文版权归本站所有,未经允许,禁止转载本站内容。

相关内容

  1. 网站优化之robots协议文件
  2. robots.txt影响网站收录吗
  3. robots如何设置利于蜘蛛抓取和seo

上一篇: 网站优化之robots协议文件

下一篇: robots如何设置利于蜘蛛抓取和seo