如何让百度不收录你的网站或者某些页面

点击: 分类:网站收录

让百度收录我们的网站,这个前文已经说过了,那么如何不让百度收录我们的网站呢?

图片.png

由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面的内容。

很多站长都见过上面的这段话,和图片中的情况。其实看提示就知道,如果不想让百度收录你的整站,或者某个页面,可以再robots.txt里面禁止收录。

然后把文件放在我们网站的根目录。给大家提供一个网站可以在线生成robots.txt。http://tool.chinaz.com/robots/

User-agent: Baiduspider
Disallow: /
User-agent: *
Disallow:
上面的四行代表的意义是:禁止百度收录,后面的两行意思是允许搜索引擎收录所有。*代表通配,也就是所有。

Disallow: / 代表不允许收录

如果不允许某个页面或者栏目如bin栏目,可以用下面的写法:

Disallow: /bin/

当然也可以用通配符。

除此以外我们还可以在网页头部,利用代码来告知搜索引擎当前页面是否允许被收录。代码如下:

这个协议头的意思就是,禁止收录,noindex。nofollow的意思是不要抓取这个页面的其他链接。当然你也可以写follow,大多数情况下我们写的是follow。

meat协议其他参数说明:

Noindex:不要索引本页面

Nofollow:不要跟踪本页面上的链接

Nosnippet:不要在搜索结果中显示摘要文字

Noarchive:不要显示快照

Noodp:不要使用开放目录中的标题和描述

百度支持:Nofollow和Noarchive

只有禁止索引时,使用meta robots才有意义

Robots文件说明:

user-agent:* 适用于所有蜘蛛 baiduspider—百度蜘蛛,googlebot—谷歌蜘蛛

Disallow 禁止抓取哪些文件或目录

Disallow:/upload/

Disallow: .jpg$ 禁止抓取所有.jpg文件

Disallow: *.html 禁止抓取所有html文件

Disallow:/upload/index.html

Allow 告诉搜索引擎应该抓取哪些页面,由于不指定就是允许抓取,所以allow单独写没有意义。


本文版权归本站所有,未经允许,禁止转载本站内容。

相关内容

  1. 收录查询,网站百度收录如何批量查询
  2. 网站百度收录提交入口,如何让百度收录网站
  3. 百度不收录网站怎么办是什么样原因
  4. 如何增加网站的收录
  5. 百度快速收录
  6. 如何让百度不收录你的网站或者某些页面
  7. 什么样的网页容易被搜索引擎收录
  8. 蜘蛛每天都抓取内页就是不收录怎么办
  9. 百度网站收录常见问题
  10. 已经收录的页面如何删除收录
  11. 百度站长资源平台快速收录教程
  12. 收录有所下降怎么办,原因分析及解决办法
  13. 禁止搜索引擎收录的方法详解
  14. 十个影响网站收录的因素,百度不收录原因分析

上一篇: 百度快速收录

下一篇: 什么样的网页容易被搜索引擎收录