当前位置:衡水seo > SEO基础 > robots的写法

robots的写法

作者:衡水SEOer | 分类:SEO基础 | 浏览:156 | 评论:

    Robots怎么写呢,其实就是一个协议(也称为爬虫协议、机器人协议等),简单的可以理解为告诉那些蜘蛛,我的网站哪些页面可以抓取,哪些页面不能抓取。对于一个网站写一个robots是非常有必要的。
    查看网站有没有写robots,很简单,你可以在你的你的网址上加上robots.txt,举个例子你想要查看 www.weixin4567.com这个网站有没有写robots,那么你只需要在这个网址的后面加上robots.txt,就像这样www.weixin4567.com/robots.txt就可以查看了,查出来是这样的,如下图所示:



    那么一个网站的robots到底该怎么写呢?

其实他是有规律的,下面让我们来认识一下:

User-agent: *  (表示所有的蜘蛛)

那么如果你是想针对某一种搜索引擎呢,那么只需要把*改成相应的蜘蛛就可以了,如下图:

User-agent: Baiduspider(百度蜘蛛)

还有其他的,也是改成相应的蜘蛛就可以了,常用的有 谷歌蜘蛛:Googlebot、360蜘蛛:360Spider、SOSO蜘蛛:Sosospider、雅虎蜘蛛:“Yahoo! Slurp China”或者Yahoo!、有道蜘蛛:YoudaoBot、搜狗蜘蛛:Sogou News Spider、MSN蜘蛛:msnbot、必应蜘蛛:bingbot等等;

那么接下来就是写你不想被抓取的页面了:

Disallow: /  (后面跟上你不希望被抓取的页面)

Disallow: /wp-*  (表示不允许抓取这个以wp- 为开始的所有的文件页面)

    这里面有一些需要注意规则

Disallow: /admin
Disallow: /admin/

Disallow: /admin的匹配度比Disallow: /admin/的匹配度更广泛,前者可以匹配到/admin/,/admin.html,/admin.htm等,而后者局限匹配admin这个目录。
也可以理解为 前者包含后者,后者包含于前者。


还有不懂的可以看看之前写的SEO协议及写法
上一篇:网站上线前的准备     下一篇:URL优化

网名:SEO攻城狮

姓名:Tearry SEO

籍贯:河北省-衡水市

职业:衡水网站建设、SEO优化、SEO指导

副业:衡水网站优化、网站推广

喜欢的书:《SEO实战密码》

想学习SEO请点击下面加群学习链接

加群学习

填写您的邮件地址,订阅我们的精彩内容:

网站分类
友情链接
衡水seo

衡水seo二维码,衡水seo网站logo