SEO学习网—免费网站SEO优化培训教程分享!

当前位置: 首页 > SEO教程 > 站内SEO教程 >

robots文件是什么?该怎么写?

来源:网络SEO|栏目:站内SEO教程|发布:2015-12-07 19:57|浏览:

在做网站SEO优化的时候,我们通常先对网站做一点的诊断,比如说,是否做301重定向、是否做好robots.txt文件、网站的外链、网站的收录等方面进行全面的分析诊断,今天,我先给大家说说robots文件。

robots.txt对SEO网站优化的作用

robots.txt对SEO网站优化的作用


什么是robots.txt文件?

robot.txt文件是网站和搜索引擎的协议文件,可以控制搜索引擎抓取的页面。只是一个协议,不是一个命令。但是搜索引擎一般都会遵循着robots文件进行抓取。


robots.txt文件重要吗?

robots.txt文件是搜索引擎来访问网站的时候第一个访问查看的第一个文件,robot.txt文件以纯文本的形式,来告诉搜索引擎,什么内容是可以抓取的,什么内容是不能抓取的,做好robots.txt文件,不仅可以控制搜索引擎的对网站的抓取范围,还可以让搜索引擎对网站实现有目的性的抓取,这对网站SEO优化是非常有帮助的!


如何快速查看网站的robots.txt文件?

快速查看网站的robots.txt文件

查看网站robots.txt文件


学会如何快速查看网站的robots.txt文件,是作为seoer网站优化人员最为基础的知识操作。

在浏览器输入“http://www.*****.com/robots.txt”的形式进行浏览阅读。


robots.txt文件该如何写?

user-agent 定义搜索引擎的类型。(百度指数:Baiduspider\谷歌蜘蛛:Googlebot 360蜘蛛360spider )

user-agent: *(*代表所有的搜索引擎  冒号是小写的英文状态的)

Disallow:(不允许)    /  禁止搜索引擎抓取所有

Disallow: /*  屏蔽全站


/a/与/a的区别

Disallow: /a 这个的意思是,不抓取所用代用”/a”字样的链接;例如http://seo.com/a/23.html 或者http://seo.com/ahome/23.html这个链接,搜索引擎是不会抓取的。

Disallow: /fed/与Disallow: /fed之间的区别在于,Disallow: /fed/的范围更加的具体,通常情况下,我们只用到Disallow: /fed/这样的写法。

Disallow定义禁止抓取收录地址:禁止整张、禁止一个文件夹、禁止路径关键词、禁止动态链接。


如何禁止网站所有动态的连接?

Disallow:/*?* *是所有的意思。

为什么需要屏蔽链接?

因为一个网站中,只能出现一种形式的链接,其中可以是动态的,也可以是伪静态的,切记网站中不能出现多中形式的链接!


Disallow: / * 屏蔽全站

Disallow: /*.css$ 屏蔽网站所有CSS文件。

Disallow: /*.js$  屏蔽网站所有js文件。


Disallow:/*屏蔽全站

Disallow: /*?*屏蔽所有带?号的连接

Disallow: /*=*屏蔽所有带=号的连接


总结:robots.txt文件的作用

  • 1、可以规范网站的路径形式,让路径的形式统一。

  • 2、可以屏蔽没有价值页面文件以及隐私文件。

  • 3、使用好robots.txt文件,可以有效控制搜索引擎的抓取范围,可以在SEO优化方面起到很大的作用!


(编辑:SEO学习网)

关键词:robots

推荐文章

站长推荐

  • 如何才能让搜索引擎很好地识别网站内容?

    如何才能让搜索引

  • 你的标题能够同时吸引用户和spider吗?

    你的标题能够同时