SEO学习网—免费网站SEO优化培训教程分享!

当前位置: 首页 > SEO教程 > 站内SEO教程 >

站内优化之robots.txt

来源:SEO学习网|栏目:站内SEO教程|发布:2015-09-15 00:02|浏览:

搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信息。您可以在您的网站中创建一个纯文本文件robots.txt,在这个文件中声明该网站中不想被robot访问的部分,这样该网站的部分或全部内容就可以不被搜索引擎收录了,或者指定搜索引擎只收录指定的内容。(robots.txt文件应该放置在网站根目录下。)

站内优化之robots.txt

robots.txt的用法

User-agent:定义进制搜索引擎名字,比如说:百度(Baiduspider)、谷歌(Googlebot)、360(360Spider)等。*号代表全部搜索引擎

Disallow:不允许收录

Allow:允许收录

robots.txt的编写

User-agent: * (声明禁止所有的搜索引擎抓取以下内容)

Disallow:/blog/(禁止网站blog栏目下所有的页面。比如说:/blog/123.html)

Disallow:/api(比如说:/apifsdfds/123.html也会被屏蔽。)

Allow:/blog/12/(一般情况下不需要写Allow的,而我们在禁止的目录下面,我们需要让搜索引擎收录,那么我们就可以使用Allow,比如说我们前面禁止了blog栏目下所有的页面,同时我们想/12/栏目下被收录,这个时候我们就需要通过Allow来允许搜索引擎的收录。)

Disallow:*?*(只要你的路径里面带有问号的路径,那么这条路径将会被屏蔽。比如说:http://wenda.ssffx.com/?expert/default.html将会被屏蔽。)

Disallow:/*.php$(意思是以.php结尾的路径全部屏蔽掉。)

如何使用robots.txt提升排名

一、屏蔽死链接

许多时候,我们网站会产生死链接,比如说:网站改版、文章删除等,都很有可能会导致网站出现404页面,那么这个时候我们就需要通过robots.txt来屏蔽这些死链接。查看死链的方法有以下两种:

1、)通过网站日志查询。

我们可以通过下载网站日志来查看我们的404页面(网站日志可以向空间商要,空间商会提供下载通道),我们用txt打开网站日志,通过搜索“404”,如果你网站有404页面,并且被访问到了,那么这个时候就会被网站日志给记录。

2、)百度站长平台查询

我们首先需要验证百度站长平台(如何验证就不说了,最基本的。)验证以后,我们通过百度站长工具的死链工具,可以清楚的看到,我们网站有哪些死链接。

二、屏蔽无价值的页面

许多网站都有一些没有价值的页面,比如说SEO指导中心的用户个人中心页面,这个个人中心页面不会对网站产生价值,在百度上面的展现也不会给网站带来权重。因此我们需要利用robots.txt来屏蔽这样的页面。又比如说:一个企业网站的联系我们页面,这种页面不会给网站带来权重,用户也不会去搜索“关于我们”来找他想要的产品。因此我们需要把这种页面同时屏蔽。

三、屏蔽重复路径

当你网站出现重复路径的时候,百度将会对我们的网站进行直接降分,比如说:一个网站做了伪静态,同时他的动态页面也可以访问,这个时候就会出现重复路径。因此我们需要通过robots.txt屏蔽这些重复路径。

总结:也许很多人都不知道,许多细节都很有可能是你网站排名不上的原因,而这些小小的细节往往被大家给忽略了。同时希望站长在做网站优化的时候多多关注一些网站细节的问题。

(编辑:无声SEO)

关键词:站内优化robots

推荐文章

站长推荐

  • 如何才能让搜索引擎很好地识别网站内容?

    如何才能让搜索引

  • 你的标题能够同时吸引用户和spider吗?

    你的标题能够同时