第一节:SEO优化中robots文件设置技巧 SEO技术教程 安仔SEO优化网
轻松走上SEO巅峰,从这里开始
为SEOer免费提供最有效的SEO优化知识,期待将来的SEO界是精英的对决!
当前位置:安仔SEO优化网 > SEO教程 > SEO技术教程 > 浏览教程
SEO技术教程

第一节:SEO优化中robots文件设置技巧

Tags:SEO,优化,文件,设置Time:2017-06-27Contents:SEO技术教程Browse:232Type:原创

SEO优化中robots文件是把双刃剑,用得好有助于关键词排名,用不好将影响网站权重。

1、robots.txt文件介绍

robots.txt文件是告诉搜索引擎蜘蛛,网站程序什么目录(或文件)可以访问,什么目录(或文件)不可以访问。通常SEOer会将网站上一些不符合SEO优化标准的页面,在robots.txt文件上设置成禁止搜索引擎蜘蛛访问,引导搜索引擎蜘蛛访问优质的页面,从而有限的提高网站权重。

值得一提的是,robots.txt文件是搜索引擎访问网站前第一个要查看的文件。明白了这一点,我们就可以通过这点做些文章。

2、巧用robots.txt文件提升页面抓取率

通常SEOer会将sitemap.xml(网站地图)文件地址写入robots.txt文件里面,自然而然会被搜索引擎蜘蛛在第一时间发现,也增大了网站页面被快速抓取和收录的可能性。此种做法,对于新站作用明显,对于大站更具有积极和现实的作用。

设置方法:

User-agent:*
Disallow:/?*
Disallow: /*?*
Sitemap:http://www.seoyhw.com/sitemap.xml

注意:使用该方法sitemap.xml文件必须更新及时,否则影响搜索引擎蜘蛛对网站的好感。因此,对于更新文章缓慢的网站不建议使用该方法。

3、robots.txt文件设置注意事项

robots.txt文件里禁止搜索引擎的目录不要频繁地出现在优化后的优质页面里,过多这样的链接搜索引擎蜘蛛爬行会比较吃力。

不是很懂robots.txt文件规则的SEOer,不要设置复杂的robots.txt文件以防有错误语法,导致搜索引擎蜘蛛抓取更吃力。

新站不建议设置过多限制搜索引擎蜘蛛的规则,新站百度蜘蛛一般考首页的链接扩展链接,如果网站首页都有很多限制的禁止访问区域的话,说明网站优化的不到位。

再则,新站也没有资格对百度蜘蛛指指点点,这不能访问,哪不能爬行。从而,影响百度蜘蛛对网站的好感。

4、robots.txt文件设置对网站的安全性

有些SEOer会将网站后台地址,在robots.txt文件里设置成禁止搜索引擎蜘蛛访问。可能是防止后台从,搜索引擎收录页面上暴露出来。但是,从robots.txt文件里暴露后台地址要比收录页面更直接。

搜索引擎蜘蛛只会爬行自己发现的页面,因此只要安全性目录只要不暴露在蜘蛛爬行的区域里,搜索引擎将不会收录该页面。因此,不要过于谨慎,导致网站安全系数降低。

SEO优化中robots.txt文件设置技巧就讲到这里,总之,精通robots.txt文件规则的SEOer提倡使用,不精通的SEOer不用也可以对网站SEO优化效果影响不是很大,起码没有副作用。

《第一节:SEO优化中robots文件设置技巧》为安仔SEO优化网原创文章,转载请注明出处!