百度蜘蛛不能识别robots文件中的中文目录 网站SEO优化 安仔SEO优化网
轻松走上SEO巅峰,从这里开始
为SEOer免费提供最有效的SEO优化知识,期待将来的SEO界是精英的对决!
当前位置:安仔SEO优化网 > SEO优化 > 网站SEO优化 > 浏览优化
网站SEO优化

百度蜘蛛不能识别robots文件中的中文目录

Tags:文件,不支持,目录Time:2017-09-07Contents:网站SEO优化Browse:102Type:修改

大家都知道可以通过robots文件设置允许百度蜘蛛的抓取规则,有一些站点是使用了中文目录,那么百度蜘蛛能识别robots文件中的中文目录吗? 答案是否定的,请看百度官方的回答。

有SEOer问百度站长学院一个关于robots的问题:我们有个站点的目录结构使用的是中文,这样式儿的:“www.seoyhw.com/网站SEO优化/123.html”,那在制作robots文件和sitemap文件的时候,可以直接使用中文吗?百度能获取到吗?在实际操作中我们发现,sitemap中有文件是可以生效的,但robots封禁貌似没有反应,所以想确认一下:百度蜘蛛能识别robots文件中的中文目录吗?

robots文件不支持中文目录

百度搜索引擎工程师解答:Baiduspider目前(2016年10月)在robots里是不支持中文的(即,百度蜘蛛不能识别robots文件中的中文目录)。

SEOer追问:那我们进行UrlEncode编码会不会支持呢?比如这种:www.seoyhw.com/%E7%BD%91%E7%AB%99SEO%E4%BC%98%E5%8C%96/123.html

百度搜索引擎工程师解答:robots文件支持这种写法。但是否生效,还要取决于当时BaiduSpider抓取的是哪种形式结构的链接,如果是UrlEncode编码就可以生效,如果是中文就非常不幸了,百度蜘蛛不能识别robots文件中的中文目录。

SEO优化网提示:本文转自【百度站长平台】

《百度蜘蛛不能识别robots文件中的中文目录》非原文,部分有改动,转载请注明出处:安仔SEO优化网!