欢迎访问昌盛网络公司,我们是专业的seo网络优化推广服务公司,专做网站优化排名,定制高端网站建设,9年的seo优化经验,让你网站有排名有咨询,专业的事交给专业的人来做,选择我们靠谱。
首页 > seo优化推广 > 你的robots.txt会出现乱码吗?建议用UTF-8编码
你的robots.txt会出现乱码吗?建议用UTF-8编码

  robots.txt 是什么东西?

  robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

  因为关于robots.txt的语法知识网上已经很多了,我就不再重复了啊!直入正题。

  robots.txt 乱码现象

  或许你已经写好了robots.txt,但你有没有检查过啊?

  如果你不知道用什么工具检查,请看我的另一篇博文:Google网站管理员工具使用指南。

  如果显示正常,那就恭喜你了。不要像我一样,出现了如下图所示的问题:

  robots.txt 首字乱码,导致语法错误。

  呵呵,图片太小,眼神不好的可能看不到吧。首字本来是“U”,而这里错误显示为“?”。

  robots.txt 乱码原因

  出现这样的问题,我首先想到了字符编码,我使用的是 UTF-8,这应该不会有问题的啊,我还是下载下来确认一下,并重新转换了一次编码。第二天一看,问题依在。我就去google了……查到很多网友也有这样的疑惑,但是众说纷纭,没有权威的解释。我总结了一下,有效的方法只有二个:

  1、使用 ANSI 字符编码。

  2、使用 UTF-8 字符编码,但空出首行。

  我使用第二种方法了,因为我更加信任 UTF-8,呵呵。

  robots.txt 字符编码

  这个标题有点废话,如果你想要知道robots.txt使用什么编码更加合适的话,请看标题3。因为这里仅仅是我为了增加一个关键词(“robots.txt 字符编码”)而以,当然也不会让你白看。

  网上很多文章都建议大家使用 utf-8 字符编码的robots.txt,并引用了如下权威的解释。

  Google Groups成员指出包括Google在内的大部分常用搜索引擎更宠爱UTF-8编码的robots.txt文件。

  至于此“权威的解释”是否权威,或问我原文出处,我就不得而知了。

  原文地址:http://www.shangxueba.com/jingyan/2236734.html

  此文章“你的robots.txt会出现乱码吗?建议用UTF-8编码来源于网络收集、整理,如有涉及版权问题请与本网站联系删除!”当前文章地址:http://www.0seo0.com/news/52.html,更多相关昆明seo网站优化文章请到http://www.0seo0.com/news/阅读查看!

上一篇:百度指数只能作为参考
下一篇:帝国cms友情链接标签调用问题
相关文章
昆明seo优化公司服务热线
0871-63312249
18583200156
地址:云南省昆明市官渡区
负责人:邱经理
服务QQ:5755765
座机:0871-63312249
邮箱:5755765@qq.com
邮编:650000
在线咨询
5755765
在线咨询
1175062249