bluehost虚拟主机上robots.txt不能访问的判断

admin

robots.txt文件有重要意义，这个文件将明示来自搜索引擎的蜘蛛，哪些文件或文件夹可以爬行，适当的定义会有利于SEO及保障站点的安全。
当Google网站管理员工具报错，robots.txt不能访问或不能下载时，可以通过下面的方法判断：用浏览器直接访问：http://www.yourdomain.com/robots.txt ,这样作是初步判断下问题是出在Google方面还是我们自己的站有问题。如果可以正常访问基本上可以断定是Google或网络临时问题，不需要处理。如果报404、301等错误则是我们的网站文件存在错误。通过下面的方法排除。
1.浏览器报404错误：用FTP软件查看帐户public_html或public_html下当前网站目录下是否存在robots.txt文件，robots.txt文件名是否正确，这个文件应是全部小写的文件后缀“txt”前的“.”是半角的，有关文件大小写在Linux主机上的注意事项bluehost之家已经反复强调过，是必须注意规范的。
2.报301错误，用FTP软件查看robots.txt文件的属性，见图中说明，这个文件的属性是644。如果文件名和文件属性都正确的话，用文本编辑器查看.htaccess文件，一定是这里有一条命令限制访问robots.txt文件。删除错误的命令即可。