WordPress站点robots.txt文件的添加以及优化

242次阅读
没有评论

什么是robots.txt以及对网站的影响

robots.txt文件是一个放置在网站根目录的协议,它的主要作用是用来正确引导搜索引擎蜘蛛抓取和收录页面,告诉搜索引擎哪些页面可以收录而哪些不可以收录,并且告诉蜘蛛网站地图的位置,也就是 Sitemap 。如果没有 robots.txt 文件,搜索引擎就会爬取网站目录下的所有界面,这样就会导致一些不想被爬到的页面,以及一些垃圾页面都会被爬取,这样就会影响到网站的SEO效果。

关于robots.txt文件的写法,不同的网站程序有不同的写法,下面给出一个WordPress网站的robots.txt文件的推荐写法,这里只是推荐基础写法,如果网站有其他配置可以进行添加。

robots.txt文件

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
 
Sitemap: https://www.hellopg.cn/sitemap.xml
Sitemap: https://www.hellopg.cn/sitemap.html

robots.txt文件存放位置

robots.txt文件一般都存放在网站的根目录下,可以远程连接网站服务器,在根目录下创建robots.txt文件,或者上传配置好的robots.txt,这里以宝塔面板进行举例。

进入网站的根目录下,新建robots.txt,并且将内容复制保存即可。

WordPress站点robots.txt文件的添加以及优化

添加后可以通过 https://域名/robots.txt 来查看是否配置成功。

https://www.hellopg.cn/sitemap.xml

https://www.hellopg.cn/sitemap.html

到点睡觉了
版权声明:本站原创文章,由 到点睡觉了2021-12-22发表,共计768字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
评论(没有评论)