Robots.txt就是告诉搜索引擎可以收录哪些页面和不能收录哪些页面，可以这样说Robots.txt对我们的网站SEO、网站权重都是很重要的，每一个网站几乎都有这个文件，我们一般都是把Robots.txt这个文件放在我们网站的根目录，今天我们就来讲讲如何利用Robots.txt优化我们的WordPress站点。
1.当我们安装好WordPress后，系统会自动生成一个Robots.txt文件在我们的网站根目录，打开后格式如下：
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/2.但这样的格式是远远不够的，因为这样会会有很多没必要的垃圾页面也会被抓取，从而导致页面收录杂乱无章。
3.相对比较完整的WordPress站点robots.txt文件格式内容如下：
User-agent: * Disallow: /wp-admin/ Disallow: /wp-include/ Disallow: /*/comment-page-* Disallow: /*?replytocom=* Disallow: /*/*page/* Disallow: /category/*/page/ Disallow: /tag/*/page/ Disallow: /*/trackback Disallow: /feed Disallow: /*/feed Disallow: /comments/feed Disallow: /?s=* Disallow: /*/?s=*\ Disallow: /attachment/ Disallow: /demo/ Disallow: /go?url Sitemap: https://www.360mb.net/sitemap.xml
注意：这里是较为完成的格式，其编写含义请看最下面叙述，这里需要注意的是有的人会把Sitemap也写在里面，这样虽然不算作弊，但我查询了一些资料好像都说意义不大，所以就不加了，需要的可以复制下面代码，粘贴到上述代码最下面去。
Sitemap: https://www.360mb.net/sitemap.xml4.下面我们来解释一下第三步代码的意义，以便帮助大家了解写法的意义
1User-agent: *开始配置：所有搜索引擎
2Disallow: /wp-admin/禁止所有搜索引擎访问/wp-admin目录
3Disallow: /wp-include/禁止所有搜索引擎访问/wp-include目录
4Disallow: /*/comment-page-*禁止所有搜索引擎访问/*/comment-page-*目录(包括子目录)
5Disallow: /*?replytocom=*禁止所有搜索引擎访问/*,参数为replytocom=*的页面
6Disallow: /*/*page/*禁止所有搜索引擎访问/*/*page/*目录(包括子目录)
7Disallow: /category/*/page/禁止所有搜索引擎访问/category/*/page目录
8Disallow: /tag/*/page/禁止所有搜索引擎访问/tag/*/page目录
9Disallow: /*/trackback禁止所有搜索引擎访问/*/trackback目录(包括子目录)
10Disallow: /feed禁止所有搜索引擎访问/feed目录(包括子目录)
11Disallow: /*/feed禁止所有搜索引擎访问/*/feed目录(包括子目录)
12Disallow: /comments/feed禁止所有搜索引擎访问/comments/feed目录(包括子目录)
13Disallow: /?s=*禁止所有搜索引擎访问任何带参数的页面
14Disallow: /*/?s=*\禁止所有搜索引擎访问/*/?s=*目录下任何带参数的页面
15Disallow: /attachment/禁止所有搜索引擎访问/attachment目录
16Disallow: /demo/禁止所有搜索引擎访问/demo目录
17Disallow: /go?url禁止所有搜索引擎访问/go,参数为url的页面
18Sitemap: https://www.360mb.net/sitemap.xmlSitemap地址：https
上述就是第三步写法的全部含义，希望对各位站长朋友有所帮助，更多网站模板、网站源码、SEO优化教程等请持续关注360模板吧，我们将持续为你答疑解惑！
