有的站长为了提高网站文章页的权重，屏蔽了一些tag和category页，使用的语法是
User-agent:
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /tag/
Disallow: /category/
Disallow: /i.php?url=
Disallow: /wp-*
但是这样带来一个问题就是凡是 Spider不能爬得页面，是不会显示Google Adsense的，那怎么既屏蔽这些页面又让Google Adsense显示在页面里呢？
在Robots.txt里加入这样一句话：
User-agent: Mediapartners-Google
Disallow:
即可，Mediapartners-Google是Google Adsense的蜘蛛，这句话就是告诉GA的蜘蛛可以爬整个站的内容
参考链接：Google