robots.txt文件的作用大家都知道吧,像Google的Googlebot,雅虎的Yahoo Slurp以及 Bing的MSNbot等等,都遵循robots的规则,但是在google中还有adsense机器人,adwords机器人,这些都有其各自特殊的作用,而且在adwords中google也明确表示会对目标页面进行访问,并以此检测目标网页与关键词的相关性。

为用户和广告客户提供高质量的广告服务是我们的重要目标。 为此,我们改进了审核及衡量目标网页质量的方式。 AdWords 系统会对广告客户的目标网页进行检索,帮助我们更好地把握 AdWords 广告整体的相关性及质量。
我们所收集的质量信息将来会影响您的帐户效果。 如果目标网页内容丰富、实用,同时又与关键字和广告文字相关,就会被认为具有较高的质量并会得到较高的质量得分。 这可能意味着您的广告可以使用较低的每次点击费用 (CPC)。 (反之亦然,质量较差的目标网页质量得分较低。)

在提升网站质量得分的案例中也已经提到过,一个好的质量得分需要网页有这些部分,比如隐私政策 、 服务条件等,但我们也知道这些页面在索引中其实并没有多大的作用,大多数人不喜欢在具有较高价值的页面上链接到他们。但这里有一个我们最关注的问题,那就是如果我们把主要索引中的这部分链接排除掉,那adwords的质量得分会不会因为adwords机器人看不到他们而把这部分本来存在的质量分去掉?因为得不到答案,于是就做了一个实验,来说明些问题。
后来我们就在我们的一个页面上做了一个测试,在隐私页面添加了User-agent: *   Disallow: /    阻止所有的机器人来对其访问,可是一个月过去之后,我们关键字的所有的质量得分仍然是great,而且在日志中看到adwords的机器人仍然有访问,于是我们发信询问google客服,得到他们如下回复

为了避免给不了解adwords的客户增加每次点击费用,我们的系统会忽略在robots.txt中对(User-agent: *)的设置。

所以,adwords的机器人是不服从robots中的规则的,除非你明确表示不希望特定的机器人访问你。其实这一点我觉得google做的还是挺好的。
接下来,我们决定使用特定的规则来看adwords机器人是否还会来访问这个页面,User-agent: AdsBot-Google
2天之后,系列中的关键字绝大部分都变成了poor和ok,发现这一点之后,我们紧接着就把robots中的文字改了回来,第二天之后一切恢复了正常。虽然在这里可能会有其他因素的影响,但我觉得这至少说明了质量得分计算中的问题。在后来的测试中,我们还在landingpage也添加了此代码,都得到了类似的结果,这个也就印证了开头提到的。

结论,我们以为在主要的索引中排除掉某些页面会影响到质量得分,但其实adwords的机器人有它自己的规则。希望这篇文章能帮助大家更了解一些页面上的adwords信息。

发表评论

电子邮件地址不会被公开。 必填项已用*标注

Post Navigation