坚持为客户提供有价值的服务和内容

影响谷歌抓取网页频率的因素有哪些?优化抓取预算有这几个妙招

雨果跨境 | 2022-09-27 | 分享至:

优化电商网站的抓取预算,可能会影响谷歌的网络爬虫访问制定页面的频率,这也意味着更新内容会更快地出现在谷歌搜索结果中。对于谷歌来说,抓取预算也就是该公司的搜索引擎爬虫Googlebot能够并想要抓取的指定站点上的页面数量。Googlebot在业内也称为谷歌机器人或探测器,被用来抓取网站内容,然后再将其编入到索引数据库中。

需要注意的是,Googlebot抓取网站页面的频率并不影响该页面在指定搜索查询中的排名。但优化抓取预算可能会引导Googlebot发现网站上较为重要的内容。反过来,这可能会影响其中一些页面的排名,尤其是在没有索引的情况下。

2017年,谷歌的研究人员Gary Illyes描述了谷歌是如何决定一个指定网站的抓取预算的,即包含三个部分:抓取限制、抓取需求和其他因素。

抓取限制——为了不降低用户访问网站的体验,谷歌限制了指定网站的最大抓取频率,如果有迹象表明Googlebot正在影响网站的性能,它就会放慢抓取速度,减少访问网站页面的频率。这可能意味着有些页面根本没有索引,相反,如果Googlebot得到服务器的快速响应,它可能会增加访问的频率和强度。

抓取需求——即使抓取速度没有受到限制,如果没有索引的需求,Googlebot的活跃程度也会降低。索引需求可以采取两种形式,对于流行的网站而言,谷歌会想要确保它已经索引到了最新的内容。

其次,谷歌不希望索引陈旧。因此如果Googlebot访问一个站点已经有一段时间了,即使它不受欢迎,也会有相对较大的抓取需求。

其他因素——内容质量和网站结构也很重要。建议避免低质量的内容、某些类型的分面导航、重复或类似的内容。低质量的页面将会消耗抓取预算的很大一部分,这将抢占网站上的有价值的页面抓取活动。

如何优化抓取预算?

用于优化抓取预算的方法也有助于搜索引擎的优化。以下是五个技巧,可以帮助你的电商网站优化爬行预算。即使你的网站没有抓取预算问题,这些方法也同样有利于seo

1、优先考虑Googlebot抓取的内容。让Googlebot屏蔽网站的部分内容,例如一些政策页面、感谢页面、广告着陆页等等。反之,尽可能的增加包含在谷歌索引中的产品页面数量。因此,使用robots.txt和nofollow指令可能对爬行预算优化大有帮助。

2、确保拥有一个优秀的网站地图。网站地图是谷歌发现URL的主要方式之一。虽然不能保证谷歌会抓取或索引指定的页面,但是网站地图可以为你提供帮助。你的网站地图应该是一致的,对于大型网站而言则应该是动态的。

3、减少错误和重定向链。当Googlebot访问网站上的一个页面时,会收到一个状态码200(意思是一切正常)或者一个永久重定向码301。但是要确保一个重定向不会导致链中的另一个重定向。

4、提高网站性能。如果谷歌机器人密集地抓取服务器,则说明其效率正在下降,那么它的速度就会减慢,在这种情况下,在指定时间内抓取的URL数量肯定会减少,因此提高网站性能与爬行预算优化密不可分。

5、保持更新。应该定期更新和整理,为产品细节页面、博客文章和陈旧的内容增加新内容。

(编译/雨果网 宋淑湲)

【特别声明】未经许可同意,任何个人或组织不得复制、转载、或以其他方式使用本网站内容。转载请联系:editor@cifnews.com

扫二维码与项目经理沟通

7*24小时为您服务

解答:网站优化,网站建设,APP开发,小程序开发,H5开发,品牌推广,新闻推广,舆情监测等

  非常感谢您有耐心的读完这篇文章:"影响谷歌抓取网页频率的因素有哪些?优化抓取预算有这几个妙招",更多内容请继续浏览,我们将为您提供更多参考使用或学习交流的信息。我们还可为您提供:网站建设与开发网站优化品牌推广、APP开发、小程序开发新闻推广等服务,我们以“降低营销成本,提高营销效果”的服务理念,自创立至今,已成功服务过不同行业的1000多家企业,获得国家高新技术企业认证,且拥有14项国家软件著作权,将力争成为国内企业心目中值得信赖的互联网产品及服务提供商。如您需要合作,请扫码咨询,我们将诚挚为您服务。
我要咨询
姓名 :
电话 :
文章分类