|
Post by account_disabled on Dec 30, 2023 3:23:32 GMT
并确保最关键的内容得到抓取和索引。 让我们看看这是如何完成的,通常从头开始。 什么是抓取预算? 爬网预算是爬网程序将在网站上执行的资产请求的预定数量。网站的抓取预算由搜索引擎确定,一旦达到,抓取工具将停止访问网站上的内容。 每个网站的抓取预算并不相同。相反,搜索引擎使用广泛的标准来确定爬虫应在给定的网络实体上花费多长时间。 与与谷歌算法相关的许多事情一样,我们并不知道所有这些因素。然而,我们知道一些: 网站的性能。较慢的网站很可能会获得与优化良好的网站不同的预算。 尺寸。较大的站点将获得更多的预算分配。 内容的新鲜度。谷歌将给予经 手机号码数据 常发布或更新其页面的网站更多的时间进行抓取。 网站上的链接等等。 作为最佳实践,理想情况下,爬网程序访问所有网站内容所需发出的请求数应低于爬网预算。不幸的是,情况并非总是如此,这会导致严重的指数化问题。 抓取预算对 Googlebot 意味着什么 到目前为止,我们已经从您的角度考虑了抓取预算 - 网站所有者或营销人员,其任务是提高搜索可见性。但预算也在很多方面影响搜索引擎。 根据 Google 自己的Gary Illyes的说法,对于 Googlebot,抓取预算由两个要素组成: 爬行率 撇开其技术方面不谈,抓取网站的工作原理与人类用户访问该网站非常相似。 Googlebot 请求访问各种资产(页面、图像或服务器上的其他文件),其方式与用户操作网络浏览器的方式非常相似。 这意味着抓取会耗尽其主机分配给网站的服务器资源和带宽限制。 因此,过多的爬行可能会产生与突然有一批访问者同时登陆您的网站类似的效果。简而言之:它可能会破坏网站。它可能会降低其性能或使其完全过载。 抓取速率可防止机器人过于频繁地发出过多请求并破坏网站的性能。
|
|