下面是该工具的屏幕截图,显示 Google 使用 BotNext 协议导航(因此是 SPDY): 我将简要解释如何进行测试。首先你应该知道的是,你不能使用脚本语言(例如 PHP 或 Python)来调试 TLS 握手。原因很简单:这些语言只能看到 HTTP 级别的数据。
这个协议很弱;
此外,服务器(包括NGINX)忽略了支持它。 Googlebot 能够 电话号码数据 使用 HTTP/2 进行抓取只是时间问题。只需在您的服务器上实现 HTTP 1.1 + HTTP/2 支持(您的用户会注意到,因为加载速度更快),然后等待 Google 能够使用 HTTP/2 发送请求。
概括 2015 年 11 月,约翰·穆勒 (John Mueller) 表示,他预计 Google 机器人会在 2016 年初通过发送 HTTP/2 请求来抓取网站。我们不知道为什么,截至 2017 年 10 月,这种情况还没有发生。 我们知道 Googlebot 不支持 HTTP/2。
它仍然通过发送
请求来进行爬网。这个实验和“在Google搜索上渲染”页面都 印刷营销材料:5 大优势和 5 大挑战 证实了这一点。 (如果您想了解更多有关 Googlebot 背后的技术,您应该查看他们最近分享的内容。) 目前看来我们必须接受现状。我们建议 Robert(以及您的读者)在其网站上启用 HTTP/2 以获得更好的性能,但继续针对 HTTP/1.1 进行优化。
您的访客会注意到并感谢您
抓取和索引编制一直是过去几年的热门话题。 Google 推出 Google Panda 后,人们就 安圭拉讯息 开始查看服务器日志和抓取统计数据,并开始修复索引膨胀问题。所有这些问题在几年前的“SEO = 反向链接”时代都不存在。随着技术搜索引擎优化的快速发展,我们需要尽可能地掌握技术。
话虽这么说,我们仍然不知
道谷歌如何抓取我们的网站。许多SEO人员仍然无法区分爬行和索引之间的区别。 然而,最大的问题是,当我们想要解决索引问题时,我们的武器库中只有 工具。
一旦您的网站涉及的不仅仅是 HTML 和 CSS,就会有很多关于 Google 如何对您的内容进行排名的猜测。这种方法风险大、成本高,并且可能多次失败。即使您发现网站的某些部分没有正确索引,仍然很难找到问题的根源并找到导致索引问题的代码片段。 幸运的是,这种情况即将改变。