什么是抓取记录？
Google的目标是为网络搜索用户提供有用的信息。为实现这一目标，Google希望抓取质量来源的内容并对其进行索引。
抓取网络的成本很高：谷歌每年会投入很大的费用来做这个事情，只是为了抓取网站。为了抓取尽可能多的有用页面，机器人必须遵循规划算法，优先考虑要抓取哪些页面以及何时抓取。谷歌的页面重要性是有一种可衡量的方法来确定哪些页面可以优先排序。
每个站点都没有爬网设置值的索引。相反，可用的抓取是根据Google认为您的服务器将处理的内容以及它认为用户对您网页的兴趣来分发的。
您网站的抓取页面多少是量化Google花费多少时间的一种方式，表示为每天的平均页数。
为什么要优化抓取记录？
感谢OnCrawl在数亿页面上的数据，我们还了解到Google抓取网页的频率与收到的展示次数之间存在很强的相关性：在搜索结果中更频繁地看到抓取次数较多的网页。
展示次数与抓取频率之间的关系
此关联意味着您可以使用抓取预算优化作为策略来提升搜索结果中的一组网页。如果您的网站包含季节性网页，则这些网页可以作为基于优化抓取频率的促销活动的绝佳候选对象。
要将这些网页置于搜索结果的最前端，您需要在适当的季节性时段内将其推广到Google网站上其他类型的网页之上。
使用页面优化策略，您可以将Google的注意力吸引到某些网页，而不是其他网页，以增加网站上受季节性影响的网页上的展示次数。
比如：
- 优化您的网站抓取页面。
- 使用链接到站点结构中主页类别的“聚合”来减少重要季节页面的深度。
- 通过从相关页面创建反向链接来增加重要页面的内部流行度。
内部链接数与爬网频率之间的关系
监控抓取页面
Google Search Console将为所有Google漫游器的访问提供复合抓取统计值。除了官方的12个机器人之外，在OnCrawl我们注意到了一个新的机器人：Google AMP机器人。此数据包括所有机器人命中的所有URL（包括JavaScript，CSS，字体和图像URL）。由于机器人行为的差异，给出的值是平均值。例如，由于AdSense和移动设备机器人必须完全呈现每个页面，因此与桌面Googlebot不同，所提供的页面加载时间是完整加载时间和部分加载时间之间的平均值。
这对于SEO分析来说不够精确。
因此，衡量网站抓取页面的最可靠方法是定期检查网站的服务器日志。如果您不熟悉服务器日志，很简单：Web服务器记录每个活动。这些日志通常用于诊断站点性能问题。
记录的一个活动是对URL的请求。在日志中，此类活动的行将包括有关发出请求的IP地址的信息，URL，日期和时间以及状态代码形式的结果。
示例：
www.mywebsite.com:443 66.249.73.156 [15 / Aug / 2018：00：02：59 +0000]“GET / news / my-article-URL HTTP / 1.1”200 44506“Mozilla / 5.0（兼容; Googlebot / 2.1; + http：//www.google.com/bot.html）“
通过识别来自搜索谷歌机器人的所有请求，您可以准确地测量给定时间段内谷歌机器人命中的数量。这是您的抓取页面。
此方法无法告诉您Google是否会给您的网站足够的关注。具有日志监控功能的SEO爬虫（如OnCrawl）提供了额外的指标来诊断爬网预算的运行状况。
由于您的抓取页面允许对新页面和更新页面建立索引，因此快速解决问题和突然更改至关重要。
服务器问题
如果您的网站速度太慢或服务器返回太多超时或服务器错误，Google会断定您的网站无法支持对其网页的更高要求。
您可以通过修复400和500级状态代码以及修改与页面速度相关的服务器相关因素来纠正感知到的服务器问题。
由于日志指示返回的状态代码和下载的字节数，因此日志监视是诊断和更正服务器问题的关键。
如果您的站点托管在共享服务器上，您仍然可以通过缓存，CDN，适当大小来做映像，更新PHP版本以及使用惰性或异步加载技术来提高服务器性能。
提高网站内容质量
Google的官方声明（无论是代表还是网站管理员支持页面）都表明您的抓取页面受到内容质量的强烈影响。
通过OnCrawl组合日志数据和语义分析的证据支持这一事实。我们发现大多数网站都显示出以下关系：
- 文章数量和爬虫行为。
- 重复内容和爬虫行为。
- 网站内部权重和抓取行为。
您还应利用优质内容的优势，通过以下方式强化较弱的页面：
- 外部反向链接。
- 内部链接结构。
- 规范网站页面。
- 审核和站点爬虫的报告表明这些组中的哪些页面将从改进中获益最多。
完成以上改进后，请继续监控网站的抓取记录。这使您可以测量结果并准备好对更改做出反应。
