好搜蜘蛛haosouspider的抓取效率令人叹为观止


好搜蜘蛛haosouspider的抓取效率令人叹为观止

开始的时候空谷对百度的智能非常佩服,对好搜对于新站的反应比较慢颇有异议,不过好搜后续的表现缺改变了空谷的看法,因此之前写了两篇文章:好搜蜘蛛haosouspider当天抓取当天收录好搜蜘蛛haosouspider的抓取策略与百度蜘蛛baiduspider抓取的区别,空谷今天照常打开好搜站长平台(这是SEO工程师日常的工作之一)查看好搜的抓取数据,发现了一个很美的曲线:
好搜抓取数据.png

从上图可以看到前两天抓取的数据还是平平的,没想到抓取突然暴增到162,这对于一个新站来看是何等的荣幸,百度都没有给予一个新站如此的亲睐,因此空谷非常想知道好搜抓取的页面究竟是什么页面,如果都是JS ,CSS页面,那也是没太大的意义的,然后迫不及待的分析了一下昨天的日志,看了日志之后更是惊讶,抓取的基本是内容页和话题页,下面是提取好搜抓取的数据图:
好搜抓取1.png

好搜抓取2.png

一共是160多条,只剪切前面和后面的数据,再仔细分析数据,抓取的时间基本是凌晨,好搜还是喜欢在夜晚工作的。

然后空谷非常的好奇,好搜为什么突然能抓取那么多有效页面呢(这对搜索引擎来讲是非常有利的,他一下子就能抓取到网站的有效页面,先不谈这些页面的质量,只谈这些页面是否有效),空谷还没有提交sitemap呀,后来才想起首页+发现页面+SEO教程页+之前抓取的页面的相关页面 这些基本能够覆盖了大部分的内容页(有效页面)了。

虽然空谷已经做了6年的SEO工程师,但对蜘蛛如此漂亮的抓取还是有心动的感觉。接下来就要看索引的情况了,这就要看内容的原创度了,这是蜘蛛对一个网站权重的最初步的判断了,因为知新社区还没做任何的推广以及友情链接。见证奇迹的时刻即将到来,期待。
已邀请:

chalisli - 一万小时定律

赞同来自: 水边阿迪丽娜


赞一个,确实漂亮。

要回复问题请先登录注册