搜索引擎技术原理之抓取


搜索引擎技术原理之抓取

百度蜘蛛抓取技术:

Baiduspider,或称百度蜘蛛,会通过搜索引擎系统的计算,来决定对哪些网站施行抓取,以及抓取的内容和频率值。搜索引擎的计算过程会参考您的网站在历史中的表现,比如内容是否足够优质,是否存在对用户不友好的设置,是否存在过度的搜索引擎优化行为等等。

当您的网站产生新内容时,Baiduspider会通过互联网中某个指向该页面的链接进行访问和抓取,如果您没有设置任何外部链接指向网站中的新增内容,则Baiduspider是无法对其进行抓取的。对于已被抓取过的内容,搜索引擎会对抓取的页面进行记录,并依据这些页面对用户的重要程度安排不同频次的抓取更新工作。

需您要注意的是,有一些抓取软件,为了各种目的,会伪装成Baiduspider对您的网站进行抓取,这可能是不受控制的抓取行为,严重时会影响到网站的正常运作。点此识别Baiduspider的真伪。

299306153353.jpg


google蜘蛛抓取技术:

抓取是指Googlebot找出要添加到Google索引中的新网页和更新过的网页的过程。

我们使用大量计算机来提取(或“抓取”)网络上的海量网页。执行抓取任务的程序叫做Googlebot(也被称为漫游器或“蜘蛛”程序)。Googlebot使用算法来进行抓取:计算机程序会确定要抓取的网站、抓取频率以及从每个网站中抓取的网页数量。

Google首先会以一份网页网址列表开始其抓取过程,该列表是在之前进行的抓取过程中形成的,且随着网站站长所提供的站点地图数据的增多而不断扩大。Googlebot在访问每个网站时,会检测每个网页上的链接,并将这些链接添加到它要抓取的网页列表中。新建立的网站、对现有网站所进行的更改以及无效链接都会被记录下来,并用于更新Google索引。

Google不会通过收取费用来提高某个网站的抓取频率。我们会对搜索业务和以盈利为目的的AdWords服务加以区分。
已邀请:

要回复问题请先登录注册