搜索引擎蜘蛛的跟踪链接

时间：2012-3-11

  搜索引擎是以收录最多页面为荣,所以为了抓取网上尽量多的内容,蜘蛛们会跟踪页面上的链接,从一个页面跳转到另一个页面,就好像蜘蛛在蜘蛛网上行走那样,这就是搜索引擎蜘蛛名字的由来.
  整个互联网是由相互链接起来的页面组成,从理论上来说,蜘蛛从任何一个页面出发,顺着链接到可以能在网上找到的任意网页页面.当然,由于网站及面面链接结构异常复杂,蜘蛛需要采取一定的爬策略才能找到所有的页面.

  最简单的爬行收录所有网页策略有两种,一种是深度优先,另一种是广度优先.
  深度优先,是指蜘蛛沿着发现的网页链接一直向前爬行,直到前面再也没有其他链接了,然后返回到第一个页面,沿着另一个链接再一直往前爬行.
  广度优先,是指蜘蛛在一个页面上发现多个链接时,不是顺着一个链接一直向前,而是把页面上所有的第一导链接都爬一遍,然后再治着第二层页面上发现的链接爬向第三层页面.
  从理论上讲,无论是深度优先还是广度优先,只要给蜘蛛足够的时间,都能爬完整个互联网,然而现实是服务器的功能和速度都是有限的,现阶段只能对大一点的网站,或者权重高的网站尽可能的全部收录,所以这也是我们做SEO的目的和要求.