蜘蛛原理首先搜索引擎是通过一种特定规律的软件跟踪网页的链接，从一个链接爬到另外一个链接，像蜘蛛在蜘蛛网上爬行一样，所以被称为“蜘蛛”也被称为“机器人”。搜索引擎蜘蛛的爬行是被输入了一定的规则的，它需要遵从一些命令或文件的内容。1990年，加拿大麦吉尔大学（University of McGill）计算机学院的师生开发出Archie。Archie也被成为搜索引擎的鼻祖。而百度也同样使用了这种原理
爬虫原理
