本文目录一览：
- 1、什么是“蜘蛛程序”？
- 2、蜘蛛是什么工作呢？
- 3、蜘蛛程序的主要任务是
什么是“蜘蛛程序”？
在互联网发展初期，网站相对较少，信息查找比较容易。然而伴随互联网爆炸性的发展，普通网络用户想找到所需的资料简直如同大海捞针，这时为满足大众信息检索需求的专业搜索网站便应运而生了。 现代意义上的搜索引擎的祖先，是1990年由蒙特利尔大学学生Alan Emtage发明的Archie。虽然当时World Wide Web还未出现，但网络中文件传输还是相当频繁的，而且由于大量的文件散布在各个分散的FTP主机中，查询起来非常不便，因此Alan Emtage想到了开发一个可以以文件名查找文件的系统，于是便有了Archie。 Archie工作原理与现在的搜索引擎已经很接近，它依靠脚本程序自动搜索网上的文件，然后对有关信息进行索引，供使用者以一定的表达式查询。由于Archie深受用户欢迎，受其启发，美国内华达System Computing Services大学于1993年开发了另一个与之非常相似的搜索工具，不过此时的搜索工具除了索引文件外，已能检索网页。
蜘蛛是什么工作呢？
蜘蛛是一种按照一定的规则自动去抓取互联网信息的程序或者脚本。各大搜索引擎他们最核心的一项技术就是蜘蛛的技术。
百度蜘蛛的爬行规律，互联网永远稀缺优质的内容，所以只要保持网站的内容更新频率和质量，蜘蛛就会经常光顾，并且给你好评，好评的结果就是你的排名上升。
蜘蛛的工作原理
各大搜索引擎都会派出它自己的蜘蛛程序，然后进入到互联网上去抓取，把抓取到的所有内容存到它的网页内容库里面，然后在内容库里面再通过索引程序做一个索引库，最终展现在用户面前的只有一个简单的搜索框，然后用户通过搜索框输入一个关键词，然后就会马上快速的去找到对应的内容，这就是一个搜索引擎蜘蛛的工作原理。-蜘蛛程序
蜘蛛程序的主要任务是
蜘蛛程序的主要任务是抓取网页。蜘蛛程序，它无时无刻不在运行，主要任务是从因特网上搜集各种的信息资源，然后通过压缩处理等手段，使其占用空间变小，最终存到存储库里，为日后用户检索做准备。
