什么是网络爬虫（网络爬虫是什么意思）

1.网络爬虫(在foaf社区中也称为web spider、web robot，更常被称为web chaser)是一种根据一定规则在万维网上自动抓取信息的程序或脚本。其他不常用的名字有ant、自动索引、模拟器或worm。

2.随着网络的飞速发展，万维网已经成为大量信息的载体。如何有效地提取和利用这些信息已经成为一个巨大的挑战。搜索引擎，如传统的通用搜索引擎altavista，雅虎！而谷歌，作为帮助人们检索信息的工具，成为用户访问万维网的入口和向导。