什么是网络爬虫（什么是爬虫技术）

1.爬虫技术，即web crawler(也称web spider、web robot，foaf社区中更常称之为web chaser)，是根据一定的规则自动抓取万维网上信息的程序或脚本。其他不常用的名字有ant、自动索引、模拟器或worm。

2.根据系统结构和实现技术，webcrawler大致可以分为以下几种：general universal web crawler、focusedwebcrawler、incrementalwebcrawler和deepwebcrawler。实际的网络爬虫系统通常是通过结合几种爬虫技术来实现的。