网络爬虫(Crawler)

网络爬虫，有时也被称为蜘蛛或蜘蛛机器人，通常简称为爬虫，是一种系统地浏览万维网的互联网机器人，通常由搜索引擎操作，目的是进行网络索引（网络蜘蛛）。