网络爬虫主要是干什么用的,什么是爬虫软件呢？ _生活知识

网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。
传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。

文章插图
什么是爬虫软件呢？
网络爬虫是一种程序,主要用于搜索引擎,它将一个网站的所有内容与链接进行阅读,并建立相关的全文索引到数据库中,然后跳到另一个网站.样子好像一只大蜘蛛.
当人们在网络上(如google)搜索关键字时,其实就是比对数据库中的内容,找出与用户相符合的.网络爬虫程序的质量决定了搜索引擎的能力,如google的搜索引擎明显要比好,就是因为它的网络爬虫程序高效,编程结构好.
网络爬虫采用的是哪种算法策略？
网络爬虫主要采取两种算法来爬取任务列表里的所有网站内容：深度优先遍历和广度优先遍历。
假设爬虫需要爬取三个网站 A,B,C 的内容，每个网站遍历三层。
所谓深度优先遍历，就是先将A的三层网页爬取完毕，再依次爬取B的三层，最后是C的三层。
【网络爬虫主要是干什么用的,什么是爬虫软件呢？】所谓广度优先遍历，就是依次遍历A,B,C的第一层网页，然后遍历A,B,C的的层网页，然后遍历A,B,C的第三层网页。