python爬虫架构

来源：南宁达内IT教育培训学校时间：2023/4/27 15:24:51

　　python爬虫架构

　　(一)、了解网络爬虫之前，我们先来了解下搜索引擎的工作原理：

　　做过网页的人都明白，网络上HTML文档使用超链接连接了以来，把这些虚拟化的东西可以形象成一张网，也就是万维网。当你在搜索引擎中输入关键字的时候，就相当于放出了很多的网络爬虫。别忘了，你的电脑正处于万维网的一个节点(一个网站)，而你输入的关键字正指定了一系列的网站。也就是所说的url，而关键字与url的索引，正是有爬虫建立的。这些索引经过了一系列的排序算法才呈现在我们的面前。简单的说，就是我们输入关键字，放出爬虫，爬虫将关键字与相对的网站建立索引，然后经过复杂算法排序呈现出来。只不过这些索引有的早就已经建立完成了，所以我们输入关键字后才会那么快出来网站。

　　(二)、知道了网络爬虫的概念，再来了解下网络爬虫的原理。知道了这些大致的原理，我们才会在写爬虫的时候有全局观念。

　　上面所说，url对应了一个网页，既然是网页，就会有相应的HTML页面。网络爬虫会把这个HTML页面全部抓下来，也页面是字符串。也就是说网络爬虫会把字符串抓下来，然后解析这些字符串，有的字符串解析成图片，有的解析成电影的网址(也就是我们所说的种子!)，总而言之会把文本信息提取出来。而这些文本信息保存在你的电脑运行内存里，并非磁盘，如果想要留下来，只需要保存，就可以把相应的文本信息存下来，这就是爬虫较可怕的地方。因为爬取url和解析文本的时间极短，比你点击鼠标的时间短得多，简单来说，网速正常的情况下，单线程的爬虫，一分钟下载数百张的图片不是问题。

　　(三)、我们来了解下为何使用python来写爬虫：

　　首先，python是脚本语言，这一点是C，C++，java等比不上的，较简单来说，python执行不需要编译，写一行执行一行，知道有错误的地方才会停止运行。它不需要申请太大的进程空间，所以运行效果很好。

　　其次，python有很强大的库，只要import，就可以运行，不需要与库函数再进行链接，这一点C，C++比不上。当然C、C++也有python没有的优点，因为今天python主场，不再讨论。

　　较后，python书写的语法很简单，正则表达式更是简介到不可思议，她还有很好的缩进，使得再多的代码也会显得简洁明了。

　　(四)、写python前，我们需要了解下python如何访问网络。

　　使用过python的人都了解，python自带了很强大的库，而这些库里面又包含很多函数模块。python访问互联网用到的库就是urllib，而请求访问网络的是urllib.request模块。

尊重原创文章，转载请注明出处与链接：http://www.peixun360.com/1658/news/617321/违者必究！ 以上就是南宁达内IT教育培训学校 小编为您整理 python爬虫架构的全部内容。