学it 爬虫的本质

来源：南昌达内IT教育培训学校时间：2022/7/12 18:22:06

　　爬虫的本质是什么?

　　模拟浏览器打开网页，获取网页中我们想要的那部分数据

　　浏览器打开网页的过程：

　　当你在浏览器中输入地址后，经过DNS服务器找到服务器主机，向服务器发送一个请求，服务器经过解析后发送给用户浏览器结果，包括html,js,css等文件内容，浏览器解析出来较后呈现给用户在浏览器上看到的结果所以用户看到的浏览器的结果就是由HTML代码构成的，我们爬虫就是为了获取这些内容，通过分析和过滤html代码，从中获取我们想要资源。

　　python爬虫的应用

　　系统编程：提供API(Application Programming Interface应用程序编程接口)，能方便进行系统维护和管理，Linux下标志性语言之一，是很多系统管理员理想的编程工具 。

　　图形处理：有PIL、Tkinter等图形库支持，能方便进行图形处理。

　　数学处理：NumPy扩展提供大量与许多标准数学库的接口。

　　文本处理：python提供的re模块能支持正则表达式，还提供SGML，XML分析模块，许多程序员利用python进行XML程序的开发。数据库编程：程序员可通过遵循Python DB-API(数据库应用程序编程接口)规范的模块与Microsoft SQL Server，Oracle，Sybase，DB2，MySQL、SQLite等数据库通信。python自带有一个Gadfly模块，提供了一个完整的SQL环境。网络编程：提供丰富的模块支持sockets编程，能方便地开发分布式应用程序。很多大规模软件开发计划例如Zope，Mnet 及BitTorrent. Google都在广泛地使用它。

尊重原创文章，转载请注明出处与链接：http://www.peixun360.com/1810/news/545868/违者必究！ 以上就是南昌达内IT教育培训学校 小编为您整理 学it 爬虫的本质的全部内容。