python学习之python爬虫原理

来源：苏州达内IT培训学校时间：2021/12/2 15:36:21

　　今天我们达内IT培训机构小编要向大家详细解说python爬虫原理，什么是python爬虫，python爬虫工作的基本流程是什么等内容，希望对这正在进行python爬虫学习的同学有所帮助!

　　前言

　　简单来说互联网是由一个个站点和网络设备组成的大网，我们通过浏览器访问站点，站点把HTML、JS、CSS代码返回给浏览器，这些代码经过浏览器解析、渲染，将丰富多彩的网页呈现我们眼前;

　　一、爬虫是什么?

　　如果我们把互联网比作一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛，

　　沿着网络抓取自己的猎物(数据)爬虫指的是：向网站发起请求，获取资源后分析并提取有用数据的程序;

　　从技术层面来说就是 通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据(图片、视频) 爬到本地，进而提取自己需要的数据，存放起来使用;

　　二、爬虫的基本流程：

　　用户获取网络数据的方式：

　　方式1：浏览器提交请求--->下载网页代码--->解析成页面

　　方式2：模拟浏览器发送请求(获取网页代码)->提取有用的数据->存放于数据库或文件中

　　爬虫要做的就是方式2;

　　1、发起请求

　　使用http库向目标站点发起请求，即发送一个Request

　　Request包含：请求头、请求体等

　　Request模块缺陷：不能执行JS 和CSS 代码

　　2、获取响应内容

　　如果服务器能正常响应，则会得到一个Response

　　Response包含：html，json，图片，视频等

　　3、解析内容

　　解析html数据：正则表达式(RE模块)，第三方解析库如Beautifulsoup，pyquery等

　　解析json数据：json模块

　　解析二进制数据:以wb的方式写入文件

　　4、保存数据

　　数据库(MySQL，Mongdb、Redis)

尊重原创文章，转载请注明出处与链接：http://www.peixun360.com/1707/news/446588/违者必究！ 以上就是苏州达内IT培训学校 小编为您整理 python学习之python爬虫原理的全部内容。