python学什么
来源:上海中公优就业IT培训学院时间:2020/9/1 14:25:03
爬虫与数据分析
1、爬虫页面爬取原理、爬取流程、页面解析工具LXML,Beautifulfoup,正则表达式,代理池编写和架构、常见反爬措施及解决方案、爬虫框架结构、商业爬虫框架Scrapy,基于对爬虫爬取原理、网站数据爬取流程及网络协议的分析和了解,掌握网页解析工具的使用,能够灵活应对大部分网站的反爬策略,具备独立完成爬虫框架的编写能力和熟练应用大型商业爬虫框架编写分布式爬虫的能力。
2、Numpy中的ndarray数据结构特点、numpy所支持的数据类型、自带的数组创建方法、算术运算符、矩阵积、自增和自减、通用函数和聚合函数、切片索引、ndarray的向量化和广播机制,熟悉数据分析利器之一Numpy的常见使用,熟悉ndarray数据结构的特点和常见操作,掌握针对不同维度的ndarray数组的分片、索引、矩阵运算等操作。
3、Pandas里面的数据结构,包括Dataframe、Series和Index对象的基本概念和使用,索引对象的更换及删除索引、算术和数据对齐方法,数据清洗和数据规整、结构转换,熟悉数据分析利器之一Pandas的常见使用,熟悉Pandas中数据对象的使用方法,能够使用Pandas完成数据分析中重要的数据清洗、格式转换和数据规整工作、Pandas对文件的读取和操作方法。
4、matplotlib三层结构体系、各种常见图表类型折线图、柱状图、堆积柱状图、饼图的绘制、图例、文本、标线的添加、可视化文件的保存,熟悉数据分析利器之一Matplotlib的常见使用,熟悉Matplotlib的三层结构,能够熟练使用Matplotlib绘制各种常见的数据分析图表。能够综合利用课程中所讲的各种数据分析和可视化工具完成股票市场数据分析和预测、共享单车用户群里数据分析、幸福指数数据分析等项目的全程实战。
爬虫与数据分析知识点:
网络爬虫开发、数据分析之Numpy、数据分析之Pandas。爬虫与数据分析学习目标:
1.熟练掌握爬虫运行原理及常见网络抓包工具使用,能够对HTTP及HTTPS协议进行抓包分析
2.熟练掌握各种常见的网页结构解析库对抓取结果进行解析和提取
3.熟练掌握各种常见反爬机制及应对策略,能够针对常见的反爬措施进行处理
4.熟练使用商业爬虫框架Scrapy编写大型网络爬虫进行分布式内容爬取
5.熟练掌握数据分析相关概念及工作流程
6.熟练掌握主流数据分析工具Numpy、Pandas和Matplotlib的使用
7.熟练掌握数据清洗、整理、格式转换、数据分析报告编写
8.能够综合利用爬虫爬取豆瓣网电影评论数据并完成数据分析全流程
尊重原创文章,转载请注明出处与链接:http://www.peixun360.com/1978/news/248569/违者必究!
以上就是上海中公优就业IT培训学院 小编为您整理 python学什么的全部内容。