python学习路线

来源：广州IT培训学院时间：2020/7/27 14:19:02

步、学习各种表达式，并精通1-2种！

     学会了如何爬取网页内容之后，你还需要学会进行信息的提取。事实上，信息的提取你可以通过表达式进行实现，同样，有很多表达式可以供你选择使用，常见的有正则表达式、XPath表达式、BeautifulSoup（bs4）等，这些表达式你没有必要都精通，同样，精通1-2个，其他的掌握即可，在此建议精通掌握正则表达式以及XPath表达式，其他的了解掌握即可。正则表达式可以处理的数据的范围比较大，简言之，就是能力比较强，XPath只能处理XML格式的数据，有些形式的数据不能处理，但XPath处理数据会比较快,而且以后你学习爬虫框架也会用到xpath。

第二步、深入掌握抓包并分析提取需要的内容

     在我们练习的过程中，会经常碰到有反爬措施的网站，而这些网站常使用的措施就是隐藏数据，那么这时我们就要学会使用抓包分析，推荐大家一定要精通浏览器的开发者工具以及fiddler抓包工具，当然其他抓包工具或者抓包插件也可以，没有特别要求。

第三步、精通爬虫框架

      当你学习到这一步的时候，你已经入门了。这个时候，你可能需要深入掌握一款爬虫框架，因为采用框架开发爬虫项目，效率会更加高，并且项目也会更加完善。同样，你可以有很多爬虫框架进行选择，比如Scrapy、pySpider等等，一样的，你没必要每一种框架都精通，只需要精通一种框架即可，其他框架都是大同小异的，在此推荐掌握Scrapy框架.

第四步、反爬的学习和精通常见的反爬

      策略主要有：IP限制UA限制Cookie限制资源随机化存储动态加载技术……对应的反爬处理手段主要有：IP代理池技术用户代理池技术Cookie池保存与处理自动触发技术抓包分析技术+自动触发技术反爬以及反爬处理都有一些基本的套路，万变不离其宗，这些需要我们根据实际情况去选择使用

第五步、seleium+phantomjs(firefox/chorm)等工具的使用

      有一些站点，通过常规的爬虫很难去进行爬取，这个时候，你需要借助一些工具模块进行，比如PhantomJS、Selenium等，所以，你还需要掌握PhantomJS、Selenium等工具的常规使用方法。

第六步、分布式爬虫技术的掌握

      如果你已经学习或者研究到到了这里，那么恭喜你，相信现在你爬任何网站都已经不是问题了，反爬对你来说也只是一道形同虚设的墙而已了。但是，如果要爬取的资源非常非常多，靠一个单机爬虫去跑，仍然无法达到你的目的，因为太慢了。所以，这个时候，你还应当掌握一种技术，就是分布式爬虫技术，分布式爬虫的架构手段有很多，你可以依据真实的服务器集群进行，也可以依据虚拟化的多台服务器进行，你可以采用Scrapy+redis架构手段，将爬虫任务部署到多台服务器中就OK。

尊重原创文章，转载请注明出处与链接：http://www.peixun360.com/1980/news/226511/违者必究！ 以上就是广州IT培训学院 小编为您整理 python学习路线的全部内容。