Python爬虫抓取技术大盘点

来源：邢台IT培训学院时间：2019/8/31 9:31:42

　　Python爬虫抓取技术大盘点

　　1、从爬虫的攻防角度来讲

　　简单的爬虫，是几乎所有服务端、客户端编程语言都支持的http请求，只要向目标页面的url发起一个http get请求，即可获得到浏览器加载这个页面时的完整html文档，这被我们称之为“同步页”。作为防守的一方，服务端可以根据http请求头中的User-Agent来检查客户端是否是一个合法的浏览器程序，亦或是一个脚本编写的抓取程序，从而决定是否将真实的页面信息内容下发给你。

　　这当然是小儿科的防御手段，爬虫作为进攻的一方，完全可以伪造User-Agent字段，甚至，只要你愿意，http的get方法里， request header的 Referrer 、 Cookie 等等所有字段爬虫都可以轻而易举的伪造。此时服务端可以利用浏览器http头指纹，根据你声明的自己的浏览器厂商和版本(来自 User-Agent )，来鉴别你的http header中的各个字段是否符合该浏览器的特征，如不符合则作为爬虫程序对待。这个技术有一个典型的应用，就是 PhantomJS 1.x版本中，由于其底层调用了Qt框架的网络库，因此http头里有明显的Qt框架网络请求的特征，可以被服务端直接识别并拦截。

　　除此之外，还有一种更加变态的服务端爬虫检测机制，就是对所有访问页面的http请求，在 http response 中种下一个 cookie token ，然后在这个页面内异步执行的一些ajax接口里去校验来访请求是否含有cookie token，将token回传回来则表明这是一个合法的浏览器来访，否则说明刚刚被下发了那个token的用户访问了页面html却没有访问html内执行js后调用的ajax请求，很有可能是一个爬虫程序。

　　如果你不携带token直接访问一个接口，这也就意味着你没请求过html页面直接向本应由页面内ajax访问的接口发起了网络请求，这也显然证明了你是一个可疑的爬虫。电商网站Amazon就是采用的这种防御策略。

　　以上则是基于服务端校验爬虫程序，可以玩出的一些套路手段。

尊重原创文章，转载请注明出处与链接：http://www.peixun360.com/2331/news/69880/违者必究！ 以上就是邢台IT培训学院 小编为您整理 Python爬虫抓取技术大盘点的全部内容。