Python爬虫有什么用处

来源：南京中公优就业IT培训机构时间：2020/7/22 11:50:37

　　Python爬虫有什么用处以下是小编为大家整理Python+人工智能知识点的内容。

　　(1) 不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。

　　(2)通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。

　　(3)万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。

　　(4)通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。

　　反爬虫

　　1. 基本的反爬虫手段，主要是检测请求头中的字段，比如：User-Agent、referer等。针对这种情况，只要在请求中带上对应的字段即可。所构造http请求的各个字段好跟在浏览器中发送的完全一样，但也不是必须。

　　2. 基于用户行为的反爬虫手段，主要是在后台对访问的IP(或User-Agent)进行统计，当超过某一设定的阈值，给予封锁。针对这种情况，可通过使用代理服务器解决，每隔几次请求，切换一下所用代理的IP地址(或通过使用User-Agent列表解决，每次从列表里随机选择一个使用)。这样的反爬虫方法可能会误伤用户。

　　3. 希望抓取的数据是如果通过ajax请求得到的，假如通过网络分析能够找到该ajax请求，也能分析出请求所需的具体参数，则直接模拟相应的http请求，即可从响应中得到对应的数据。这种情况，跟普通的请求没有什么区别。

　　4. 基于JavaScript的反爬虫手段，主要是在响应数据页面之前，先返回一段带有JavaScript代码的页面，用于验证访问者有无JavaScript的执行环境，以确定使用的是不是浏览器。

　　通常情况下，这段JS代码执行后，会发送一个带参数key的请求，后台通过判断key的值来决定是响应真实的页面，还是响应伪造或错误的页面。因为key参数是动态生成的，每次都不一样，难以分析出其生成方法，使得无法构造对应的http请求。

尊重原创文章，转载请注明出处与链接：http://www.peixun360.com/3182/news/223343/违者必究！ 以上就是南京中公优就业IT培训机构 小编为您整理 Python爬虫有什么用处的全部内容。