网络爬虫实战
实战：斗鱼自动发送弹幕
本页源码可以在这里下载。 使用selenium自动发送斗鱼弹幕 首先确定思路，第一次登录，获取到有效cookies之后对cookies进行保存，然后以后直接使用cookies进行登录，模拟点击发送弹幕 阅读更多…
网络爬虫实战
第十四节：爬取搜狗微信
本页代码可以在这里下载。 首先我们需要获取cookies，因为登录和不登录所能看到页面数量是不一样的。 在开发者工具中获取请求头。 这里我没有使用上一节使用的代理池，因为我发现免费的代理效率很差，所以 阅读更多…
网络爬虫实战
第十三节：代理的使用
本页代码可以在这里下载。 1.设置代理 urllib 中使用代理： 代码：其中proxy是代理ip和端口号，验证代理只需要在url中加入验证参数即可。 # -*- coding:utf-8 -*- f 阅读更多…
网络爬虫实战
第十二节：验证码识别
本页代码可以在这里下载。 图形验证码的识别： 这个需要下载第三方识别软件（少量免费）， SDK 下载。 SDK 文档。 首先下载SOK，安装之后我们随便找一张图片： 我们使 阅读更多…
网络爬虫实战
第十一节：爬取淘宝商品
本页代码可以在这里下载。 观察输入数字的节点和确定的节点。然后模拟点击换页，不过淘宝最近已经可以在URL中加了一个selenium参数，已经可以对selenlum进行识别，所以这种方法暂时失效，只能爬 阅读更多…
网络爬虫实战
第十节：动态渲染页面爬取
本页代码可以在这里下载。 当网页不是使用Ajax动态渲染的时候，就没办法使用Ajax，同时还有一些使用Ajax的，但是使用的是加密接口，所以很难找出规律爬取，所以我们使用模拟浏览器来进行爬取，做到可视 阅读更多…
网络爬虫实战
第九节：爬取今日头条
本页代码可以在这里下载。 1.分析网站 首先分析请求报文，取出比较关键的消息头属性。 另外通过分析请求URL我们可以得出请求地址， base_url = ‘https://www.toutiao.co 阅读更多…
网络爬虫实战
第八节：爬取新浪微博
本页代码可以在这里下载。 1.分析请求 打开新浪微博，过滤Ajax请求并查看。 我们可以看到URL中有4个属性值，分别是type、value、containerid和page，其中containeri 阅读更多…
网络爬虫实战
第七节：Ajax数据爬取
Ajax 全称 Asynchronous JavaScript and XML ，即异步的JavaScript和XML。它是利用JavaScript在保证页面被不断刷新、页面链接不改变的前提下与服务器 阅读更多…