1.anaconda的安装（Python3安装）
官方网站：https://www.continum.io/downloads
清华大学镜像：https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/
如果官网下载速度太慢可以从清华大学镜像下载。
2.requests的安装
在命令行中输入 pip install requests
3.selenium的安装
是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击、下拉等操作。
在命令行中输入 pip install selenium
4.Chromedriver的安装
首先下载Chrome然后查看Chrome的版本，然后查看下面版本对应的Chromedriver版本号下载
下载地址：http://chromedriver.storage.googleapis.com/index.html
----------ChromeDriver v2.40 (2018-06-07)---------- Supports Chrome v66-68 ----------ChromeDriver v2.39 (2018-05-30)---------- Supports Chrome v66-68 ----------ChromeDriver v2.38 (2018-04-17)---------- Supports Chrome v65-67 ----------ChromeDriver v2.37 (2018-03-16)---------- Supports Chrome v64-66 ----------ChromeDriver v2.36 (2018-03-02)---------- Supports Chrome v63-65 ----------ChromeDriver v2.35 (2018-01-10)---------- Supports Chrome v62-64 ----------ChromeDriver v2.34 (2017-12-10)---------- Supports Chrome v61-63 ----------ChromeDriver v2.33 (2017-10-03)---------- Supports Chrome v60-62 ----------ChromeDriver v2.32 (2017-08-30)---------- Supports Chrome v59-61 ----------ChromeDriver v2.31 (2017-07-21)---------- Supports Chrome v58-60 ----------ChromeDriver v2.30 (2017-06-07)---------- Supports Chrome v58-60 ----------ChromeDriver v2.29 (2017-04-04)---------- Supports Chrome v56-58 ----------ChromeDriver v2.28 (2017-03-09)---------- Supports Chrome v55-57 ----------ChromeDriver v2.27 (2016-12-23)---------- Supports Chrome v54-56 ----------ChromeDriver v2.26 (2016-12-09)---------- Supports Chrome v53-55 ----------ChromeDriver v2.25 (2016-10-25)---------- Supports Chrome v53-55 ----------ChromeDriver v2.24 (2016-09-09)---------- Supports Chrome v52-54 ----------ChromeDriver v2.23 (2016-08-04)---------- Supports Chrome v51-53 ----------ChromeDriver v2.22 (2016-06-06)---------- Supports Chrome v49-52 ----------ChromeDriver v2.21 (2016-01-28)---------- Supports Chrome v46-50 ----------ChromeDriver v2.20 (2015-10-08)---------- Supports Chrome v43-48 ----------ChromeDriver v2.19 (2015-08-28)---------- Supports Chrome v43-47 ----------ChromeDriver v2.18 (2015-08-19)---------- Supports Chrome v43-46
下载完成之后需要将Chromedriver添加到环境变量中，或者将文件添加到python的Scripts文件夹下。
然后我们测试安装，运行下列代码：
from selenium import webdriver browser = webdriver.Chrome()
如果会弹出一个崭新的Chrome页面，则安装成功。
5.PhantomJS的安装
是一个无界面的、可脚本编程的WebKit浏览器引擎。
我们访问官网：http://phantomjs.org/download.html
也可以访问国内镜像：http://npm.taobao.org/dist/phantomjs
官网：
国内镜像：
下载并安装。
验证安装，执行下列程序：
from selenium import webdriver
browser = webdriver.PhantomJS()
browser.get('https://www.baidu.com')
print(browser.current_url)
如果控制台内输出了https://www.baidu.com 并且没有弹出网页，则证明安装成功。
7.aiohttp的安装
一个提供异步Web服务的库。
命令行中输入
pip install aiohttp
同时再安装一个字符编码检测库cchardet 和加速DNS的解析库aiodns
pip install cchardet aiodns
8.lxml的安装
是Python的一个解析库，支持HTML和XML解析，支持XPath解析方式，而且解析效率非常高。
命令行中输入 pip install lxml
9.Beautiful Soup4的安装
是Python的一个HTML或XML的解析库。
命令行中输入 pip install beautifulsoup4
10.pyquery的安装
同样是一个非常强大的网页解析工具，提供了jQuery类似的语法来解析HTML文档，支持CSS选择器。
命令行中输入：pip install pyquery
11.OCR的安装
主要用来识别图形验证码等图片。
腾讯OCR：https://cloud.tencent.com/product/ocr
百度OCR：https://login.bce.baidu.com/
12.MongoDB的安装
MongoDB是由C++编写的非关系数据库，内容存储形式类似JSON对象，字段值可以包含其他文档、数组以及文档数组，非常灵活。
官方网站：https://www.mongodb.com
下载安装完成之后在bin的同级目录下新建文件夹data和logs，并在data下新建db文件夹，在logs下新建mongodb.log、
随后在命令行下输入：
mongod –bind_ip 0.0.0.0 –logpath “xxxxxxxxxxxxx\logs\mongodb.log” –logappend –dbpath “xxxxxxxxxxx\data\db” –port 27107 –serviceName “MongoDB” –serviceDisplayName “MongoDB” –install
其中0.0.0.0 是指任意IP可以访问。（注意替换目录xxxxxxxxx）
随后我们在计算机管理中可以看到MongoDB，可以设置手动或者自动运行
同时推荐下载MongoDB的可视化软件robo 3T
下载链接：https://robomongo.org/download
13.Redis的安装
是一个基于内存的高效的非关系型数据库。
官方网站：http://www.redis.cn
windows下载地址：https://github.com/MSOpenTech/redis/releases
安完之后我们发现在计算机管理中该服务已经被添加进来。
同时推荐下载可视化管理工具 Redis Desktop Manager
官方网站：https://redisdesktop.com/download
14.PyMongo的安装
Python与MongoDB进行交互。
命令行中输入 pip install pymongo
15.redis-py的安装
Python与Redis进行交互。
命令行中输入 pip install redis
16.RedisDump的安装
数据导入\导出的工具，基于Ruby实现，所以需要先安装Ruby。
然后在命令行中输入 gem install redis-dump
17.Flask的安装
是一个轻量级的Web服务程序。
命令行中输入 pip install flask
18.Tornado的安装
是一个支持异步的Web框架。
命令行中输入 pip install tornado
19.Charles的安装
一个网络抓包工具。
官网网站：https://www.charlesproxy.com
这个软件是付费软件，免费30天并延时10秒打开，超过时间每次使用时间不得超过30分钟。
证书配置：首先我们点击Help–> SSL proxying –> install charles root certificate
mac下：选择始终信任。
win下：点击安装证书
点击下一步
点击 将所有的证书都放入下列存储 –> 收信任的根证书颁发机构
确定 确定 再确定。
手机上首先需要和电脑在同一局域网下，然后手机将代理设置成电脑的ip，端口是8888，这时候电脑上会弹出窗口提示是否允许，点击允许，然后使用浏览器访问chls.pro/ssl 下载并安装证书（IOS高版本还需要确认证书权限，在通用–>关于–>证书 ）。
20.mitmproxy的安装
是一个支持HTTP/HTTPS的抓包程序，以控制台的形式操作。
github：https://github.com/mitmproxy/mitmproxy/releases
官方网站：https://mitmproxy.org
下载后直接安装即可。
证书配置：
打开C盘下 用户 并打开 .mitmproxy
win下：双击mitmproxy-ca.p12 然后就是上面讲过的安装证书。
mac下：双击mitmproxy-ca-cert.pem，选择始终信任。
手机端证书安装和上面一样，同一局域网下访问mitm.it 然后选择设备类型，下载并安装证书即可。
21.pyspider的安装
是国人binux编写的强大的网络爬虫框架。
命令行中输入 pip install pyspider
22.Scrapy的安装
一个十分强大的爬虫框架。
命令行中输入 conda install Scrapy
23.Scrapy-Redis的安装
是Scrapy的分布扩展模块。
命令行中输入 pip install scrapy-redis
1 条评论
rainary · 2018-11-04 19:46
跪舔煜神