A 1. 笔记 - python网络爬虫实战笔记 - 崔庆才（7.9--）

谁践踏了优雅 2022-05-19 23:16 158阅读 0赞

# 第1章 开发环境配置 #

--------------------

## 1.1 python3+pip环境配置 ##

1.  Anaconda安装
2.  python.org官网安装
3.  好用的IDLE：pycharm

## 1.2 请求库安装 ##

1.  requests 库  
    `pip install requests`
2.  Selenium 库（抓取JS页面）  
    `pip install selenium`
    
    > pip \[pɪp\]  
    > selenium \[səˈli:niəm\]
3.  ChromeDriver 安装（配合Selenium）
    
    > selenium 安装与 chromedriver安装  
    > [https://blog.csdn.net/qq\_41188944/article/details/79039690][https_blog.csdn.net_qq_41188944_article_details_79039690]
4.  aiohttp 的安装（异步请求库，提高效率）  
    `pip install aiohttp`

## 1.3 解析库的安装 ##

1.  Beautiful Soup 库安装  
    `pip install beautifulsoup4`
2.  tesserocr 的安装  
    先安装 tesseract，再输入`pip install tesserocr pillow`

## 1.4 数据库的安装 ##

1.  mysql ：关系型数据库  
    a. win下安装：下载 mysql server；下载 mysql Front  
    b. mac下安装 `-brew install mysql`
2.  Redis ：基于内存的非关系型数据库

## 1.5 存储库的安装 ##

1.  如果想利用Python3将数据存进MySQL，需要借助PyMySQL实现
2.  PyMySQL 的安装  
    `pip install pymysql`

## 1.6 Web库的安装 ##

1.  利用Web服务程序搭建API接口，供爬虫使用，如维护一个代理池
2.  Flask 安装  
    `pip install flask`
3.  Tornado 安装  
    `pip install tornado`

## 1.7 爬虫框架安装 ##

1.  如果直接用requests、Selenium等库写爬虫，会发现很多代码和组件都是可以复用的，如果把这些组件抽离出来，将各个功能模块化，就会形成一个爬虫框架。
2.  pyspider 安装
3.  Scrapy 安装
4.  Scrapy-Splash 的安装  
    a. 这是一个Scrapy中支持JS渲染的工具  
    b. 首先通过Docker安装Splash，`docker run -p 8050:8050 scrapinghub/splash`

# 第2章 爬虫基础 #

--------------------

## 2.1 HTTP原理 ##

1.  请求头 headers P83

## 2.2 网页基础 ##

1.  HTML、CSS、JavaScript介绍 P87

## 2.4 会话和Cookies ##

1.  两者的定义

## 2.5 代理 ##

1.  在本机和服务器之间加了一个代理服务器，实现IP隐藏
2.  分类：高度匿名代理、普通匿名代理、透明代理、间谍代理

# 第3章 基本库的使用 #

--------------------