Python —— 如何自学Python

￡神魔★判官ぃ 2021-09-27 09:32 549阅读 0赞

Python是一门通用的编程语言，在过去十年中被数据科学领域广泛使用。事实上，Python在数据科学领域是仅次于R的[第二热门的编程语言][Link 1]。

本篇文章的主要目的在于向大家展示使用Python学习数据科学有多么的容易。你可能以为自己要先成为一名高级Python程序员，然后才能进行通常与数据科学相关的复杂任务，然而事实并非如此。Python附带了很多有用的工具库，它们可以在后台为你提供强大的支持。你甚至不需要知道程序在运行什么，你不必关心这些。唯一你真正需要知道的是，你需要执行一些特定的任务，而Python使这些任务变得相当简单。

那么，让我们现在就开始吧。

### 配置数据科学所需的Python环境 ###

无论你使用的电脑是Mac还是Windows，我都建议你下载一个免费的能够让你轻松访问尽可能多的有用模块的Python发行版本。

我试用了一些Python的发行版本，在这里，我推荐大家使用[Continuum Analytics提供的Anaconda][Continuum Analytics_Anaconda]。这个Python发行版本包含200多个工具库。要理解Python中包、模块和库的差异，请查阅[这篇文章][Link 2]。

在你下载Anaconda的时候，你需要选择下载Python 2版本还是Python 3版本。我强烈建议你使用Python 2.17.12版本。截止到2016年底，绝大多数的非计算机科学的Python用户都使用了这个Python版本。它能够出色地完成数据科学任务，比Python 3更容易学习，而且像GitHub这样的网站中有数百万的Python脚本和代码片段，可供大家参考，生活会变得更加容易。

Anaconda也附带了Ipython编程环境，建议大家使用。安装Anaconda后，只需要导航到Jupyter笔记本并开启程序，就可以在Web浏览器中打开IPython。Jupyter笔记本的程序会自动启动Web浏览器中的应用程序。

![294afd9ee97c7c51f0f3a2bec2b028123933a786][]

你可以参考[这篇文章][Link 3]了解如何在Ipython笔记本中更改路径。

### 基础知识学习 ###

在你深入了解Python的数据科学库之前，你首先需要学习一些Python的基础知识。Python是一门面向对象的编程语言。在Python中，对象既可以赋值给一个变量，也可以作为参数传递给一个函数。以下都是Python中的对象：数字、字符串、列表、元组、集合、字典、函数以及类。

Python中的函数与普通数学中的函数基本上是一致的——它接收输入数据，对数据进行处理并输出结果。输出的结果完全取决于函数是如何被设计的。另一方面，Python中的类是被设计为输出其他对象的对象的原型。

如果你的目标是编写快速、可复用、易于修改的Python代码，那么你必须使用函数和类。使用函数和类有助于保证代码的高效与整洁。

现在，让我们看看Python中有哪些可用的数据科学工具库。

### 科学计算：Numpy与Scipy ###

Numpy是一个主要用于处理n维数组对象的Python工具包，而Scipy则提供了许多数学算法与复杂函数的实现，可用来扩展Numpy库的功能。Scipy库为Python添加了一些专门的科学函数，以应对数据科学中的一些特定任务。

为了在Python中使用Numpy（或其他任何Python库），你必须首先导入对应的工具库。

![6cc4a1539315a415495f2faf7d3843972c03ddd0][]

*np.array(scores)* 将一个列表转换成一个数组。

当你使用普通的Python程序时——未使用任何外部扩展（例如工具库）的Python程序——你只能受限地使用一维列表来存储数据。但是，如果你使用Numpy库来扩展Python，你可以直接使用n维数组。（如果你想知道的话，n维数组是包含一个或多个维度的数组。）

最开始就学习Numpy，是因为在使用Python进行科学计算时Numpy必不可少。对Numpy的深入了解将有助于你高效地使用Pandas和Scipy这样的工具库。

### 数据再加工：Pandas ###

Pandas是数据再加工过程中使用的最为广泛的工具。它包含为使数据分析更加快速便捷而设计的高级数据结构与数据操作工具。对于使用R语言进行统计计算的用户，一定不会对DataFrame的变量名感到陌生。

Pandas是Python成长为一个强大而高效的数据分析平台的关键因素之一。

接下来，我将向你展示如何使用Pandas处理一个小型数据集。

![a8cf30a1383362a453db14c88a46cbf264ec5958][]

DataFrame是一个电子表格结构，包含一个有序的列集合。每个列都可以有不同的变量类型。DataFrame既包含行索引，也包含列索引。

![d3c5c955bfb1bea1d17ee459990fa482cbd253ff][]

### 可视化：Matplotlib + Seaborn + Bokeh ###

Matlplotlib是Python中一个用于数据可视化的模块。Matplotlib可使你轻松地绘制线形图、饼状图、直方图以及其他专业图表。

你可以使用Matplotlib自定义图表中的每个细节。当你在IPython中使用Matplotlib时，Matplotlib具备缩放、平移等交互特性。Matplotlib在所有操作系统上均支持不同的GUI后端，同时，它也可以将图表导出为若干种常见的图像格式，如PDF、SVG、JPG、PNG、BMP、GIF等。

![14a65a4f1e4cf8e9f21157a34b2691d5c41d7dfb][]

Seaborn是一个基于Matplotlib的数据可视化工具库，用来在Python中创建富有吸引力且内容翔实的统计图表。Seaborn的主要特点在于，其仅使用相对简单的命令就可以从Pandas数据中创建出复杂的图表类型。我使用Seaborn绘制了下面这幅图：

![a6e0aabf56c941972066039b0eb92e6f7427c9c7][]

### 机器学习: Scikit-learn ###

机器学习的目标在于通过向机器（软件）提供一些示例（如何执行任务或者执行什么无法完成任务）来教会机器执行任务。

Python中有很多机器学习的工具库，然而，Scikit-learn是最受欢迎的一个。Scikit-learn建立在Numpy、Scipy与Matplotlib库之上。基于Scikit-learn库，你几乎可以实现所有的机器学习算法，如回归、聚类、分类等等。因此，如果你打算使用Python学习机器学习，那么我建议你从学习Scikit-learn开始。

[K近邻算法][K]可用于分类或回归。下面这段代码展示了如何使用KNN模型对鸢尾花数据集进行预测。

![affeb624ec5a3c8814a2332af48b9ff5c24edbf3][]

![cb9f9293512a91c4da1c47c31ae190a3460c26be][]

其他的一些机器学习库还有：

*  [Theano][]
 *  [Pylearn2][]
 *  [Pyevolve][]
 *  [Caffe][]
 *  [Tensorflow][]

### 统计学：Statsmodels与Scipy.stats ###

Statsmodels和Scipy.stats是Python中两个热门的统计学习模块。Scipy.stats主要用于概率分布的实现。另一方面，Statsmodels则为统计学模型提供了类似于R的公式框架。包括描述统计学、统计检验、绘图函数以及结果统计在内的扩展功能均适用于不同类型的数据以及每一种估计器。

下面的代码展示了如何使用Scipy.stats模块调用正态分布。

![07f098eb0cedcb28937177c13390ba93143eb067][]

![7905479d4377cb66ad7e452c731433023ec87759][]

[正态分布][Link 4]是一种连续的输入为实线上任何值的分布或函数。正态分布可通过以下两个参数进行参数化：分布的均值μ以及方差σ2。

Web抓取：Requests、Scrapy与BeautifulSoup  
Web抓取表示从网络中获取非结构化数据（通常为HTML格式），并将其转换为便于分析的结构化格式数据的过程。

深受欢迎的用于Web抓取的工具库有：

*  Scrapy
 *  URl lib
 *  Beautifulsoup
 *  Requests

要从网站中爬取数据，你需要了解一些HTML的基本知识。

这里有一个使用BeautifulSoup库进行网络爬取的示例：

> *import urllib2  
> import bs4*

![015460c8042ff4e80e891f9e9311a6a3d95c9b05][]

代码beautiful = urllib2.urlopen(url).read();前往bigdataexaminer.com并获取了网站对应的整个HTML文本。随后，我将文本存储在变量beautiful中。

我使用了urllib2来获取url为[http://www.bigdataexaminer.com/][http_www.bigdataexaminer.com] 的网站页面，你也可以使用Requests做同样的事情。[这里][Link 5]有篇文章可以帮助你了解urllib2和Requests间的差别。

Scrapy与BeautifulSoup类似。后端工程师Prasanna Venkadesh在[Quora][]上解释了这两个工具库的差别：

> \_"Scrapy是一个Web爬虫，或者说，是一个Web爬虫框架，你为Scrapy提供一个开始抓取操作的根URL，然后你可以指定一些约束，例如要抓取多少个URL等等，这是一个用于Web抓取或爬取的完整框架。

而BeautifulSoup则是一个解析库，它也可以出色地页面爬取任务，并允许你轻松地解析页面中的某些内容。但是，BeautifulSoup只会抓取你提供URL的页面的内容。它不会抓取其他页面，除非你以一定方式手动地将页面URL添加到循环中来。  
简单来说，你可以用BeautifulSoup构建出与Scrapy类似的东西。但是BeautifulSoup是一个Python库，而Scrapy则是一个完整的框架。"\_

### 结论 ###

现在，你知道了Python的一些基础知识以及这些工具库的用途。是时候使用你所学到的知识来解决具体的数据分析问题了。你可以先处理结构化的数据集，之后可以解决那些复杂的非结构化数据分析问题了。

[Link 1]: http://www.kdnuggets.com/2016/06/r-python-top-analytics-data-mining-data-science-software.html
[Continuum Analytics_Anaconda]: https://www.continuum.io/downloads
[Link 2]: http://knowpapa.com/modpaclib-py/
[294afd9ee97c7c51f0f3a2bec2b028123933a786]: /images/20210923/51ca012534584a47b3ba30824fb9510d.png
[Link 3]: https://learnpythonthehardway.org/book/appendix-a-cli/ex5.html
[6cc4a1539315a415495f2faf7d3843972c03ddd0]: /images/20210923/fbcde257db434cb2875c05346708ef62.png
[a8cf30a1383362a453db14c88a46cbf264ec5958]: /images/20210923/ad146449851048ff82e79583f8e341db.png
[d3c5c955bfb1bea1d17ee459990fa482cbd253ff]: /images/20210923/ba9f8dcd63bd4da09c8dc26fbe569a89.png
[14a65a4f1e4cf8e9f21157a34b2691d5c41d7dfb]: /images/20210923/a00202d542fb4ce9b8dd662c92e3c6c9.png
[a6e0aabf56c941972066039b0eb92e6f7427c9c7]: /images/20210923/90f338b0dc5e4dbda0d25a1498d9902a.png
[K]: https://www.youtube.com/watch?v=UqYde-LULfs
[affeb624ec5a3c8814a2332af48b9ff5c24edbf3]: /images/20210923/698d5a7858bf4352b01d30f30aa81223.png
[cb9f9293512a91c4da1c47c31ae190a3460c26be]: /images/20210923/55effa7f83e64840a41f15de7622395e.png
[Theano]: http://deeplearning.net/software/theano/
[Pylearn2]: http://deeplearning.net/software/pylearn2/
[Pyevolve]: http://pyevolve.sourceforge.net/
[Caffe]: http://caffe.berkeleyvision.org/
[Tensorflow]: https://www.tensorflow.org/?spm=a2c4e.11153940.blogcont68270.23.56a7601fdG2Lcx
[07f098eb0cedcb28937177c13390ba93143eb067]: /images/20210923/fccd724b86134b179e01e3cf7a4b1f18.png
[7905479d4377cb66ad7e452c731433023ec87759]: /images/20210923/2a2906efff3e4a93a2bebfa2845f5d69.png
[Link 4]: http://www.mathsisfun.com/data/standard-normal-distribution.html
[015460c8042ff4e80e891f9e9311a6a3d95c9b05]: /images/20210923/6844995f96b3409e921f8c418d7083ca.png
[http_www.bigdataexaminer.com]: http://www.bigdataexaminer.com/
[Link 5]: http://stackoverflow.com/questions/2018026/what-are-the-differences-between-the-urllib-urllib2-and-requests-module
[Quora]: https://www.quora.com/Python-programming-language-1/How-is-BeautifulSoup-different-from-Scrapy