吐血整理：43种机器学习开源数据集（附地址/调用方法）

爱被打了一巴掌 2022-12-29 04:42 325阅读 0赞

![format_png][]

**导读：**学习机器学习是一个不断探索和实验的过程，因此，本文将主要介绍常见的开源数据集，便于读者学习和实验各种机器学习算法。

作者：张春强 张和平 唐振

来源：大数据DT（ID：hzdashuju）

![format_png 1][]

**01 开源数据集介绍**

在学习机器学习算法的过程中，我们经常需要数据来学习和试验算法，但是找到一组适合某种机器学习类型的数据却不那么方便。下文对常见的开源数据集进行了汇总。

**1. UCI数据集**

*  **类型：**比较全面，各类型数据都有涉及
 *  **网址：**
    
    http://archive.ics.uci.edu/ml/datasets.php

**2. Kaggle竞赛数据集**

*  **类型：**比较全面，各类型数据都有涉及
 *  **网址：**https://www.kaggle.com/datasets

**3. ImageNet**

*  **类型：**计算机视觉数据
 *  **网址：**http://image-net.org/

**4. VisualData**

*  **类型：**计算机视觉数据
 *  **网址：**https://www.visualdata.io/

**5. MS COCO**

*  **类型：**计算机视觉数据
 *  **网址：**http://mscoco.org/

**6. Stanford CoreNLP**

*  **类型：**情感分析数据
 *  **网址：**
    
    http://nlp.stanford.edu/sentiment/code.html

**7. IMDB**

*  **类型：**情感分析数据
 *  **网址：**
    
    http://ai.stanford.edu/~amaas/data/sentiment/

**8. Sentiment140**

*  **类型：**情感分析数据
 *  **网址：**
    
    http://help.sentiment140.com/for-students/

**9. HotspotQA**

*  **类型：**自然语言处理
 *  **网址：**https://hotpotqa.github.io/

**10. Enron Email**

*  **类型：**自然语言处理
 *  **网址：**https://www.cs.cmu.edu/~./enron/

**11. Amazon**

*  **类型：**自然语言处理
 *  **网址：**
    
    https://snap.stanford.edu/data/web-Amazon.html

**12. 百度Apolloscapes**

*  **类型：**自动驾驶
 *  **网址：**http://apolloscape.auto/

**13. Berkeley DeepDrive**

*  **类型：**自动驾驶
 *  **网址：**http://bdd-data.berkeley.edu/

**14. Robotcar**

*  **类型：**自动驾驶
 *  **网址：**
    
    http://robotcar-dataset.robots.ox.ac.uk/

**15. Data.gov**

*  **类型：**公共政府数据集
 *  **网址：**https://www.data.gov/

**16. Food Environment Atlas**

*  **类型：**公共政府数据集
 *  **网址：**
    
    https://catalog.data.gov/dataset/food-environment-atlas-f4a22

**17. Annual Survey of School System Finances**

*  **类型：**公共政府数据集
 *  **网址：**
    
    https://catalog.data.gov/dataset/annual-survey-of-school-system-finances

**18. NCES**

*  **类型：**公共政府数据集
 *  **网址：**https://nces.ed.gov/

**19. Data USA**

*  **类型：**公共政府数据集
 *  **网址：**http://datausa.io/

**20. 中国国家统计局**

*  **类型：**公共政府数据集
 *  **网址：**http://www.stats.gov.cn/

**21. Quandl**

*  **类型：**金融与经济数据集
 *  **网址：**https://www.quandl.com/

**22. WorldBank**

*  **类型：**金融与经济数据集
 *  **网址：**https://data.worldbank.org/

**23. IMF**

*  **类型：**金融与经济数据集
 *  **网址：**https://www.imf.org/en/Data

**24. Markets**

*  **类型：**金融与经济数据集
 *  **网址：**https://markets.ft.com/data/

**25. Google Trends**

*  **类型：**金融与经济数据集
 *  **网址****：**
    
    http://www.google.com/trends?q=google&ctab=0&geo=all&date=all&sort=0

**26. US Macro Regional**

*  **类型：**金融与经济数据集
 *  **网址：**
    
    https://www.aeaweb.org/resources/data/us-macro-regional

**27. Google Audioset**

*  **类型：**语音数据集
 *  **网址：**
    
    https://research.google.com/audioset/

**28. 2000 HUB5 English**

*  **类型：**语音数据集
 *  **网址：**
    
    https://catalog.ldc.upenn.edu/LDC2002T43

**29. LibriSpeech**

*  **类型：**语音数据集
 *  **网址：**http://www.openslr.org/12/

![format_png 2][]

**02 scikit-learn中的数据集**

scikit-learn是Python中进行数据挖掘和建模中常用的机器学习工具包。scikit-learn的datasets模块主要提供了一些导入、在线下载及本地生成数据集的方法。模块的主要函数如下所示。

1.  sklearn.datasets.load\_<name>：自带数据集（数据量较小）
2.  sklearn.datasets.fetch\_<name>：在线下载的数据集
3.  sklearn.datasets.make\_<name>：生成指定类型的随机数据集
4.  sklearn.datasets.load\_svmlight\_file：svmlight/libsvm格式的数据集
5.  sklearn.datasets.fetch\_mldata：mldata.org在线下载数据集

自带数据集的datasets模块里包含自带数据集，使用load\_\*加载即可，使用示例如下所示。

from sklearn.datasets import load_iris
    data = load_iris()
    # 查看数据描述
    print(data.DESCR)
    X = data.data
    y = data.target

自带数据集的基本信息及序号30、31、32的自带数据集做简单的介绍如下。读者也可以使用data.DESCR，查看其英文描述。

**30. 波士顿房价数据集**

*  **调用方法：**load\_boston
 *  **模型类型：**回归
 *  **数据规模(样本\*特征)：**506\*13

这个数据集包含了506处波士顿不同地理位置的房产的房价数据（因变量），房屋以及房屋周围的详细信息（自变量），其中包含城镇犯罪率、一氧化氮浓度、住宅平均房间数等13个维度的数据，波士顿房价数据集能够应用到回归问题上。波士顿房价数据集与属性描述如下所示。

*  **CRIM：**城镇人均犯罪率。
 *  **ZN：**住宅用地超过25000平方英尺的比例。
 *  **INDUS：**城镇非零售商用土地的比例。
 *  **CHAS：**查理斯河空变量（如果边界是河流，则为1；否则为0）。
 *  **NOX：**一氧化氮浓度。
 *  **R****M****：**住宅平均房间数。
 *  **AGE：**1940 年之前建成的自用房屋比例。
 *  **DIS：**到波士顿五个中心区域的加权距离。
 *  **RAD：**辐射性公路的接近指数。
 *  **TAX：**每10000 美元的全值财产税率。
 *  **PTRATIO：**城镇师生比例。
 *  **MEDV：**自住房的平均房价，以千美元计。

**31. 鸢尾花数据集**

*  **调用方法：**load\_iris
 *  **模型类型：**分类
 *  **数据规模(样本\*特征)：**105\*4

鸢尾花数据集是一个非常经典的数据集，著名的统计学家Fisher在研究判别分析问题时收集了一些关于鸢尾花的数据，包含了150个鸢尾花样本，对应3种鸢尾花，各50个样本，以及它们各自对应的4种关于外形的数据（自变量）。该数据集可用于多分类问题，测量数据如下所示。

*  **sepal length (cm)：**萼片长度。
 *  **sepal width (cm)：**萼片宽度。
 *  **petal length (cm)：**花瓣长度。
 *  **petal width (cm)：**花瓣宽度。

类别共分为三类：Iris Setosa、Iris Versicolour和Iris Virginica。

**32. 手写数字数据集**

*  **调用方法：**load\_digits
 *  **模型类型：**分类
 *  **数据规模(样本\*特征)：**1797\*64

这个数据集是结构化数据的经典数据，共有1797个样本，每个样本有64个元素，对应一个8×8像素点组成的矩阵，矩阵中值的范围是0～16，代表颜色的深度，控制每一个像素的黑白浓淡，所以每个样本还原到矩阵后代表一个手写体数字。

**33. 糖尿病数据集**

*  **调用方法：**load\_diabetes
 *  **模型类型：**回归
 *  **数据规模(样本\*特征)：**422\*10

**34. 葡萄酒数据集**

*  **调用方法：**Load\_wine
 *  **模型类型：**分类
 *  **数据规模(样本\*特征)：**178\*13

**35. 乳腺癌数据集**

*  **调用方法：**load\_breast\_cancer
 *  **模型类型：**分类
 *  **数据规模(样本\*特征)：**569\*30

**36. 体能训练数据集**

*  **调用方法：**load\_linnerud
 *  **模型类型：**多元回归
 *  **数据规模(样本\*特征)：**20\*3

scikit-learn在线下载数据集的datasets模块包含在线下载数据集的方法，调用fetch\_\*接口从网络下载，示例如下所示。

from sklearn.datasets import fetch_20newsgroups
    newsgroups_train = fetch_20newsgroups(subset='train')
    newsgroups_test = fetch_20newsgroups(subset='test')

注意，fetch\_\*接口由于需要从国外网址下载数据，速度可能很慢！

在线下载数据集的基本信息如下所示。

**37. Olivetti脸部图像数据集**

*  **调用方法：**fetch\_olivetti\_faces
 *  **模型类型：**降维
 *  **数据规模(样本\*特征)：**400\*64\*64

**38. 20类新闻分类数据集（文本）**

*  **调用方法：**fetch\_20newsgroups
 *  **模型类型：**分类
 *  **数据规模(样本\*特征)：**18846\*1

**39. 20类新闻文本数据集（特征向量）**

*  **调用方法：**fetch\_20newsgroups\_vectorized
 *  **模型类型：**分类
 *  **数据规模(样本\*特征)：**18846\*130107

**40. 带标签的人脸数据集**

*  **调用方法：**fetch\_lfw\_people
 *  **模型类型：**分类
 *  **数据规模(样本\*特征)：**13233\*5828

**41. 路透社新闻语料数据集**

*  **调用方法：**fetch\_rcv1
 *  **模型类型：**分类
 *  **数据规模(样本\*特征)：**804414\*47236

**42. 加州住房数据集**

*  **调用方法：**fetch\_california\_housing
 *  **模型类型：**回归
 *  **数据规模(样本\*特征)：**20640\*8

**43. 森林植被**

*  **调用方法：**fetch\_covtype
 *  **模型类型：**多分类
 *  **数据规模(样本\*特征)：**581012\*54

scikit-learn包括用于以svmlight/libsvm格式加载数据集的实函数。在这种格式中，每一行都采用表格，此格式特别适用于稀疏数据集。在该模块中，使用SciPy稀疏CSR矩阵，并使用numpy数组，示例如下。svmlight / libsvm格式的公共数据集可以从网上下载。

网址：

https://www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/

from  sklearn.datasets  import  load_svmlight_file 
    X_train , y_train  =  load_svmlight_file （"/ path / to / train_dataset.txt " ）newsgroups_test = fetch_20newsgroups(subset='test')

openml.org是机器学习数据和实验的公共存储库，允许每个人上传开放数据集。sklearn.datasets能够从存储库下载数据集。示例如下：

from sklearn.datasets import fetch_openml
    mice = fetch_openml(name='miceprotein', version=4)
    print(mice.DESCR) 
    mice.url

更多数据集信息描述请查看官网：

https://www.openml.org/search?type=data

**关于作者：张春强**，是一位具有3年C/C++、7年大数据和机器学习经验且富有创造力的技术专家，在技术一线摸爬滚打近10年，先后就职于大型IT、世界500强企业，目前就职于某大型金融科技集团，负责数据挖掘、机器学习相关工作的管理和研发。

**张和平**，现就职于某互联网金融集团科技公司，任大数据模型工程师，负责机器学习在金融风控和用户运营方面的应用工作，善于运用机器学习、数据挖掘、知识图谱和大数据技术解决实际的业务问题。在大数据风控建模、用户画像、大数据平台建设等方面有丰富的实践经验。

本文摘编自《机器学习：软件工程方法与实现》，经出版方授权发布。

延伸阅读《机器学习：软件工程方法与实现》

点击上图了解及购买

转载请联系微信：DoctorData

**推荐语：**大型金融集团专家撰写，将软件工程方法、工具和策略应用到机器学习，提供高质量代码设计和工业应用框架。

![音符][format_png 3]

**划重点????**

**干货直达????**

*  [手把手教你用Matplotlib进行数据可视化][Matplotlib]
 *  [详解华为12种数据采集技术及应用实践][12]
 *  [如何让图表更有说服力？6大准则和1个经典案例给你讲明白][6_1]  
    
 *  [Python循环语句代码逐行详解：while、for、break和continue][Python_while_for_break_continue]

**更多精彩****????**

在公众号对话框输入以下**关键词**

查看更多优质内容！

**PPT** | **读书** | **书单** | **硬核** | **干货**** **| **讲明白 **|** 神操作**

**大数据** | **云计算** | **数据库** | **Python** | **可视化**

**AI** | **人工智能** | **机器学习** | **深度学习** | **NLP**

**5G**** **|** 中台 **|** 用户画像**** **| **1024** | **数学 **|** 算法 **| **数字孪生**

据统计，99%的大咖都完成了这个神操作

**????**

![format_png 4][]

![format_png 5][]

[format_png]: /images/20221120/b5965454f3ca495ea392adba55250b15.png
[format_png 1]: /images/20221120/7b1b854aede446b6b017e1b371967621.png
[format_png 2]: /images/20221120/afc5096b29734edbbb65be896688eb09.png
[format_png 3]: /images/20221120/5cb1613efac44499b1343c56b59310a6.png
[Matplotlib]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8cd8a7dbfb51b144f8f228e5011f9f086885b09a1893653d8e26dc18e02ae8d19820ff41fb&idx=2&mid=2247520587&scene=21&sn=90dda04092d32f3ee804dd782e00a069#wechat_redirect
[12]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8cd92cdbfb503a29a3aceb329c13f3a216b8e50a7c0f2efc9210977cc595ec57566d2e969d&idx=1&mid=2247520448&scene=21&sn=c86e143a1b70bc37de42f8a71b7baec7#wechat_redirect
[6_1]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8cd952dbfb5044d073b7fadfd28b5bd1c6e8f0e407f45d63666d24594dd2795c5491bba3de&idx=3&mid=2247520446&scene=21&sn=2438eaa2ced66df0ef367325284a567e#wechat_redirect
[Python_while_for_break_continue]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8cc60ddbfb4f1bf2e9e249ca948e18246da53377d7d285bbbc73c90fb2028efcd1a018c207&idx=2&mid=2247520225&scene=21&sn=5b6609961f7c62e0bb941c868ae45870#wechat_redirect
[format_png 4]: /images/20221120/018b315b9781460192233c6b2f5cc33b.png
[format_png 5]: /images/20221120/24e7c1ab1fc94b38b1419bae96d3a051.png