odps是什么?

た入场券 2022-04-06 10:12 213阅读 0赞

原文链接：\[url\]http://click.aliyun.com/m/27095/\[/url\]  
ODPS（Open Data Processing Service），是阿里巴巴通用计算平台提供的一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案，现在已更名为MaxCompute，MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。  
  
  
ODPS（Open Data Processing Service），是阿里巴巴通用计算平台提供的一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案，现在已更名为MaxCompute，MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。  
  
同时，大数据开发套件和 MaxCompute关系紧密，大数据开发套件为 MaxCompute 提供了一站式的数据同步，任务开发，数据工作流开发，数据管理和数据运维等功能，您可以参见 大数据开发套件简介 来对其进行深入了解。  
  
MaxCompute 主要服务于批量结构化数据的存储和计算，可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。随着社会数据收集手段的不断丰富及完善，越来越多的行业数据被积累下来。数据规模已经增长到了传统软件行业无法承载的海量数据(百 GB、TB 乃至 PB)级别。  
  
在分析海量数据场景下，由于单台服务器的处理能力限制，数据分析者通常采用分布式计算模式。但分布式的计算模型对数据分析人员提出了较高的要求，且不易维护。使用分布式模型，数据分析人员不仅需要了解业务需求，同时还需要熟悉底层计算模型。MaxCompute 的目的是为用户提供一种便捷的分析处理海量数据的手段。用户可以不必关心分布式计算细节，从而达到分析大数据的目的。  
  
MaxCompute 已经在阿里巴巴集团内部得到大规模应用，例如：大型互联网企业的数据仓库和 BI 分析、网站的日志分析、电子商务网站的交易分析、用户特征和兴趣挖掘等。  
MaxCompute 发展历程  
  
从 2009 年 9 月阿里云成立，愿景就是做运算/分享数据第一平台；2010年4月，伴随阿里金融的贷款业务上线，ODPS 正式投入生产运行，2012 年建立统一数据平台，2013 年具备超大规模海量数据处理能力，2014~2015 年大数据平台开始日趋成熟，2016 MaxCompute 2.0 的诞生，成立之初的愿景经过一步步努力逐步实现。  
  
关键性里程碑  
  
2010.04 ODPS 正式投入生产运行。阿里金融的贷款业务上线稳定运行。  
  
2013.05 ODPS 公测。  
  
2013.07 ODPS 正式提供商业化服务，单集群规模 5K 台服务器多级群能力。  
  
2016.09 ODPS 正式更名为 MaxCompute，并推出 2.0，实现高性能，新功能，富生态。  
  
大数据平台发展历程  
  
MaxCompute 组件  
  
数据通道：  
TUNNEL：提供高并发的离线数据上传下载服务。用户可以使用 Tunnel 服务向 MaxCompute 批量上传或下载数据。MaxCompute Tunnel 仅提供 Java 编程接口供用户使用。  
计算及分析任务：  
SQL：MaxCompute 只能以表的形式存储数据，并对外提供了 SQL 查询功能。用户可以将 MaxCompute 作为传统的数据库软件操作，但其却能处理TB、PB级别的海量数据。需要注意的是，MaxCompute SQL 不支持事务、索引及 Update/Delete 等操作，同时 MaxCompute 的 SQL 语法与 Oracle，MySQL 有一定差别，用户无法将其他数据库中的 SQL 语句无缝迁移到 MaxCompute 上来。此外，在使用方式上，MaxCompute SQL 最快可以在分钟，乃至秒级别完成查询，无法在毫秒级别返回用户结果。MaxCompute SQL 的优点是对用户的学习成本低，用户不需要了解复杂的分布式计算概念。具备数据库操作经验的用户可以快速熟悉 MaxCompute SQL 的使用。  
UDF：即用户自定义函数。MaxCompute 提供了很多 内建函数 来满足用户的计算需求，同时用户还可以通过创建自定义函数来满足不同的计算需求。  
MapReduce：MapReduce 最早是由 Google 提出的分布式数据处理模型，随后受到了业内的广泛关注，并被大量应用到各种商业场景中。在本文档中，我们会对 MapReduce 模型做简要介绍，以便于用户快速熟悉、了解该模型。使用 MaxCompute MapReduce 的用户需要对分布式计算概念有基本了解，并有相对应的编程经验。MaxCompute MapReduce 为用户提供 Java 编程接口。  
Graph：MaxCompute 提供的 Graph 功能是一套面向迭代的图计算处理框架。图计算作业使用图进行建模，图由点 (Vertex) 和边 (Edge) 组成，点和边包含权值 (Value)。通过迭代对图进行编辑、演化，最终求解出结果，典型应用：PageRank，单源最短距离算法 ，K-均值聚类算法 等。  
SDK：提供给开发者的工具包，SDK 的相关介绍请参见 SDK介绍。  
安全：MaxCompute 提供了功能强大的安全服务，为用户的数据安全提供保护，详情请参见 安全参考手册。  
想了解更多MaxCompute相关的内容，请访问云栖社区  
  
阿里巴巴大数据计算平台MaxCompute（原名ODPS）全套攻略  
https://yq.aliyun.com/articles/78108  
  
阿里巴巴大数据-玩家社区 https://yq.aliyun.com/teams/6/  
  
\---阿里大数据博文，问答，社群，实践，有朋自远方来，不亦说乎……  
  
bba01b493e1c5d904e882b1c380673c6ebe49a98  
本文为云栖社区原创内容，未经允许不得转载，如需转载请发送邮件至yqeditor@list.alibaba-inc.com；如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件至：yqgroup@service.aliyun.com 进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容。  
原文链接：\[url\]http://click.aliyun.com/m/27095/\[/url\]