基于ODPS的SQL语句

客官°小女子只卖身不卖艺 2023-09-30 14:09 6阅读 0赞

**（一）基本概念**

1.ODPS：Open Data Processing Service， 简称ODPS；是由阿里云自主研发，提供针对TB/PB级数据、实时性要求不高的分布式处理能力，应用于数据分析、挖掘、商业智能等领域；阿里巴巴的离线数据业务都运行在ODPS上；

2.御膳房：基于ODPS的一个应用模型；基于公共云计算的数据管理、计算和交换平台，为政府机构、企业、科研机构、第三方软件服务商等客户，提供大数据管理、开发和生产计算的能力，同时让客户间能交换数据，解决数据管理、应用、流通的场景需求，帮助客户实现商业价值；

3.ODPS SQL：与Hive SQL语法基本一致；适用于海量数据(TB级别)，实时性要求不高的场合，它的每个作业的准备，提交等阶段要花费较长时间， 因此要求每秒处理几千至数万笔事务的业务是不能用ODPS SQL完成的；ODPS SQL采用的是类似于SQL的语法，可以看作是标准SQL的子集，但不能因此简单的把ODPS SQL等价成一个数据库，它在很多方面并不具备数据库的特征；

PS：常见数据库有层次型（树状），网状型（网络），关系型（二维表格）

4.SQL语句不分大小写，使用“–”进行注释，使用分号作为语句结束符号；

5.支持的数据类型：bigint，double，string，datetime，boolean，decimal；

6.支持的关系运算符：=, <>, <, <=, >, >=, is null, is not null, like, rlike和in ；

7.支持的算术运算符：+, -, \* , /, %；

8.支持的逻辑运算符：and， or，not

9.支持的位运算符：&，|；

10.支持三目运算符：A？B：C；

11.SQL语言包括四种主要程序设计语言类别的语句：数据定义语言（DDL），数据操作语言（DML）,数据控制语言（DCL）和事务控制语言（TCL）；在ODPS中使用的主要是DDL跟DML；

12.ODPS平台上的数据都是以表的形式来处理的，所以SQL语句很重要，在处理SQL时候，字段也是一个关键的概念；

**（二）DDL语句**

1.表的创建

（1）新建一个自定义的表：create table if not exists A (字段名 字段类型)；

（2）新建一个表，字段与现有表一致，但数据并没有复制：create table if not exists A like B；

2.表的删除

drop table A；

3.表的重命名

alter table A rename to B；

4.表的生命周期

alter table A set lifecycles 30；

5.增加字段

alter table A add columns(字段名 字段类型)；

6.查看表的信息

desc A

**（三）DML语句**

1.表中数据的更新（insert语句）

（1）insert overwrite table A select \* from B ：表示将表A的数据复制到表B中，前提是字段一致；

PS：ODPS平台的SQL仅支持以上的更新数据库语句；其中关键字overwrite表示覆盖写入，可换成into表示追尾写入；

2表中数据的读取（select语句）

（1）select \* from A：读取全部字段数据

（2）select uid from A：读取某一字段全部数据

（3）select distinct uid from A ：读取某一字段不重复数据

（4）select \* from A where uid=‘a’：读取某一字段值等于指定值的数据

（5）select \* from （select \* from A）a：嵌套语句

（6）select sum（uid） from A group by uid：分组查询

（7）select \* from A order by uid limit 4：全局排序，必须与limit 配合使用

（8）select row\_number（） over （partition by item order by score）as row\_num from A：对字段item按字段score值进行局部排序并给出序号

3.表的合并（union all 语句）

select \* from(  
select \* from t1 where uid=‘a’  
union all  
select \* from t2 where uid=‘a’)t;

4.表的连接（join 语句与left outer join 语句）

（1）join

select \* from A a join B b on a.item = b.item ：返回A,B表中字段item值相同的数据

（2）left outer join

select \* from A a left outer join B b on a.item = b.item ：返回A表全部数据

**（四）内建函数**

查看附件文档

附件：[ODPS SQL][]

[ODPS SQL]: https://docs.aliyun.com/?spm=5176.bbsr258620.0.0.JTVDUo#/pub/odps/SQL/summary

发表评论取消回复

表情：

评论列表（有 0 条评论，6人围观）

还没有评论，来说两句吧...

相关阅读

相关基于MaBatis编写动态SQL语句

目录前言一、动态SQL 1. 介绍 2. 在IDea，基于MaBatis完成动态SQL步骤 2.1 创建实体

傷城~/ 2023年10月03日 13:59/ 0 赞/ 4 阅读

相关基于ODPS的SQL语句

（一）基本概念 1.ODPS：Open Data Processing Service，简称ODPS；是由阿里云自主研发，提供针对TB/PB级数据、实时性要求不高的分布式处

客官°小女子只卖身不卖艺/ 2023年09月30日 14:09/ 0 赞/ 7 阅读

相关 mysql复制一行sql语句_MySQL的SQL语句 -复制语句（16）- 控制组复制的 SQL 语句

用于检查和设置组复制通信协议版本的函数以下函数能够检查和配置复制组使用的组复制通信协议版本。 ● group\_replication\_get\_communicati

本是古典何须时尚/ 2022年10月31日 12:28/ 0 赞/ 224 阅读

相关 sqlserver sql语句|经典sql语句|实用sql语句

sqlserver sql语句|经典sql语句|实用sql语句一、基础 1、说明：创建数据库 CREATE DATABASE database-name 2、说

心已赠人/ 2022年09月30日 04:54/ 0 赞/ 30 阅读

相关从MapReduce的执行来看如何优化MaxCompute（原ODPS） SQL

[原文链接][Link 1] 摘要： SQL基础有这些操作（按照执行顺序来排列）： from join(left join, right join, inner join,

拼搏现实的明天。/ 2022年06月12日 10:22/ 0 赞/ 308 阅读

相关 Mybatis基于注解形式的sql语句生成

借鉴博客网址:[http://blog.csdn.net/hj7jay/article/details/51907652][http_blog.csdn.net_hj7jay_

忘是亡心i/ 2022年06月06日 09:18/ 0 赞/ 288 阅读

相关【SQL语句】灵活SQL语句

1、查询数学成绩排名 select ss.stid, ss.name, ss.score, (select count() from stuscore s where

偏执的太偏执、/ 2022年05月25日 07:24/ 0 赞/ 404 阅读

相关 ODP.NET

1，什么是ODP？就是Oracle 为 .NET ([ODP.NET][]) 专门编写了 `Oracle Data Provider`，一个用于 Microsoft `.NET

r囧r小猫/ 2021年09月18日 01:40/ 0 赞/ 363 阅读

相关天池 odps_SQL 常用函数和方法

平均值、中值、最大值、最小值： avg(distance) as merchant_avg_distance, median(distance) as mer

清疚/ 2021年09月14日 06:34/ 0 赞/ 678 阅读

相关基于SQL语句的分页

基于SQL语句的分页一般使用存储过程实现。它通过编写SQL查询，对数据进行筛选，仅返回当前页面所需的数据内容。要进行分页，首先必须要知道每页显示多少条（pageSize）、要显

骑猪看日落/ 2021年09月10日 05:54/ 0 赞/ 458 阅读