数据集成所支持的异构数据源类型以及数据集成核心场景

以你之姓@ 2024-02-19 21:55 19阅读 0赞

###### 异构数据源类型 ######

常见的数据类型及转化：  
左边任意一个数据类型可以经过转换同步到右边任意一个数据类型  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzQxOTM3MTY2_size_16_color_FFFFFF_t_70]

###### 数据集成核心场景： ######

数据集成实际上是一个典型的ETL过程，我们会从源端数据库通过reader插件抽取数据，经过简单的转换，最终写入到大数据中心 。在抽取过程中，主要包含字段类型的转换、filter过滤条件，数据同步到大数据中心之后，可以再运用大数据引擎的能力进行复杂的转换，也就是可以去搭建企业数据仓库（dw），企业数仓建议遵循数仓构建的标准，数据从原始端同步到MaxComputer中作为ods层存储，基于ods层再进行加工到数仓层（dw），可以再进一步加工到数据结果层（rpt）。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzQxOTM3MTY2_size_16_color_FFFFFF_t_70 1]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzQxOTM3MTY2_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/33e5e0049e584e8dbb0d05697398a8d7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzQxOTM3MTY2_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/9c51564afca747479c9ec3632b35622b.png

发表评论取消回复

表情：

评论列表（有 0 条评论，19人围观）

还没有评论，来说两句吧...

相关阅读

相关 Datax-异构数据源离线同步

目录一、介绍 1、Datax介绍 2、DataX 的设计 3、支持的数据源 4、框架设计 5、运行原理六、优势二、使用 1、从stream读取数据并

我不是女神ヾ/ 2024年04月01日 16:58/ 0 赞/ 113 阅读

相关数据集成所支持的异构数据源类型以及数据集成核心场景

异构数据源类型常见的数据类型及转化：左边任意一个数据类型可以经过转换同步到右边任意一个数据类型 ![在这里插入图片描述][watermark_type_ZmF

以你之姓@/ 2024年02月19日 21:55/ 0 赞/ 20 阅读

相关 Sentinel集成Nacos数据源

1.1 安装Sentinel控制台在https://github.com/alibaba/Sentinel/releases页面下载控制台的`jar`包，放到服务器某个

超、凢脫俗/ 2023年10月01日 19:09/ 0 赞/ 21 阅读

相关架构：多源异构数据。

首先，多源指多个数据持有方，异构指数据的类型、特征等不一致。若从交通方面举例，交通管理局、各类交通app等均持有与交通相关的部分数据，此为多源。交通管理局持有关于个体的驾龄

本是古典何须时尚/ 2022年12月06日 15:55/ 0 赞/ 202 阅读

相关 java 异构数据_异构系统数据交互之Hessian

原标题：异构系统数据交互之Hessian 一、Hessian是什么？ Hessian:hessian是一个轻量级的remoting onhttp工具，使用简单的方法提供了R

雨点打透心脏的1/2处/ 2022年11月05日 13:51/ 0 赞/ 221 阅读

相关 ETL异构数据源Datax_图形化数据同步_11

> 数据同步全量增量知识SQL和执行频次不一样，其他的都一样文章目录一、Oracle同步Mysql(全量)

Myth丶恋晨/ 2022年10月09日 04:49/ 0 赞/ 238 阅读

相关 ETL异构数据源Datax_数据准备_03

文章目录一、Oracle数据库准备 1. 初始化表结构

- 日理万妓/ 2022年10月08日 11:25/ 0 赞/ 188 阅读

相关多端异构数据集成方案

1. 概述多端异构，一般来说这是数据集成系统最复杂的情况，而前面部分我们将讨论多端同构场景下的做法，再逐渐延伸到文章主题部分，即多端异构的场景。 1. 多端同构所

古城微笑少年丶/ 2022年10月01日 04:56/ 0 赞/ 244 阅读

相关 Spring Boot 集成canal、RocketMq同步异构数据

一、canal环境搭建 1、下载canal服务至指定目录，解压压缩文件 wget -P ./ https://github.com/alibaba/cana

待我称王封你为后i/ 2022年09月12日 11:44/ 0 赞/ 424 阅读

相关数据异构

转自：[https://my.oschina.net/wangxindong/blog/1531596][https_my.oschina.net_wangxindong_b

Myth丶恋晨/ 2022年04月18日 01:41/ 0 赞/ 320 阅读