数据仓库搭建及数据治理

小咪咪 2023-07-12 14:15 12阅读 0赞

前文：

关于一个数据仓库的相关搭建及数据治理

一、项目搭建、数据治理

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA_size_16_color_FFFFFF_t_70][]

二、

数据仓库项目是这么搭建的？
    
    一、开始是需求分析，分析业务的需求及主题，并完成数据建模的三个过程，确认具体的数据字段、异常数据的处理、数据划分等等，编写规格说明书。
    二、设计的时候，就要确认数据采集过程，从数据源表、采集方式到文件格式、数据分层及表结构的设计。然后还要确认架构，编写出设计文档。
    三、开发过程主要完成ETL层和采集层的开发，还要造数据，此时要不断确认需求，到最后写出验收案例。
    四、开始写调用脚本，并对接口进行联合调试，编写部署文档。
    五、最后阶段，生产环境的安装及生产测试。
    
    数据生命周期？
    
    为了减少数据冗余，提高数据的利用率
    主要考虑数据的存储位置、存储时间、清除方式。
    
    如何保障数据质量？
    
    数据质量保障是为了 方便系统间的数据共享、减少转换、业务沟通、描述世界的真实性
    需求分析时：要确认业务主题、使用专业术语，数据建模时，确定数据的类型、格式、长度
    采集的数据要求要满足的准确性、完整性、统一性
    在ETL过程中：对脏数据的处理方式
    还要记录的数据的操作
    
    元数据管理？
    
    加强数据的可维护性、可读性
    存储业务的指标、规则、专业术语
    数据的存储位置、类型、血缘关系、数据质量规则
    记录管理中的组织、操作等等

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200308231122305.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA==,size_16,color_FFFFFF,t_70