面向生产力的网易数据架构演进

╰半夏微凉° 2022-09-02 03:43 97阅读 0赞

### 面向生产力的网易数据架构演进 ###

*  面向生产力的网易数据架构演进
 *  数据架构演进历程
 *  拥抱开源
 *   *  为什么需要数据中台
     *  数据中台建设成果
     *  开创面向数据中台的模型设计度量标准
     *  网易有数（敏捷BI）
     *  数据门户
     *  决策引擎
 *  云原生
 *   *  愿景：云原生操作系统
     *  Spark on Kubernetes
     *  Training on Kubernetes
     *  总 结

# 面向生产力的网易数据架构演进 #

整理自：第十一届数据技术大会 演讲人：**汪源** 网易副总裁，杭州研究院执行院长，网易数帆总经理

# 数据架构演进历程 #

![image-20210729142232132][]

![image-20210729142252772][]

# 拥抱开源 #

![image-20210729142354948][]

## 为什么需要数据中台 ##

![image-20210729142832596][]

## 数据中台建设成果 ##

![image-20210729142852387][]

## 开创面向数据中台的模型设计度量标准 ##

![image-20210729142906706][]

## 网易有数（敏捷BI） ##

![image-20210729142955700][]

## 数据门户 ##

![image-20210729143019238][]

## 决策引擎 ##

![image-20210729143042573][]

# 云原生 #

## 愿景：云原生操作系统 ##

![image-20210729143119020][]

## Spark on Kubernetes ##

基于自研的SparkSQL服务Kyuubi与K8S平台，打造Serverless Spark服务

![image-20210729143138539][]

## Training on Kubernetes ##

![image-20210729143157260][]

## 总 结 ##

*  以数据产品为目标，以通用工具为手段，建立效能提升和用户满意度考核机制及市场化结算机制，才能引导公技团队做正确有价值的事
 *  拥抱开源，采取模块化及正交组合架构设计，并和客户开放共建，才 能高效满足不同行业不同量级的业务需求
 *  建设数据中台，打通数据孤岛，提供便于分析和消费的高质量数据，应成为所有互联网业务的优先事项
 *  数据中台不解决业务问题，为所有岗位研发针对性的数据产品才能真 正解决业务问题，因此需要构建全面高效的数据产品研发工具体系
 *  网易易数全链路数据生产力平台为数据中台和数据产品建设提供全面支撑
 *  云原生是大趋势，未来所有的计算负载都将运行在Kubernetes统一调度的云原生操作系统上

[image-20210729142232132]: /images/20220829/47e6fbfd8f0c46698f93cf7e4df8f27c.png
[image-20210729142252772]: /images/20220829/c7ba9688bee64422b9ed9d1c41e0c2ab.png
[image-20210729142354948]: /images/20220829/863e4280ba32437c83f9efa8649b076c.png
[image-20210729142832596]: /images/20220829/47651338fc4f456292bad551cc8242fa.png
[image-20210729142852387]: /images/20220829/c8e65962876c4c82a18ce9af3b04cd1f.png
[image-20210729142906706]: /images/20220829/680d40b4bd7c48a9b41388c8b8c28f03.png
[image-20210729142955700]: /images/20220829/e7ccab153ef1401c8941be75b439bf03.png
[image-20210729143019238]: /images/20220829/90d08e1425ce4ce593f21930260163b9.png
[image-20210729143042573]: /images/20220829/ccdaeb532d5b4a5b80028b868985e6c2.png
[image-20210729143119020]: /images/20220829/a28226b5087f4d458f6bcaddaf92562f.png
[image-20210729143138539]: /images/20220829/6ea6f33195f94dd194412f2b013ecc7a.png
[image-20210729143157260]: /images/20220829/5ad4bfbc04c444de9cfe25284f2e31b7.png