阿里云实时计算沙龙参后感，全程都很认真的在听，还是有一部分没太理解，哈哈哈~~

悠悠 2021-12-19 19:19 95阅读 0赞

6月30号下午，恒通国际C8（798北边的一个创新园），迟到了十几分钟，大太阳有点晒

阿里云有关实时计算的沙龙，也就是阿里云产品的介绍和宣传（理解的有点露骨，虽然目前我还没有用到阿里的云产品，但是光是看着就觉得很好，至少对于我这样的实时计算小白来说）

这个活动有4个Topic：

**《Flink在人脸识别实时业务中的应用》**

人脸识别相关技术在工作中我还没有用到过，平常也没有学习到，所以整个过程就像是听天书一样，但还好，也有离线和实时处理相关的技术概念。  
**Topic简介：**flink作为下一代流计算引擎，以其高效、低延迟等特性获得了大量关注与应用。格灵深瞳自2017年开始就将flink应用在生产之中，为客户提供基于人脸识别的实时数据分析服务及面向不同行业的整体解决方案，本次将分享flink在格灵深瞳人脸识别实时业务场景中的技术选型原因、具体应用、遇到的一些问题及改进。

**提问：**有个人提的问题我印象还算是深刻，双胞胎和面具在人脸识别中是怎么做处理和建模的，老师是这样说的（我可能记得不全或者描述的不太清楚）：双胞胎的样例很少，目前建模的话可能还不够；面具是可以判断出来它是个面具

**目前在做：**人脸跟身份证证件的照片的对比，因为大部分人跟身份证照片的出入还是很大的，所以这方面的研究很重要（也想不出很高大上的词汇来描述~~），最终的研究主要是为了什么来着，好像是类似于现在火车站刷身份证和刷脸进站（实在想不起来了，叹气~）。

**《实时计算场景化解决方案——阿里巴巴企业版Flink》**

**Topic简介：**实时计算产品商业架构及技术架构的介绍，对比其他商业化流计算产品及开源软件，实时计算的产品优势，产品典型的应用场景划分，在数字媒体、在线教育、新零售以及城市大脑中的应用场景介绍及相应的解决方案分享。

**提问：**这个环节有个小哥的问题我个人感觉问的有点简单了，数据的接入-处理-输出是怎么保证2s内的，Flink不就是干这个的吗

放两个老师的图图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwZl85NDA4MTA2NTM4NDI_size_16_color_FFFFFF_t_70][]

图一        嗯~业务很多啊

![流批一体，省麻烦][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwZl85NDA4MTA2NTM4NDI_size_16_color_FFFFFF_t_70 1] 流批一体引擎

图二        处理核心为中央的算法引擎，技术核心也是基于Flink，批处理也是一种特殊的流处理

**《环境和茶歇》**

场内的冷气是真的凉，趁着茶歇的时间出去晒了几分钟的大太阳，真暖和~

活动的茶歇还是不错的，有泡芙、小蛋糕（巧克力、抹茶、草莓的等等），橙汁、可乐、好像还有雪碧、西瓜、饼干，附一张图图，只拍了一小部分，哈哈~~

![活动提供的茶歇][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwZl85NDA4MTA2NTM4NDI_size_16_color_FFFFFF_t_70 2] 各种甜品还有水果没拍

**《如何构建基于 Flink on Kubernetes 的大数据平台》**

**Topic简介：**在大数据领域，初露头角的Kubernetes如何PK日臻完善的基于YARN调度的平台？新一代的批流一体的大数据处理引擎Flink与Kubernetes结合形成的新平台有哪些优势？如何将其构建成一套易运维、高可用、高利用率的平台？

**提问：**因为场上没有几个已经在用K8S的，所以没人提问题，然后老师应该是为了缓解尴尬继续讲了一些Flink On Yarn On K8S（我自个起的名字，是怪怪的哈）

现在还不太理解Flink On Yarn和Flink On Kubernetes合起来是怎么用，但是没有但是，就是还不会。

有几个词先拿小本本记下来：operatorhub、ETCD、VPC、Flink stand-alone On Kurbenetes、

**《实时计算SQL开发常见问题及解决方案》**

**Topic简介：**阿里云实时计算是基于Apache Flink开发的流式计算产品，其主要使用流式Flink SQL进行业务的开发工作，Flink SQL符合标准 SQL语义，但由于加入了流式计算的概念，很多用户在理解和使用Flink SQL过程中存在一些问题和困难，本分享将为大家梳理出实时计算SQL开发过程中常见的问题及解决方案。

实时计算SQL作业如何调优，大多时候，我们只注重资源调优（并发、VCore、内存），而忽略了作业参数调优（minibatch）和上下游的参数调优，

作业参数优化：适当增加单次处理数据量的大小，可有效提升吞吐、减少state访问、降低序列化/反序列化、降低下游次数上的压力

![20190630214633660.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwZl85NDA4MTA2NTM4NDI_size_16_color_FFFFFF_t_70 3][]

上下游参数优化：主要应该还是维表Cache，简单来说有两种优化方式，1：全量将维表数据加载到内存；2：将jion频率高的数据加载到内存，做定期清除，以释放内存资源。（第二点纯属个人理解，可能跟实际有偏差）

**活动相关详情：[https://www.huodongxing.com/event/9493845408700][https_www.huodongxing.com_event_9493845408700]**

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwZl85NDA4MTA2NTM4NDI_size_16_color_FFFFFF_t_70]: /images/20211219/49d202bffed74ad1ab273ef62df27816.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwZl85NDA4MTA2NTM4NDI_size_16_color_FFFFFF_t_70 1]: /images/20211219/90bcb427db06415db29ea53ad07514a1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwZl85NDA4MTA2NTM4NDI_size_16_color_FFFFFF_t_70 2]: /images/20211219/806f89c85f3242e09c54b8780b697709.png
[20190630214633660.png]: /images/20211219/f52a286104744096b9e47fd687fa5a3e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwZl85NDA4MTA2NTM4NDI_size_16_color_FFFFFF_t_70 3]: /images/20211219/09874ab8bd13402da4afa0ca6816bdf0.png
[https_www.huodongxing.com_event_9493845408700]: https://www.huodongxing.com/event/9493845408700