zeppelin Interpreter Yarn 模式和 doris的 bitmap_union

本是古典何须时尚 2022-11-29 13:04 138阅读 0赞

1，记录一下zeppelin Interpreter Yarn 模式

在上生产部署的路上，需要思考一下各组件的高可用，出现意外情况等情况，所以才发现

**zeppelin 存在 Interpreter Yarn 模式**：

首先需要声明的是这里的Interpreter Yarn 模式和 Flink的Yarn模式不是一个概念。Flink的Yarn模式是指把Flink集群运行在Yarn环境里，而这里的 Interpreter Yarn 模式是指把 Flink Interpreter 进程运行在 Yarn 环境里。

那为什么我们要引入Interpreter Yarn 模式呢？因为默认情况下 Flink Interpreter 进程和 Zeppelin 是运行在同一台机器上。如果我们是采用 Isolated Per Note 模式，每个Note就会起一个 Flink Interpreter 进程，会对Zeppelin那台机器造成很大的资源压力。Interpreter Yarn 模式就是把 Flink Interpreter进程跑在Yarn环境里，从而减轻 Zeppelin 那台机器的压力。

默认的架构：

我们通过再node1节点安装的zeppelin节点创建了多个 flink interpreter，interpreter创建在server上面。然后任务提交到yarn去执行。

![image.png][]

这是Yarn Interpreter 模式的进程布局，flink interpreter是在yarn上，从而减轻了zeppelin server节点的压力

![image.png][image.png 1]

## 配置 ##

要启动Yarn Interpreter模式，需要做以下几点配置：

*  安装hadoop client (hadoop 2和3都支持)
 *  把 $HADOOP\_HOME/bin放到环境变量 PATH 里. 因为Zeppelin会调用命令hadoop classpath 获取所有hadoop相关的jar，然后放到CLASSPATH 里
 *  在 zeppelin-env.sh 中配置 USE\_HADOOP 为true，以及配置 HADOOP\_CONF\_DIR

除了这几个配置，你还需要可以配置下面这些参数来控制 interpreter process

<table> 
 <tbody> 
 <tr> 
 <td> Name </td> 
 <td> Default Value </td> 
 <td> Description </td> 
 </tr> 
 <tr> 
 <td colspan="1"> zeppelin.interpreter.yarn.resource.memory </td> 
 <td colspan="1">1024</td> 
 <td colspan="1"> memory for interpreter process, unit: mb </td> 
 </tr> 
 <tr> 
 <td colspan="1"> zeppelin.interpreter.yarn.resource.cores </td> 
 <td> 1 </td> 
 <td colspan="1"> cpu cores for interpreter proces </td> 
 </tr> 
 <tr> 
 <td colspan="1"> zeppelin.interpreter.yarn.queue </td> 
 <td colspan="1"> default </td> 
 <td colspan="1">yarn queue name</td> 
 </tr> 
 </tbody> 
</table>

## 视频教程 ##

[Flink on Zeppelin 23. Yarn Interpreter 模式.mp4][Flink on Zeppelin 23. Yarn Interpreter _.mp4]

不能在Flink Job中使用case class的问题

1，记得重启interpreter

%flink.conf  
flink.udf.jars /wyyt/software/flink-zeppelin-1.0-SNAPSHOT.jar

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70][]

2，代码

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 1][]

3，jar包中的类：

![20200821175721739.png][]

Doris的bitmap\_union去重：

业务场景：计算PV，UV

正常的sql语句：

select page_id, count(distinct user_id) from table group by page_id;

使用去重：

select page_id, bitmap_union(user_id) from table group by page_id;

bitmap\_count 函数组合使用可以求得网页的 PV 数据：

select page_id, bitmap_count(bitmap_union(user_id)) from table group by page_id;

创建表：

CREATE TABLE IF NOT EXISTS example\_db.user\_behavior  
(  
    page\_id INT COMMENT "page\_id",  
    user\_id INT COMMENT "user\_id",  
)  
DUPLICATE KEY(page\_id ,user\_id )  
DISTRIBUTED BY HASH(page\_id ) BUCKETS 5  
PROPERTIES("replication\_num" = "1");

CREATE ROUTINE LOAD example\_db.user\_behavior\_insert\_test ON user\_behavior  
COLUMNS(page\_id,user\_id)  
PROPERTIES  
(  
"desired\_concurrent\_number"="3",  
"max\_batch\_interval" = "20",  
"max\_batch\_rows" = "300000",  
"max\_batch\_size" = "209715200",  
"strict\_mode" = "false",  
"format" = "json"  
)  
FROM KAFKA  
    (  
    "kafka\_broker\_list" = "192.168.12.188:9092",  
    "kafka\_topic" = "user\_behavior",  
    "kafka\_partitions" = "0",  
    "kafka\_offsets" = "0"  
);

配置物化视图使用：

创建物化视图

create materialized view advertiser\_uv as select advertiser, channel, bitmap\_union(to\_bitmap(user\_id)) from advertiser\_view\_record group by advertiser, channel;

执行查询语句：

SELECT advertiser, channel, bitmap\_union\_count(to\_bitmap(user\_id)) FROM advertiser\_uv GROUP BY advertiser, channel;

因为版本问题，物化视图不支持：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 2][]

或者配置文件设置支持物化视图，或者通过命令：

参考：

[http://doris.apache.org/master/zh-CN/administrator-guide/config/fe\_config.html\#%E6%9F%A5%E7%9C%8B%E9%85%8D%E7%BD%AE%E9%A1%B9][http_doris.apache.org_master_zh-CN_administrator-guide_config_fe_config.html_E6_9F_A5_E7_9C_8B_E9_85_8D_E7_BD_AE_E9_A1_B9]

命令：

ADMIN SET FRONTEND CONFIG ("dynamic\_partition\_enable" = "true");

[image.png]: /images/20221124/3da151be48ef4607a2228f1543ad537f.png
[image.png 1]: /images/20221124/bfb69c7f7dbb4ce8a21a70d96c87fe83.png
[Flink on Zeppelin 23. Yarn Interpreter _.mp4]: https://www.yuque.com/jeffzhangjianfeng/gldg8w/gcah8t#NwX9F
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70]: /images/20221124/a3fedef902394a15a577a957c0fe47d7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 1]: /images/20221124/d27c0a191bd24762ab2978fc8632aea0.png
[20200821175721739.png]: /images/20221124/8f5e61cc242345a58aeab171bf39d009.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 2]: /images/20221124/48e10dbd076643fb9081026cd305447d.png
[http_doris.apache.org_master_zh-CN_administrator-guide_config_fe_config.html_E6_9F_A5_E7_9C_8B_E9_85_8D_E7_BD_AE_E9_A1_B9]: http://doris.apache.org/master/zh-CN/administrator-guide/config/fe_config.html#%E6%9F%A5%E7%9C%8B%E9%85%8D%E7%BD%AE%E9%A1%B9