Apache Doris 原生C++ UDF之Coding（2）

快来打我* 2023-10-14 15:54 62阅读 0赞

#### Apache Doris 原生C++ UDF之Coding（2） ####

*  一、环境信息
 *   *  1.1 硬件信息
     *  1.2 软件信息
 *  二、自定义TIME\_TO\_SEC函数
 *   *  2.1 源码开发 & 实现一
     *   *  2.1.1 测试主函数
         *  2.1.2 UDF头文件
         *  2.1.3 UDF源文件
         *  2.1.4 实现方式一小结
     *  2.2 源码开发 & 实现二
     *   *  2.2.1 测试主函数
         *  2.2.2 UDF头文件
         *  2.2.3 UDF源文件
         *  2.2.4 实现方式二小结
 *  三、编译结果
 *  四、函数使用
 *   *  4.1 创建 UDF 函数
     *  4.2 使用UDF 函数
 *  五、总结

## 一、环境信息 ##

### 1.1 硬件信息 ###

1.  **CPU** ：4C
2.  **CPU型号**：x64（AVX2）
3.  **内存** ：10GB
4.  **硬盘** ：66GB SSD

### 1.2 软件信息 ###

1.  **Linux版本** ：CentOS-7
2.  **Apahce Doris版本** ：0.15-release
3.  **CodeBlocks版本**：20.03mingw

## 二、自定义TIME\_TO\_SEC函数 ##

> 实现传入一个时间参数，将其时间部分转换成秒的UDF。

![在这里插入图片描述][436d86fe7c104f2fae6d6d64cb3ec80c.gif]

### 2.1 源码开发 & 实现一 ###

#### 2.1.1 测试主函数 ####

//time_to_sec 的语法格式
    //  TIME_TO_SEC(time)
    //语法格式说明
    //time：传入时间，如果传入了日期部分，也不会管，只将时间部分转换成秒
    //重点：是指将传入的时间转换成距离当天00:00:00的秒数，00:00:00为基数，等于 0 秒
    
    #include <iostream>
    #include <string>
    #include <regex>
    using namespace std;
    
    int time_to_sec(string text)
    {
        
        // clear other str
        regex r("^((?![0-9]{2}:[0-9]{2}:[0-9]{2}).)*");
        string time = regex_replace(text, r, "");
        cout << time << endl;
    
        // handle abnormal
        if(time.length() != 8)
            return NULL;
    
        // get hh mm ss
        int HH = atoi(time.substr(0,2).c_str());
        int MM = atoi(time.substr(3,2).c_str());
        int SS = atoi(time.substr(6,2).c_str());
    
        // return sum sec
        return HH*3600 + MM*60 + SS;
    }
    
    int main()
    {
        
        cout<<time_to_sec("1987-01-01 00:39:38")<<endl;
        return 0;
    }

#### 2.1.2 UDF头文件 ####

C++
    #pragma once
    
    #include "udf.h"
    #include <bits/stdc++.h>
    
    namespace doris_udf {
        
    
    IntVal TIME_TO_SEC(FunctionContext* context, const StringVal& time);
    
    /// --- Prepare / Close Functions ---
    /// ---------------------------------
    
    /// The UDF can optionally include a prepare function. The prepare function is called
    /// before any calls to the UDF to evaluate values.
    void AddUdfPrepare(FunctionContext* context, FunctionContext::FunctionStateScope scope);
    
    /// The UDF can also optionally include a close function. The close function is called
    /// after all calls to the UDF have completed.
    void AddUdfClose(FunctionContext* context, FunctionContext::FunctionStateScope scope);
    
    }

#### 2.1.3 UDF源文件 ####

C++
    #include "time_to_sec.h"
    
    namespace doris_udf {
        
    
    IntVal TIME_TO_SEC(FunctionContext* context, const StringVal& time) {
        
        // handle null
        if (time.is_null) {
        
            return IntVal::null();
        }
    
        // clear other str
        using namespace std;
        const string timestr((char *)time.ptr);
        const regex r("^((?![0-9]{2}:[0-9]{2}:[0-9]{2}).)*");
        const string replace_str = "";
        string hms_time = regex_replace(timestr, r, replace_str);
    
        // handle str abnormal
        if(hms_time.length() != 8) {
        
            return IntVal::null();
        }
    
        // get hh mm ss
        int HH = atoi(hms_time.substr(0,2).c_str());
        int MM = atoi(hms_time.substr(3,2).c_str());
        int SS = atoi(hms_time.substr(6,2).c_str());
    
        // return sum sec
        return HH*3600 + MM*60 + SS;
    }
    
    /// --- Prepare / Close Functions ---
    /// ---------------------------------
    void AddUdfPrepare(FunctionContext* context, FunctionContext::FunctionStateScope scope) {
        }
    void AddUdfClose(FunctionContext* context, FunctionContext::FunctionStateScope scope) {
        }
    
    }

#### 2.1.4 实现方式一小结 ####

> 不建议使用，doris对其中的regex相关函数并不友好，会直接导致be所有节点crash。

![在这里插入图片描述][b5ee1b11dd5b4c269b23f0536a979a4a.gif]

### 2.2 源码开发 & 实现二 ###

#### 2.2.1 测试主函数 ####

C++
    //time_to_sec 的语法格式
    //  TIME_TO_SEC(time)
    //语法格式说明
    //time：传入时间，如果传入了日期部分，也不会管，只将时间部分转换成秒
    //重点：是指将传入的时间转换成距离当天00:00:00的秒数，00:00:00为基数，等于 0 秒
    
    #include <iostream>
    #include <string>
    #include <regex>
    using namespace std;
    
    int time_to_sec(string text)
    {
        
       // clear other str
       string segSign = ":";
       string::size_type pos1 = text.find(segSign);
    
       if(pos1 == string::npos)
          cout << "没找到！" << endl;
       else
          cout << "找到了！下标：" << pos1<<endl;
    
        string time = text.substr(pos1-2,8);
        cout << time << endl;
    
        // handle abnormal
        if(time.length() != 8)
           return NULL;
    
        // get hh mm ss
        int HH = atoi(time.substr(0,2).c_str());
        int MM = atoi(time.substr(3,2).c_str());
        int SS = atoi(time.substr(6,2).c_str());
    
        // return sum sec
        return HH*3600 + MM*60 + SS;
    }
    
    int main()
    {
        
        cout<<time_to_sec("1987-01-01 00:39:38")<<endl;
        return 0;
    }

#### 2.2.2 UDF头文件 ####

#### 2.2.3 UDF源文件 ####

C++
    #include "time_to_sec.h"
    
    namespace doris_udf {
        
    
    IntVal TIME_TO_SEC(FunctionContext* context, const StringVal& time) {
        
        // handle null
        if (time.is_null) {
        
            return IntVal::null();
        }
    
        // clear other str
        using namespace std;
        string timestr((char *)time.ptr);
        string segSign = ":";
        string::size_type pos = timestr.find(segSign);
        string hms_time;
        if(pos == string::npos)
            return IntVal::null();
         else
            hms_time = timestr.substr(pos-2,8);
    
        // handle str abnormal
        if(hms_time.length() != 8) {
        
            return IntVal::null();
        }
    
        // get hh mm ss
        int HH = atoi(hms_time.substr(0,2).c_str());
        int MM = atoi(hms_time.substr(3,2).c_str());
        int SS = atoi(hms_time.substr(6,2).c_str());
    
        // return sum sec
        IntVal result;
        result.val = HH*3600 + MM*60 + SS;
        return {
        result.val};
    }
    
    /// --- Prepare / Close Functions ---
    /// ---------------------------------
    void AddUdfPrepare(FunctionContext* context, FunctionContext::FunctionStateScope scope) {
        }
    void AddUdfClose(FunctionContext* context, FunctionContext::FunctionStateScope scope) {
        }
    
    }

#### 2.2.4 实现方式二小结 ####

**基本完全使用字符串的API实现，简单高效并且兼容性较好，最终选定实现二。**

## 三、编译结果 ##

![在这里插入图片描述][5fe95552decf4f0ea7621970765a249a.gif]

## 四、函数使用 ##

### 4.1 创建 UDF 函数 ###

CREATE FUNCTION 
    TIME_TO_SEC(String) 
    RETURNS INT PROPERTIES ( 
    "symbol" = "_ZN9doris_udf11TIME_TO_SECEPNS_15FunctionContextERKNS_9StringValE",
    "object_file" = "http://10.192.119.68:8088/udf/udf_samples/build/src/udf_samples/libtime_to_sec.so" );

### 4.2 使用UDF 函数 ###

> 原先不兼容TIME\_TO\_SEC的Tableau固化SQL，现在可以正常运行。

![在这里插入图片描述][ce60a8771b554589b8256db8458b864a.gif]

## 五、总结 ##

*  自定义C++ UDF 的使用与普通的函数方式一致，唯一的区别在于，内置函数的作用域是全局的，而 UDF 的作用域是 DB 内部
 *  1.2后的新版本不建议使用原生C++ UDF，因为兼容性较差、GLIBC一升级就没法用了；建议使用JAVA UDF

**Apache Doris 自定义C++ UDF的Coding至此结束，查阅过程中若遇到问题欢迎留言交流**

[436d86fe7c104f2fae6d6d64cb3ec80c.gif]: https://img-blog.csdnimg.cn/436d86fe7c104f2fae6d6d64cb3ec80c.gif
[b5ee1b11dd5b4c269b23f0536a979a4a.gif]: https://img-blog.csdnimg.cn/b5ee1b11dd5b4c269b23f0536a979a4a.gif
[5fe95552decf4f0ea7621970765a249a.gif]: https://img-blog.csdnimg.cn/5fe95552decf4f0ea7621970765a249a.gif
[ce60a8771b554589b8256db8458b864a.gif]: https://img-blog.csdnimg.cn/ce60a8771b554589b8256db8458b864a.gif