pmml_再访PMML

小鱼儿 2023-02-25 04:57 24阅读 0赞

pmml

嗨伙计！ 从今年年初开始，就有了重新设计Drools PMML模块的计划。  
  
在这篇文章中，我将描述我们将如何处理它，目前的状态，未来发展的想法等，等等……敬请期待！

## 背景 ##

[PMML][]是一个标准，旨在“ *为分析应用提供一种描述和交换由数据挖掘和机器学习算法产生的预测模型的方法。* ” [PMML标准][PMML 1]定义了一系列受管理的模型，我们将其称为“模型”。  
  
换句话说，这可能不是那么明显的结果是，PMML可以被认为是不同预测模型的*协调器* ，每个预测模型都有不同的要求。 Drools有其自己的PMML实现。 它的原始设计是基于100％流口水引擎的，但是从长远来看，这对所有模型都不令人满意，因此决定采用不同的方法来实现新版本。 现在，这里的故事开始了……

## 要求 ##

简而言之，PMML实现应允许：

1.  加载PMML文件（xml格式）
2.  提交输入数据
3.  返回预测值

听起来很简单，不是吗？

## 方法 ##

拟议的体系结构旨在遵循[“清洁体系结构”][Link 1]原则以模块化方式满足要求。  
  
为了实现这一点，定义了清晰的边界和可见性的组件。 总体思路是，存在与核心功能严格相关的特定任务，而其他“外部”功能则应保持不可知。 任何想深入研究此问题的人都可以阅读RC Martin撰写的“ Clean Architecture”一书，但从本质上讲，将good-ol的设计原则应用于整个体系结构只是一个问题。 明确定义此目标后，实现该目标所需的步骤为：

1.  识别核心逻辑和实施细节（特定于模型）
2.  在“独立”模块中实现核心逻辑
3.  为特定于模型的模块编写代码

我们选择实现[插件模式][Link 2]以将核心逻辑绑定到特定于模型的实现，主要有两个原因：

1.  增量开发和整体代码管理：核心模块本身不依赖于任何特定于模型的实现，因此可以增量地提供/更新/替换后者，而不会对核心产生任何影响
2.  可以用自定义的实现替换提供的实现
3.  我们还预见到了可能会根据原始PMML结构在运行时选择实现的可能性（例如，根据给定PMML的大小使用其他实现可能是有意义的）

（我作弊：那是三个）

##  ##

1.  这是原始PMML模型的Kie表示形式的定义。
2.  对于每个实际模型，都有特定的实现，并且可以是任何类型的对象（java映射，drools规则等）。

我们可以避免吗？ 也许。 我们可以使用由规范的xsd直接生成的模型。 但这是为了描述*所有*预测模型而设计的，尽管它们中的任何一个都可能以不同的方式和不同的约定使用它。 因此，此*内部视图*将准确表示每个特定模型所需的内容。

## 组件 ##

我们确定了以下主要功能组件：

1.  编译器
2.  组装工
3.  执行者

## 编译器 ##

该组件读取原始PMML文件并将其翻译为我们的内部格式。  
  
它的核心方面只是将xml数据解组到Java对象中。 然后，它使用Java SPI检索特定于给定PMML模型的模型编译器（如果找不到模型编译器，则将PMML忽略）。

最后，检索到的模型编译器会将原始PMML模型“转换”为我们特定于模型的表示形式（ *KiePMMLModels* ）。  
  
该组件的*核心*部分不直接依赖于任何特定的*Model Compiler实现* ，甚至不依赖于任何Drools / Kie –因此，它基本上是一个轻量级/独立的库。 如果该组件的执行不是很费时，则可以在*运行时* （即，在客户项目的执行期间）或在kjar的编译期间（例如，对于流口水实现的模型）调用该组件。

## 组装工 ##

由*编译器*内KIE知识库创建该组件存储*KiePMMLModels。* 其他组件都不应该对此组件有任何依赖性/知识。  
  
反过来，它必须对实际没有任何依赖性/知识/引用 *模型编译器实现。*

##  ##

该组件负责PMML模型的实际执行。 它接收PMML输入数据，检索特定于输入数据的KiePMMLModel并计算输出。  
  
对于每个模型，都有一个特定的“执行器”，以根据模型类型允许不同类型的执行实现（drool，外部库等）。 它的核心端仅接收输入数据并检索特定于给定PMML模型的模型执行器（如果找不到，则将忽略PMML）。 最后，检索到的模型执行者将基于输入数据评估预测。 该组件的*核心*部分不直接依赖于任何特定的*Model Executor实现，*但是当然严格依赖于Drool运行时。

![format_png][] 整体架构

## 模型实施 ##

### 基于Drools的模型 ###

一些模型将委托给drools引擎，以在重载下实现最佳性能。 以下是有关此类实现的一般方案的一些详细信息。

1.  *编译器*在生成kjar时（或在运行时热加载PMML文件时）被调用
2.  *编译器*读取PMML文件并将其转换为“ descr”对象（请参见[BaseDescr][] ， [DescrFactory][] ， [DescrBuilderTest][] ）
3.  不管如何调用*模型编译* *器，都*必须在调用*drools编译器*后立即对其进行调用，以使基于*descr*对象生成Java类
4.  *汇编器*将生成的类放在kie base中
5.  *执行程序*加载生成的“ drools模型”，并使用输入参数调用它

## DRL详细信息 ##

*  对于DataDictionary中的每个字段，必须定义一个特定的DataType
 *  对于树的每个分支/叶子，必须生成全路径规则（即具有到达路径的规则-例如，“晴天”，“晴天温度”，“晴天温度湿度”）
 *  创建了一个“状态持有者”对象，该对象包含已触发规则的值–更改该值将触发与之匹配的子分支/叶规则（例如，规则“ sunny”将触发“ sunny\_temperature”，而后者又将触发） “ sunny\_temperature\_humidity”）
 *  此类“状态持有人” *可能*包含评估的信息/部分结果，最终将在需要结果组合的地方使用
 *  价值缺失策略*可以*在身份持有者内部实施， *也*可以作为爆炸规则

### 测试中 ###

对于每个模型，都会有一组标准的单元测试，以主要验证各个代码单元。 除此之外，在特定于模型的模块内（是的，它**是**绕口令），将有一个*集成测试*子模块。 后者将验证不同或多或少复杂的PMML文件的整体正确执行，以尽可能模拟实际场景中可能发生的情况。

### 回归 ###

回归模型是第一个实现的模型。 由于其固有的简单性，我们选择为其提供纯基于Java的实现。 目前，它仍处于PR之下，并且正在添加新的完整测试。

### 树 ###

在评估了所有优点/缺点之后，我们认为该模型可以作为采用基于流口水的方法来实施的很好的候选者。 作为一个易于遵循的简单模型，我们选择将其用作流口水方法的第一个测试。

## 待办事项 ##

这是尚未实现的，与特定模型没有严格关联的缺失功能的列表。 在开发过程中将对其进行更新：

*  设置*基准*框架项目（请参阅[Drools基准][Drools] ）
 *  管理*扩展*标签（请参阅[xsdElement\_Extension][xsdElement_Extension] ）
 *  管理*SimpleSetPredicate*标记（请参阅[SimpleSetPredicate][] ）
 *  在*细分中*实现[VariableWeight][] （动态替代静态“权重”值）

不用说，任何评论（尤其是好的评论）和建议将不胜感激。

接下来的几天再回来看看下一步！

再见！

> 翻译自: [https://www.javacodegeeks.com/2020/02/pmml-revisited.html][https_www.javacodegeeks.com_2020_02_pmml-revisited.html]

pmml

[PMML]: https://en.wikipedia.org/wiki/Predictive_Model_Markup_Language
[PMML 1]: http://dmg.org/pmml/v4-4/GeneralStructure.html
[Link 1]: https://blog.cleancoder.com/uncle-bob/2012/08/13/the-clean-architecture.html
[Link 2]: https://martinfowler.com/eaaCatalog/plugin.html
[format_png]: /images/20230209/81842f76a18a48fb9d05ed0aa823259e.png
[BaseDescr]: https://github.com/kiegroup/drools/blob/master/drools-compiler/src/main/java/org/drools/compiler/lang/descr/BaseDescr.java
[DescrFactory]: https://github.com/kiegroup/drools/blob/master/drools-compiler/src/main/java/org/drools/compiler/lang/api/DescrFactory.java
[DescrBuilderTest]: https://github.com/kiegroup/drools/blob/master/drools-compiler/src/test/java/org/drools/compiler/lang/api/DescrBuilderTest.java
[Drools]: https://github.com/kiegroup/kie-benchmarks/tree/master/drools-benchmarks
[xsdElement_Extension]: http://dmg.org/pmml/v4-4/GeneralStructure.html#xsdElement_Extension
[SimpleSetPredicate]: http://dmg.org/pmml/v4-4/TreeModel.html#xsdElement_SimplePredicate
[VariableWeight]: http://dmg.org/pmml/v4-4/MultipleModels.html#xsdElement_VariableWeight
[https_www.javacodegeeks.com_2020_02_pmml-revisited.html]: https://www.javacodegeeks.com/2020/02/pmml-revisited.html