2020年博客日报第3篇|基于模型检索初步设计方案
前言
本篇为周报,概括一周的工作情况
但是事情太杂乱,一时间无从梳理,下周应该好些吧,算是有个记录的地方
说下大体主要方向吧:
1.项目部署规范、一键化操作
每个步骤优化都是为了更好的部署,方便管理
一直在整理这部分内容,如果不持续梳理解决部署效率问题,会很影响开发速度
项目增多,也同样存在管理成本问题
梳理了下文档以及目录结构、脚本等文件,这块以后有后端开发人员管理,个人角色转为辅助
2.文件服务器
之前服务器出现问题,用openresty重新构建了一个文件服务器,主要存放部署文件、相关软件以及文档等附件
nginx.conf 配置
server {
listen 8888;
server_name 192.168.26.XX;
charset utf-8;
root /opt/file;
location / {
autoindex on; # 索引
autoindex_exact_size on; # 显示文件大小
autoindex_localtime on; # 显示文件时间
}
}
3.SVN目录调整
重新构建核心库目录,相关项目构建路径在规定位置
4.元数据系统bug修复
利用零碎时间修复了该系统bug
…太细化的东西,不再描述
周一开始模型方面的功能开发,上篇我们答题有了初步思路,这篇我们需要初步设计,避免上班影响其他人进度
关于模型那些事
1.首先需要确定模型创建相关表设计
模型表&模型属性表&维度表&映射表
1.1 模型表:(模型列表)
ID
模型名称
模型描述
模型标签(如人口模型,此模型系统梳理的标签)
…
1.2 模型属性表(用于描述模型表)
ID
关联模型ID
字段名称
字段编码
字段长度范围
数据长度范围
字段类型
数据通配符
…
考虑到复杂度,可见规则设计成宽表,查询的维度预留10个字段
字段名称(企业名称)、字段编码(ENT_NAME)、字段长度范围(0-128)、数据长度范围(5-60)、字段类型(String)、数据通配符(*公司)
2. DB插件元数据&主数据抽取
元数据表
同模型表类似,用于存放抽取过表的基本信息
表名称、编码、描述……标签等
元数据字段属性
同模型属性表,这里存放的信息更加详细,基本包含所有的信息(+标签)
3.ETL工具设计
3.1主数据抽取
(考虑到性能问题,暂且ETL抽取,目前暂定前50条,分析数据使用)
3.2 将元数据字段和表的全部信息初始化后,组成一张大表刷新到ES中
4.模型检索
规则尚需讨论.
End
将模型业务初步整理,明天项目组讨论具体细节
还没有评论,来说两句吧...