2020年博客日报第3篇|基于模型检索初步设计方案

喜欢ヅ旅行 2023-06-29 12:59 37阅读 0赞

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70

前言

本篇为周报，概括一周的工作情况

但是事情太杂乱，一时间无从梳理，下周应该好些吧，算是有个记录的地方

说下大体主要方向吧：

1.项目部署规范、一键化操作

每个步骤优化都是为了更好的部署，方便管理

一直在整理这部分内容，如果不持续梳理解决部署效率问题，会很影响开发速度

项目增多，也同样存在管理成本问题

梳理了下文档以及目录结构、脚本等文件，这块以后有后端开发人员管理，个人角色转为辅助

2.文件服务器

之前服务器出现问题，用openresty重新构建了一个文件服务器，主要存放部署文件、相关软件以及文档等附件

nginx.conf 配置

  1. server {
  2.             listen       8888;
  3.             server_name 192.168.26.XX;
  4.             charset utf-8;
  5.             root   /opt/file;
  6.             location / {
  7.               autoindex on; # 索引
  8.               autoindex_exact_size on; # 显示文件大小
  9.               autoindex_localtime on; # 显示文件时间
  10.     }
  11. }

3.SVN目录调整

重新构建核心库目录，相关项目构建路径在规定位置

4.元数据系统bug修复

利用零碎时间修复了该系统bug

…太细化的东西，不再描述

周一开始模型方面的功能开发，上篇我们答题有了初步思路，这篇我们需要初步设计，避免上班影响其他人进度

关于模型那些事

1.首先需要确定模型创建相关表设计

模型表&模型属性表&维度表&映射表

1.1 模型表：（模型列表）

ID

模型名称

模型描述

模型标签（如人口模型，此模型系统梳理的标签）

…

1.2 模型属性表(用于描述模型表)

ID

关联模型ID

字段名称

字段编码

字段长度范围

数据长度范围

字段类型

数据通配符

…

考虑到复杂度，可见规则设计成宽表，查询的维度预留10个字段

字段名称（企业名称）、字段编码（ENT_NAME）、字段长度范围(0-128)、数据长度范围(5-60)、字段类型(String)、数据通配符(*公司)

2. DB插件元数据&主数据抽取

元数据表

同模型表类似，用于存放抽取过表的基本信息

表名称、编码、描述……标签等

元数据字段属性

同模型属性表，这里存放的信息更加详细，基本包含所有的信息（+标签）

3.ETL工具设计

3.1主数据抽取

（考虑到性能问题，暂且ETL抽取，目前暂定前50条，分析数据使用）

3.2 将元数据字段和表的全部信息初始化后，组成一张大表刷新到ES中

4.模型检索

规则尚需讨论.

End

将模型业务初步整理，明天项目组讨论具体细节

发表评论

表情：
评论列表 （有 0 条评论，37人围观）

还没有评论，来说两句吧...

相关阅读