【微服务】166：导入数据到索引库

╰半橙微兮° 2022-12-10 12:29 167阅读 0赞

### 目录 ###

*   *   *  
     *  一、all数据
     *  二、skus和price数据
     *  三、specs规格参数
     *  最后

###  ###

今天是刘小爱自学Java的第166天。

感谢你的观看，谢谢你。

![f3bf0fa39c30072733e9bb23d68a7546.png][]

学习计划安排，导入需要的数据到索引库：

*  对于all字段的拼接。
 *  spu中附带的skus集合。
 *  sku中对应的price。
 *  specs规格参数。

上述也就是我们前几天一直在分析的数据，也就是对应Goods这个实体类，同时将这个实体类和索引库对应起来。

那导入什么数据？也就是164天整合的那些已经实现了的业务。

但是只是查询出来了，现在还要将这些数据一一对应存储到Goods对象中，再导入索引库。

只能说真的太复杂了，一个方法写了一百多行代码，这是我迄今为止写的最长最复杂的了。

## 一、all数据 ##

包含商品标题、商品分类以及品牌等数据。

![162c8986e29e5d8b0d5d161268d217a6.png][]

**①商品分类**

分类有三级分类，从数据库中查出的是一个大小为3的分类集合。

而我们所需要的是这三个分类拼接成的一个字符串，所以遍历将其拼接，当然这里是用的Stream流批量获取商品分类名，并以“，”完成拼接。

**②商品品牌**

因为商品只可能对应一个品牌，所以查询到的本身就是一个品牌对象，不用多说。

**③all字段拼接**

我们需要spu的标题，商品对应的三级分类以及品牌名，将其拼接成一个字符串，这也是为何第①步要将三级分类转换成字符串的原因。

## 二、skus和price数据 ##

同样的道理，通过fegin客户端查询到sku数据，是一个sku集合。

现在问题来了，我们并不是需要sku中的所有数据，而是其中的4个，该怎么办？

![47e5795df5b6aa72e5ec02ad59fc2679.png][]

**①map来代替spu实体类**

在Java中有一个map集合，确定好泛型后，可以一定程度上代替Java中的对象。

这就好比我们重新创建了一个实体类，类的属性只有上述中的4个，但显然这里用map更合适。

**②遍历导入需要的sku数据**

只需要id，price，title以及image四个数据。

**注意**：title这个字段，spu中有这个字段，sku中也有这个字段，那它们有什么区别呢？举一个例子说明下

*  spu中title：小米10。
 *  sku中title：小米10 8G+256G 玫瑰金 移动联通电信4G手机 双卡双待。

sku等于是spu的一个垂直细分，多个sku共用一个spu。

**③图片数据**

sku中商品对应的图片是有多张的，但是展示给用户看的就只有一张，所以这里截取第一张图片即可。

使用apache提供的api即可完成图片的截取：substringBefore()的使用。

![082a5c8b9fe4f2c2b3effc8479378030.png][]

关于这块的操作是最简单的了，所以我将stream的用法在此做一个对比讲解。

上述中①是使用的stream流，②就是使用的for循环，这两种方式实现的结果是一样的。

用哪种方法都可以，但是最好要保证自己都会用，不然若是别人写stream流看不懂怎么办？

## 三、specs规格参数 ##

这个代码编写起来也是最复杂的，将其分成查询数据和存储数据两个部分：

![01e008e9221d8991790fd2098818120f.png][]

specs这个字段当初设定的时候就是一个map集合。

**①获取specs中的key**

它的key来自spec表，对应的业务也就是**根据条件查询规格参数**。

我们当初设定的时候，该方法参数有三个，也就是gid、cid、searching，这些条件可以有也可以没有。

这里的话：gid为null，cid为第三级商品分类，并且searching设定为true表示只查询规格参数中需要搜索的字段。

**②获取specs中的value**

它的value来自于spu\_detail表，对应的业务也就是**根据spu查询spuDetail**。

关于spu\_detail表和规格参数相关的有两个字段：generic\_spec和special\_spec。

也就是通用规格参数和特有规格参数，其实很好理解：

*  通用规格参数：比如操作系统都是Android、比如CPU都是骁龙，这些参数是通用的。
 *  特有规格参数：比如内存大小，比如颜色，这些参数是通用的。。

存储在数据库中的数据是json格式的字符串，所以这里要用一个工具类转换成map集合。

关于JsonUtils这个工具类牵扯出的知识点又太多了，有时间的话专门写一遍讲解吧，大概。

反正其作用就是json与map集合之间的转换。

![8ac7bc9a0bacd7499aefc23ab0055bf8.png][]

刚才只是从数据库中查询到了数据，现在要将查询到的数据一一对应存储到specs集合中，specs也就是在查询数据的时候创建的specs集合。

**①存储规格参数中的key**

查询出来的规格参数名都是需要存储的，但是其值是需要判断之后再存储的。

比如“CPU品牌”就是规格参数名，这里也就是key，“高通(Qualcomm) ”这就是规格参数值，这里也就是value。

**②存储规格参数中的value**

规格参数名中有一个generic字段，用来判断该参数是否为通用规格参数。

所以上述使用getGeneric()判断：

*  如果是通用规格，规格参数id获取对应的规格参数名。
 *  如果不是，那么就是特有规格，获取对应的特有规格参数名。

其中chooseSegment是自定义的一个方法，用来判断是否是数据类型，比较复杂，将估计又要花不少时间。

PS：这些业务如果忘记了，我在**第164天的笔记**中有一个关于这些业务的总结。

再PS：又没有学完…，也还没有测试，估计会有很多问题，只能等后续发现问题了再自己在评论区补充说明了。

## 最后 ##

行有不得反求诸己，我是@刘小爱

一个白天上班晚上学习的95后沪漂，不为其它，只为学会自律做好自己，也愿我的每日打卡能给你带来勇气，欢迎点赞关注和评论。

[f3bf0fa39c30072733e9bb23d68a7546.png]: /images/20221123/91ec2f40f475439db89f70a2f3dd1054.png
[162c8986e29e5d8b0d5d161268d217a6.png]: /images/20221123/10356ba0283d4e6096f58c15fbdc16dd.png
[47e5795df5b6aa72e5ec02ad59fc2679.png]: /images/20221123/10658dbfd3f04d0fa122e9ca09814080.png
[082a5c8b9fe4f2c2b3effc8479378030.png]: /images/20221123/52fc1c2cb14745daadd967ccb3b51565.png
[01e008e9221d8991790fd2098818120f.png]: /images/20221123/0c6718764a9e450097446b1718edd1a7.png
[8ac7bc9a0bacd7499aefc23ab0055bf8.png]: /images/20221123/e07dd20822334a95879dd910ca3bfc0d.png

发表评论取消回复

表情：

评论列表（有 0 条评论，167人围观）

还没有评论，来说两句吧...

相关阅读

相关微服务分布式搜索引擎 Elastic Search 索引库与文档操作

分布式搜索引擎 Elastic Search 索引库与文档？一文搞定！

冷不防/ 2024年05月01日 04:43/ 0 赞/ 77 阅读

相关 Java代码：将PostgreSQL表数据导入到Elasticsearch索引

对于Elasticsearch而言，它并不会直接按照PostgreSQL中的表一一创建索引。在将数据从PostgreSQL导入到Elasticsearch时，您可以根据需求和数

￡神魔★判官ぃ/ 2023年10月14日 22:04/ 0 赞/ 13 阅读

相关【微服务】----索引目录

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

àì夳堔傛蜴生んèń/ 2023年03月05日 03:27/ 0 赞/ 166 阅读

相关将mysql数据库中数据导入至solr索引库

此处在Tomcat服务器下部署Solr 1.引入jar依赖在apache-tomcat-8.0.52\\webapps\\solr\\WEB-INF\\lib引入

- 日理万妓/ 2022年12月20日 06:10/ 0 赞/ 138 阅读

相关【日记】166微服务项目第36天

01 一句话日记 2020/9/25 ![831e65cfef22f1ff04881750187766f2.png][] 02 Day166 每日总结一个方法写

缺乏、安全感/ 2022年12月11日 09:26/ 0 赞/ 188 阅读

相关【微服务】166：导入数据到索引库

目录一、all数据二、skus和price数据三、specs规格参数最后今

╰半橙微兮°/ 2022年12月10日 12:29/ 0 赞/ 168 阅读

相关利用solrJ向索引库导入数据

需求：将MySQL中的数据导入到solr索引库定义实体类： public class SearchItem implements Serializable{

素颜马尾好姑娘i/ 2022年05月27日 06:24/ 0 赞/ 209 阅读

相关将数据导入索引库（solr）

<dependency> <groupId>org.apache.solr</groupId>

忘是亡心i/ 2022年02月27日 18:42/ 0 赞/ 254 阅读

相关 logstash批量导入Oracle关联查询的数据到Elasticsearch索引库

1.安装好logstash后，在该文件夹下的bin目录下新建文件夹conf，新建logstash导入数据启动文件，和导入数据的配置新建要导入数据的索引 newInde

﹏ヽ暗。殇╰゛Y/ 2022年01月27日 06:49/ 0 赞/ 293 阅读

相关微服务项目之电商--21.ElasticSearch索引库数据导入

目录 1.索引库数据导入 1.1.创建搜索服务 1.2.索引库数据格式分析 1.2.1.以结果为导向 1.2.2.需要什么数据 1.2.3.最终的数据结构

Love The Way You Lie/ 2021年10月18日 09:34/ 0 赞/ 377 阅读