数据的持久化同步落地入库

╰+攻爆jí腚メ 2022-11-29 00:52 153阅读 0赞

## 数据的持久化/同步/落地/入库(定时器) ##

##### 分析数据持久化 #####

思考:
    	1.需要将哪些数据进行持久化处理
    		数据被改动,并且一定业务价值的数据,需要同步数据库
    		此处:1>攻略的统计对象vo数据
    			2>用户攻略收藏列表[拓展]
    	2.持久化处理逻辑应该放置在哪个项目实现
    		1>trip-mgrsite 跟 trip-website-api
    		2>api项目后续可能需要进行拓展,比如分布式微服务或者集群操作,如果将持久化逻辑放置api项目,
    		会存在多次持久化操作,不建议,另外一个点,redis缓存数据持久化属于数据管理范畴,建议放置在trip-mgrsite项目中
    		//开发中一般会有个独立项目(服务),定时任务项目:专门做定时任务处理
    	3.持久化处理逻辑应该放置哪个组件中实现(fillter servlet interceptor controller listener)
           分析需求实现特点:
    		1>多次执行,并且需要周期性执行
    		  周期性执行操作:定时器
    		  定时(周期性)执行业务操作:定时任务
    		2>定时工具类
    		1.jdk time 2.ExcutorService 3.Spring Task 4.Quartz 5.Elastic-job

##### 定时器具体使用 #####

//数据持久化
    @Component
    public class RedisDataPersistenceJob { 
        @Autowired
        private IStrategyRedisService strategyRedisService;
        @Autowired
        private IStrategyService strategyService;
        @Scheduled(cron = "0/10 * * * * ?")
        public void redisDataPersistence() { 
            //将redis中数据保存到mongodb中
            //要想获得redis中数据,需要key键,我们没有key,只能使用*,拿到所有key
            //再通过key拿到所有vo对象
            List<StrategyStatisVO> list = strategyRedisService.getStatisVOs();
            //遍历集合将它保存到mongodb中
            for (StrategyStatisVO vo : list) { 
                //将redis中的数据保存到mongodb中
                strategyService.updateStatis(vo);
            } 
        }
    }

##### service层 #####

//获得redis中的所有vo对象的key
        @Override
        public List<StrategyStatisVO> getStatisVOs() { 
            //拼接出key strategy_statis_vo:*
            String key = RedisKeys.STRATEGY_STATIS_VO.join("*");
            //获取所有以STRATEGY_STATIS_VO开头的key
            Set<String> keys = template.keys(key);
            List<StrategyStatisVO> list = new ArrayList<>();
            if (keys != null && keys.size() > 0) { 
                //遍历key
                for (String str : keys) { 
                    //获取vo对象字符串
                    String voStr = template.opsForValue().get(str);
                    //将数据转换为对象,存到集合中
                    list.add(JSON.parseObject(voStr, StrategyStatisVO.class));
                }
            }
            return list;
        }

##### 小结 #####

步骤:
    //1.建类
    //2.贴注解交给容器管理
    //3.定义一个方法
    //4.在方法上贴cron表达式注解,并定义定时时间, @Scheduled(cron="0/10 * * * * ?")
    //5.在主配置类上贴@EnableScheduling注解,启动springboot 定时任务支持
    //经验之谈:一般定时6个小时,半天
    //秒 分 小时 月份中的日期 月份 星期中的日期 年份
       1.将redis数据持久化到数据库中时,我们需要使用定时器,定时器表达式不懂可以百度,表达式有6位或7位
       2.然后需要在主配置类上贴@EnableScheduling注解
       3.在方法上贴cron表达式注解