【elasticsearch】数据早8小时or晚8小时，你知道为什么吗？附解决方案

谁践踏了优雅 2023-02-15 03:51 7阅读 0赞

##### 前言 #####

*  这篇文章，不会解释什么是本初子午线，只想以做实验的方式来理解数据差8小时的问题。下面就先说结论，再来谈原理。

##### 解决方案 #####

*  想必大家都很清楚：中国标准时间= UTC + 8小时。
 *  那么所有和时区有关的地方，都有可能成为“凶手”。

###### 如果是java写入es怎么解决时区问题？ ######

*  如果你使用java程序来写入es，我推荐你写入带T的时间字符串。提供程序如下：
    
        /**
           * String timeZoneConvert = timeZoneConvert(
           *                 new Date().getTime()
           *                 , "yyyy-MM-dd'T'HH:mm:ss.SSSZ",
           *                 "Asia/Shanghai");
           *
           * @param date 毫秒
           * @param pattern format时间格式
           * @param timeZone 时区
           * @return 如:2019-12-30T16:32:07.616+0800
           */
          publicstatic String timeZoneConvert(Long date,String pattern,String timeZone){
              SimpleDateFormat simpleDateFormat=new SimpleDateFormat(pattern);
              simpleDateFormat.setTimeZone(TimeZone.getTimeZone(timeZone));
              return simpleDateFormat.format(date);
          }
 *  为什么？因为java有些api是带时区的。如new Date().getTime()默认是东八区，System.currentTimeMillis() 依赖于当前时区来计算毫秒值。
 *  虽然上述例子依赖了这个api，但是这里只是想说明java程序所处的环境的时区同样有影响，特别是这个程序很可能是容器化的，那么可能又和系统镜像的时区有关了。

###### 如果是logstash写入es怎么解决时区问题？ ######

*  建议input的时间源数据就是带上时区的字符串，否则就要进行转换。
    
        mutate{
              gsub => [
                 "time", "[+]", "T"
              ]
            }
              mutate{
            replace => ["time","%{time}+08:00"]
            }
    
    或是：
    
        date {
          match => ["timestamp", "yyyy-MM-dd HH:mm:ss"]
          target => "my_timestamp"
          timezone => "+08:00"
        }

###### 如果是语句聚合es数据怎么解决时区问题？ ######

*  指定time\_zone配置
    
        "aggs": {
          "by_day": {
            "date_histogram": {
              "field":     "date",
              "interval":  "day",
              "time_zone": "Asia/Shanghai"
            }
          }
        }

###### kibana显示怎么解决时区问题？ ######

*  Management>>Advanced Settings设置时区。

![format_png][]

##### 原理&试验 #####

##### Es中和时间相关的数据类型 #####

*  一般在写入es的时候，会以json的方式写入，由于json中没有日期数据类型，所以日期如何存储显示，是由es决定的，也就是说es会进行隐式的类型转换。
 *  es中的日期可以是：
 *   *  格式化日期的字符串，例如"2019-12-30"或"2019/12/30 12:10:30"。
     *  毫秒值。
     *  秒值。

##### 试验 #####

*  这里以不同的时间api准备了一些数据写入es,让我们来看看会发生什么。

![format_png 1][]

*  数据打印出来如下：

{
        "AsiaTime":"2019-12-30T16:32:07.616+0800",
        "newDateTime":1577694727581,
        "localTimeNow":"2019-12-30T16:32:07.615",
        "systemCurrentTimeMilis":1577694727581,
        "newDate":1577694727581
    }

*  默认不设置索引模板的情况，写入es后，我们发现带 时区‘T’的数据类型为date。![format_png 2][]
 *  接下来，我们将轮流设置这两个字段为kibana的时间搜索字段，看看会发生什么。

##### 两个实验对时区的思考 #####

*  实验一：以localTimeNow做时间搜索字段，显示比数据时间晚了8小时。![format_png 3][]
 *  实验二：以AsiaTime做时间搜索字段，显示比数据时间早了8小时。![format_png 4][]
 *  如何解释？当然是由于时区影响。记住这几个点，就很好理解了：
 *  es内部时间会转换成UTC格式，实际按照数值型存储。可以理解为毫秒数。
    
    kibana会通过获取时区配置显示时间到界面。

首先来说实验一，为什么kibana上显示的时比数据时间多8个小时呢？明明是30号的数据，愣是跑到31号去了？

*  这条数据 "localTimeNow":"2019-12-30T16:32:07.615"。带时区T，默认是UTC时区。 而kibana获取的时区配置是Asia/Shanghai，为东8区，相当于在原来的时间上加上8个小时显示。
    
    所以跑到31号去了。用大腿想一下，你肯定知道，这种情况下如果把kibana时区设置为UTC，当然数据就显示正常啦。
 *  再来说实验二， "AsiaTime":"2019-12-30T16:32:07.616+0800，由于上面设置了当前kibana时区为UTC,数据带东八区的时区，所以晚了8小时。同理将kibana时区改为东八区后显示正常。

#### 总结 ####

*  时区问题，万变不离其宗，搞清楚原理后，任意数据怎么变化，我们都能够有方法应对，希望这篇文章对你有所帮助。欢迎关注呀

![format_png 5][]

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy94aWNXWVRTSUN6UnRuelN0dmVBYVR6TTZqSUVucTJXODFGT3hBSndCZXkwaWFRYkx6T2ljV3haQlBXNFRMTHdaaWJ4RXpOYWljYmljaWFjUkd0MFVLTTNCWVllSncvNjQw?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnRuelN0dmVBYVR6TTZqSUVucTJXODFGZXNYY3dETWFEdTlEd1pieGVhS1U1dFFRMlVaR2tzQXVWQlpMaE8wVE9ITlVrdmVBSGc1UEEvNjQw?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy94aWNXWVRTSUN6UnRuelN0dmVBYVR6TTZqSUVucTJXODE5N2Z4aWNydHExd0pQaWFFNmtSN0xNNVBmY3NQbWlhOVhlZFRNQWljVmpyWVRWNk9MRG00V1ZLUFB3LzY0MA?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy94aWNXWVRTSUN6UnRuelN0dmVBYVR6TTZqSUVucTJXODFQY0ZIREJBZ2ZjMXVlSDQ4cUppYURFaWJiVFpMMFJ3b0hqaWMzYmljNHpDTFdMUVZkUGljNzUyUDVTdy82NDA?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy94aWNXWVRTSUN6UnRuelN0dmVBYVR6TTZqSUVucTJXODE1QXFkY1JCUmlheFZnbm9pYldhZDJ0d25haE9XSFJrc2h1TVFINjhNaWJBRHJ1ODhGc29HUE1QTGcvNjQw?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi94aWNXWVRTSUN6UnNEbE4zWUQyTU93VW1rR2V3UGlhNlByNnl2Q1dFZkhPUUJuc2lhSnNaMFg5aWFUNmliNWE3enRHNzRUMWtDWkpGbnJ4bElWSnF1bWljdWc0QS82NDA?x-oss-process=image/format,png