如何高效的处理第三方接口数据？

Bertha 。 2021-12-07 12:51 491阅读 0赞

很多公司业务都需要进行第三方接口的对接工作，特别是那种大部分数据都来自第三方的项目。比如亚马逊商家服务的saas系统，基本上所有的数据都来自亚马逊平台。

背景

像这种需要定期获取亚马逊接口数据，然后存储到本地数据库中的项目，一般就会涉及到数据转换过程。这边我将会给大家介绍一个实际项目案例，平台从亚马逊获取数据，进行解析的过程中，因为数据过大，导致内存溢出的场景。

接口说明

亚马逊平台返回的是json格式数据，然后通过jackson进行json解析，将最后的解析结果保存到我们自己的数据库中。但是json反序列也是需要技巧的，否则会因为使用不当导致内存溢出。

json解析

一开始我们通过jackson工具类，将json流解析为JsonNode，如下所示：

ObjectMapper mapper = new ObjectMapper();
    JsonNode root = mapper.readTree((GZIPInputStream) reportMap.get("data"));

但是当请求量过大的时候，内存中就会出现大量的LinkHashMap、Entry、HashMap、Node之类的集合对象，时间一长就OOM内存溢出了。

![image][]

解析改造

集合对象如果没有管理好，会很难被GC回收，所以一开始我们想到的办法是将JsonNode设置为null，后面发现这样做没起到任何作用，所以只能进行彻底的改造，直接用jackson解析成我们需要的对象，如下所示：

private List<ReportAdvertisementDto> parseJsonIO(GZIPInputStream gzipInputStream) {
    ObjectMapper mapper = new ObjectMapper();
    List<ReportAdvertisementDto> advertisementDtoList =new ArrayList<>();
    try {
        advertisementDtoList = mapper.readValue(gzipInputStream, new TypeReference<List<ReportAdvertisementDto>>() {
                });
    } catch (IOException e) {
        logger.error("parseJsonIO转化异常，错误信息为：{}", ExceptionUtil.formatException(e));
    }
    return advertisementDtoList;
    }

修改完之后可以很明显的看到，LinkHashMap、Entry、HashMap、Node之类的对象数量大量减少，内存的占用率明显降低，大大的减少了内存OOM的风险。

![image][image 1]

深入改造

写到这一步是不是就优化完毕了呢？不！！！一开始的时候我是将所有的字段全部设置为String，然后通过Long.value()和Integer.value()转换为数据库需要的字段类型，如下所示：

campaignSearchTermReport.setImpressions(Integer.valueOf(impressions));
    campaignSearchTermReport.setTotalspend(Long.valueOf(cost));
    campaignSearchTermReport.setSales(BigDecimal.valueOf(sales));

所以为了避免这种情况发生，我们需要将转换的对象字段提前设置好，数据库需要什么类型，我们就设置为同样的类型，这样的好处就是我们不需要进行转型，直接就可以set进去，如下所示：

@Data
    @JsonIgnoreProperties(ignoreUnknown = true)
    public class ReportAdvertisementDto {
        private double cost;
        private String attributedSales1d;
        private int impressions;
        private int clicks;
        private long campaignId;
        private String campaignName;
        private String adGroupName;
        private long adId;
        private long adGroupId;
        private String sku;
        private String asin;
        private long keywordId;
        private String matchType;
        private String query;
        private String keywordText;
        private int attributedConversions7d;
        private double attributedSales7d;
        private int attributedUnitsOrdered7d;
        private int attributedConversions7dSameSKU;
        private double attributedSales7dSameSKU;
    }

总结

> 在数据量不大的情况下，代码就算效率不高，也不会出现什么问题，但是当数据量达到一定级别，代码问题就会被凸显出来。比如我们平时用Map来存储临时数据，但是map集合的大小要比对象更加占用内存，如果服务器硬件不高，很容易就发生内存溢出。
> 
> 所以我们在处理接口数据的时候，一定要本着简单、适用。尽量不要将json数据解析为map等集合，对象字段尽量设置为和入库的的表字段类型一致，减少转型的发生。禁止出现大量对象和对象之间数据流转，尽量做到一个解析后的对象直接入库，不需要进行任何转型操作。

想学习**分布式、微服务、JVM、多线程、架构、java、python**的童鞋，千万**不要**扫码，否则后果自负~

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbnpoaXFpYW5nMDMxNg_size_16_color_FFFFFF_t_70][]

**林老师带你学编程**：[https://wolzq.com][https_wolzq.com]

[image]: /images/20211207/78dce6f1ed96475a8a959246cb451a41.png
[image 1]: /images/20211207/ed08febbd7544d28a3dd1a272fde6920.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbnpoaXFpYW5nMDMxNg_size_16_color_FFFFFF_t_70]: /images/20211207/2ac8c9a0376d4cd09981e06caec2e345.png
[https_wolzq.com]: https://wolzq.com/