数据脱敏了解

清疚 2021-11-24 01:08 534阅读 0赞

### 数据脱敏了解和使用 ###

*  什么是数据脱敏(DM）？
 *  数据脱敏分类：
 *  生活中常见的例子：
 *  敏感数据梳理：
 *  确定数据脱敏规则：
 *  脱敏工具类
 *  项目中使用例子

# 什么是数据脱敏(DM）？ #

> 数据脱敏(Data Masking)是指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下，在不违反系统规则条件下，对真实数据进行改造并提供测试使用，如身份证号、手机号、卡号、客户姓名、客户地址、等个人敏感信息都需要通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。这样就可以在开发、测试和其他非生产环境以及外包环境中可以安全的使用脱敏后的真实数据集。

# 数据脱敏分类： #

1.  静态脱敏(SDM)：对于开发、测试，或者数据外发等场景，提供批量的数据脱敏能力。通过采样、替换等方式生成脱敏后的准真实数据库，脱敏后的数据同时保留原有的关联关系。  
    ![静态数据脱敏][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTIwNTE0OA_size_16_color_FFFFFF_t_70]
2.  动态脱敏(DDM)：对需要共享的生产数据或时效性很高的数据测试和培训场景，基于网络代理模式的动态脱敏技术，达到实时模糊化敏感数据的效果。动态脱敏可实现对业务系统数据库中敏感数据进行透明、实时脱敏。  
    ![动态数据脱敏][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTIwNTE0OA_size_16_color_FFFFFF_t_70 1]

# 生活中常见的例子： #

1.  火车票
2.  淘宝网页上的收货地址
3.  58同城上的手机号码
4.  滴滴打车上拨打的手机显示号码

# 敏感数据梳理： #

在进行数据脱敏之前我们应该要确定公司的哪些数据（哪些表、哪些字段）要作为脱敏的目标，下面从用户、公司、卖家反面分析：

1.  用户：名字、手机号码、身份证号码、固定电话、收货地址、电子邮箱、银行卡号、密码等
2.  卖家：名字、手机号码、身份证号码、固定电话等
3.  公司：交易金额、优惠券码、充值码等

# 确定数据脱敏规则： #

确定好了公司的哪些数据要作为脱敏目标后，我们就需要制定脱敏的规则（具体的实施方法）。

常见方法：

1.  替换：如统一将女性用户名替换为F，这种方法更像“障眼法”，对内部人员可以完全保持信息完整性，但易破解。
2.  重排：序号12345 重排为 54321，按照一定的顺序进行打乱，很像“替换”， 可以在需要时方便还原信息，但同样易破解。
3.  加密：编号 12345 加密为 23456，安全程度取决于采用哪种加密算法，一般根据实际情况而定。
4.  截断：13811001111 截断为 138，舍弃必要信息来保证数据的模糊性，是比较常用的脱敏方法，但往往对生产不够友好。（丢失字段的长度）
5.  掩码: 123456 -> 1xxxx6，保留了部分信息，并且保证了信息的长度不变性，对信息持有者更易辨别， 如火车票上得身份信息。（常用方法）
6.  日期偏移取整：20130520 12:30:45 -> 20130520 12:00:00，舍弃精度来保证原始数据的安全性，一般此种方法可以保护数据的时间分布密度。

**目前我的脱敏规则想法是：**

1.  【中文姓名】只显示第一个汉字，其他隐藏为2个星号，比如：李\*\*
2.  【身份证号】显示最后四位，其他隐藏。共计18位或者15位，比如：\*\*\*\*\*\*\*\*\*\*\*\*\*1234
3.  【固定电话】 显示后四位，其他隐藏，比如：\*\*\*\*\*\*\*3241
4.  【手机号码】前三位，后四位，其他隐藏，比如：135\*\*\*\*6810
5.  【地址】只显示到地区，不显示详细地址，比如：上海徐汇区漕河泾开发区\*\*\*
6.  【电子邮箱】 邮箱前缀仅显示第一个字母，前缀其他隐藏，用星号代替，@及后面的地址显示，比如：d\*\*@126.com
7.  【银行卡号】前六位，后四位，其他用星号隐藏每位1个星号，比如：6222600\*\*\*\*\*\*\*\*\*\*1234
8.  【密码】密码的全部字符都用代替，比如：\*\*\*  
    根据以上规则进行数据脱敏！  
    *具体思路目前是这样的：  
    从原数据源查询到的生产数据 ——> 数据脱敏 ——> 更新到目标数据源。  
    原数据源、目标数据源、需要脱敏的表、字段等都放在配置文件中，做到可扩展性！*

# 脱敏工具类 #

根据以上脱敏规则下面是一份简单的脱敏工具类：

package com.project.plan.common.utils;
    
    import org.apache.commons.lang3.StringUtils;
    
    /** * 数据脱敏处理类 * * @author * @create 2019-07-27 13:15 **/
    public class DesensitizedUtils { 
    
        /** * 【中文姓名】只显示第一个汉字，其他隐藏为2个星号，比如：李** * @param fullName * @return */
        public static String chineseName(String fullName) { 
            if (StringUtils.isBlank(fullName)) { 
                return "";
            }
            String name = StringUtils.left(fullName, 1);
            return StringUtils.rightPad(name, StringUtils.length(fullName), "*");
        }
    
        /** * 【身份证号】显示最后四位，其他隐藏。共计18位或者15位，比如：*************1234 * @param id * @return */
        public static String idCardNum(String id) { 
            if (StringUtils.isBlank(id)) { 
                return "";
            }
            String num = StringUtils.right(id, 4);
            return StringUtils.leftPad(num, StringUtils.length(id), "*");
        }
    
        /** * 【固定电话】 显示后四位，其他隐藏，比如：*******3241 * @param num * @return */
        public static String fixedPhone(String num) { 
            if (StringUtils.isBlank(num)) { 
                return "";
            }
            return StringUtils.leftPad(StringUtils.right(num, 4), StringUtils.length(num), "*");
        }
    
        /** * 【手机号码】前三位，后四位，其他隐藏，比如：135****6810 * @param num * @return */
        public static String mobilePhone(String num) { 
            if (StringUtils.isBlank(num)) { 
                return "";
            }
            return StringUtils.left(num, 3)
                    .concat(StringUtils.removeStart(StringUtils.leftPad(StringUtils.right(num, 4), StringUtils.length(num), "*"), "***"));
        }
    
        /** * 【地址】只显示到地区，不显示详细地址，比如：上海徐汇区漕河泾开发区*** * @param address * @param sensitiveSize 敏感信息长度 * @return */
        public static String address(String address, int sensitiveSize) { 
            if (StringUtils.isBlank(address)) { 
                return "";
            }
            int length = StringUtils.length(address);
            return StringUtils.rightPad(StringUtils.left(address, length - sensitiveSize), length, "*");
        }
    
        /** * 【电子邮箱】 邮箱前缀仅显示第一个字母，前缀其他隐藏，用星号代替，@及后面的地址显示，比如：d**@126.com * @param email * @return */
        public static String email(String email) { 
            if (StringUtils.isBlank(email)) { 
                return "";
            }
            int index = StringUtils.indexOf(email, "@");
            if (index <= 1)
                return email;
            else
                return StringUtils.rightPad(
                            StringUtils.left(email, 1),
                            index,
                            "*")
                        .concat(StringUtils.mid(email, index, StringUtils.length(email)));
        }
    
        /** * 【银行卡号】前六位，后四位，其他用星号隐藏每位1个星号，比如：6222600**********1234 * **************3579 --> ********3579 --> 6222600********3579 * @param cardNum * @return */
        public static String bankCard(String cardNum) { 
            if (StringUtils.isBlank(cardNum)) { 
                return "";
            }
            return StringUtils.left(cardNum, 6)
                    .concat(
                            StringUtils.removeStart(
                                StringUtils.leftPad(StringUtils.right(cardNum, 4), StringUtils.length(cardNum), "*"),
                            "******")
                    );
        }
    
        /** * 【密码】密码的全部字符都用*代替，比如：****** * @param password * @return */
        public static String password(String password) { 
            if (StringUtils.isBlank(password)) { 
                return "";
            }
            String pwd = StringUtils.left(password, 0);
            return StringUtils.rightPad(pwd, StringUtils.length(password), "*");
        }
    
        public static void main(String[] args) { 
            System.out.println(password("asdf12234"));
    
            System.out.println(bankCard("62170023345673452345"));
    
            System.out.println(email("jimmylonema@163.com"));
    
            System.out.println(address("上海市普陀区金沙江路1008号威光小区5号楼1903室", 8));
    
            System.out.println(mobilePhone("13517879874"));
    
            System.out.println(fixedPhone("0739-2626983"));
    
            System.out.println(idCardNum("331201199502119472"));
    
            System.out.println(chineseName("李莫愁"));
    
        }
    
    
    }

# 项目中使用例子 #

1、定义数据脱敏处理类

// Copyright 2016-2101 Pica.
    package com.pica.cloud.commercialization.crrs.util;
    
    import com.alibaba.fastjson.serializer.ValueFilter;
    import com.pica.cloud.commercialization.crrs.enums.SensitiveTypeEnum;
    import java.lang.reflect.Field;
    import lombok.extern.slf4j.Slf4j;
    import org.apache.commons.lang.StringUtils;
    
    /** * @ClassName BeanPropertyFilter * @Description 脱敏处理类 * @Author Chongwen.jiang * @Date 2019/2/15 15:18 * @ModifyDate 2019/2/15 15:18 * @Version 1.0 */
    @Slf4j
    public class BeanPropertyFilter implements ValueFilter { 
    
      private Field field = null;
    
      @Override
      public Object process(Object obj, String name, Object value) { 
        try { 
          field = obj.getClass().getDeclaredField(name);
          value = getFormatValue(field, value);
    
        } catch (NoSuchFieldException e) { 
          return value;
    
        } catch (Exception e) { 
          log.error(obj + "BeanPropertyFilter CustomsInfo解析格式化file异常:", e);
          return value;
        }
    
        return value;
      }
    
      private Object getFormatValue(Field field, Object value) { 
        if (field.isAnnotationPresent(Desensitized.class)) { 
          SensitiveTypeEnum formatType = field.getAnnotation(Desensitized.class).type();
          //进行格式化
          value = format(formatType, value);
        }
        return value;
      }
    
      private Object format(SensitiveTypeEnum formatType, Object obj) { 
        String formatValue = "";
    
        if (obj == null) { 
          return "";
        } else if (obj instanceof String) { 
          formatValue = (String) obj;
        } else { 
          return "非String类型!";
        }
    
        //姓名格式化
        if (formatType.equals(SensitiveTypeEnum.CHINESE_NAME)) { 
          log.debug("enter CHINESE_NAME format");
          return chineseName(formatValue);
        }
    
        //身份证号格式化
        if (formatType.equals(SensitiveTypeEnum.ID_CARD)) { 
          log.debug("enter ID_CARD format");
          return idCardNum(formatValue);
        }
    
        //手机号格式化
        if (formatType.equals(SensitiveTypeEnum.PHONE_NUMBER)) { 
          log.debug("enter PHONE_NUMBER format");
          return mobilePhone(formatValue);
        }
    
        if (formatType.equals(SensitiveTypeEnum.DIAGNOSTIC_RESULT)) { 
          log.debug("enter DIAGNOSTIC_RESULT format");
          return diagnosticResult(formatValue);
        }
    
        if (formatType.equals(SensitiveTypeEnum.ADDRESS)) { 
          log.debug("enter ADDRESS format");
          return address(formatValue, formatValue.length());
        }
    
        return "";
      }
    
    
      /** * 【中文姓名】只显示第一个汉字，其他隐藏为2个星号，比如：李** */
      public static String chineseName(String fullName) { 
        if (StringUtils.isBlank(fullName)) { 
          return "";
        }
        String name = StringUtils.left(fullName, 1);
        return StringUtils.rightPad(name, StringUtils.length(fullName), "*");
      }
    
      /** * 【身份证号】显示前6位，其他隐藏。共计18位或者15位，比如：310115************ */
      public static String idCardNum(String id) { 
        if (StringUtils.isBlank(id)) { 
          return "";
        }
        String num = StringUtils.left(id, 6);
        return StringUtils.rightPad(num, StringUtils.length(id), "*");
      }
    
      /** * 【固定电话 后四位，其他隐藏，比如1234 */
      public static String fixedPhone(String num) { 
        if (StringUtils.isBlank(num)) { 
          return "";
        }
        return StringUtils.leftPad(StringUtils.right(num, 4), StringUtils.length(num), "*");
      }
    
      /** * 【手机号码】 后四位，其他隐藏，比如 *******2468 */
      public static String mobilePhone(String num) { 
        if (StringUtils.isBlank(num)) { 
          return "";
        }
    // return StringUtils.left(num, 3).concat(StringUtils
    // .removeStart(StringUtils.leftPad(StringUtils.right(num, 4), StringUtils.length(num), "*"),
    // "***"));
        return StringUtils.leftPad(StringUtils.right(num, 4), StringUtils.length(num), "*");
      }
    
      /** * 【地址】只显示到地区，不显示详细地址，比如：北京市海淀区**** * * @param sensitiveSize 敏感信息长度 */
      public static String address(String address, int sensitiveSize) { 
        if (StringUtils.isBlank(address)) { 
          return "";
        }
        int length = StringUtils.length(address);
        return StringUtils.rightPad(StringUtils.left(address, length - sensitiveSize), length, "*");
      }
    
      /** * 【电子邮箱 邮箱前缀仅显示第一个字母，前缀其他隐藏，用星号代替，@及后面的地址显示，比如：d**@126.com> */
      public static String email(String email) { 
        if (StringUtils.isBlank(email)) { 
          return "";
        }
        int index = StringUtils.indexOf(email, "@");
        if (index <= 1) { 
          return email;
        } else { 
          return StringUtils.rightPad(StringUtils.left(email, 1), index, "*")
              .concat(StringUtils.mid(email, index, StringUtils.length(email)));
        }
      }
    
      /** * 【银行卡号】前六位，后四位，其他用星号隐藏每位1个星号，比如：6222600**********1234> */
      public static String bankCard(String cardNum) { 
        if (StringUtils.isBlank(cardNum)) { 
          return "";
        }
        return StringUtils.left(cardNum, 6).concat(StringUtils.removeStart(
            StringUtils.leftPad(StringUtils.right(cardNum, 4), StringUtils.length(cardNum), "*"),
            "******"));
      }
    
      /** * 【密码】密码的全部字符都用*代替，比如：****** */
      public static String password(String password) { 
        if (StringUtils.isBlank(password)) { 
          return "";
        }
        String pwd = StringUtils.left(password, 0);
        return StringUtils.rightPad(pwd, StringUtils.length(password), "*");
      }
    
      /** * 【疾病诊断】疾病内容完全保密,全部字符都用*代替，比如：****** */
      public static String diagnosticResult(String diagnosticResult) { 
        if (StringUtils.isBlank(diagnosticResult)) { 
          return "";
        }
        String pwd = StringUtils.left(diagnosticResult, 0);
        return StringUtils.rightPad(pwd, StringUtils.length(diagnosticResult), "*");
      }
    
    }

2、利用aop自定义注解使用

// Copyright 2016-2101 Pica.
    package com.pica.cloud.commercialization.crrs.interceptor;
    
    import com.alibaba.fastjson.JSON;
    import com.pica.cloud.commercialization.crrs.base.ApiResponse;
    import com.pica.cloud.commercialization.crrs.base.UserInfoContext;
    import com.pica.cloud.commercialization.crrs.constant.SysConstant;
    import com.pica.cloud.commercialization.crrs.util.BeanPropertyFilter;
    import java.lang.reflect.Type;
    import lombok.extern.slf4j.Slf4j;
    import org.aspectj.lang.JoinPoint;
    import org.aspectj.lang.annotation.AfterReturning;
    import org.aspectj.lang.annotation.Aspect;
    import org.aspectj.lang.annotation.Pointcut;
    import org.slf4j.Logger;
    import org.slf4j.LoggerFactory;
    import org.springframework.stereotype.Component;
    
    /** * @ClassName LoginInterceptor * @Description * @Author Chongwen.jiang * @Date 2018/12/2 11:09 * @ModifyDate 2018/12/2 11:09 * @Version 1.0 */
    @Component
    @Aspect
    @Slf4j
    public class DesensitizeInterceptor { 
    
      private Logger logger = LoggerFactory.getLogger(this.getClass());
    
      @Pointcut("execution(* com.pica.cloud.commercialization.crrs..service..*(..))")
      public void doService() { 
      }
    
    
      @AfterReturning(value = "doService()", returning = "result")
      public void end(JoinPoint joinPoint, Object result) { 
    
        if (!UserInfoContext.isRole(SysConstant.ROLE_CDS_RESEARCHER)) { 
          return;
        }
    
        if (!(result instanceof ApiResponse)) { 
          return;
        }
    
        ApiResponse apiResponse = (ApiResponse) result;
        apiResponse.setData(
            JSON.parseObject(JSON.toJSONString(apiResponse.getData(), new BeanPropertyFilter()),
                (Type) apiResponse.getData().getClass()));
      }
    
    }

// Copyright 2016-2101 Pica.
    package com.pica.cloud.commercialization.crrs.util;
    
    import com.pica.cloud.commercialization.crrs.enums.SensitiveTypeEnum;
    import java.lang.annotation.Documented;
    import java.lang.annotation.ElementType;
    import java.lang.annotation.Inherited;
    import java.lang.annotation.Retention;
    import java.lang.annotation.RetentionPolicy;
    import java.lang.annotation.Target;
    
    /** * @ClassName Desensitized * @Description 标识脱敏字段的注解 * @Author Chongwen.jiang * @Date 2019/2/15 14:42 * @ModifyDate 2019/2/15 14:42 * @Version 1.0 */
    @Target({ ElementType.FIELD, ElementType.METHOD})
    @Retention(RetentionPolicy.RUNTIME)
    @Inherited
    @Documented
    public @interface Desensitized { 
    
      /*脱敏类型(规则)*/
      SensitiveTypeEnum type();
    
      /*判断注解是否生效的方法*/
      String isEffictiveMethod() default "";
    }

package com.pica.cloud.commercialization.crrs.model;
    
    import com.baomidou.mybatisplus.annotation.TableName;
    import com.pica.cloud.commercialization.crrs.enums.SensitiveTypeEnum;
    import com.pica.cloud.commercialization.crrs.util.Desensitized;
    import java.io.Serializable;
    
    /** * <p> * * </p> * * @author Chongwen.jiang * @since 2018-11-22 */
    @TableName("patient")
    public class Patient extends BaseEntity<Patient> { 
    
      private static final long serialVersionUID = 1L;
    
      /** * 病人姓名 */
      @Desensitized(type = SensitiveTypeEnum.CHINESE_NAME)
      private String name;
    
      /** * 性别 */
      private Integer gender;
    
      /** * 身份证 */
      @Desensitized(type = SensitiveTypeEnum.ID_CARD)
      private String identityNumber;
    
      /** * 手机号 */
      @Desensitized(type = SensitiveTypeEnum.PHONE_NUMBER)
      private String phoneNumber;
    
      /** * 省 */
      private Integer provinceId;
    
      /** * 市 */
      private Long cityId;
    
      /** * 区 */
      private Long districtId;
    
      /** * 详细地址 */
      private String detailedAddress;
    
      public String getName() { 
        return name;
      }
    
      public void setName(String name) { 
        this.name = name;
      }
    
      public Integer getGender() { 
        return gender;
      }
    
      public void setGender(Integer gender) { 
        this.gender = gender;
      }
    
      public String getIdentityNumber() { 
        return identityNumber;
      }
    
      public void setIdentityNumber(String identityNumber) { 
        this.identityNumber = identityNumber;
      }
    
      public String getPhoneNumber() { 
        return phoneNumber;
      }
    
      public void setPhoneNumber(String phoneNumber) { 
        this.phoneNumber = phoneNumber;
      }
    
      public Integer getProvinceId() { 
        return provinceId;
      }
    
      public void setProvinceId(Integer provinceId) { 
        this.provinceId = provinceId;
      }
    
      public Long getCityId() { 
        return cityId;
      }
    
      public void setCityId(Long cityId) { 
        this.cityId = cityId;
      }
    
      public Long getDistrictId() { 
        return districtId;
      }
    
      public void setDistrictId(Long districtId) { 
        this.districtId = districtId;
      }
    
      public String getDetailedAddress() { 
        return detailedAddress;
      }
    
      public void setDetailedAddress(String detailedAddress) { 
        this.detailedAddress = detailedAddress;
      }
    
      public static final String ID = "id";
    
      public static final String NAME = "name";
    
      public static final String GENDER = "gender";
    
      public static final String IDENTITY_NUMBER = "identity_number";
    
      public static final String PHONE_NUMBER = "phone_number";
    
      public static final String PROVINCE_ID = "province_id";
    
      public static final String CITY_ID = "city_id";
    
      public static final String DISTRICT_ID = "district_id";
    
      public static final String DETAILED_ADDRESS = "detailed_address";
    
      public static final String CREATED_BY = "created_by";
    
      public static final String CREATED_AT = "created_at";
    
      public static final String UPDATED_BY = "updated_by";
    
      public static final String UPDATED_AT = "updated_at";
    
      public static final String IS_DELETED = "is_deleted";
    
      @Override
      protected Serializable pkVal() { 
        return this.id;
      }
    
      @Override
      public String toString() { 
        return "Patient{" +
            "id=" + id +
            ", name=" + name +
            ", gender=" + gender +
            ", identityNumber=" + identityNumber +
            ", phoneNumber=" + phoneNumber +
            ", provinceId=" + provinceId +
            ", cityId=" + cityId +
            ", districtId=" + districtId +
            ", detailedAddress=" + detailedAddress +
            ", createdBy=" + super.getCreatedBy() +
            ", createdAt=" + super.getCreatedAt() +
            ", updatedAt=" + super.getUpdatedAt() +
            ", updatedBy=" + super.getUpdatedBy() +
            ", isDeleted=" + super.getIsDeleted() +
            "}";
      }
    }

[参考链接：https://blog.csdn.net/tzs\_1041218129/article/details/78376675][https_blog.csdn.net_tzs_1041218129_article_details_78376675]  
数据脱敏和数据加密是两种截然不同的技术，适用于不同目的。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTIwNTE0OA_size_16_color_FFFFFF_t_70]: /images/20211122/4698f1e82c9941d18ea7c7e7a4e4611b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTIwNTE0OA_size_16_color_FFFFFF_t_70 1]: /images/20211122/46166381a0024c35b55d44e684e349a7.png
[https_blog.csdn.net_tzs_1041218129_article_details_78376675]: https://blog.csdn.net/tzs_1041218129/article/details/78376675