电信行业智能套餐个性化匹配_特征工程（二）

悠悠 2022-05-10 11:10 71阅读 0赞

上一节对特征进行了分析，这一节进行特征处理，参考文献：  
[特征处理][Link 1]  
[处理分类数据][Link 2]

## 处理无序分类特征 ##

这里使用独热编码，对

*  is\_mix\_service 是否固移融合套餐
 *  连续超套 many\_over\_bill
 *  合约类型 contract\_type
 *  是否承诺低消用户 is\_promise\_low\_consume
 *  网络口径用户 net\_service
 *  gender 性别

进行one-hot编码。  
代码如下：

is_mix_service_rank = pd.get_dummies(train_data['is_mix_service'],prefix='is_mix_service')
    many_over_bill_rank = pd.get_dummies(train_data['many_over_bill'],prefix='many_over_bill')
    contract_type_rank = pd.get_dummies(train_data['contract_type'],prefix='contract_type')
    is_promise_low_consume_rank = pd.get_dummies(train_data.is_promise_low_consume,prefix = 'promise_low_consume')
    net_service_rank = pd.get_dummies(train_data.net_service,prefix='net_service')
    gender_rank = pd.get_dummies(train_data.gender,prefix='gender')
    
    new = pd.concat([train_data,is_mix_service_rank,many_over_bill_rank,contract_type_rank,is_promise_low_consume_rank,net_service_rank,gender_rank],axis = 1)
    
    new.drop(['is_mix_service','many_over_bill','contract_type'],axis=1,inplace=True)
    new.drop(['is_promise_low_consume','net_service','gender'],axis=1,inplace=True)

## 处理有序分类特征 ##

有序分类特征有：

*  online\_time 在网时长
 *  交费次数 pay\_times
 *  age 年龄

其实以上特征都可以看作**数值型特征**。

真正的有序分类特征应该是这个：

*  complaint\_level 投诉重要性

一种处理方式是**忽略特征的有序性，直接进行独热编码**；另一种是使用递进的向量表示。  
这里complaint\_level共有\{0,1,2,3\}四个值。  
设计一个如下的向量表示：

<table> 
 <thead> 
  <tr> 
   <th align="center">complaint_level</th> 
   <th align="right">vector</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">0</td> 
   <td align="right">(0,0,0)</td> 
  </tr> 
  <tr> 
   <td align="center">1</td> 
   <td align="right">(0,0,1)</td> 
  </tr> 
  <tr> 
   <td align="center">2</td> 
   <td align="right">(0,1,1)</td> 
  </tr> 
  <tr> 
   <td align="center">3</td> 
   <td align="right">(1,1,1)</td> 
  </tr> 
 </tbody> 
</table>

我们两种方法都尝试一下，代码如下：

complaint_level = train_data.complaint_level.values
    cn = []
    cn_dic = {
        0:[0,0,0],1:[0,0,1],2:[0,1,1],3:[1,1,1]} 
    for i in complaint_level:
        temp = cn_dic[i]
        cn.append(temp)
    cn_df = pd.DataFrame(cn)
    cn_df.columns = ['complaint_level_v1','complaint_level_v2','complaint_level_v3']
    
    new = pd.concat([new,cn_df,complaint_level_rank],axis = 1)
    new.drop(['complaint_level'],axis=1,inplace=True)

## 处理数值特征 ##

包括之前看作数值特征的有序分类特征：

*  online\_time 在网时长
 *  交费次数 pay\_times
 *  age 年龄

还有：

*  合约到期剩余时长 contract time
 *  交费金额 pay\_num
 *  月总出账金额 \* 4
 *  当月累计流量 month\_traffic
 *  上月结转流量
 *  月累计-本地数据流量
 *  本地语音主叫通话时长
 *  套外主叫通话时长
 *  Service2\_caller\_time
 *  交费金历史投诉总量
 *  历史执行补救费用交费金额

这些数值型特征。

我们使用**决策树离散化方法**进行连续数值的处理：  
pass 暂时没找到现成的代码。

连续特征离散化方法还有：  
基于熵的离散  
基于卡方的离散  
等距、等频

这里选择一个更简单的**等距离离散**的方法解决。

def discretization(arr,n=4):
        # 等距离离散化连续特征
        # arr: list-like object
        minn = min(arr)
        maxn = max(arr)
        diff = maxn - minn
        lenn = diff / n
        temp = []
        for num in arr:
            count = 0
            while num >= minn + count*lenn:
                count += 1
            if count > n :
                count = n
            temp.append(count)
        #index0 = temp.index(max(temp))
        #temp[index0] -= 1
        return temp
    
    age_rank = pd.get_dummies(discretization(train_data.age.values),prefix='age')
    contract_time_rank = pd.get_dummies(discretization(train_data.contract_time.values),prefix='contract_time')
    online_time_rank = pd.get_dummies(discretization(train_data.online_time.values),prefix='online_time')
    pay_times_rank = pd.get_dummies(discretization(train_data.pay_times.values),prefix='pay_times')
    new = pd.concat([train_data,age_rank,contract_time_rank,online_time_rank,pay_times_rank],axis = 1)
    new.drop(['age','contract_time','online_time','pay_times'],axis=1,inplace=True)
    
    pay_num_rank = pd.get_dummies(discretization(train_data.pay_num.values),prefix='pay_num')
    month_traffic_rank = pd.get_dummies(discretization(train_data.month_traffic.values),prefix='month_traffic')
    l_total_fee_rank = pd.get_dummies(discretization(train_data['1_total_fee'].values),prefix='1_total_fee')
    ll_total_fee_rank = pd.get_dummies(discretization(train_data['2_total_fee'].values),prefix='2_total_fee')
    lll_total_fee_rank = pd.get_dummies(discretization(train_data['3_total_fee'].values),prefix='3_total_fee')
    llll_total_fee_rank = pd.get_dummies(discretization(train_data['4_total_fee'].values),prefix='4_total_fee')
    
    new = pd.concat([new,pay_num_rank,month_traffic_rank,l_total_fee_rank,ll_total_fee_rank,lll_total_fee_rank,llll_total_fee_rank],axis = 1)
    new.drop(['pay_num','month_traffic','1_total_fee','2_total_fee','3_total_fee','4_total_fee'],axis=1,inplace=True)
    
    last_month_traffic_rank = pd.get_dummies(discretization(train_data.last_month_traffic.values),prefix='last_month_traffic')
    local_trafffic_month_rank = pd.get_dummies(discretization(train_data.local_trafffic_month.values),prefix='local_trafffic_month')
    local_caller_time_rank = pd.get_dummies(discretization(train_data.local_caller_time.values),prefix='local_caller_time')
    server1_caller_time_rank = pd.get_dummies(discretization(train_data.service1_caller_time.values),prefix='server1_caller_time')
    server2_caller_time_rank = pd.get_dummies(discretization(train_data.service2_caller_time.values),prefix='server2_caller_time')
    former_complaint_num_rank = pd.get_dummies(discretization(train_data.former_complaint_num.values),prefix='former_complaint_num')
    former_complaint_fee_rank = pd.get_dummies(discretization(train_data.former_complaint_fee.values),prefix='former_complaint_fee')

## 分割service\_type ##

[Link 1]: http://breezedeus.github.io/2014/11/15/breezedeus-feature-processing.html
[Link 2]: https://ljalphabeta.gitbooks.io/python-/content/categorical_data.html