Tensorflow特征工程-feature_column特征列

布满荆棘的人生 2022-11-21 03:51 176阅读 0赞

在tensorlow中训练模型之前需要将原始数据转换成能输入模型的格式，而feature\_column就扮演着这种角色。

# 引入feature_column包
    import tensorflow as tf
    import tensorflow.feature_column as fc

下面我们来看下常见的训练数据格式，并在feature\_column中找到对应的特征列算子。

### 1.数值列特征 ###

数值列特征是最常见的特征列格式，即特征为实数值，对应的处理方式使用numeric\_column.

price = numeric_column('price')
      columns = [price, other_features]
      features = tf.io.parse_example(..., features=make_parse_example_spec(columns))
      dense_tensor = input_layer(features, columns)

### 2.分桶列特征 ###

如果不希望数值直接进入模型，而是希望将数值的不同段进行区分，那么可以使用分桶列，这种方式相当于传统机器学习中的连续特征离散化方式，将会得到一个one-hot特征，对应的处理方式可以使用bucketized\_column.

bucketized_price = bucketized_column(price, boundaries=[10, 20, 205.5, 300.1])
      columns = [bucketized_price, other_features]
      features = tf.io.parse_example(..., features=make_parse_example_spec(columns))
      linear_prediction = linear_model(features, columns)

### 3.分类列特征 ###

在特征中有时会见到取值为若干个字符串的特征，例如手机操类型`os={'ios','android','other'}`有这三种取值，而我们无法直接将特征的字符串取值喂给模型，此时可以将每个一个特征生成onehot类型的特征，对应的处理方式可以使用categorical\_column\_with\_vocabulary\_list.

colors = categorical_column_with_vocabulary_list(
          key='colors', vocabulary_list=('X', 'R', 'G', 'B', 'Y'), default_value=0)
      colors_one_hot = feature_column.indicator_column(thal)
      columns = [colors_one_hot, other_features]
      features = tf.io.parse_example(..., features=make_parse_example_spec(columns))
      linear_prediction, _, _ = linear_model(features, columns)

### 4.嵌入列特征 ###

当某个特征不只有几个或者几十个取值，而是有上千甚至更多取值时，将其转化为onehot特征会有一些缺点甚至是问题（例如id特征达到上亿维时，使用大量onehot特征训练模型甚至很难收敛），此时可以使用嵌入特征，嵌入特征可以将其表示成低维dense向量，而不是高维spare向量，对应的处理方式可以使用embedding\_column，下面代码在使用embeding\_column之前先对原始特征做了个categorical\_column\_with\_identity的处理。

video_id = categorical_column_with_identity(
          key='video_id', num_buckets=1000000, default_value=0)
      columns = [embedding_column(video_id, 9),other_features]
    
      estimator = tf.estimator.DNNClassifier(feature_columns=columns, ...)
    
      label_column = ...
      def input_fn():
        features = tf.io.parse_example(
            ..., features=make_parse_example_spec(columns + [label_column]))
        labels = features.pop(label_column.name)
        return features, labels
    
      estimator.train(input_fn=input_fn, steps=100)

### 5.经过哈希处理的列特征 ###

与上面的嵌入式列特征类似，进行哈希处理列特征也是常用的对包含大量取值的分类列的另一种处理方法，该方法先对原始特征的分类的取值计算得到一个哈希值，然后选择一个hash\_bucket\_size即哈希的桶数量来对特征字符串进行编码，具体hash\_bucket\_size的数量可以视情况进行选择，一个更小的桶数量可以节省空间。对应的处理方式可以使用categorical\_column\_with\_hash\_bucket，而一般在categorical\_column\_with\_hash\_bucket之后会使用onehot或者embedding的格式，此处以onehot形式进行处理。

keywords = categorical_column_with_hash_bucket("keywords", 10K)
      columns = [indicator_column(keywords), other_features]
      features = tf.io.parse_example(..., features=make_parse_example_spec(columns))
      linear_prediction = linear_model(features, columns)

### 6.组合的特征列 ###

在工程实践中，可以将两个特征组合成一个特征，也就是常说的特征cross，但是如果其中一个特征的取值特别多的话，则每一个特征值都进行组合的话也不太现实，因此采取哈希列，即对组合后的cross特征进行哈希以减少cross特征的数量，而实践中证明这样做也是有效果的。

keywords_x_doc_terms = crossed_column(['keywords', 'doc_terms'], 50K)
      columns = [keywords_x_doc_terms, other_features]
      features = tf.io.parse_example(..., features=make_parse_example_spec(columns))
      linear_prediction = linear_model(features, columns)