【keras】深度学习多输入模型融合

红太狼 2022-01-27 18:23 614阅读 0赞

最近想将多个模型训练不同特征，想看看是否能提高训练准确率，想要多模型融合，建议构建模型的方式用**函数式 API**的形式进行构建，即使用keras的Model() .  
我的数据集形式是这样的：一行代表一个样本，每个样本有4个特征，每个特征包含6000个数据，这样就是每行有24000个数据，其中0到5999是特征一的数据，6000到11999是特征二的数据，12000到17999是特征三的数据，18000到23999是特征三的数据。  
我预想的模型是这样的，特征一的数据输入到模型一中，特征二的数据输入到模型二中，特征三和特征四的数据输入到模型三中。总的结构图大致如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzc5MDU2MA_size_16_color_FFFFFF_t_70]  
各个模型如下：  
模型一：

first_inp=Input(shape=(100, 60, 1), name='md_1')
    base_model = VGG16(include_top=False, weights=None)(first_inp)
    x = base_model.output
    x = GlobalAveragePooling2D()(x)
    x = Dense(1024, activation='relu')(x)
    x = Dense(3, activation='softmax')(x)

模型二：

second_inp=Input(shape=(6000, 1), name='md_2')
    l1=LSTM(32, return_sequences=True)(second_inp)
    l2=LSTM(32, return_sequences=True)(l1)
    l3=LSTM(32)(l2)
    d=Dense(3, activation='softmax')(l3)

模型三：

third_inp=Input(shape=(6000, 2), name='md_3')
    c1=Convolution1D(256, 5, activation='relu', input_shape=(6000,4))( third_inp)
    c2=Convolution1D(128, 5, activation='relu')(c1)
    p1=MaxPooling1D(3)(c2)
    c3=Convolution1D(128, 5, activation='relu')(p1)
    c4=Convolution1D(64, 5, activation='relu')(c3)
    p2=GlobalAveragePooling1D()(c4)
    d1=Dropout(0.5)(p2)
    d2=Dense(3, activation='softmax')(d1)

这里，三个模型的输出分别是x,d1,d2 , 现在使用  
keras.layers.concatenate()方法进行融合：

merger=concatenate([x, d, d2])

我想再在后面加个全连接层:

op=Dense(3, activation='softmax')(merger)

最后，使用Model()函数生成一个完整的模型：

model=Model(inputs=[first_inp, second_inp, third_inp], outputs=op)

然后下面的部分就和普通的模型一样了：

sgd=SGD(lr=0.001, nesterov=True, decay=1e-6, momentum=0.9)
    model.compile(loss='categorical_crossentropy', optimizer=sgd, metrics=['accuracy'])
    model.summary()
    nb_epoch=25
    model.fit([train1, train2, train3], y_train, nb_epoch=nb_epoch, validation_data=([valid1, valid2, valid3], y_valid), batch_size=256)

弄的过程中，可能会遇到shape不对应的问题，那就需要多调试。

【参考】

1.  [https://stackoverflow.com/questions/43196636/how-to-concatenate-two-layers-in-keras/43196972][https_stackoverflow.com_questions_43196636_how-to-concatenate-two-layers-in-keras_43196972]
2.  [https://blog.csdn.net/brucewong0516/article/details/79042292][https_blog.csdn.net_brucewong0516_article_details_79042292]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzc5MDU2MA_size_16_color_FFFFFF_t_70]: /images/20220126/d08af531776e4a55a2087021349140ed.png
[https_stackoverflow.com_questions_43196636_how-to-concatenate-two-layers-in-keras_43196972]: https://stackoverflow.com/questions/43196636/how-to-concatenate-two-layers-in-keras/43196972
[https_blog.csdn.net_brucewong0516_article_details_79042292]: https://blog.csdn.net/brucewong0516/article/details/79042292