图神经网络七日打卡营最后比赛的一些技巧

我不是女神ヾ 2022-12-24 15:53 113阅读 0赞

### 断点续训 ###

分为两种，一种我定义为在线断点续训，即不保存模型到本地，停止运行后继续训练，一种是离线断点续训，即保存模型到本地，下次启动项目后接着训练。

这次比赛我尝试了好几种模型，目前好像只有 SGC 模型支持 在线断点续训，其他都会报错，具体做法如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3R4cHA1MjA_size_16_color_FFFFFF_t_70][]  ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3R4cHA1MjA_size_16_color_FFFFFF_t_70 1][]

把  exe.run(startup\_program)  注释，再次运行，就是断点续训。

**【PaddlePaddle】模型的保存与使用**

[https://blog.csdn.net/qq\_41427568/article/details/87735085][https_blog.csdn.net_qq_41427568_article_details_87735085]

**技巧2，** 把 epoch 加到 5000，在训练的时候，发现 Valid Acc  没有什么变化，或者不升反降的时候，重新在上面改一下 学习率，还有 weight\_decay 也跟着改一下，

就可以让 Valid Acc 继续上升了。

未完继续~

新手上路，也欢迎大神们留言补充，纠正！谢谢~

**技巧3，魔改模型**

小斯哥 童鞋 在 **《比赛baseline讲解》**最后 魔改了 一个 ResGCN 出来，据他自己说后劲很足，代码如下：

#  16:00 开始看     https://aistudio.baidu.com/aistudio/education/lessonvideo/874892
    class Res_GAT(object):
        """Implement of Res_GAT"""
        def __init__(self, config, num_class):
            self.num_class = num_class 
            self.num_layers = config.get("num_layers", 1)
            self.num_heads = config.get("num_heads", 8)
            self.hidden_size = config.get("hidden_size", 8)
            self.feat_dropout = config.get("feat_drop", 0.6)
            self.attn_dropout = config.get("attn_drop", 0.6)
            self.edge_dropout = config.get("edge_dropout", 0.0)
    
        def forward(self, graph_wrapper, feature, phase):
            if phase == "train": 
                edge_dropout = self.edge_dropout
            else:
                edge_dropout = 0
    
            feature = L.fc(feature,size=self.hidden_size*self.num_heads,name="init_feature") #  既可以用elu，也可以用relu  **魔改部分**
    
            for i in range(self.num_layers):
                ngw = pgl.sample.edge_drop(graph_wrapper, edge_dropout) 
                res_feature = feature   # 把上一层的 保存起来 **魔改部分**
                feature = conv.gat(ngw,
                                    feature,
                                    self.hidden_size,
                                    activation=None, # **魔改部分**
                                    name="gat_layer_%s" % i,
                                    num_heads=self.num_heads,
                                    feat_drop=self.feat_dropout,
                                    attn_drop=self.attn_dropout)
                feature = feature  + res_feature # 结束的时候把残差加回去 **魔改部分**
                # feature = L.elu(feature) # 结束的时候把残差加回去 **魔改部分**
                feature = L.relu(feature) #  既可以用elu，也可以用relu  **魔改部分**
                feature = L.layer_norm(feature,name = "ln_%s"% i) # 结束的时候把残差加回去 **魔改部分**
    
            ngw = pgl.sample.edge_drop(graph_wrapper, edge_dropout) 
            feature = conv.gat(ngw,
                         feature,
                         self.num_class,
                         num_heads=1,
                         activation=None,
                         feat_drop=self.feat_dropout,
                         attn_drop=self.attn_dropout,
                         name="output")
            return feature

大家注意把 learning\_rate 改为 0.001, 改小一点，因为层数比以前高了，可能容易爆炸或者振荡。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3R4cHA1MjA_size_16_color_FFFFFF_t_70 2][]

## 最后，膜拜一下现在榜单上的这些的大神，有幸路过的大神，麻烦把你们 涨点的 经验告知一下~再次代表群里1900多位童鞋感谢你！ ##

大佬的文章出现了，欢迎围观！

[https://lan-qing.github.io/blog/201130/today.html][https_lan-qing.github.io_blog_201130_today.html]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3R4cHA1MjA_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20201129140530600.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3R4cHA1MjA=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3R4cHA1MjA_size_16_color_FFFFFF_t_70 1]: /images/20221120/a93369a1885f44d3a11f9a877c4d5164.png
[https_blog.csdn.net_qq_41427568_article_details_87735085]: https://blog.csdn.net/qq_41427568/article/details/87735085
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3R4cHA1MjA_size_16_color_FFFFFF_t_70 2]: /images/20221120/d1ae2b5e67ca40358df1db6ceb00097f.png
[https_lan-qing.github.io_blog_201130_today.html]: https://lan-qing.github.io/blog/201130/today.html