强化学习中的MASK掩码约束动作action

超、凢脫俗 2023-01-23 08:00 81阅读 0赞

在强化学习解决问题的场景中，动作是体现学习效果最直接的因素，直接影响了智能体下一步的走向和对环境状态的改变。在应用强化学习解决实际问题时，往往不同于gym库中倒立摆那样的情况，而是存在很多的约束。例如，在 t t t时刻智能体可选的动作为 1 , 2 , 3 1,2,3 1,2,3，但是在 t + 1 t+1 t\+1时刻只能选 1 , 2 1,2 1,2， 3 3 3处于不可用的状态。在这种情况下，就需要借助掩码mask来对智能体的动作进行处理。  
有人会疑问：就不能制定相应的奖励函数使得智能体学习到这种约束吗？  
这样做是可以的，但是付出的训练代价很大，并且极其容易导致模型发散。  
因此，在大多数RL落地的场景下，都会使用MASK掩码方法解决动作约束的问题：

##### 1 MASK的方法 #####

Mask的核心就是在输出的动作或者值函数的向量上戴个“面具”，点乘一个 \{ 0 , 1 \} \\\{0,1\\\} \{ 0,1\}或者 \{ − ∞ , 1 \} \\\{-\\infty, 1\\\} \{ −∞,1\}的行向量，以规范化输出。如：  
 \[ 1 , 2 , 3 \] ⋅ \[ 1 , 1 , 0 \] = \[ 1 , 2 , 0 \] \[1, 2, 3\] \\cdot \[1, 1, 0\] = \[1, 2, 0\] \[1,2,3\]⋅\[1,1,0\]=\[1,2,0\]  
这样智能体选出的动作就可以进行简单的规范化。

##### 2 MASK的两个关键点 #####

由于强化学习，尤其是深度强化学习，学的最后还是分布，因此只是单单的不让智能体选择不符合规则的动作并不能加速模型的收敛。  
因此，MASK一般加在选择动作前的值函数向量或者其他数据向量上，并且会将MASK后的值传入神经网络训练。  
两个关键点分别是：1-mask分布 2-回传训练

##### 3 具体做法 #####

以openai中MASK星际争霸智能体的动作为例：  
首先是环境部分self.env，使用的是为每个agent提供一个available的动作集合，可以随时调用这个方法以获取agent此时的可执行动作：  
![在这里插入图片描述][20210713204822527.png]  
然后在agent的动作选择阶段，使用inf代替不符合要求的部分，使得softmax选择的动作合理：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzQ4MzM4MQ_size_16_color_FFFFFF_t_70]  
最后在policy学习更新的部分，同样利用-9999999作为不合理动作的替换，使得反向传播的概率分布与采样一致：  
![在这里插入图片描述][20210713204915786.png]

[20210713204822527.png]: /images/20221004/c6334dbdfa9e4951b83a36c1b9469d19.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzQ4MzM4MQ_size_16_color_FFFFFF_t_70]: /images/20221004/cb741d32653149c6a281d7fe0a94e133.png
[20210713204915786.png]: /images/20221004/85bc7c7ef2584bbab0096a2276101f36.png