基于Python的强化学习的黑白棋人工智能实验

ゝ一世哀愁。 2024-03-27 11:09 80阅读 0赞

目录  
人工智能实验：强化学习实验报告 1  
一、 基本原理 1  
1.1 强化学习 1  
1.2 Q学习方法 2  
2. 流程图和伪代码 2  
3. 代码展示 5  
3.1 黑白棋逻辑部分 5  
3.2 模型训练部分 8  
4. 实验结果及分析 12  
1.2 Q学习方法  
函数是对策略 π \\pi π的评估。如果策略 π \\pi π有限（即状态数和动作数都有限），可以对所有的策略进行评估并选出最优策略 π ∗ \\pi\* π∗。但这种方式在实践中很难实现，通过迭代的方法不断优化策略，直到选出最优策略。 针对如何学习一个最优的策略，我们可以这样做：先随机初始化一个策略，计算该策略的值函数，并根据值函数来设置新的策略，然后一直反复迭代直到收敛。  
如果需要拿到完整的轨迹才能评估和更新策略，则效率较低，因此考虑模拟一段轨迹，每行动一步，就利用贝尔曼方程评估状态的价值，即时序差分方法。下面考虑使用Q学习算法估计Q函数：  
![在这里插入图片描述][731dd5a6acd04918be699ba497d467ba.png]

Q学习的算法不通过 π ε π^ε πε来选择下一步动作 a ′ a' a′，而直接选择最优Q函数，所以更新后的Q函数是关于策略 π \\pi π而非 π ϵ \\pi^\\epsilon πϵ的，因此是一种异策略算法。

1.  流程图和伪代码  
    考虑使用Q学习的方法来得到能下黑白棋的人工智能。下黑白棋需要先手和后手，因此考虑使用相同的方法训练两套模型，分别适用于黑棋和白棋。训练的流程图如下：  
    ![在这里插入图片描述][736366877da2435a894b19b9ff4456c6.png]

更新 Q ( s , a ) Q(s,a) Q(s,a)要使用公式：  
![在这里插入图片描述][bf37023c840b419c9ad71eeea807191b.png]  
也就是说， Q ( s , a ) Q(s,a) Q(s,a)的期望值为 r + γ max ⁡ a ′ Q ( s ′ , a ′ ) r+\\gamma\\max\_\{a'\}Q(s',a') r\+γmaxa′Q(s′,a′)。其中 r r r为回报，是在执行动作前后的回报总和的差值。对于黑白棋的场景考虑设计回报函数：黑白棋要求场上棋子数越多者获胜，因此考虑设置基础回报：每颗同色棋子算回报为1。而黑白棋中，需要优先占到边界和角落，其中角落最为重要，自己努力占领角落的同时也要尽量不要让对方占领角落，因此角落旁的位置的分数可以设置得低一些。

from train import *
    import time
    import pygame
    
    def draw(chesses):
        space = 60          # 四周留下的边距
        cross_size = 40     # 交叉点的间隔
        cross_num = 9
        # 绘制棋盘底色
        screen.fill((150, 80, 0))
        # 绘制网格
        for x in range(0, cross_size * cross_num, cross_size):
            pygame.draw.line(screen, (255, 255, 255), (x + space, 0 + space),
                             (x + space, cross_size * (cross_num - 1) + space), 1)
        for y in range(0, cross_size * cross_num, cross_size):
            pygame.draw.line(screen, (255, 255, 255), (0 + space, y + space),
                             (cross_size * (cross_num - 1) + space, y + space), 1)
        # 绘制棋子
        black = 0
        white = 0
        for x in range(cross_num-1):
            for y in range(cross_num-1):
                color = chesses[(x,y)]
                if color != 0:
                    xi = space + (x + 0.5) * cross_size
                    yi = space + (y + 0.5) * cross_size
                    if color == 1:
                        white += 1
                        pygame.draw.circle(screen, (255, 255, 255), (xi, yi),15,0)
                    else:
                        black += 1
                        pygame.draw.circle(screen, (0, 0, 0), (xi, yi), 15, 0)
        print('-------------')
        print('black:',black)
        print('white:', white)
        pygame.display.update()
    
    def aiPlay(ai, ai_color, chesses, _ai):
        pos = getNextStepPos(chesses, ai_color)
        if pos != []:
            play(ai_color, pos, chesses, ai, _ai, False)
    
    def endGame(chesses, ai_color):
        black = 0
        white = 0
        for i in range(8):
            for j in range(8):
                if chesses[i][j] == 1:
                    white += 1
                elif chesses[i][j] == -1:
                    black += 1
        print('-------------')
        print('black:',black)
        print('white', white)
        if black == white:
            print('draw')
        if black > white:
            if ai_color == 1:
                print('you win!')
            else:
                print('ai_wins!')
        else:
            if ai_color == 1:
                print('ai wins!')
            else:
                print('you win!')
        exit(0)
    
    
    if __name__ == '__main__':
        # 初始化图形界面
        pygame.init()
        space = 60          # 四周留下的边距
        cross_size = 40     # 交叉点的间隔
        cross_num = 9
        grid_size = cross_size * (cross_num - 1) + space * 2     # 棋盘的大小
        screencaption = pygame.display.set_caption('18340057-黑白棋')  # 窗口标题
        screen = pygame.display.set_mode((grid_size, grid_size))  # 设置窗口长宽
        screen.fill((0, 0, 0))
        pygame.draw.rect(screen, (255, 255, 255), ((grid_size / 2, 0), (grid_size / 2, grid_size)), 0)
        pygame.display.update()
        # 选择颜色
        ai_color = player_color = 0
        choose_color = True
        while choose_color:
            for event in pygame.event.get():
                if event.type == pygame.QUIT:
                    pygame.quit()
                    exit()
                if event.type == pygame.MOUSEBUTTONUP:      # 松开鼠标
                    x, y = pygame.mouse.get_pos()           # 获取鼠标位置
                    choose_color = False
                    if x < grid_size / 2:
                        ai_color = 1
                        player_color = -1
                    else:
                        ai_color = -1
                        player_color = 1
        # 依据颜色选择ai
        if ai_color == 1:
            ai = torch.load('last_ai.pkl')
            _ai = torch.load('first_ai.pkl')
        else:
            ai = torch.load('first_ai.pkl')
            _ai = torch.load('last_ai.pkl')
        # 初始化棋局
        chesses = torch.FloatTensor(np.zeros((8, 8)))
        chesses[3][3] = 1
        chesses[3][4] = -1
        chesses[4][3] = -1
        chesses[4][4] = 1
    
        # ai 先手
        if ai_color == -1:
            aiPlay(ai, ai_color, chesses, _ai)
        draw(chesses)
    
        while 1:
            for event in pygame.event.get():
                # 退出游戏
                if event.type == pygame.QUIT:
                    pygame.quit()
                    exit()
                # 获取鼠标点击位置
                if event.type == pygame.MOUSEBUTTONUP:  # 松开鼠标
                    x, y = pygame.mouse.get_pos()  # 获取鼠标位置
                    x = round((x - space - 0.5 * cross_size) / cross_size)  # 获取到x方向上取整的序号
                    y = round((y - space - 0.5 * cross_size) / cross_size)  # 获取到y方向上取整的序号
    
                    # 如果玩家下的位置合法则可以落子
                    if x >= 0 and x < cross_num-1 and y >= 0 and y < cross_num-1 and \
                            chesses[(x, y)] == 0 and isValidPos(x , y, player_color, chesses):
                        chesses[(x, y)] = player_color  # 将落子加入棋子列表
                        putChess(chesses, (x,y), player_color)
                        draw(chesses)
                        # 稍微等待一下，
                        time.sleep(0.5)
                        aiPlay(ai, ai_color, chesses, _ai)
                        draw(chesses)
                        # 人下不了则ai一直下
                        while getNextStepPos(chesses, player_color) == []:
                            time.sleep(0.5)
                            aiPlay(ai, ai_color, chesses, _ai)
                            # 都下不了则结束游戏
                            if getNextStepPos(chesses, ai_color) == [] and getNextStepPos(chesses, player_color) == []:
                                endGame(chesses, ai_color)
                            draw(chesses)

![在这里插入图片描述][aa5b726df0234752a0aa2925c6864152.png_pic_center]  
![在这里插入图片描述][713947c9fbe04c018e543cf4e2254fc1.png_pic_center]  
![在这里插入图片描述][80bf191f7c1349f78d7050613335472e.png_pic_center]  
![在这里插入图片描述][9f3331e0e79e45eb90883446f964edc7.png_pic_center]  
![在这里插入图片描述][77c44d2e08c442db9c381478e0d986ab.png_pic_center]  
![在这里插入图片描述][1fda024ea22c427397ef8a339cac8864.png_pic_center]  
![在这里插入图片描述][54984ce6e9254ca5aebf068de12b6c27.png_pic_center]  
![在这里插入图片描述][dcc5fd7ebb914b8ca4729c6c5c87e687.png_pic_center]  
![在这里插入图片描述][11662de2b5664775b9c6ac6e62dcdc7c.png_pic_center]  
![在这里插入图片描述][3eb5527a51d74b95b472e256ad6f2103.png_pic_center]  
![在这里插入图片描述][0658845e69c24137912ef9a28656adbf.png_pic_center]  
![在这里插入图片描述][dbf6d1bad2ad4604b09a7e3d68612434.png_pic_center]  
![在这里插入图片描述][7778b9d824884aad9810ec97b92d9830.png_pic_center]  
![在这里插入图片描述][0cd38b9066f34d57958b2f6e3e6238bd.png_pic_center]  
![在这里插入图片描述][ce63a2aa6a8b479e91f9cc7cd636584e.png_pic_center]

[731dd5a6acd04918be699ba497d467ba.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/904ca38244c143c38ee03f0cccebb718.png
[736366877da2435a894b19b9ff4456c6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/4b0f0685491b463797119ef86dd4ae80.png
[bf37023c840b419c9ad71eeea807191b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/d9a197c18e2f40b2bd1bd0d25820057d.png
[aa5b726df0234752a0aa2925c6864152.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/394a6bcc9f73407185337941e5161ae2.png
[713947c9fbe04c018e543cf4e2254fc1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/d12c4f3dded8406793a106f17e2a6543.png
[80bf191f7c1349f78d7050613335472e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/4cbfa1fdda314dea8e41d5b0b22a1517.png
[9f3331e0e79e45eb90883446f964edc7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/fb213eca039a4febbd42c5e2744d22ff.png
[77c44d2e08c442db9c381478e0d986ab.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/54c086a2c3e249f5899b51c6a7a73d7d.png
[1fda024ea22c427397ef8a339cac8864.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/65b770a61ff0495094ab7f73778feec8.png
[54984ce6e9254ca5aebf068de12b6c27.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/dcc62e077b52457aaaa22b2acd1dbfd1.png
[dcc5fd7ebb914b8ca4729c6c5c87e687.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/2bb1994443fb4366af113387b12535e8.png
[11662de2b5664775b9c6ac6e62dcdc7c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/d1ad70e32a9e4b6f855a7d81a7c75605.png
[3eb5527a51d74b95b472e256ad6f2103.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/af33ae082a1946a1ab805d101538522f.png
[0658845e69c24137912ef9a28656adbf.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/92888d42fee8443fab4d8a84732beb53.png
[dbf6d1bad2ad4604b09a7e3d68612434.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/06221dc7a87249ba8f7b5c414666d2d5.png
[7778b9d824884aad9810ec97b92d9830.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/f933a6c37c474408ab900d522395dfc5.png
[0cd38b9066f34d57958b2f6e3e6238bd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/916515a0e77e49c8b106dec693ab48bf.png
[ce63a2aa6a8b479e91f9cc7cd636584e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/3cfa213d0061453a883e57bbd9730f05.png