开源速报｜基于纯图像的游戏AI框架开源了！

╰半橙微兮° 2023-01-17 04:43 184阅读 0赞

**01**

**框架介绍**

**APAIST**是用于开发游戏自动化AI的开源框架(开源项目名为GameAISDK)。项目的特点是以游戏图像为输入，直接输出模拟触屏操作，不依赖游戏端提供任何API接口。

![087dd9248771d898d85fbb7360da9473.png][]

APAIST 框架

APAIST框架主要包括SDKTool(配置文件工具)，AI SDK两部分。SDKTool帮助我们生成跟具体游戏相关的AI SDK所需要配置文件。如游戏运行过程中，整个流程中需要动作交互的UI，需要识别的游戏元素等。AI开发过程中用到的信息可来自于游戏图像(AIClient获取)或其他数据。aitest 能够自动化完成游戏UI操作并进入游戏场景，像玩家一样操作手机玩游戏。

![2fc43cc5eceda9644e7fbb42740e791a.png][]

AI SDK部分主要包括AI Clinet模块， MC模块，IO模块， UI模块， GameReg模块，AI模块。

\- AI Client主要与手机端交互，获取游戏图像，并执行UI或AI输出的动作

\- IO模块与AI Client交互，作为AI SDK的数据输入输出控制

\- MC模块与IO模块交互，将数据分发至AI SDK后端的UI和AI模块，并做一些业务逻辑的管理控制

\- UI模块根据游戏图像，识别出需要进行的UI操作

\- GameReg模块根据游戏图像，识别出游戏场景内的数字、血条、目标物等元素

\- AI模块根据识别到的游戏元素，根据AI算法执行业务逻辑

**02**

**适用场景**

主要适用于游戏场景的自动化测试，以减少相应场景测试的人力投入，目前已应用在酷跑、竞速、FPS、格斗、MMMO、MOBA等多种类型游戏的场景自动化。

**03**

**功能介绍**

提供多种图像识别算法，识别游戏场景中的关键特征数据，如游戏场景中的技能状态、按钮位置、目标物位置等。此次发布的是2.0版本，相比于1.0版本，改进的内容包括：

\- 提供模仿学习和强化学习AI算法DQN机rainbow等，可直接用于训练游戏场景AI。

\- 提供一体化的IDE工具，将所有用户的操作都集成在IDE里面，包括游戏AI配置生成、样本采集、图像标注工具，手机连接、游戏AI启动、模型训练等功能。

\- 支持不同分辨率手机操作，无需限定手机长宽比。

\- 支持Windows下的各种窗口（包含端游、页游和Android模拟器等）作为图像输入来源。

\- 加入UI智能探索功能，可对所有的移动端应用自动探索UI场景，并以图的形式展示探索结果，直观明了。

\- 升级手机驱动，android版本支持到andrioid11。

\- 支持win10，ubuntu，win10+docker和mac+docker等多种工作方式。

\- 提供了完善的使用文档，帮助用户快速上手。

\- 针对用户的特殊需求，支持用户二次开发。

**04**

**开源获取**

**github地址：**

https://github.com/Tencent/GameAISDK

**官网: **

https://aitest.qq.com

????https://github.com/Tencent

欢迎提出你的 issue 和 PR！

国内镜像地址：

????https://git.code.tencent.com/Tencent\_Open\_Source

（登录后才能访问公开项目）

腾讯工蜂源码系统为开源开发者提供完整、最新的腾讯开源项目国内镜像

![fe4fcca6dc32d147901087f3a1ec807e.png][]

[087dd9248771d898d85fbb7360da9473.png]: /images/20221022/b10395be68514c30841db68cca70a5b7.png
[2fc43cc5eceda9644e7fbb42740e791a.png]: /images/20221022/3a005f81261e4e2abb0ca5820265c71b.png
[fe4fcca6dc32d147901087f3a1ec807e.png]: /images/20221022/d4ef1523cf1e4846bd84c8eb72bd9fae.png

发表评论取消回复

表情：

评论列表（有 0 条评论，184人围观）

还没有评论，来说两句吧...

相关阅读

相关 AI-多模态-文本-＞图像-2021：Stable Diffusion【开源】【目前开源模型中最强】

最近大火的Stable Diffusion也开源了(20220823); 我也本地化测试了一下效果确实比Dall-E mini强太多了，对于我们这些玩不上Dall-E2的这个

雨点打透心脏的1/2处/ 2023年09月25日 14:07/ 0 赞/ 118 阅读

相关开源速报｜基于纯图像的游戏AI框架开源了！

01 框架介绍 APAIST是用于开发游戏自动化AI的开源框架(开源项目名为GameAISDK)。项目的特点是以游戏图像为输入，直接输出模拟触屏操作，不依赖游戏端提供

╰半橙微兮°/ 2023年01月17日 04:43/ 0 赞/ 185 阅读

相关 Go开源游戏服务器框架——Pitaya

Go开源游戏服务器框架——Pitaya 简介抽象分析框架流程处理细节简介 Pitaya是一款由国外游

r囧r小猫/ 2022年12月08日 14:30/ 0 赞/ 1492 阅读

相关游戏自动化AI的开源框架Game AI SDK正式开源

Game AI SDK是用于开发游戏自动化AI的开源框架。项目的特点是以游戏图像为输入，直接输出模拟触屏操作，不依赖游戏端提供任何API接口。适用场景主要适用

短命女/ 2022年11月29日 03:10/ 0 赞/ 406 阅读

相关基于OGRE的开源游戏

http://www.realxtend.org/page.php?pg=main 這是一個很酷的專案，有點像是sencond life的翻版，事實上也的確可以跟se

川长思鸟来/ 2022年08月24日 06:07/ 0 赞/ 161 阅读

相关基于Java的开源3D游戏引擎jMonkeyEngine

jMonkeyEngine简介 jMonkeyEngine是一款纯Java语言编写的游戏引擎，继承了Java应用跨平台的特性，而且是开放源代码的，遵循BSD开源协议，BS

忘是亡心i/ 2022年08月07日 14:50/ 0 赞/ 393 阅读

相关 AI 从业者该如何选择深度学习开源框架

导语：本文是微软美国总部机器学习科学家彭河森博士在雷锋网硬创公开课的分享，由雷锋网旗下栏目“AI科技评论”整理。编者按：本文内容来自微软美国总部机器学习科学家彭河森博士在雷

亦凉/ 2022年07月14日 05:15/ 0 赞/ 264 阅读

相关阿里分布式事务框架GTS开源了！

> 转载请标明出处： > [https://blog.csdn.net/forezp/article/details/86634907][https_blog.csdn.n

比眉伴天荒/ 2022年04月23日 07:24/ 0 赞/ 290 阅读

相关常用的开源框架

微信公众号 1、企业微信公众号 jfinal-qyweixin https://git.oschina.net/javen205/jfinal\_qyweixin

素颜马尾好姑娘i/ 2022年03月30日 04:27/ 0 赞/ 374 阅读

相关 AI的10个开源工具/框架

AI已经是大趋势，不搞点人工智能就太落伍了，学习永无止境！目录 TensorFlow 有用的链接 Apache SystemML 有用的链接 Caffe Caf

以你之姓@/ 2021年10月15日 13:45/ 0 赞/ 751 阅读