基于 Regularized Nash Dynamics 的军棋AI

注意：为了保护我的工作，我仅将部分代码开源，例如神经网络部分我仅上传了一个示例 CNN

成果展示

4*2迷你军棋

4*2迷你军棋采用与论文相同的参数与缩小版（32通道）的CNN。训练时的 batch_size=500。

经过约12000个 learner step 得到 loss 如图：

与 random player 进行评估，胜率达到约 82% ，evaluator.py 的部分输出如图：

10*2缩小版军棋

10*2缩小版军棋包括军棋中除工兵外全部的游戏逻辑，是我向完整版军棋进发的尝试。

10*2迷你军棋采用与论文相同的参数与缩小版（128通道）的CNN。训练时的 batch_size=20。

由于算力有限，我尚未在10*2缩小版军棋进行足够的参数调试测试，且batch_size=20对于军棋的多智能体训练实在太小，因此目前结果不佳。

经过约5000个 learner step 得到 loss 如图：

与 random player 进行评估，胜率达到约 54% ，负率仅约 39% ，evaluator.py 的部分输出如图：

环境搭建

注意：仅支持 linux 环境, 开发和训练试用 ubuntu 22.04 和 ubuntu 20.04

首先安装带有军棋游戏的 Open Spiel 框架，以及jax, dm-haiku等依赖项

pip install open-spiel-junqi==1.4.2 jax dm-haiku

克隆此仓库

git clone https://github.com/JimZhouZZY/RNaD-JunQi.git

进入 game 文件夹，运行 copy.sh 替换文件（此步骤可能需要手动找到 python 的库文件夹并手动替换）

cd game
sh copy.sh

（此步可省略）检查机器 cpu 数量，根据机器 cpu 数量调整 config.py 中的 _NUM_ACTORS 变量

lscpu

开始训练

sh train.sh