OpenAi multi-agent 多智能体环境搭建

multi-agent 环境搭建

本文在服务器DELL T640 Ubuntu20.04上搭建多智能体训练仿真环境.

注意：一定要注意装的各个模块尽量和官方的推荐的保持一致

文章目录

官方给的依赖: Python (3.5.4), OpenAI gym (0.10.5), tensorflow (1.8.0), numpy (1.14.5)
我用的是依赖：Python (3.6), Cuda(10,1), OpenAI gym (0.10.5), tensorflow (1.8.0), numpy (1.14.5)

一、安装cuda、cudnn、anaconda

cuda和cudnn是装显卡的驱动，这里cuda、cudnn、pytorch的版本要保持对应关系，尽量一致。亲测过在torch1.7.1 python=3.8虚拟环境下安装numpy(1.14.5)，报错numpy不支持python3.8，支持大于等于3.6 小于3.7。
具体版本对应关系如下：

安装cuda等参考下面的链接：
cuda和cudnn安装参考: link
参考上面的链接中的第一步、第二步安装anaconda、cuda、cudnn

注意：一定要注意装的cuda版本不建议为11系列，对于上面的链接中环境激活采用下面的方法

笔者使用服务器的显卡是3090，这里装的cuda版本是10.1

二、激活环境，安装依赖

创建一个环境空间，虽然官方依赖是python3.5.4，但是我用的是python3.6的，亲测可以。
根目录下复制下面程序建立一个环境空间

ctq@fly:~$ conda create - n torch1.4 python=3.6

然后激活环境：

ctq@fly:~$ conda activate torch1.4

出现下面显示
如果想退出建立的环境输入下面指令即可退出建立的环境

ctq@fly:~$ conda deactivate 

注意：装的一些依赖一定要在建立的环境下安装

安装gym、numpy、tensorfolw,起初我用的conda install gym=0.10.5然后报错找不到，用pip安装就可以，哈哈能用就行了。

(torch1.4) ctq@fly:~$ pip install gym==0.10.5(torch1.4) ctq@fly:~$ pip install numpy==1.14.5(torch1.4) ctq@fly:~$ pip install tensorflow==1.8.0(torch1.4) ctq@fly:~$ pip install torch===1.4.0 torchvision===0.5.0

安装好后终端输入,看一下装的依赖列表

pip list

依赖装成功，下面咱开始装多智能体环境了。

三、配置多智能体环境(重要)

在根目录下下载测试代码

(torch1.4) ctq@fly:~$ git clone https://github.com/mikutown/maddpg-master

然后将多智能体粒子环境源码下载到步骤二建立的torch1.4中，步骤如下：

找到anaconda3文件夹，进入到这个目录下
anaconda3/envs/torch1.4/lib/python3.6/site-packages/

ctq@fly:~$ cd anaconda3/envs/torch1.4/lib/python3.6/site-packages/

在site-packages目录下载源码

git clone https://github.com/openai/multiagent-particle-envs

下载成功后出现下目录

进入该文件目录

cd multiagent-particle-envs/

安装依赖

pip install -e .

将multiagent-particle-envs中的multiagent文件夹拷贝到下载的maddpg-master测试代码中

cp -r multiagent ~/maddpg-master/

添加环境变量，在根目录下输入下指令

cd 
gedit .bashrc

根据自己的情况将下面地址更改添加到打开的文本末尾

export PATH="/home/ctq/anaconda3/envs/torch1.4/lib/python3.6/site-packages/multiagent-particle-envs/bin:$PATH"

保存，退出。

在终端根目录下输入下指令，激活

source .bashrc

四、测试

用pycharm打开下载的maddpg-master文件夹
配置环境如下




在配置好环境后，更改一下程序，将display中的False改成True

点击右上角运行，看到下面的显示，成功

五、参考链接

https://zhuanlan.zhihu.com/p/459803124
https://blog.csdn.net/weixin_42301220/article/details/109720930
https://blog.csdn.net/weixin_44791964/article/details/126089433
https://blog.csdn.net/vivigreeeen/article/details/116988083
https://github.com/openai/multiagent-particle-envs
https://github.com/mikutown/maddpg-master

六、总结

感觉open ai的多智能体环境还挺好用的，如果自己从头搭建一个环境真的挺费时间的，就到这里了，时间仓促，有哪里错了还请各位怒斥。哈哈。