Gym的Spaces.Discrete和Spaces.box

大家好，我是讯享网，很高兴认识大家。

原文：https://www.jianshu.com/p/cb0839a4d1d3

1. OpenAI Gym安装

安装

本人环境是Ubuntu16.04 + anaconda + Python3.6.2

git clone https://github.com/openai/gym cd gym sudo pip install -e .[all]

讯享网

这里pip install -e .[all]是安装所有的environment，如果不想这么做可以pip install -e .安装基本项，之后手动安装所需要的environment。注意要使用管理员权限来安装，否则会报错！

helloworld

安装完成后，我们运行一个小的demo验证是否顺利安装，这里用CartPole-v0 下的1000帧验证：

讯享网import gym env = gym.make('CartPole-v0') env.reset() #重置环境 for _ in range(1000): #1000帧 env.render() #每一帧重新渲染环境 env.step(env.action_space.sample()) # take a random action

运行结果应当是这样的：

讯享网

正常来说我们应当在立杆滑出屏幕之前把环境停止掉，之后的会介绍。

如果想看看别的环境是什么样子的，可以将CartPole-v0替换成MountainCar-v0, MsPacman-v0等，这些环境都来自Env基类。

可以查看OpenAI Gym所有环境的列表：

from gym import envs print(envs.registry.all())

2. OpenAI Gym使用

Observation（观察）

上面helloworld的例子中，action是随机的，如果想要在每个步骤中做出比采取随机行动更好的action，那么实际了解action对环境的影响可能会很好。

环境的step 函数返回需要的信息，step 函数返回四个值observation、reward、done、info，下面是具体信息：

observation (object):一个与环境相关的对象描述你观察到的环境，如相机的像素信息，机器人的角速度和角加速度，棋盘游戏中的棋盘状态。
reward (float):先前行为获得的所有回报之和，不同环境的计算方式不一，但目标总是增加自己的总回报。
done (boolean): 判断是否到了重新设定(reset)环境，大多数任务分为明确定义的episodes，并且完成为True表示episode已终止。
info (dict):用于调试的诊断信息，有时也用于学习，但正式的评价不允许使用该信息进行学习。这是一个典型的agent-environment loop 的实现。

每一个时间步长，Agent 都选择一个action，Environment返回一个observation和reward。

下面这个示例通过调用reset来启动，它返回一个初始observation。所以要改进helloworld代码的更恰当的方法是当done返回为True，终止当前的episode：

讯享网import gym env = gym.make('CartPole-v0') for i_episode in range(20): observation = env.reset() for t in range(100): env.render() print(observation) action = env.action_space.sample() observation, reward, done, info = env.step(action) if done: print("Episode finished after {} timesteps".format(t+1)) break

结果与之前不同的是每次立杆将要倒下去，环境重置，并且每帧返回Observation也就是立杆位置的观察信息。

这段代码中，每次done返回True（立杆将要倒下去的时候）重置环境，然后每一帧都返回Observation来监视当前模型。

Spaces（空间）

之前的示例都用了随机action，那么这些action是如何表示的呢？每个环境都带有描述有效动作和观察结果的一级Space对象：

import gym env = gym.make('CartPole-v0') print(env.action_space) #> Discrete(2) print(env.observation_space) #> Box(4,)

Discrete space 允许固定范围的非负数。这个例子里，立杆的运动只有向左和向右，因此在这种情况下，有效的动作是0或1. Box空间表示一个n维框，这个示例中立杆在一个二维空间中，所以有效的观察将是4个数字的数组。也可以检查Box的范围：

讯享网print(env.observation_space.high) #> array([ 2.4 , inf, 0., inf]) print(env.observation_space.low) #> array([-2.4 , -inf, -0., -inf])

Box和Discrete是最常用的spaces，可以从space进行抽样或检查属于它的内容：

from gym import spaces space = spaces.Discrete(8) # Set with 8 elements {0, 1, 2, ..., 7} x = space.sample() assert space.contains(x) assert space.n == 8

很多环境中这些spaces数据并不是像这个简单的示例这么直观，不过只要你的模型足够优秀，自己没必要试着解释这些数据。

作者：huyuanda
链接：https://www.jianshu.com/p/cb0839a4d1d3
来源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。