OpenAI Gym 教程

什么是 OpenAI Gym？

OpenAI Gym 是由 OpenAI 开发的一个用于开发和比较强化学习（Reinforcement Learning, RL）算法的工具包。 它提供了一系列标准化的环境（如 CartPole、MountainCar、Atari 游戏等），让研究人员和开发者可以快速测试和验证他们的 RL 模型。

Gym 的设计目标是简单、模块化且易于扩展，支持 Python 语言，并与主流深度学习框架（如 TensorFlow、PyTorch）无缝集成。

快速开始

安装 OpenAI Gym 非常简单，只需一行命令：

pip install gymnasium

注意：自 2023 年起，官方推荐使用 gymnasium（Gym 的社区维护版本），它兼容原 Gym API。

运行第一个环境：CartPole

import gymnasium as gym

env = gym.make("CartPole-v1", render_mode="human")
observation, info = env.reset()

for _ in range(1000):
    action = env.action_space.sample()  # 随机选择动作
    observation, reward, terminated, truncated, info = env.step(action)

    if terminated or truncated:
        observation, info = env.reset()

env.close()

这段代码会打开一个窗口，显示一个小车试图平衡一根杆子的经典控制问题。

核心概念

• Environment（环境）：模拟任务的场景，如游戏或物理系统。
• Action Space（动作空间）：智能体可执行的动作集合（离散或连续）。
• Observation Space（观测空间）：环境返回给智能体的状态信息。
• Reward（奖励）：每一步环境根据智能体行为给出的反馈信号。
• Episode（回合）：从初始状态到终止状态的一次完整交互过程。

常用环境示例

• CartPole-v1：小车平衡杆子（离散动作）
• MountainCar-v0：小车上山（离散动作）
• Pendulum-v1：倒立摆控制（连续动作）
• Acrobot-v1：双连杆摆（离散动作）
• Atari 游戏（需额外安装 gymnasium[atari]）

学习资源推荐

• Gymnasium 官方文档
• Spinning Up in Deep RL（OpenAI）
• 《深度强化学习》（书籍）—— Sutton & Barto
• YouTube 上的 “Sentdex” 强化学习系列教程