解决 Ray 在 Freeze-Tag 模拟中的自定义环境渲染问题

修复多个 PyGame Windows 问题并改进 Ray 的 MAPPO 设置中的渲染。

方法 1：Python，重点是使用 PyGame 和 Ray 的 MAPPO 进行窗口管理。

import pygame
from ray import init, shutdown
from ray.rllib.algorithms.ppo import PPOConfig
from ray.tune.registry import register_env
def render(self):
    if not hasattr(self, 'initialized') or not self.initialized:
        pygame.display.set_mode([1000, 1000])  # Prevent multiple windows
        self.initialized = True
    self.screen.fill((255, 255, 255))
    for agent in self.all_agents:
        color = agent.color if agent.status == 1 else (0, 255, 255)
        pygame.draw.circle(self.screen, color, (agent.x, agent.y), agent.size)
    pygame.display.flip()
def env_creator(config):
    return MyCustomEnv(screen=pygame.display.get_surface())  # Use existing display
register_env("Env_FTP", env_creator)
def train_and_evaluate(time_steps):
    init(ignore_reinit_error=True)
    config = PPOConfig().environment("Env_FTP").rollouts(num_rollout_workers=1)
    algo = config.build()
    for _ in range(episodes):
        results = algo.train()
    shutdown()

使用 Ray 优化 PyGame 中的渲染和处理多个代理

方法 2：使用 Python 和 Ray 模块化环境并分离渲染逻辑

import ray
from ray.rllib.algorithms.ppo import PPOConfig
import pygame
class EnvWithRendering:
    def __init__(self, screen, agents, adversaries, time_steps):
        self.screen = screen
        self.agents = agents
        self.adversaries = adversaries
        self.time_steps = time_steps
    def render(self):
        pygame.init()
        self.screen.fill((255, 255, 255))
        for agent in self.agents:
            color = agent.color if agent.status == 1 else (0, 255, 255)
            pygame.draw.circle(self.screen, color, (agent.x, agent.y), agent.size)
        pygame.display.update()
def env_creator(config):
    return EnvWithRendering(pygame.display.set_mode([1000, 1000]), 5, 2, 500)
ray.init()
register_env("Env_FTP", env_creator)
config = PPOConfig().rollouts(num_rollout_workers=1)
algo = config.build()
algo.train()

有关多代理环境中 Ray 和 PyGame 渲染的常见问题

1. 如何防止打开多个 PyGame 窗口？
2. 为了避免多次初始化，请在调用之前使用条件检查 pygame.display.set_mode()。
3. 的作用是什么 rollouts 在雷?
4. 推出捕获并保留代理与环境交互的数据，这些数据随后用于在训练期间更新策略。
5. 怎么样 pygame.display.flip() 工作？
6. 此命令使用环境的当前状态刷新 PyGame 窗口，包括代理的位置和操作。
7. Ray 可以同时处理渲染和训练吗？
8. 雷可以同时处理这两件事，但是 create_env_on_local_worker 在本地创建环境以进行正确渲染。
9. 为什么控制 PyGame 窗口在 Ray 训练中很重要？
10. 如果不控制窗口初始化，可能会打开大量窗口，从而产生性能问题并导致无法观察代理行为。

解决 Ray 和 PyGame 渲染问题

最后，使用 Ray 解决多代理 PyGame 上下文中的渲染问题需要优化窗口管理。这确保了渲染过程顺利运行，而不需要大量的 PyGame 窗口实例。需要仔细配置环境和参数。

通过正确配置 Ray 的 Rollout Worker 并更改环境的生成方式，我们实现了高效的训练和正确的渲染。该解决方案允许开发人员更好地观察和调试冻结标签场景，同时利用 Ray 的分布式学习功能，从而提高了模拟速度。