Freeze-Tag 시뮬레이션에서 Ray의 사용자 정의 환경 렌더링 문제 해결

여러 PyGame Windows 문제를 해결하고 Ray의 MAPPO 설정에서 렌더링을 개선합니다.

접근법 1: Python, PyGame 및 Ray의 MAPPO를 사용한 창 관리에 중점을 둡니다.

import pygame
from ray import init, shutdown
from ray.rllib.algorithms.ppo import PPOConfig
from ray.tune.registry import register_env
def render(self):
    if not hasattr(self, 'initialized') or not self.initialized:
        pygame.display.set_mode([1000, 1000])  # Prevent multiple windows
        self.initialized = True
    self.screen.fill((255, 255, 255))
    for agent in self.all_agents:
        color = agent.color if agent.status == 1 else (0, 255, 255)
        pygame.draw.circle(self.screen, color, (agent.x, agent.y), agent.size)
    pygame.display.flip()
def env_creator(config):
    return MyCustomEnv(screen=pygame.display.get_surface())  # Use existing display
register_env("Env_FTP", env_creator)
def train_and_evaluate(time_steps):
    init(ignore_reinit_error=True)
    config = PPOConfig().environment("Env_FTP").rollouts(num_rollout_workers=1)
    algo = config.build()
    for _ in range(episodes):
        results = algo.train()
    shutdown()

Ray를 사용하여 PyGame에서 렌더링 최적화 및 여러 에이전트 처리

접근법 2: Python과 Ray를 사용하여 환경을 모듈화하고 렌더링 로직을 분리합니다.

import ray
from ray.rllib.algorithms.ppo import PPOConfig
import pygame
class EnvWithRendering:
    def __init__(self, screen, agents, adversaries, time_steps):
        self.screen = screen
        self.agents = agents
        self.adversaries = adversaries
        self.time_steps = time_steps
    def render(self):
        pygame.init()
        self.screen.fill((255, 255, 255))
        for agent in self.agents:
            color = agent.color if agent.status == 1 else (0, 255, 255)
            pygame.draw.circle(self.screen, color, (agent.x, agent.y), agent.size)
        pygame.display.update()
def env_creator(config):
    return EnvWithRendering(pygame.display.set_mode([1000, 1000]), 5, 2, 500)
ray.init()
register_env("Env_FTP", env_creator)
config = PPOConfig().rollouts(num_rollout_workers=1)
algo = config.build()
algo.train()

다중 에이전트 환경의 Ray 및 PyGame 렌더링에 관해 자주 묻는 질문

1. 여러 PyGame 창이 열리지 않도록 하려면 어떻게 해야 합니까?
2. 다중 초기화를 방지하려면 호출하기 전에 조건부 확인을 사용하세요. pygame.display.set_mode().
3. 역할은 무엇입니까? rollouts 레이에?
4. 롤아웃은 에이전트와 환경의 상호 작용에서 데이터를 캡처하고 유지하며, 이는 이후 교육 중에 정책을 업데이트하는 데 활용됩니다.
5. 어떻게 pygame.display.flip() 일하다?
6. 이 명령은 에이전트의 위치 및 작업을 포함하여 환경의 현재 상태로 PyGame 창을 새로 고칩니다.
7. Ray가 렌더링과 훈련을 동시에 처리할 수 있습니까?
8. Ray는 두 가지를 모두 처리할 수 있지만 create_env_on_local_worker 적절한 렌더링을 위해 로컬로 환경을 만듭니다.
9. Ray 훈련에서 PyGame 창을 제어하는 ​​것이 왜 중요한가요?
10. 창 초기화를 제어하지 않으면 수많은 창이 열릴 수 있으며 이로 인해 성능 문제가 발생하고 에이전트 동작을 관찰할 수 없게 됩니다.

Ray 및 PyGame 렌더링 문제 해결

마지막으로, Ray를 사용하여 다중 에이전트 PyGame 컨텍스트에서 렌더링 문제를 해결하려면 창 관리를 최적화해야 합니다. 이렇게 하면 PyGame 창의 수많은 인스턴스가 필요 없이 렌더링 프로세스가 원활하게 실행됩니다. 환경과 매개변수를 주의 깊게 구성해야 합니다.

Ray의 롤아웃 작업자를 적절하게 구성하고 환경 생성 방식을 변경함으로써 효율적인 교육과 적절한 렌더링을 모두 달성할 수 있습니다. 이 솔루션은 개발자가 Ray의 분산 학습 기능을 활용하면서 동결 태그 시나리오를 더 잘 관찰하고 디버그할 수 있도록 하여 시뮬레이션 속도를 향상시킵니다.