Řešení problému s vykreslováním vlastního prostředí Ray v simulaci Freeze-Tag

Výzvy při vykreslování vlastních prostředí pomocí Ray a PyGame

Vytváření vlastních prostředí v Pythonu pro komplikované simulace, jako je freeze-tag, může často vést k nepředvídatelným problémům, zejména při kombinaci s frameworky, jako je Ray pro trénink více agentů. V tomto scénáři uživatel vytvořil prostředí tělocvičny pomocí PyGame, aby napodobil situaci zmrazení tagů, ale při pokusu o vykreslení prostředí během tréninku narazil na problémy.

Základním problémem je, že simulace se nevykresluje tak, jak bylo zamýšleno, a generuje mnoho oken PyGame, což komplikuje tréninkový proces. I když jiné aspekty prostředí tělocvičny fungují správně s různými metodami, Rayův algoritmus Multi-Agent Proximal Policy Optimization (MAPPO) zřejmě tyto problémy zavádí.

Ray je skvělý rámec pro distribuované školení, ale jeho správné fungování s knihovnami vykreslování, jako je PyGame, vyžaduje pečlivou správu generování oken a změn vykreslování. Bez vyřešení těchto obav může být tréninkový proces zastaven, což má za následek frustrující výsledky pro vývojáře.

V následující diskusi se podíváme na pravděpodobné důvody těchto potíží s vykreslováním a poskytneme konkrétní opravy, které zajistí bezproblémovou simulaci. Kromě toho se podíváme na to, jak se vyhnout vytváření mnoha instancí oken a zároveň zachovat fungování displeje PyGame pro trénink MAPPO v Ray.

Pochopení procesu vykreslování a školení v Ray s PyGame

Nabízené skripty jsou určeny k řešení dvou hlavních problémů, se kterými se setkáte při vykreslování prostředí tělocvičny na míru pomocí techniky Ray's Multi-Agent Proximal Policy Optimization (MAPPO). První problém brání vytvoření mnoha oken PyGame. To je řešeno zajištěním, že zobrazení PyGame je inicializováno pouze jednou pomocí opatrné logiky konstrukce okna. Používáme pygame.display.set_mode() funkce v rámci kontroly, zda byl displej inicializován, aby bylo zajištěno, že se během tréninku vytvoří pouze jedno okno.

Druhou klíčovou schopností je vykreslit metoda, která zobrazuje aktuální stav prostředí v každém časovém kroku. Agenti v prostředí jsou znázorněni pomocí pygame.draw.circle(), přičemž jejich poloha a barva se neustále mění v závislosti na jejich stavu. To vám umožní vidět, kteří agenti jsou zmrazení a kteří jsou stále aktivní ve scénáři zmrazení značky. The pygame.display.flip() metoda obnoví zobrazení po každém kroku vykreslování a zajistí, že prostředí představuje aktuální stav agentů.

Skript také ukazuje, jak začlenit vlastní prostředí do Ray. The env_creator funkce registruje prostředí s Ray přes register_env() funkce. Rayovy tréninkové algoritmy nyní dokážou detekovat a používat přizpůsobené prostředí freeze-tag. Dále skript používá ray.init() založit Ray a zajistit, aby školení bylo možné rozdělit mezi několik pracovníků. V tomto uspořádání se však používá pouze jeden zaváděcí pracovník, aby se minimalizovala složitost spojená s vykreslováním oken napříč mnoha pracovníky.

Konečně, tréninková smyčka využívá algo.train() funkce, která provede tréninkovou proceduru pro zadaný počet epizod a časových kroků. Výsledky každé iterace poskytují zásadní zpětnou vazbu o výkonu agentů, včetně metrik, jako je průměrná odměna a celkové ztráty. Úprava nastavení jako např rollout_fragment_length a train_batch_size může zlepšit tréninkový proces. Tento skript je modulární a adaptabilní, takže jej lze použít pro různé problémy s učením se posilováním více agentů, které zahrnují Ray a PyGame.

import pygame
from ray import init, shutdown
from ray.rllib.algorithms.ppo import PPOConfig
from ray.tune.registry import register_env
def render(self):
    if not hasattr(self, 'initialized') or not self.initialized:
        pygame.display.set_mode([1000, 1000])  # Prevent multiple windows
        self.initialized = True
    self.screen.fill((255, 255, 255))
    for agent in self.all_agents:
        color = agent.color if agent.status == 1 else (0, 255, 255)
        pygame.draw.circle(self.screen, color, (agent.x, agent.y), agent.size)
    pygame.display.flip()
def env_creator(config):
    return MyCustomEnv(screen=pygame.display.get_surface())  # Use existing display
register_env("Env_FTP", env_creator)
def train_and_evaluate(time_steps):
    init(ignore_reinit_error=True)
    config = PPOConfig().environment("Env_FTP").rollouts(num_rollout_workers=1)
    algo = config.build()
    for _ in range(episodes):
        results = algo.train()
    shutdown()

import ray
from ray.rllib.algorithms.ppo import PPOConfig
import pygame
class EnvWithRendering:
    def __init__(self, screen, agents, adversaries, time_steps):
        self.screen = screen
        self.agents = agents
        self.adversaries = adversaries
        self.time_steps = time_steps
    def render(self):
        pygame.init()
        self.screen.fill((255, 255, 255))
        for agent in self.agents:
            color = agent.color if agent.status == 1 else (0, 255, 255)
            pygame.draw.circle(self.screen, color, (agent.x, agent.y), agent.size)
        pygame.display.update()
def env_creator(config):
    return EnvWithRendering(pygame.display.set_mode([1000, 1000]), 5, 2, 500)
ray.init()
register_env("Env_FTP", env_creator)
config = PPOConfig().rollouts(num_rollout_workers=1)
algo = config.build()
algo.train()

Vylepšení Rayova multi-agentního školení se správným vykreslováním prostředí

Klíčovou součástí efektivní integrace Ray's MAPPO do prostředí na míru je zajištění bezchybné spolupráce vykreslování a správy agentů. Ve scénáři s více agenty, jako je freeze-tag, je vizuální vstup kritický pro ladění a sledování aktivity agenta. Primární problém s vykreslováním je často spojen s tím, jak jsou okna PyGame spravována během tréninku. Chcete-li zabránit otevírání mnoha oken, jednou schůdnou metodou je spravovat spouštění okna PyGame pomocí podmíněných kontrol. To zaručuje, že se prostředí vykreslí správně a bez nadměrné režie.

Dalším klíčovým faktorem je, jak je chování agentů začleněno do simulace. Zavedení Raye diktuje, jak se shromažďují zkušenosti z různých časových kroků a jak se používají ke vzdělávání agentů. Když každý agent provede akci, reprezentace musí odrážet jeho nové pozice a stavy. PyGame pygame.display.flip() Příkaz je zde zásadní, protože mění obrazovku v reálném čase, což nám umožňuje sledovat pohyby a stavy všech agentů v průběhu simulace.

Dalším klíčovým krokem v procesu je optimalizace rozhraní mezi Ray a PyGame. Schopnost Ray zpracovávat distribuované výpočty je působivá, ale při použití v kontextech, které vyžadují vizuální vykreslování, musí být správně řízena. Pomocí Ray's create_env_on_local_worker Prostředí je založeno lokálně na pracovníkovi, který provádí renderování, což zabraňuje několika pracovníkům soutěžit o otevřená okna. Výsledkem této směsi distribuovaného učení a přesného vykreslování je úspěšná simulace, kterou lze snadno rozšířit a učit několik agentů najednou.