Reševanje Rayeve težave z upodabljanjem okolja po meri v simulaciji Freeze-Tag

Izzivi pri upodabljanju okolij po meri z Ray in PyGame

Ustvarjanje okolij po meri v Pythonu za zapletene simulacije, kot je freeze-tag, lahko pogosto povzroči nepredvidene težave, zlasti pri kombiniranju z ogrodji, kot je Ray za usposabljanje več agentov. V tem scenariju je uporabnik ustvaril telovadno okolje s PyGame, da posnema situacijo z zamrznitvijo oznake, vendar naleti na težave pri poskusu upodabljanja okolja med treningom.

Temeljna težava je, da se simulacija ne upodablja, kot je predvideno, in ustvari veliko oken PyGame, kar oteži proces usposabljanja. Čeprav drugi vidiki telovadnega okolja pravilno delujejo z različnimi metodami, se zdi, da Rayev algoritem za optimizacijo proksimalne politike z več agenti (MAPPO) povzroča te težave.

Ray je čudovito ogrodje za porazdeljeno usposabljanje, vendar je za njegovo dobro delovanje s knjižnicami upodabljanja, kot je PyGame, potrebno skrbno upravljanje generiranja oken in sprememb upodabljanja. Brez rešitve teh pomislekov se lahko proces usposabljanja ustavi, kar ima za razvijalce frustrirajoče rezultate.

V naslednji razpravi si bomo ogledali verjetne razloge za te težave z upodabljanjem in zagotovili posebne popravke za zagotovitev brezhibne simulacije. Poleg tega si bomo ogledali, kako se izogniti ustvarjanju številnih primerkov oken, hkrati pa ohraniti delovanje zaslona PyGame za usposabljanje MAPPO v Rayu.

Razumevanje procesa upodabljanja in usposabljanja v Ray s PyGame

Ponujeni skripti so namenjeni reševanju dveh primarnih izzivov, s katerimi se srečujete pri upodabljanju prilagojenega telovadnega okolja z uporabo Rayeve tehnike optimizacije proksimalne politike z več agenti (MAPPO). Prva težava preprečuje ustvarjanje številnih oken PyGame. To se odpravi tako, da se zagotovi, da se zaslon PyGame inicializira samo enkrat z uporabo previdne logike gradnje oken. Uporabljamo pygame.display.set_mode() funkcijo znotraj preverjanja, ali je bil zaslon inicializiran, da se zagotovi, da je med vadbo ustvarjeno samo eno okno.

Druga ključna sposobnost je upodabljati metoda, ki prikazuje trenutno stanje okolja skozi vsak časovni korak. Agenti v okolju so prikazani z uporabo pygame.draw.circle(), katerih položaj in barva se nenehno spreminjata glede na njihovo stanje. To vam omogoča, da vidite, kateri agenti so zamrznjeni in kateri še vedno aktivni v scenariju zamrznitve oznake. The pygame.display.flip() metoda osveži zaslon po vsakem koraku upodabljanja in zagotovi, da okolje predstavlja trenutni status agentov.

Skript tudi prikazuje, kako vključiti okolje po meri v Ray. The env_creator funkcija registrira okolje z Ray prek register_env() funkcijo. Rayevi algoritmi za usposabljanje lahko zdaj zaznajo in uporabljajo prilagojeno okolje zamrznitve oznak. Poleg tega skript uporablja ray.init() ustanoviti Ray in zagotoviti, da se usposabljanje lahko porazdeli med več delavcev. Vendar pa je v tej ureditvi uporabljen samo en delavec uvajanja, da se zmanjša kompleksnost, povezana z upodabljanjem oken v številnih delavcih.

Nazadnje, vadbena zanka uporablja algo.train() funkcijo, ki izvaja vadbeni postopek za podano število epizod in časovnih korakov. Rezultati vsake ponovitve dajejo pomembne povratne informacije o uspešnosti agentov, vključno z meritvami, kot sta povprečna nagrada in skupne izgube. Prilagajanje nastavitev, kot je npr rollout_fragment_length in train_batch_size lahko izboljša proces usposabljanja. Ta skript je modularen in prilagodljiv, zato ga je mogoče uporabiti za različne težave z učenjem okrepitve z več agenti, ki vključujejo Ray in PyGame.

import pygame
from ray import init, shutdown
from ray.rllib.algorithms.ppo import PPOConfig
from ray.tune.registry import register_env
def render(self):
    if not hasattr(self, 'initialized') or not self.initialized:
        pygame.display.set_mode([1000, 1000])  # Prevent multiple windows
        self.initialized = True
    self.screen.fill((255, 255, 255))
    for agent in self.all_agents:
        color = agent.color if agent.status == 1 else (0, 255, 255)
        pygame.draw.circle(self.screen, color, (agent.x, agent.y), agent.size)
    pygame.display.flip()
def env_creator(config):
    return MyCustomEnv(screen=pygame.display.get_surface())  # Use existing display
register_env("Env_FTP", env_creator)
def train_and_evaluate(time_steps):
    init(ignore_reinit_error=True)
    config = PPOConfig().environment("Env_FTP").rollouts(num_rollout_workers=1)
    algo = config.build()
    for _ in range(episodes):
        results = algo.train()
    shutdown()

import ray
from ray.rllib.algorithms.ppo import PPOConfig
import pygame
class EnvWithRendering:
    def __init__(self, screen, agents, adversaries, time_steps):
        self.screen = screen
        self.agents = agents
        self.adversaries = adversaries
        self.time_steps = time_steps
    def render(self):
        pygame.init()
        self.screen.fill((255, 255, 255))
        for agent in self.agents:
            color = agent.color if agent.status == 1 else (0, 255, 255)
            pygame.draw.circle(self.screen, color, (agent.x, agent.y), agent.size)
        pygame.display.update()
def env_creator(config):
    return EnvWithRendering(pygame.display.set_mode([1000, 1000]), 5, 2, 500)
ray.init()
register_env("Env_FTP", env_creator)
config = PPOConfig().rollouts(num_rollout_workers=1)
algo = config.build()
algo.train()

Izboljšanje Rayevega usposabljanja več agentov s pravilnim upodabljanjem okolja

Ključna komponenta učinkovite integracije Rayjevega MAPPO v okolje po meri je zagotavljanje, da upodabljanje in upravljanje agentov delujeta brezhibno. V scenariju z več agenti, kot je zamrznitev oznake, je vizualni vnos ključnega pomena za odpravljanje napak in opazovanje dejavnosti agenta. Primarna težava z upodabljanjem je pogosto povezana z upravljanjem oken PyGame med usposabljanjem. Če želite preprečiti odpiranje številnih oken, je ena izvedljiva metoda upravljanje zagona okna PyGame s pogojnimi preverjanji. To zagotavlja, da se okolje upodablja ustrezno in brez odvečnih režijskih stroškov.

Drugi ključni dejavnik je, kako je vedenje agentov vključeno v simulacijo. Rayeva uvajanja narekujejo, kako se izkušnje iz različnih časovnih korakov zbirajo in uporabljajo za izobraževanje agentov. Ko vsak agent izvede dejanje, mora predstavitev odražati njihove nove položaje in stanja. PyGame pygame.display.flip() ukaz je tu bistvenega pomena, saj spreminja zaslon v realnem času, kar nam omogoča sledenje gibanju in statusom vseh agentov skozi celotno simulacijo.

Drugi ključni korak v procesu je optimizacija vmesnika med Ray in PyGame. Rayeva zmogljivost za obdelavo porazdeljenih izračunov je impresivna, vendar jo je treba pravilno upravljati, ko se uporablja v kontekstih, ki potrebujejo vizualno upodabljanje. Z uporabo Raya create_env_on_local_worker argument, okolje je zgrajeno lokalno na delavcu, ki izvaja upodabljanje, kar preprečuje, da bi več delavcev tekmovalo za odprta okna. Ta mešanica porazdeljenega učenja in natančnega upodabljanja ima za posledico uspešno simulacijo, ki jo je mogoče enostavno razširiti za učenje več agentov hkrati.