Ray pielāgotās vides renderēšanas problēmas atrisināšana iesaldēšanas tagu simulācijā

Izaicinājumi pielāgotu vidi renderēšanai, izmantojot Ray un PyGame

Pielāgotas vides izveide programmā Python sarežģītām simulācijām, piemēram, iesaldēšanas tagiem, bieži var radīt neparedzētas problēmas, īpaši, ja to apvieno ar tādiem ietvariem kā Ray vairāku aģentu apmācībai. Šajā scenārijā lietotājs izveidoja sporta zāles vidi ar PyGame, lai atdarinātu iesaldēšanas atzīmes situāciju, taču, mēģinot atveidot vidi treniņa laikā, rodas problēmas.

Pamatproblēma ir tāda, ka simulācija netiek renderēta, kā paredzēts, un ģenerē daudz PyGame logu, kas sarežģī apmācības procesu. Lai gan citi sporta zāles vides aspekti darbojas pareizi ar dažādām metodēm, šķiet, ka Ray vairāku aģentu proksimālās politikas optimizācijas (MAPPO) algoritms rada šīs problēmas.

Ray ir lielisks ietvars sadalītai apmācībai, taču, lai tas labi darbotos ar renderēšanas bibliotēkām, piemēram, PyGame, ir nepieciešama rūpīga logu ģenerēšanas un renderēšanas izmaiņu pārvaldība. Neatrisinot šīs bažas, apmācības process var tikt apturēts, radot izstrādātājus neapmierinošus rezultātus.

Nākamajā diskusijā mēs apskatīsim iespējamos šo renderēšanas grūtību iemeslus un sniegsim īpašus labojumus, lai nodrošinātu nevainojamu simulāciju. Turklāt mēs apskatīsim, kā izvairīties no daudzu logu gadījumu izveidošanas, vienlaikus saglabājot PyGame displeja darbību MAPPO apmācībai programmā Ray.

Izpratne par renderēšanas un apmācības procesu Ray, izmantojot PyGame

Piedāvātie skripti ir paredzēti, lai risinātu divas galvenās problēmas, kas rodas, veidojot īpaši pielāgotu sporta zāles vidi, izmantojot Ray's Multi-Agent proksimālās politikas optimizācijas (MAPPO) tehniku. Pirmā problēma neļauj izveidot daudzus PyGame logus. Tas tiek risināts, nodrošinot, ka PyGame displejs tiek inicializēts tikai vienu reizi, izmantojot piesardzīgu logu uzbūves loģiku. Mēs izmantojam pygame.display.set_mode() funkciju, pārbaudot, vai displejs ir inicializēts, lai nodrošinātu, ka apmācības laikā tiek izveidots tikai viens logs.

Otrā galvenā iespēja ir renderēt metode, kas parāda pašreizējo vides stāvokli katrā laika posmā. Aģenti vidē ir attēloti, izmantojot pygame.draw.circle(), kuru stāvoklis un krāsa pastāvīgi tiek mainīti atkarībā no stāvokļa. Tas ļauj redzēt, kuri aģenti ir iesaldēti un kuri joprojām ir aktīvi iesaldēšanas tagu scenārijā. The pygame.display.flip() metode atsvaidzina displeju pēc katra renderēšanas soļa, nodrošinot, ka vide atspoguļo aģentu pašreizējo statusu.

Skripts arī parāda, kā pielāgoto vidi iekļaut Ray. The env_creator funkcija reģistrē vidi ar Ray, izmantojot register_env() funkciju. Ray apmācības algoritmi tagad var noteikt un izmantot pielāgoto iesaldēšanas tagu vidi. Turklāt skripts izmanto ray.init() izveidot Ray un nodrošināt, ka apmācību var sadalīt vairākiem darbiniekiem. Tomēr šajā izkārtojumā tiek izmantots tikai viens izlaišanas darbinieks, lai samazinātu sarežģītību, kas saistīta ar logu renderēšanu daudziem darbiniekiem.

Visbeidzot, apmācības cilpa izmanto algo.train() funkcija, kas izpilda apmācības procedūru paredzētajam epizožu skaitam un laika soļiem. Katras iterācijas rezultāti sniedz būtisku atgriezenisko saiti par aģentu darbību, tostarp tādiem rādītājiem kā vidējā atlīdzība un kopējie zaudējumi. Iestatījumu pielāgošana, piemēram, rollout_fragment_length un vilciena_partijas_izmērs var uzlabot apmācības procesu. Šis skripts ir modulārs un pielāgojams, tāpēc to var izmantot dažādām vairāku aģentu pastiprināšanas mācību problēmām, kas saistītas ar Ray un PyGame.

import pygame
from ray import init, shutdown
from ray.rllib.algorithms.ppo import PPOConfig
from ray.tune.registry import register_env
def render(self):
    if not hasattr(self, 'initialized') or not self.initialized:
        pygame.display.set_mode([1000, 1000])  # Prevent multiple windows
        self.initialized = True
    self.screen.fill((255, 255, 255))
    for agent in self.all_agents:
        color = agent.color if agent.status == 1 else (0, 255, 255)
        pygame.draw.circle(self.screen, color, (agent.x, agent.y), agent.size)
    pygame.display.flip()
def env_creator(config):
    return MyCustomEnv(screen=pygame.display.get_surface())  # Use existing display
register_env("Env_FTP", env_creator)
def train_and_evaluate(time_steps):
    init(ignore_reinit_error=True)
    config = PPOConfig().environment("Env_FTP").rollouts(num_rollout_workers=1)
    algo = config.build()
    for _ in range(episodes):
        results = algo.train()
    shutdown()

import ray
from ray.rllib.algorithms.ppo import PPOConfig
import pygame
class EnvWithRendering:
    def __init__(self, screen, agents, adversaries, time_steps):
        self.screen = screen
        self.agents = agents
        self.adversaries = adversaries
        self.time_steps = time_steps
    def render(self):
        pygame.init()
        self.screen.fill((255, 255, 255))
        for agent in self.agents:
            color = agent.color if agent.status == 1 else (0, 255, 255)
            pygame.draw.circle(self.screen, color, (agent.x, agent.y), agent.size)
        pygame.display.update()
def env_creator(config):
    return EnvWithRendering(pygame.display.set_mode([1000, 1000]), 5, 2, 500)
ray.init()
register_env("Env_FTP", env_creator)
config = PPOConfig().rollouts(num_rollout_workers=1)
algo = config.build()
algo.train()

Uzlabojiet Ray vairāku aģentu apmācību ar pareizu vides atveidojumu

Būtiska sastāvdaļa, lai efektīvi integrētu Ray's MAPPO pielāgotā vidē, ir nodrošināt, ka renderēšana un aģentu pārvaldība darbojas nevainojami. Vairāku aģentu scenārijā, piemēram, iesaldēšanas tagā, vizuālā ievade ir būtiska atkļūdošanai un aģenta darbības novērošanai. Galvenās renderēšanas grūtības bieži ir saistītas ar PyGame logu pārvaldību apmācības laikā. Lai novērstu daudzu logu atvēršanu, viena piemērota metode ir pārvaldīt PyGame loga startēšanu, izmantojot nosacījumu pārbaudes. Tas garantē, ka vide tiek pareizi apstrādāta un bez pārmērīgām izmaksām.

Vēl viens svarīgs apsvērums ir tas, kā aģentu uzvedība tiek iekļauta simulācijā. Ray's izlaišanas nosaka, kā tiek apkopota pieredze no dažādiem laika posmiem un izmantota aģentu izglītošanai. Kad katrs aģents veic kādu darbību, reprezentācijai jāatspoguļo viņu jaunās pozīcijas un stāvokļi. PyGame pygame.display.flip() komanda šeit ir ļoti svarīga, jo tā maina ekrānu reāllaikā, ļaujot mums izsekot visu aģentu kustībām un statusiem visā simulācijas laikā.

Vēl viens svarīgs procesa posms ir Ray un PyGame saskarnes optimizēšana. Ray spēja apstrādāt sadalītus aprēķinus ir iespaidīga, taču tā ir pareizi jāpārvalda, ja to izmanto kontekstos, kuros nepieciešama vizuāla renderēšana. Izmantojot Ray's Create_env_on_local_worker argumentu, vide tiek veidota lokāli uz darbinieka, kas veic renderēšanu, neļaujot vairākiem darbiniekiem sacensties par atvērtiem logiem. Šis sadalītās mācīšanās un precīzas renderēšanas apvienojums nodrošina veiksmīgu simulāciju, ko var viegli paplašināt, lai vienlaikus mācītu vairākus aģentus.