Ray kohandatud keskkonna renderdamise probleemi lahendamine külmutussildi simulatsioonis

Väljakutsed kohandatud keskkondade renderdamisel Ray ja PyGame'i abil

Pythonis kohandatud keskkondade loomine keeruliste simulatsioonide jaoks, nagu külmutamine, võib sageli põhjustada ettenägematuid probleeme, eriti kui kombineerite seda raamistikega nagu Ray mitme agendi koolituseks. Selle stsenaariumi korral lõi kasutaja PyGame'iga jõusaalikeskkonna, et imiteerida külmumissilti, kuid tal tekib probleeme treeningu ajal keskkonna renderdamisel.

Põhiprobleem on selles, et simulatsioon ei renderda nii nagu ette nähtud ja genereerib palju PyGame'i aknaid, mis muudab treeningprotsessi keerulisemaks. Kuigi teised jõusaalikeskkonna aspektid töötavad erinevate meetoditega korralikult, näib, et Ray mitme agendi proksimaalse poliitika optimeerimise (MAPPO) algoritm toob need probleemid esile.

Ray on suurepärane raamistik hajutatud koolituseks, kuid selle hästi töötamine koos renderdamisteekide, nagu PyGame, nõuab hoolikat akende genereerimise ja renderdusmuudatuste haldamist. Neid probleeme lahendamata võidakse koolitusprotsess peatada, mille tulemuseks on arendajatele pettumust valmistavad tulemused.

Järgmises arutelus vaatleme nende renderdusraskuste tõenäolisi põhjuseid ja pakume sujuva simulatsiooni tagamiseks konkreetseid parandusi. Lisaks vaatame, kuidas vältida paljude aknaeksemplaride loomist, säilitades samal ajal PyGame'i ekraani MAPPO treeningu jaoks Ray's.

Ray renderdus- ja koolitusprotsessi mõistmine PyGame'i abil

Pakutavad skriptid on mõeldud lahendama kahte peamist väljakutset, mis tekivad spetsiaalse jõusaalikeskkonna renderdamisel, kasutades Ray mitme agendi proksimaalse poliitika optimeerimise (MAPPO) tehnikat. Esimene probleem takistab paljude PyGame'i akende loomist. Selle probleemi lahendamiseks tagatakse, et PyGame'i kuva initsialiseeritakse ainult üks kord, kasutades ettevaatlikku aknaehitusloogikat. Me kasutame pygame.display.set_mode() funktsioon kontrollides, kas ekraan on lähtestatud, et treeningu ajal tekiks ainult üks aken.

Teine võtmevõime on renderdama meetod, mis kuvab iga ajasammu jooksul keskkonna hetkeseisu. Agente keskkonnas on kujutatud kasutades pygame.draw.circle(), mille asukoht ja värvus muutuvad pidevalt sõltuvalt nende olekust. See võimaldab teil näha, millised agendid on külmutatud ja millised on endiselt aktiivsed külmutamissildi stsenaariumi korral. The pygame.display.flip() meetod värskendab kuva pärast iga renderdamisetappi, tagades, et keskkond kajastab agentide praegust olekut.

Skript näitab ka, kuidas kohandatud keskkonda Raysse lisada. The env_creator funktsioon registreerib keskkonna Ray kaudu register_env() funktsiooni. Ray treeningalgoritmid suudavad nüüd tuvastada ja kasutada kohandatud külmutussildi keskkonda. Lisaks kasutab skript ray.init() luua Ray ja tagada koolituse jaotamine mitme töötaja vahel. Kuid selle paigutuse korral kasutatakse ainult ühte levitamistöötajat, et minimeerida paljude töötajate akende renderdamisega seotud keerukust.

Lõpuks kasutab treeningtsükkel algo.train() funktsioon, mis viib läbi treeningprotseduuri ettenähtud episoodide arvu ja ajasammude jaoks. Iga iteratsiooni tulemused annavad olulist tagasisidet agentide toimivuse kohta, sealhulgas mõõdikud nagu keskmine tasu ja kogukaod. Seadete reguleerimine nagu väljalaske_fragmendi_pikkus ja rongi_partii_suurus võib treeningprotsessi parandada. See skript on modulaarne ja kohandatav, nii et seda saab kasutada mitmesuguste mitme agendi tugevdamise õppimisprobleemide jaoks, mis hõlmavad Ray ja PyGame.

import pygame
from ray import init, shutdown
from ray.rllib.algorithms.ppo import PPOConfig
from ray.tune.registry import register_env
def render(self):
    if not hasattr(self, 'initialized') or not self.initialized:
        pygame.display.set_mode([1000, 1000])  # Prevent multiple windows
        self.initialized = True
    self.screen.fill((255, 255, 255))
    for agent in self.all_agents:
        color = agent.color if agent.status == 1 else (0, 255, 255)
        pygame.draw.circle(self.screen, color, (agent.x, agent.y), agent.size)
    pygame.display.flip()
def env_creator(config):
    return MyCustomEnv(screen=pygame.display.get_surface())  # Use existing display
register_env("Env_FTP", env_creator)
def train_and_evaluate(time_steps):
    init(ignore_reinit_error=True)
    config = PPOConfig().environment("Env_FTP").rollouts(num_rollout_workers=1)
    algo = config.build()
    for _ in range(episodes):
        results = algo.train()
    shutdown()

import ray
from ray.rllib.algorithms.ppo import PPOConfig
import pygame
class EnvWithRendering:
    def __init__(self, screen, agents, adversaries, time_steps):
        self.screen = screen
        self.agents = agents
        self.adversaries = adversaries
        self.time_steps = time_steps
    def render(self):
        pygame.init()
        self.screen.fill((255, 255, 255))
        for agent in self.agents:
            color = agent.color if agent.status == 1 else (0, 255, 255)
            pygame.draw.circle(self.screen, color, (agent.x, agent.y), agent.size)
        pygame.display.update()
def env_creator(config):
    return EnvWithRendering(pygame.display.set_mode([1000, 1000]), 5, 2, 500)
ray.init()
register_env("Env_FTP", env_creator)
config = PPOConfig().rollouts(num_rollout_workers=1)
algo = config.build()
algo.train()

Ray mitme agendi koolituse täiustamine õige keskkonna renderdamisega

Ray MAPPO eritellimusel loodud keskkonda tõhusa integreerimise kriitilise tähtsusega komponent on renderdamise ja agendihalduse laitmatu koostöö tagamine. Mitme agendi stsenaariumi puhul, nagu näiteks külmutamine, on visuaalne sisend silumiseks ja agendi tegevuse jälgimiseks kriitilise tähtsusega. Peamine raskus renderdamisel on sageli seotud PyGame'i akende haldamisega treeningu ajal. Paljude akende avamise vältimiseks on üks elujõuline meetod PyGame'i akna käivitamise haldamine tingimuslike kontrollidega. See tagab, et keskkond toimib asjakohaselt ja ilma liigsete üldkuludeta.

Teine oluline kaalutlus on see, kuidas agentide käitumist simulatsiooni kaasatakse. Ray juurutused määravad, kuidas erinevate ajajärkude kogemusi kogutakse ja agentide koolitamiseks kasutatakse. Kui iga agent tegutseb, peab esindus kajastama nende uusi positsioone ja olekuid. PyGame'i oma pygame.display.flip() käsk on siin ülioluline, kuna see muudab ekraani reaalajas, võimaldades jälgida kõigi agentide liikumist ja olekut kogu simulatsiooni jooksul.

Teine oluline samm protsessis on Ray ja PyGame vahelise liidese optimeerimine. Ray võime käsitleda hajutatud arvutusi on muljetavaldav, kuid seda tuleb korralikult hallata, kui seda kasutatakse kontekstides, mis vajavad visuaalset renderdamist. Ray'si kasutamine create_env_on_local_worker Argumendi kohaselt on keskkond üles ehitatud lokaalselt renderdust tegevale töötajale, mis takistab mitmel töötajal avatud akende pärast konkureerimast. See hajutatud õppimise ja täpse renderdamise segu annab tulemuseks eduka simulatsiooni, mida saab hõlpsasti laiendada, et õpetada mitut agenti korraga.