„Ray“ tinkintos aplinkos atvaizdavimo problemos sprendimas naudojant „Freeze-Tag“ modeliavimą

Iššūkiai pateikiant pasirinktines aplinkas naudojant „Ray“ ir „PyGame“.

„Python“ tinkintų aplinkų kūrimas sudėtingiems modeliavimui, pvz., „fiksavimo žyma“, dažnai gali sukelti nenumatytų problemų, ypač derinant su tokiomis sistemomis kaip „Ray“, skirta kelių agentų mokymui. Pagal šį scenarijų vartotojas sukūrė sporto salės aplinką naudodamas „PyGame“, kad imituotų „užšaldymo žymos“ situaciją, tačiau susiduria su problemomis bandydamas atvaizduoti aplinką treniruotės metu.

Esminė problema yra ta, kad modeliavimas nerodomas taip, kaip numatyta, ir sukuria daug PyGame langų, o tai apsunkina mokymo procesą. Nors kiti sporto salės aplinkos aspektai tinkamai veikia naudojant įvairius metodus, atrodo, kad Ray's Multi-Agent Proximal Policy Optimization (MAPPO) algoritmas iškelia šias problemas.

„Ray“ yra puiki paskirstyto mokymo sistema, tačiau norint, kad ji gerai veiktų su atvaizdavimo bibliotekomis, tokiomis kaip „PyGame“, reikia atidžiai valdyti langų generavimą ir atvaizdavimo pakeitimus. Neišsprendus šių rūpesčių, mokymo procesas gali būti sustabdytas, o tai nuvilia kūrėjus.

Tolesnėje diskusijoje apžvelgsime galimas šių atvaizdavimo sunkumų priežastis ir pateiksime konkrečius pataisymus, kad būtų užtikrintas sklandus modeliavimas. Be to, apžvelgsime, kaip nekurti daugybės langų egzempliorių, išlaikant PyGame ekrano veikimą MAPPO treniruotėms Ray.

„Ray“ atvaizdavimo ir mokymo proceso supratimas naudojant „PyGame“.

Siūlomi scenarijai skirti spręsti du pagrindinius iššūkius, su kuriais susiduriama kuriant specialiai pritaikytą sporto salės aplinką naudojant Ray's Multi-Agent Proximal Policy Optimization (MAPPO) techniką. Pirmoji problema neleidžia sukurti daugybės „PyGame“ langų. Tai sprendžiama užtikrinant, kad „PyGame“ ekranas būtų inicijuojamas tik vieną kartą, naudojant atsargią langų kūrimo logiką. Mes naudojame pygame.display.set_mode() funkcija tikrinama, ar ekranas buvo inicijuotas, kad būtų užtikrinta, jog treniruotės metu būtų sukurtas tik vienas langas.

Antroji pagrindinė galimybė yra pateikti metodas, kuris rodo esamą aplinkos būklę kiekviename laiko žingsnyje. Agentai aplinkoje vaizduojami naudojant pygame.draw.circle(), kurių padėtis ir spalva nuolat keičiasi priklausomai nuo jų būklės. Tai leidžia pamatyti, kurie agentai yra užšaldyti ir kurie vis dar aktyvūs pagal užšaldymo žymos scenarijų. The pygame.display.flip() metodas atnaujina ekraną po kiekvieno atvaizdavimo veiksmo, užtikrinant, kad aplinka atspindėtų esamą agentų būseną.

Scenarijus taip pat parodo, kaip į „Ray“ įtraukti pasirinktinę aplinką. The env_creator funkcija registruoja aplinką su Ray per register_env() funkcija. „Ray“ mokymo algoritmai dabar gali aptikti ir naudoti pritaikytą „fiksavimo žymos“ aplinką. Be to, scenarijus naudoja ray.init() įkurti Ray ir užtikrinti, kad mokymas galėtų būti paskirstytas keliems darbuotojams. Tačiau šiame susitarime naudojamas tik vienas išleidimo darbuotojas, siekiant sumažinti sudėtingumą, susijusį su daugelio darbuotojų langų atvaizdavimu.

Galiausiai, treniruočių kilpa naudojasi algo.train() funkcija, kuri atlieka treniruočių procedūrą numatytam epizodų skaičiui ir laiko žingsniams. Kiekvienos iteracijos rezultatai suteikia gyvybiškai svarbių atsiliepimų apie agentų veiklą, įskaitant tokius rodiklius kaip vidutinis atlygis ir bendri nuostoliai. Nustatymų reguliavimas, pvz išleidimo_fragmento_ilgis ir traukinio_partijos_dydis gali pagerinti mokymo procesą. Šis scenarijus yra modulinis ir pritaikomas, todėl jį galima naudoti sprendžiant įvairias mokymosi iš kelių agentų stiprinimo problemas, susijusias su Ray ir PyGame.

import pygame
from ray import init, shutdown
from ray.rllib.algorithms.ppo import PPOConfig
from ray.tune.registry import register_env
def render(self):
    if not hasattr(self, 'initialized') or not self.initialized:
        pygame.display.set_mode([1000, 1000])  # Prevent multiple windows
        self.initialized = True
    self.screen.fill((255, 255, 255))
    for agent in self.all_agents:
        color = agent.color if agent.status == 1 else (0, 255, 255)
        pygame.draw.circle(self.screen, color, (agent.x, agent.y), agent.size)
    pygame.display.flip()
def env_creator(config):
    return MyCustomEnv(screen=pygame.display.get_surface())  # Use existing display
register_env("Env_FTP", env_creator)
def train_and_evaluate(time_steps):
    init(ignore_reinit_error=True)
    config = PPOConfig().environment("Env_FTP").rollouts(num_rollout_workers=1)
    algo = config.build()
    for _ in range(episodes):
        results = algo.train()
    shutdown()

import ray
from ray.rllib.algorithms.ppo import PPOConfig
import pygame
class EnvWithRendering:
    def __init__(self, screen, agents, adversaries, time_steps):
        self.screen = screen
        self.agents = agents
        self.adversaries = adversaries
        self.time_steps = time_steps
    def render(self):
        pygame.init()
        self.screen.fill((255, 255, 255))
        for agent in self.agents:
            color = agent.color if agent.status == 1 else (0, 255, 255)
            pygame.draw.circle(self.screen, color, (agent.x, agent.y), agent.size)
        pygame.display.update()
def env_creator(config):
    return EnvWithRendering(pygame.display.set_mode([1000, 1000]), 5, 2, 500)
ray.init()
register_env("Env_FTP", env_creator)
config = PPOConfig().rollouts(num_rollout_workers=1)
algo = config.build()
algo.train()

„Ray“ kelių agentų mokymų tobulinimas naudojant tinkamą aplinkos atvaizdavimą

Svarbus efektyvaus Ray's MAPPO integravimo į specialią aplinką komponentas yra užtikrinti, kad atvaizdavimas ir agento valdymas veiktų nepriekaištingai. Kelių agentų scenarijuje, pvz., užfiksuojant žymą, vizualinė įvestis yra labai svarbi derinant ir stebint agento veiklą. Pagrindinis atvaizdavimo sunkumas dažnai yra susijęs su PyGame langų valdymu treniruočių metu. Norint išvengti daugelio langų atidarymo, vienas tinkamas būdas yra valdyti PyGame lango paleidimą naudojant sąlyginius patikrinimus. Tai garantuoja, kad aplinka tinkamai ir be papildomų išlaidų.

Kitas svarbus aspektas yra tai, kaip agentų elgesys įtraukiamas į modeliavimą. Ray's įdiegimas diktuoja, kaip renkama įvairių laikotarpių patirtis ir naudojama agentams šviesti. Kai kiekvienas agentas imasi veiksmo, reprezentacija turi atspindėti jų naujas pozicijas ir būsenas. PyGame pygame.display.flip() Komanda čia yra gyvybiškai svarbi, nes ji keičia ekraną realiu laiku, leisdama mums stebėti visų agentų judesius ir būsenas modeliavimo metu.

Kitas svarbus proceso žingsnis yra optimizuoti Ray ir PyGame sąsają. „Ray“ gebėjimas atlikti paskirstytus skaičiavimus yra įspūdingas, tačiau jis turi būti tinkamai valdomas, kai naudojamas kontekstuose, kuriems reikia vizualinio atvaizdavimo. Naudojant Ray's Create_env_on_local_worker Argumentu, aplinka yra sukurta vietoje darbuotojo, atliekančio atvaizdavimą, neleidžiant keliems darbuotojams konkuruoti dėl atidarytų langų. Šis paskirstytojo mokymosi ir tikslaus atvaizdavimo derinys lemia sėkmingą modeliavimą, kurį galima lengvai išplėsti ir mokyti kelis agentus vienu metu.