Вирішення проблеми візуалізації спеціального середовища Ray у симуляції Freeze-Tag

Складнощі рендерингу власних середовищ за допомогою Ray і PyGame

Створення настроюваних середовищ у Python для складних симуляцій, як-от freeze-tag, часто може призвести до непередбачених проблем, особливо в поєднанні з такими фреймворками, як Ray, для багатоагентного навчання. У цьому сценарії користувач створив середовище тренажерного залу за допомогою PyGame, щоб імітувати ситуацію із заморожуванням тегів, але стикається з проблемами під час спроби рендерити середовище під час тренування.

Фундаментальна проблема полягає в тому, що симуляція не відображається належним чином і створює багато вікон PyGame, ускладнюючи процес навчання. Навіть незважаючи на те, що інші аспекти середовища тренажерного залу належним чином працюють з різними методами, алгоритм Ray Multi-Agent Proximal Policy Optimization (MAPPO), здається, створює ці проблеми.

Ray — чудовий фреймворк для розподіленого навчання, але щоб він добре працював із бібліотеками рендерингу, такими як PyGame, потрібно ретельно керувати створенням вікон і змінами рендерингу. Без вирішення цих проблем процес навчання може бути зупинено, що призведе до розчарування для розробників.

У наступному обговоренні ми розглянемо ймовірні причини цих труднощів візуалізації та надамо конкретні виправлення для забезпечення бездоганної симуляції. Крім того, ми розглянемо, як уникнути створення багатьох екземплярів вікон, зберігаючи роботу дисплея PyGame для навчання MAPPO в Ray.

Розуміння процесу візуалізації та навчання в Ray за допомогою PyGame

Пропоновані сценарії призначені для вирішення двох основних проблем, які виникають під час візуалізації індивідуального середовища тренажерного залу за допомогою техніки Ray Multi-Agent Proximal Policy Optimization (MAPPO). Перша проблема запобігає створенню багатьох вікон PyGame. Це вирішується шляхом забезпечення того, що дисплей PyGame ініціалізується лише один раз за допомогою обережної логіки побудови вікна. Ми використовуємо pygame.display.set_mode() перевірити, чи було ініціалізовано дисплей, щоб переконатися, що під час навчання створено лише одне вікно.

Другою ключовою здатністю є рендерити метод, який відображає поточний стан середовища на кожному кроці часу. Агенти в середовищі зображені за допомогою pygame.draw.circle(), положення та колір яких постійно змінюються залежно від стану. Це дозволяє побачити, які агенти заморожені, а які все ще активні в сценарії заморожування тегів. The pygame.display.flip() Метод оновлює дисплей після кожного кроку візуалізації, гарантуючи, що середовище представляє поточний статус агентів.

Сценарій також показує, як включити спеціальне середовище в Ray. The env_creator функція реєструє середовище з Ray через register_env() функція. Навчальні алгоритми Ray тепер можуть виявляти та використовувати налаштоване середовище закріплення тегів. Крім того, сценарій використовує ray.init() створити Ray і забезпечити, щоб навчання можна було розподілити між кількома працівниками. Однак у цій домовленості використовується лише один робочий процес розгортання, щоб мінімізувати складність, пов’язану з відтворенням вікон у багатьох робочих процесах.

Нарешті, навчальний цикл використовує algo.train() функція, яка виконує процедуру навчання для заданої кількості епізодів і часових кроків. Результати кожної ітерації дають життєво важливий зворотний зв’язок щодо продуктивності агентів, включаючи такі показники, як середня винагорода та загальні втрати. Регулювання налаштувань, наприклад rollout_fragment_length і train_batch_size може покращити тренувальний процес. Цей сценарій є модульним і адаптованим, тож його можна використовувати для різноманітних завдань навчання підкріплення з кількома агентами, що включають Ray і PyGame.

import pygame
from ray import init, shutdown
from ray.rllib.algorithms.ppo import PPOConfig
from ray.tune.registry import register_env
def render(self):
    if not hasattr(self, 'initialized') or not self.initialized:
        pygame.display.set_mode([1000, 1000])  # Prevent multiple windows
        self.initialized = True
    self.screen.fill((255, 255, 255))
    for agent in self.all_agents:
        color = agent.color if agent.status == 1 else (0, 255, 255)
        pygame.draw.circle(self.screen, color, (agent.x, agent.y), agent.size)
    pygame.display.flip()
def env_creator(config):
    return MyCustomEnv(screen=pygame.display.get_surface())  # Use existing display
register_env("Env_FTP", env_creator)
def train_and_evaluate(time_steps):
    init(ignore_reinit_error=True)
    config = PPOConfig().environment("Env_FTP").rollouts(num_rollout_workers=1)
    algo = config.build()
    for _ in range(episodes):
        results = algo.train()
    shutdown()

import ray
from ray.rllib.algorithms.ppo import PPOConfig
import pygame
class EnvWithRendering:
    def __init__(self, screen, agents, adversaries, time_steps):
        self.screen = screen
        self.agents = agents
        self.adversaries = adversaries
        self.time_steps = time_steps
    def render(self):
        pygame.init()
        self.screen.fill((255, 255, 255))
        for agent in self.agents:
            color = agent.color if agent.status == 1 else (0, 255, 255)
            pygame.draw.circle(self.screen, color, (agent.x, agent.y), agent.size)
        pygame.display.update()
def env_creator(config):
    return EnvWithRendering(pygame.display.set_mode([1000, 1000]), 5, 2, 500)
ray.init()
register_env("Env_FTP", env_creator)
config = PPOConfig().rollouts(num_rollout_workers=1)
algo = config.build()
algo.train()

Удосконалення багатоагентного навчання Ray за допомогою належного відтворення середовища

Важливим компонентом ефективної інтеграції MAPPO від Ray у спеціально створене середовище є забезпечення бездоганної взаємодії візуалізації та керування агентами. У мультиагентному сценарії, як-от заморожування тегів, візуальне введення має вирішальне значення для налагодження та спостереження за діяльністю агента. Основні труднощі з рендерингом часто пов’язані з тим, як керуються вікнами PyGame під час навчання. Щоб запобігти відкриттю великої кількості вікон, одним із життєздатних методів є керування запуском вікна PyGame за допомогою умовних перевірок. Це гарантує, що середовище відтворюється належним чином і без надмірних витрат.

Іншим ключовим фактором є те, як поведінка агентів включається в симуляцію. Розгортання Ray диктують, як досвід з різних часових кроків збирається та використовується для навчання агентів. Коли кожен агент виконує дію, представлення повинно відображати його нові позиції та стани. PyGame pygame.display.flip() Команда тут життєво важлива, оскільки вона змінює екран у реальному часі, дозволяючи нам відстежувати рухи та статуси всіх агентів протягом симуляції.

Ще одним ключовим кроком у цьому процесі є оптимізація інтерфейсу між Ray і PyGame. Здатність Ray обробляти розподілені обчислення вражаюча, але нею потрібно належним чином керувати, коли вона використовується в контекстах, які потребують візуального відтворення. Використання Ray's create_env_on_local_worker Аргумент, середовище будується локально на робочому місці, що виконує рендеринг, запобігаючи конкуренції кількох робочих за відкриті вікна. Це поєднання розподіленого навчання та точного рендерингу призводить до успішної симуляції, яку можна легко розширити для навчання кількох агентів одночасно.