Dondurma Etiketi Simülasyonunda Ray'in Özel Ortam İşleme Sorununu Çözme

Ray ve PyGame ile Özel Ortamları Oluşturmadaki Zorluklar

Python'da etiket dondurma gibi karmaşık simülasyonlar için özel ortamlar oluşturmak, özellikle çoklu aracı eğitimi için Ray gibi çerçevelerle birleştirildiğinde sıklıkla öngörülemeyen sorunlara yol açabilir. Bu senaryoda kullanıcı, etiketleme durumunu taklit etmek için PyGame ile bir spor salonu ortamı yarattı, ancak eğitim sırasında ortamı oluşturmaya çalışırken sorunlarla karşılaştı.

Temel sorun, simülasyonun amaçlandığı gibi işlememesi ve çok sayıda PyGame penceresi oluşturması, bu da eğitim sürecini karmaşık hale getirmesidir. Spor salonu ortamının diğer yönleri çeşitli yöntemlerle düzgün çalışsa da Ray'in Çok Aracılı Yakınsal Politika Optimizasyonu (MAPPO) algoritması bu sorunları ortaya çıkarıyor gibi görünüyor.

Ray, dağıtılmış eğitim için harika bir çerçevedir, ancak bunun PyGame gibi işleme kitaplıkları ile iyi çalışmasını sağlamak, pencere oluşturma ve işleme değişikliklerinin dikkatli bir şekilde yönetilmesini gerektirir. Bu endişeler giderilmeden eğitim süreci durdurulabilir ve bu da geliştiriciler için hayal kırıklığı yaratan sonuçlara yol açabilir.

Aşağıdaki tartışmada, bu işleme zorluklarının olası nedenlerine bakacağız ve kusursuz simülasyon sağlamak için belirli düzeltmeler sunacağız. Ek olarak, Ray'de MAPPO eğitimi için PyGame ekranının çalışır durumda kalmasını sağlarken çok sayıda pencere örneği oluşturmaktan nasıl kaçınacağımıza da bakacağız.

PyGame ile Ray'de Rendering ve Training Sürecini Anlamak

Sunulan komut dosyaları, Ray'in Çok Aracılı Yakınsal Politika Optimizasyonu (MAPPO) tekniğini kullanarak özel bir spor salonu ortamı oluştururken karşılaşılan iki temel zorluğun üstesinden gelmeyi amaçlamaktadır. İlk sorun çok sayıda PyGame penceresinin oluşturulmasını engelliyor. Bu sorun, PyGame ekranının dikkatli pencere oluşturma mantığı kullanılarak yalnızca bir kez başlatılmasının sağlanmasıyla giderildi. biz kullanıyoruz pygame.display.set_mode() Eğitim sırasında yalnızca bir pencerenin oluşturulmasını sağlamak için ekranın başlatılıp başlatılmadığını kontrol eden bir işlev.

İkinci önemli yetenek ise oluşturmak Her zaman adımı boyunca ortamın mevcut durumunu görüntüleyen yöntem. Ortamdaki ajanlar kullanılarak tasvir edilmiştir. pygame.draw.circle()konumları ve renkleri durumlarına bağlı olarak sürekli olarak değiştirilir. Bu, etiketi dondurma senaryosunda hangi aracıların dondurulduğunu ve hangilerinin hâlâ etkin olduğunu görmenizi sağlar. pygame.display.flip() yöntem, her oluşturma adımından sonra ekranı yenileyerek ortamın aracıların mevcut durumunu temsil etmesini sağlar.

Komut dosyası ayrıca özel ortamın Ray'e nasıl dahil edileceğini de gösterir. env_creator işlev, ortamı Ray aracılığıyla kaydeder. kayıt_env() işlev. Ray'in eğitim algoritmaları artık özelleştirilmiş dondurma etiketi ortamını algılayıp kullanabilir. Ayrıca, komut dosyası şunu kullanır: ray.init() Ray'i kurmak ve eğitimin birden fazla çalışana dağıtılabilmesini sağlamak. Ancak bu düzenlemede, çok sayıda çalışan arasında pencere oluşturmayla ilişkili karmaşıklığı en aza indirmek için yalnızca tek bir devreye alma çalışanı kullanılır.

Son olarak, eğitim döngüsü şunları kullanır: algo.train() Sağlanan bölüm sayısı ve zaman adımı için eğitim prosedürünü yürüten işlev. Her yinelemenin sonuçları, ortalama ödül ve toplam kayıplar gibi ölçümler de dahil olmak üzere temsilcilerin performansı hakkında hayati geri bildirim sağlar. gibi ayarların yapılması rollout_fragment_length Ve train_batch_size eğitim sürecini geliştirebilir. Bu komut dosyası modüler ve uyarlanabilir olduğundan Ray ve PyGame'i içeren çeşitli çok etmenli takviyeli öğrenme problemlerinde kullanılabilir.

import pygame
from ray import init, shutdown
from ray.rllib.algorithms.ppo import PPOConfig
from ray.tune.registry import register_env
def render(self):
    if not hasattr(self, 'initialized') or not self.initialized:
        pygame.display.set_mode([1000, 1000])  # Prevent multiple windows
        self.initialized = True
    self.screen.fill((255, 255, 255))
    for agent in self.all_agents:
        color = agent.color if agent.status == 1 else (0, 255, 255)
        pygame.draw.circle(self.screen, color, (agent.x, agent.y), agent.size)
    pygame.display.flip()
def env_creator(config):
    return MyCustomEnv(screen=pygame.display.get_surface())  # Use existing display
register_env("Env_FTP", env_creator)
def train_and_evaluate(time_steps):
    init(ignore_reinit_error=True)
    config = PPOConfig().environment("Env_FTP").rollouts(num_rollout_workers=1)
    algo = config.build()
    for _ in range(episodes):
        results = algo.train()
    shutdown()

import ray
from ray.rllib.algorithms.ppo import PPOConfig
import pygame
class EnvWithRendering:
    def __init__(self, screen, agents, adversaries, time_steps):
        self.screen = screen
        self.agents = agents
        self.adversaries = adversaries
        self.time_steps = time_steps
    def render(self):
        pygame.init()
        self.screen.fill((255, 255, 255))
        for agent in self.agents:
            color = agent.color if agent.status == 1 else (0, 255, 255)
            pygame.draw.circle(self.screen, color, (agent.x, agent.y), agent.size)
        pygame.display.update()
def env_creator(config):
    return EnvWithRendering(pygame.display.set_mode([1000, 1000]), 5, 2, 500)
ray.init()
register_env("Env_FTP", env_creator)
config = PPOConfig().rollouts(num_rollout_workers=1)
algo = config.build()
algo.train()

Uygun Ortam Oluşturma ile Ray'in Çoklu Aracı Eğitimini Geliştirme

Ray'in MAPPO'sunu özel bir ortama etkili bir şekilde entegre etmenin kritik bir bileşeni, işleme ve aracı yönetiminin birlikte kusursuz bir şekilde çalışmasını sağlamaktır. Etiketin dondurulması gibi çok aracılı bir senaryoda görsel girdi, hata ayıklama ve aracı etkinliğini gözlemleme açısından kritik öneme sahiptir. Oluşturmadaki temel zorluk sıklıkla PyGame pencerelerinin eğitim sırasında nasıl yönetildiğine bağlıdır. Çok sayıda pencerenin açılmasını önlemek için PyGame penceresinin başlatılmasını koşullu kontrollerle yönetmek uygun bir yöntemdir. Bu, ortamın uygun şekilde ve aşırı yük olmadan işlenmesini garanti eder.

Dikkate alınması gereken bir diğer önemli husus, aracıların davranışlarının simülasyona nasıl dahil edildiğidir. Ray'in sunumları, farklı zaman adımlarındaki deneyimlerin nasıl toplandığını ve temsilcileri eğitmek için nasıl kullanıldığını belirler. Her temsilci bir eylemde bulunduğunda temsilin yeni konumlarını ve durumlarını yansıtması gerekir. PyGame'in pygame.display.flip() Komut burada hayati önem taşıyor çünkü ekranı gerçek zamanlı olarak değiştiriyor ve simülasyon boyunca tüm ajanların hareketlerini ve durumlarını takip etmemize olanak tanıyor.

Sürecin bir diğer önemli adımı Ray ve PyGame arasındaki arayüzü optimize etmektir. Ray'in dağıtılmış hesaplamaları yönetme kapasitesi etkileyicidir, ancak görsel işleme gerektiren bağlamlarda kullanıldığında uygun şekilde yönetilmesi gerekir. Ray'i kullanma create_env_on_local_worker Tartışmaya göre, ortam yerel olarak işlemeyi yapan işçiye göre inşa ediliyor, bu da birçok işçinin açık pencere için rekabet etmesini engelliyor. Dağıtılmış öğrenme ve doğru işlemenin bu karışımı, birden fazla aracıya aynı anda eğitim verecek şekilde kolayca genişletilebilen başarılı bir simülasyonla sonuçlanır.