حل مشكلة عرض البيئة المخصصة لـ Ray في محاكاة علامة التجميد

التحديات في عرض البيئات المخصصة باستخدام Ray وPyGame

يمكن أن يؤدي إنشاء بيئات مخصصة في Python لعمليات محاكاة معقدة مثل علامة التجميد إلى حدوث مشكلات غير متوقعة في كثير من الأحيان، خاصة عند الدمج مع أطر عمل مثل Ray للتدريب متعدد الوكلاء. في هذا السيناريو، أنشأ المستخدم بيئة صالة ألعاب رياضية باستخدام PyGame لتقليد حالة علامة التجميد، ولكنه يواجه مشكلات أثناء محاولته تقديم البيئة أثناء التدريب.

تكمن المشكلة الأساسية في أن المحاكاة لا يتم عرضها على النحو المنشود وتولد العديد من نوافذ PyGame، مما يؤدي إلى تعقيد عملية التدريب. على الرغم من أن الجوانب الأخرى لبيئة صالة الألعاب الرياضية تعمل بشكل صحيح مع أساليب مختلفة، يبدو أن خوارزمية تحسين السياسة القريبة للوكلاء المتعددين (MAPPO) من Ray تقدم هذه المشكلات.

يعد Ray إطارًا رائعًا للتدريب الموزع، ولكن جعله يعمل بشكل جيد مع مكتبات العرض مثل PyGame يتطلب إدارة دقيقة لإنشاء النوافذ وعرض التغييرات. وبدون حل هذه المخاوف، قد يتم إيقاف عملية التدريب، مما يؤدي إلى نتائج محبطة للمطورين.

في المناقشة التالية، سننظر في الأسباب المحتملة لصعوبات العرض هذه ونقدم إصلاحات محددة لضمان محاكاة سلسة. بالإضافة إلى ذلك، سننظر في كيفية تجنب إنشاء العديد من مثيلات النوافذ مع الحفاظ على عمل عرض PyGame لتدريب MAPPO في Ray.

فهم عملية العرض والتدريب في Ray باستخدام PyGame

تهدف النصوص المقدمة إلى معالجة التحديين الرئيسيين اللذين تمت مواجهتهما عند تقديم بيئة صالة ألعاب رياضية مخصصة باستخدام تقنية Ray's Multi-Agent Proximal Policy Optimization (MAPPO). يمنع الإصدار الأول إنشاء العديد من نوافذ PyGame. تتم معالجة هذه المشكلة من خلال التأكد من تهيئة عرض PyGame مرة واحدة فقط باستخدام منطق إنشاء النافذة الحذر. نحن نستخدم pygame.display.set_mode() وظيفة ضمن التحقق مما إذا كان قد تم تهيئة الشاشة للتأكد من إنشاء نافذة واحدة فقط أثناء التدريب.

القدرة الرئيسية الثانية هي يجعل الطريقة، التي تعرض الحالة الحالية للبيئة خلال كل خطوة زمنية. تم تصوير العوامل الموجودة في البيئة باستخدام pygame.draw.circle()، مع تعديل موضعها ولونها باستمرار اعتمادًا على حالتها. يتيح لك هذا معرفة الوكلاء الذين تم تجميدهم وأيهم لا يزالون نشطين في سيناريو علامة التجميد. ال pygame.display.flip() تعمل الطريقة على تحديث العرض بعد كل خطوة عرض، مما يضمن أن البيئة تمثل الحالة الحالية للوكلاء.

يوضح البرنامج النصي أيضًا كيفية دمج البيئة المخصصة في Ray. ال env_creator تقوم الوظيفة بتسجيل البيئة مع Ray عبر Register_env() وظيفة. يمكن الآن لخوارزميات تدريب Ray اكتشاف واستخدام بيئة علامة التجميد المخصصة. علاوة على ذلك، يستخدم البرنامج النصي راي.init() لتأسيس راي والتأكد من إمكانية توزيع التدريب على العديد من العمال. ومع ذلك، في هذا الترتيب، يتم استخدام عامل بدء تشغيل واحد فقط لتقليل التعقيد المرتبط بعرض النوافذ عبر العديد من العمال.

وأخيرًا، تستفيد حلقة التدريب من algo.train() الوظيفة، التي تنفذ إجراء التدريب لعدد الحلقات والخطوات الزمنية المتوفرة. توفر نتائج كل تكرار تعليقات حيوية حول أداء الوكلاء، بما في ذلك مقاييس مثل متوسط ​​المكافأة والخسائر الإجمالية. ضبط الإعدادات مثل rollout_fragment_length و Train_batch_size يمكن أن تحسن عملية التدريب. هذا البرنامج النصي معياري وقابل للتكيف، لذا يمكن استخدامه لمجموعة متنوعة من مشكلات التعلم المعزز متعددة العوامل التي تتضمن Ray وPyGame.

import pygame
from ray import init, shutdown
from ray.rllib.algorithms.ppo import PPOConfig
from ray.tune.registry import register_env
def render(self):
    if not hasattr(self, 'initialized') or not self.initialized:
        pygame.display.set_mode([1000, 1000])  # Prevent multiple windows
        self.initialized = True
    self.screen.fill((255, 255, 255))
    for agent in self.all_agents:
        color = agent.color if agent.status == 1 else (0, 255, 255)
        pygame.draw.circle(self.screen, color, (agent.x, agent.y), agent.size)
    pygame.display.flip()
def env_creator(config):
    return MyCustomEnv(screen=pygame.display.get_surface())  # Use existing display
register_env("Env_FTP", env_creator)
def train_and_evaluate(time_steps):
    init(ignore_reinit_error=True)
    config = PPOConfig().environment("Env_FTP").rollouts(num_rollout_workers=1)
    algo = config.build()
    for _ in range(episodes):
        results = algo.train()
    shutdown()

import ray
from ray.rllib.algorithms.ppo import PPOConfig
import pygame
class EnvWithRendering:
    def __init__(self, screen, agents, adversaries, time_steps):
        self.screen = screen
        self.agents = agents
        self.adversaries = adversaries
        self.time_steps = time_steps
    def render(self):
        pygame.init()
        self.screen.fill((255, 255, 255))
        for agent in self.agents:
            color = agent.color if agent.status == 1 else (0, 255, 255)
            pygame.draw.circle(self.screen, color, (agent.x, agent.y), agent.size)
        pygame.display.update()
def env_creator(config):
    return EnvWithRendering(pygame.display.set_mode([1000, 1000]), 5, 2, 500)
ray.init()
register_env("Env_FTP", env_creator)
config = PPOConfig().rollouts(num_rollout_workers=1)
algo = config.build()
algo.train()

تعزيز تدريب Ray متعدد الوكلاء من خلال عرض البيئة المناسبة

أحد العناصر المهمة للدمج الفعال لـ Ray's MAPPO في بيئة مخصصة هو ضمان عمل العرض وإدارة الوكيل معًا بشكل لا تشوبه شائبة. في سيناريو متعدد الوكلاء مثل علامة التجميد، يعد الإدخال المرئي أمرًا بالغ الأهمية لتصحيح الأخطاء ومراقبة نشاط الوكيل. ترتبط الصعوبة الأساسية في العرض بشكل متكرر بكيفية إدارة نوافذ PyGame أثناء التدريب. لمنع فتح العديد من النوافذ، إحدى الطرق القابلة للتطبيق هي إدارة بدء تشغيل نافذة PyGame من خلال عمليات التحقق المشروطة. وهذا يضمن أن يتم عرض البيئة بشكل مناسب ودون أي نفقات زائدة.

هناك اعتبار رئيسي آخر وهو كيفية دمج سلوكيات الوكلاء في المحاكاة. تملي إصدارات راي كيفية جمع الخبرات من خطوات زمنية مختلفة واستخدامها لتثقيف الوكلاء. عندما يتخذ كل وكيل إجراء ما، يجب أن يعكس التمثيل مواقفه وحالاته الجديدة. PyGame pygame.display.flip() يعد الأمر أمرًا حيويًا هنا لأنه يغير الشاشة في الوقت الفعلي، مما يسمح لنا بتتبع حركات وحالات جميع العملاء طوال عملية المحاكاة.

خطوة رئيسية أخرى في العملية هي تحسين الواجهة بين Ray وPyGame. تعد قدرة Ray على التعامل مع الحسابات الموزعة مثيرة للإعجاب، ولكن يجب إدارتها بشكل صحيح عند استخدامها في سياقات تحتاج إلى عرض مرئي. باستخدام راي create_env_on_local_worker الحجة، أن البيئة مبنية محليًا على العامل الذي يقوم بالعرض، مما يمنع العديد من العمال من التنافس على النوافذ المفتوحة. يؤدي هذا المزيج من التعلم الموزع والعرض الدقيق إلى محاكاة ناجحة يمكن توسيعها بسهولة لتعليم العديد من العملاء في وقت واحد.