Як надіслати відео до RawImage Unity з камери ESP32

Безпроблемне відображення відеопотоків ESP32 в Unity

Чи хотіли ви коли-небудь інтегрувати відеопотік у реальному часі у свій проект Unity? Якщо ви експериментуєте з камерою ESP32, ви можете бути спантеличені, коли відеоканал не відображається належним чином. Гнучкість Unity робить його найкращим вибором для таких завдань, але для подолання розриву між потоковим передаванням Unity та MJPEG можуть знадобитися деякі зусилля. 🖥️

Багато розробників, особливо ті, що тільки починають працювати з Unity, стикаються з проблемами, намагаючись зв’язати пряму трансляцію з камери ESP32 із компонентом RawImage. Такі проблеми, як порожній фон, відсутність помилок консолі або неправильне відтворення потоків MJPEG, можуть викликати розчарування. Проте ці перешкоди цілком можна подолати за допомогою невеликих вказівок і тонкого написання сценаріїв. 🚀

Наприклад, уявіть, що ви налаштували потокове відео з камери ESP32 за адресою `http://192.1.1.1:81/stream`. Ви додаєте RawImage до свого полотна Unity, застосовуєте сценарій і очікуєте, що потік з’явиться, але ви отримуєте лише порожній екран. Налагодження такого сценарію вимагає уваги до деталей у сценарії, протоколах потокової передачі та налаштуваннях Unity.

Цей посібник допоможе вам усунути неполадки та реалізувати рішення для відтворення потоків MJPEG в Unity. Ви дізнаєтеся, як написати сценарій, який захоплює відеокадри, обробляє їх і відображає на полотні Unity. Наприкінці канал вашої камери ESP32 оживе в Unity, що зробить ваш проект інтерактивним і візуально динамічним. Давайте зануримося! 💡

Розуміння інтеграції потокового відео ESP32 в Unity

Перший скрипт використовує Unity RawImage компонент для рендерингу відеокадрів, які транслюються з камери ESP32. Встановлюючи HTTP-з’єднання з URL-адресою потокової передачі ESP32, сценарій отримує дані MJPEG, обробляє кожен кадр і відображає його як текстуру на полотні. Ключ до досягнення цього полягає в Texture2D.LoadImage() метод, який декодує необроблені байти з потоку MJPEG у формат, який може відображати Unity. Цей підхід гарантує ефективне відтворення відео в реальному часі навіть для розробників-початківців, які пробують інтеграцію IoT в Unity. 🖼️

Використання співпрограм, таких як in IEnumerator StartStream(), має важливе значення для цієї реалізації. Співпрограми дозволяють асинхронну вибірку даних без блокування основного потоку Unity. Це забезпечує безперебійне покадрове оновлення відеоканалу, зберігаючи швидкість реагування гри чи програми. Наприклад, у той час як співпрограма читає кадри MJPEG, інші компоненти гри продовжують працювати безперебійно. Це особливо корисно для програм, таких як моніторинг безпеки або інтерактивні кіоски, де відео в реальному часі є критичним.

Другий сценарій покращує перший за допомогою використання UnityWebRequest, сучасний оптимізований метод обробки веб-запитів. На відміну від HttpWebRequest, що вимагає більше ручної обробки потоків, UnityWebRequestTexture.GetTexture() безпосередньо отримує та обробляє текстури з URL-адреси відеопотоку ESP32. Це спрощує процес розробки, особливо для розробників Unity, які надають перевагу продуктивності та простоті використання. Практичним прикладом може бути розробник, який інтегрує канал з камери дрона в симуляцію віртуальної реальності на основі Unity для навігації в реальному часі. 🚁

Обидва сценарії підкреслюють важливість модульного та багаторазового коду. Класи створені для легкого приєднання до об’єкта Unity, а такі властивості, як URL-адреса та RawImage, можна налаштувати за допомогою інспектора Unity. Ця модульність гарантує, що розробники можуть швидко адаптувати сценарій для різних випадків використання, чи то для робототехніки, пристроїв Інтернету речей або спеціальних медіа-додатків. Ці приклади забезпечують міцну основу для рендерингу відео в реальному часі в Unity, дозволяючи процвітати творчості в проектах, які вимагають динамічного візуального введення. 🌟

using UnityEngine;
using UnityEngine.UI;
using System.IO;
using System.Net;
using System.Collections;
public class ESP32Stream : MonoBehaviour
{
    public string url = "http://192.1.1.1:81/stream";
    public RawImage rawImage;
    private Texture2D texture;
    void Start()
    {
        if (rawImage == null)
        {
            Debug.LogError("RawImage is not assigned.");
            return;
        }
        texture = new Texture2D(2, 2);
        rawImage.texture = texture;
        StartCoroutine(StreamVideo());
    }
    IEnumerator StreamVideo()
    {
        HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
        WebResponse response = request.GetResponse();
        Stream stream = response.GetResponseStream();
        while (true)
        {
            MemoryStream ms = new MemoryStream();
            byte[] buffer = new byte[1024];
            int bytesRead = 0;
            while ((bytesRead = stream.Read(buffer, 0, buffer.Length)) > 0)
            {
                ms.Write(buffer, 0, bytesRead);
                texture.LoadImage(ms.ToArray());
                rawImage.texture = texture;
                yield return null;
            }
        }
    }
}

using UnityEngine;
using UnityEngine.UI;
using UnityEngine.Networking;
using System.Collections;
public class UnityWebRequestStream : MonoBehaviour
{
    public string streamURL = "http://192.1.1.1:81/stream";
    public RawImage videoDisplay;
    private Texture2D videoTexture;
    void Start()
    {
        videoTexture = new Texture2D(2, 2);
        videoDisplay.texture = videoTexture;
        StartCoroutine(StreamVideo());
    }
    IEnumerator StreamVideo()
    {
        while (true)
        {
            UnityWebRequest request = UnityWebRequestTexture.GetTexture(streamURL);
            yield return request.SendWebRequest();
            if (request.result != UnityWebRequest.Result.Success)
            {
                Debug.LogError("Stream failed: " + request.error);
            }
            else
            {
                videoTexture = ((DownloadHandlerTexture)request.downloadHandler).texture;
                videoDisplay.texture = videoTexture;
            }
            yield return new WaitForSeconds(0.1f);
        }
    }
}

Покращення проектів Unity за допомогою відеопотоків ESP32 у реальному часі

Одним з аспектів, який часто не помічають під час інтеграції відеопотоків ESP32 в Unity, є забезпечення продуктивності для тривалих сеансів виконання. Під час роботи з потоком MJPEG кадри доставляються як безперервна послідовність, що вимагає Unity для декодування та візуалізації кожного. Без належної оптимізації це може призвести до витоку пам’яті або відставання у вашій програмі. Використання таких інструментів, як Профайлер в Unity дозволяє розробникам відстежувати використання пам’яті та виявляти потенційні вузькі місця в конвеєрі рендерингу відео. Добре налаштована гра забезпечує плавне візуальне зображення, особливо для інтерактивних програм, таких як моніторинг дронів або роботизовані інтерфейси. 🚁

Іншою важливою темою є безпека, особливо при роботі з пристроями IoT, такими як ESP32. URL-адреса потокового передавання, часто жорстко закодована в сценарії, наражає камеру на несанкціонований доступ. Кращим підходом є використання безпечних URL-адрес із зашифрованими маркерами та обмеження доступу до певних IP-адрес. Розробники також можуть зберігати адресу потокової передачі в зашифрованому файлі конфігурації замість того, щоб розкривати її в сценарії Unity. Завдяки цьому ваші програми на основі Unity стають безпечнішими та стійкішими до потенційних загроз. 🔒

Нарешті, розгляньте можливість додавання функції динамічного призупинення або зупинки відеопотоку. Хоча багато проектів зосереджені на простому рендерингу відео, реальні сценарії часто вимагають більше інтерактивності. Наприклад, системі моніторингу безпеки може знадобитися зупинити подачу для обслуговування або перемикання між кількома камерами. Реалізація таких команд, як «Призупинити потік» або «Змінити камеру» за допомогою кнопок інтерфейсу користувача, може значно покращити зручність використання, зробивши вашу програму адаптованою до різних випадків використання. 🌟