Kaip siųsti vaizdo įrašą į Unity RawImage iš ESP32 fotoaparato

Sklandžiai rodykite ESP32 vaizdo įrašų srautus „Unity“.

Ar kada nors norėjote integruoti realaus laiko vaizdo srautą į savo Unity projektą? Jei eksperimentuojate su ESP32 kamera, galite susimąstyti, kai vaizdo įrašo tiekimas nerodomas taip, kaip tikėjotės. Dėl „Unity“ lankstumo jis yra puikus pasirinkimas tokioms užduotims atlikti, tačiau gali prireikti šiek tiek pastangų, kad būtų panaikintas atotrūkis tarp „Unity“ ir MJPEG srautinio perdavimo. 🖥️

Daugelis kūrėjų, ypač tie, kurie tik pradeda naudotis Unity, susiduria su iššūkiais bandydami susieti tiesioginį srautą iš ESP32 kameros su RawImage komponentu. Tokios problemos kaip tuščias fonas, konsolės klaidų trūkumas arba netinkamas MJPEG srautų atvaizdavimas gali būti gana varginantis. Tačiau šios kliūtys yra visiškai įveikiamos, jei reikia šiek tiek nurodymų ir scenarijų. 🚀

Pvz., Įsivaizduokite, kad nustatėte ESP32 kameros srautinį vaizdo įrašą adresu „http://192.1.1.1:81/stream“. Pridedate RawImage prie savo Unity drobės, pritaikote scenarijų ir tikitės, kad bus rodomas srautas, bet jūs gaunate tik tuščią ekraną. Norint derinti tokį scenarijų, reikia atkreipti dėmesį į scenarijaus detales, srautinio perdavimo protokolus ir „Unity“ nustatymus.

Šis vadovas padės pašalinti triktis ir įdiegti MJPEG srautų pateikimo Unity sprendimą. Sužinosite, kaip parašyti scenarijų, kuris fiksuoja vaizdo kadrus, juos apdoroja ir rodo Unity drobėje. Pabaigoje jūsų ESP32 fotoaparato tiekimas atgys Unity, todėl jūsų projektas taps interaktyvus ir vizualiai dinamiškas. Pasinerkime! 💡

Supratimas apie ESP32 vaizdo transliacijos integraciją Unity

Pirmasis scenarijus naudoja Unity's RawImage komponentas, skirtas vaizdo kadrams, transliuojamiems iš ESP32 kameros, atvaizduoti. Užmezgus HTTP ryšį su ESP32 srautinio perdavimo URL, scenarijus paima MJPEG duomenis, apdoroja kiekvieną kadrą ir parodo jį kaip tekstūrą drobėje. Raktas norint tai pasiekti slypi tame Texture2D.LoadImage() metodas, kuris dekoduoja neapdorotus baitus iš MJPEG srauto į formatą, kurį gali rodyti „Unity“. Šis metodas užtikrina, kad vaizdo įrašas realiuoju laiku būtų pateikiamas efektyviai, net pradedantiesiems kūrėjams, bandantiems daiktų interneto integracijas „Unity“. 🖼️

Korutinos naudojimas, pvz., in IEnumerator StartStream(), yra būtinas šiam įgyvendinimui. Korutinės leidžia asinchroniškai gauti duomenis neužblokuojant pagrindinės Unity gijos. Tai užtikrina sklandų vaizdo įrašo sklaidos kanalo atnaujinimą kadras po kadro, išlaikant žaidimo ar programos reagavimą. Pavyzdžiui, kol korutina skaito MJPEG kadrus, kiti žaidimo komponentai ir toliau veikia sklandžiai. Tai ypač naudinga tokioms programoms kaip saugos stebėjimas arba interaktyvūs kioskai, kur vaizdo įrašas realiuoju laiku yra labai svarbus.

Antrasis scenarijus pagerina pirmąjį, naudojant UnityWebRequest, modernus ir optimizuotas žiniatinklio užklausų tvarkymo metodas. Skirtingai nei HttpWebRequest, kuriam reikia daugiau srautų tvarkymo rankiniu būdu, UnityWebRequestTexture.GetTexture() tiesiogiai paima ir apdoroja tekstūras iš ESP32 vaizdo srauto URL. Tai supaprastina kūrimo procesą, ypač „Unity“ kūrėjams, kurie teikia pirmenybę našumui ir naudojimo patogumui. Praktinis pavyzdys galėtų būti kūrėjas, integruojantis drono kameros tiekimą į Unity pagrįstą VR modeliavimą, skirtą navigacijai realiuoju laiku. 🚁

Abu scenarijai pabrėžia modulinio ir daugkartinio kodo svarbą. Klasės sukurtos taip, kad jas būtų lengva prijungti prie Unity objekto, o tokias ypatybes kaip URL ir RawImage galima tinkinti naudojant Unity Inspector. Šis moduliškumas užtikrina, kad kūrėjai gali greitai pritaikyti scenarijų įvairiems naudojimo atvejams, nesvarbu, ar tai būtų skirta robotikai, daiktų interneto įrenginiams ar tinkintoms medijos programoms. Šie pavyzdžiai suteikia tvirtą pagrindą realaus laiko vaizdo perteikimui naudojant Unity, leidžiantį kūrybiškumui klestėti projektuose, kuriems reikalingas dinaminis vaizdinis įvestis. 🌟

using UnityEngine;
using UnityEngine.UI;
using System.IO;
using System.Net;
using System.Collections;
public class ESP32Stream : MonoBehaviour
{
    public string url = "http://192.1.1.1:81/stream";
    public RawImage rawImage;
    private Texture2D texture;
    void Start()
    {
        if (rawImage == null)
        {
            Debug.LogError("RawImage is not assigned.");
            return;
        }
        texture = new Texture2D(2, 2);
        rawImage.texture = texture;
        StartCoroutine(StreamVideo());
    }
    IEnumerator StreamVideo()
    {
        HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
        WebResponse response = request.GetResponse();
        Stream stream = response.GetResponseStream();
        while (true)
        {
            MemoryStream ms = new MemoryStream();
            byte[] buffer = new byte[1024];
            int bytesRead = 0;
            while ((bytesRead = stream.Read(buffer, 0, buffer.Length)) > 0)
            {
                ms.Write(buffer, 0, bytesRead);
                texture.LoadImage(ms.ToArray());
                rawImage.texture = texture;
                yield return null;
            }
        }
    }
}

using UnityEngine;
using UnityEngine.UI;
using UnityEngine.Networking;
using System.Collections;
public class UnityWebRequestStream : MonoBehaviour
{
    public string streamURL = "http://192.1.1.1:81/stream";
    public RawImage videoDisplay;
    private Texture2D videoTexture;
    void Start()
    {
        videoTexture = new Texture2D(2, 2);
        videoDisplay.texture = videoTexture;
        StartCoroutine(StreamVideo());
    }
    IEnumerator StreamVideo()
    {
        while (true)
        {
            UnityWebRequest request = UnityWebRequestTexture.GetTexture(streamURL);
            yield return request.SendWebRequest();
            if (request.result != UnityWebRequest.Result.Success)
            {
                Debug.LogError("Stream failed: " + request.error);
            }
            else
            {
                videoTexture = ((DownloadHandlerTexture)request.downloadHandler).texture;
                videoDisplay.texture = videoTexture;
            }
            yield return new WaitForSeconds(0.1f);
        }
    }
}

„Unity“ projektų tobulinimas naudojant ESP32 vaizdo įrašų srautus realiuoju laiku

Integruojant ESP32 vaizdo įrašų srautus į „Unity“ dažnai nepaisoma vienas aspektas – ilgesnių vykdymo sesijų našumo valdymas. Dirbant su MJPEG srautu, kadrai pateikiami kaip nenutrūkstama seka, todėl „Unity“ turi iškoduoti ir pateikti kiekvieną iš jų. Be tinkamo optimizavimo gali atsirasti atminties nutekėjimo arba atsilikimo jūsų programoje. Naudojant tokias priemones kaip Profiliuotojas „Unity“ leidžia kūrėjams stebėti atminties naudojimą ir nustatyti galimas kliūtis vaizdo atvaizdavimo vamzdyne. Gerai suderintas žaidimas užtikrina sklandų vaizdą, ypač interaktyvioms programoms, tokioms kaip dronų stebėjimas ar robotų sąsajos. 🚁

Kita svarbi tema yra saugumas, ypač dirbant su daiktų interneto įrenginiais, tokiais kaip ESP32. Srautinio perdavimo URL, dažnai sunkiai užkoduotas į scenarijus, suteikia fotoaparatui neteisėtos prieigos. Geresnis būdas yra naudoti saugius URL su užšifruotais prieigos raktais ir apriboti prieigą prie konkrečių IP. Kūrėjai taip pat gali saugoti srautinio perdavimo adresą užšifruotame konfigūracijos faile, o ne atskleisti jį Unity scenarijuje. Tai padarius, jūsų Unity pagrįstos programos tampa saugesnės ir atsparesnės galimoms grėsmėms. 🔒

Galiausiai apsvarstykite galimybę pridėti funkcijų, kad dinamiškai pristabdytumėte arba sustabdytumėte vaizdo įrašų srautą. Nors daugelyje projektų pagrindinis dėmesys skiriamas tiesiog vaizdo įrašo atkūrimui, realaus pasaulio scenarijai dažnai reikalauja daugiau interaktyvumo. Pavyzdžiui, saugos stebėjimo sistemai gali tekti sustabdyti tiekimą techninei priežiūrai arba perjungti kelias kameras. Įdiegę komandas, pvz., „Pristabdyti srautą“ arba „Perjungti kamerą“, naudodami vartotojo sąsajos mygtukus, galite žymiai pagerinti naudojimą, todėl jūsų programa gali būti pritaikyta įvairiems naudojimo atvejams. 🌟