如何从 ESP32 相机将视频发送到 Unity 的 RawImage

使用 ESP32 相机集成在 Unity 中渲染 MJPEG 流

方法 1：使用 Unity 的 RawImage 和 HTTP 请求流式传输 MJPEG

using UnityEngine;
using UnityEngine.UI;
using System.IO;
using System.Net;
using System.Collections;
public class ESP32Stream : MonoBehaviour
{
    public string url = "http://192.1.1.1:81/stream";
    public RawImage rawImage;
    private Texture2D texture;
    void Start()
    {
        if (rawImage == null)
        {
            Debug.LogError("RawImage is not assigned.");
            return;
        }
        texture = new Texture2D(2, 2);
        rawImage.texture = texture;
        StartCoroutine(StreamVideo());
    }
    IEnumerator StreamVideo()
    {
        HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
        WebResponse response = request.GetResponse();
        Stream stream = response.GetResponseStream();
        while (true)
        {
            MemoryStream ms = new MemoryStream();
            byte[] buffer = new byte[1024];
            int bytesRead = 0;
            while ((bytesRead = stream.Read(buffer, 0, buffer.Length)) > 0)
            {
                ms.Write(buffer, 0, bytesRead);
                texture.LoadImage(ms.ToArray());
                rawImage.texture = texture;
                yield return null;
            }
        }
    }
}

使用 UnityWebRequest 实现高效视频流

方法 2：利用 UnityWebRequest 获得更好的性能

using UnityEngine;
using UnityEngine.UI;
using UnityEngine.Networking;
using System.Collections;
public class UnityWebRequestStream : MonoBehaviour
{
    public string streamURL = "http://192.1.1.1:81/stream";
    public RawImage videoDisplay;
    private Texture2D videoTexture;
    void Start()
    {
        videoTexture = new Texture2D(2, 2);
        videoDisplay.texture = videoTexture;
        StartCoroutine(StreamVideo());
    }
    IEnumerator StreamVideo()
    {
        while (true)
        {
            UnityWebRequest request = UnityWebRequestTexture.GetTexture(streamURL);
            yield return request.SendWebRequest();
            if (request.result != UnityWebRequest.Result.Success)
            {
                Debug.LogError("Stream failed: " + request.error);
            }
            else
            {
                videoTexture = ((DownloadHandlerTexture)request.downloadHandler).texture;
                videoDisplay.texture = videoTexture;
            }
            yield return new WaitForSeconds(0.1f);
        }
    }
}

有关在 Unity 中流式传输 ESP32 视频的常见问题

1. 视频不显示时如何排除故障？
2. 检查是否 RawImage 组件已分配，并确保可以在浏览器中访问 URL 以验证流是否正常工作。
3. 我可以使用 MJPEG 以外的协议吗？
4. 是的，Unity 支持其他格式，例如 RTSP，但您需要外部插件或工具来解码它们。
5. 如何优化大型项目的性能？
6. 使用 UnityWebRequest 而不是 HttpWebRequest 以获得更好的性能和更低的内存开销。
7. 我可以在Unity中录制ESP32视频流吗？
8. 是的，您可以将帧保存到 MemoryStream 并使用第三方库将它们编码为 MP4 等视频格式。
9. 这种集成的最佳用例是什么？
10. IoT 监控、实时 VR 体验或现场活动广播等应用可从 Unity 中的 ESP32 流媒体集成中受益匪浅。

在 Unity 中渲染视频流的关键要点

在 Unity 中渲染来自 ESP32 摄像头的实时视频需要了解 MJPEG 流并有效使用 Unity 的组件。通过实现提供的脚本，开发人员可以将 Unity 连接到 IoT 设备并在 IoT 设备上显示实时视频。 原始图像。这为机器人和虚拟现实等应用开辟了新的可能性。 🎥

为了确保流畅的播放和可扩展性，优化脚本、妥善处理错误并保护流媒体 URL 非常重要。这些实践不仅提高了性能，而且使项目更加健壮和用户友好。有了这些技巧，即使是初学者也可以成功进行视频流集成。