简介：这是一款面向Unity开发者的Windows桌面实时采集插件，用于在Unity场景中同步呈现Windows桌面画面，适合需要将桌面内容嵌入三维应用、虚拟展厅或录屏演示的开发者使用，对具备一定Unity基础的中级用户更为友好。资源包共141个文件，约600KB，以26个C#脚本为核心逻辑，配合2个asmdef程序集定义、2个DLL与2个Shader、1个cginc着色器片段完成渲染管线，另有13个unity场景、3个prefab预制体、4个mat材质、2个fbx模型及json、png等辅助文件，解压后放入Assets文件夹即可使用。目前已有567人学习下载。插件围绕窗口捕获、窗口纹理、桌面布局等模块组织代码，涵盖窗口管理、纹理更新与多窗口排布等实现思路，便于读者理解桌面采集在Unity中的落地方式，并在此基础上做二次开发与效果调优。
1. Windows Capture 插件在 Unity 里同步桌面：从黑屏到 60 帧的那条路
把 Windows 桌面实时搬进 Unity 场景，听起来像是个小需求，真动手才知道坑有多密。我最早接这个活，是想在 Unity 里做一块虚拟大屏，把本机桌面、某个窗口或者指定显示器画面实时贴到场景里的 Plane 或 RawImage 上，用于录课、虚拟演播、远程协作演示这类场景。核心诉求就四个字：同步桌面。但真跑起来，第一版直接黑屏，第二版帧率掉到个位数，第三版切窗口就崩。后来才把 Windows Capture 插件这套方案摸清楚：它本质是走 Windows 桌面复制 API（Desktop Duplication API）或 GDI 抓屏，把桌面帧缓冲拿到手，再通过共享纹理或 CPU 回读的方式送进 Unity 的 Texture2D。适合谁？做虚拟直播、远程桌面演示、Unity 内嵌桌面监控、教学录屏工具的人。如果你只是想在 Unity 里截一张静态图，别上这套，直接 ScreenCapture 就够；但只要涉及“实时”“同步”“多窗口”，这套方案就是绕不开的。下面按我实际落地的顺序，把选型、参数、代码和踩坑一次讲透。
2. 先搞清楚 Windows Capture 到底抓的是什么：三种抓屏路径的选型对比
2.1 桌面复制 API、GDI 抓屏、窗口句柄抓取的区别
Windows 上能拿到桌面画面的方式不止一种，但能撑住 Unity 实时同步的，主流就三条路。第一条是 Desktop Duplication API，DXGI 体系里的东西，直接拿 GPU 帧缓冲，延迟最低，能到 60 帧甚至更高，但要求系统是 Windows 8 以上、显卡驱动支持，而且它抓的是“输出”（Output），也就是整块显示器，不是单个窗口。第二条是 GDI 的 BitBlt，老牌方案，兼容性极好，XP 都能跑，但走 CPU，帧率上不去，1080p 下能稳 30 帧就算不错，而且遇到硬件加速窗口容易抓成黑块。第三条是 PrintWindow 抓窗口句柄，能只抓某个窗口，但很多游戏和 Chromium 内核窗口直接返回黑图，因为渲染不走 GDI 通道。
我一般会这么选：要整屏同步、追求高帧率，用 Desktop Duplication；要兼容老系统或者只做低频抓取，用 GDI；要抓特定窗口且对方是普通 Win32 程序，才考虑 PrintWindow。Unity 里所谓的 Windows Capture 插件，多数是把这几条路封装成 C++ 原生插件，再通过 Texture2D.CreateExternalTexture 或 NativeArray 把数据交给 Unity。选型错了，后面参数怎么调都白搭。
2.2 共享纹理与 CPU 回读：两条数据回传路径的取舍
抓到帧之后，怎么送进 Unity 是第二个分水岭。共享纹理方案是：原生插件里创建 D3D11 纹理，跟 Unity 的渲染线程共享句柄，Unity 侧用 CreateExternalTexture 直接引用，零拷贝，帧率最高，但要求 Unity 用 D3D11 图形 API，而且插件和 Unity 的 D3D 设备得是同一个。CPU 回读方案是：把 GPU 纹理映射到内存，拷进 byte 数组，再通过 Texture2D.LoadRawTextureData 上传，兼容性好，OpenGL、Vulkan 都能用，但每帧一次 PCIe 往返，1080p 下多花 3 到 5 毫秒，帧率直接砍半。
我的经验是：如果项目锁定 Windows 平台、用 D3D11，优先共享纹理；如果还要兼顾编辑器里预览或者跨图形 API，就做两套，运行时按 SystemInfo.graphicsDeviceType 切换。下面这段是共享纹理初始化的核心逻辑，参数怎么改我写在注释里。
// 原生插件侧：创建可共享的 D3D11 纹理 D3D11_TEXTURE2D_DESC desc = {}; desc.Width = width; // 建议跟桌面分辨率一致，不要在这里缩放 desc.Height = height; desc.MipLevels = 1; // 必须为 1，否则共享句柄无效 desc.ArraySize = 1; desc.Format = DXGI_FORMAT_B8G8R8A8_UNORM; // Unity 侧对应 BGRA32 desc.SampleDesc.Count = 1; desc.Usage = D3D11_USAGE_DEFAULT; desc.BindFlags = D3D11_BIND_SHADER_RESOURCE | D3D11_BIND_RENDER_TARGET; desc.MiscFlags = D3D11_RESOURCE_MISC_SHARED; // 关键：允许跨进程共享 device->CreateTexture2D(&desc, nullptr, &sharedTex); // 拿到共享句柄后传给 Unity，Unity 侧用 CreateExternalTexture 绑定这段代码里，MipLevels 设成 1 是硬性要求，我见过有人设 0 导致共享句柄拿不到，查了一下午。Format 用 BGRA8 是因为 Desktop Duplication 原生输出就是这个格式，转 RGBA 反而多一次拷贝。MiscFlags 不加 SHARED，Unity 侧根本拿不到句柄，直接报空引用。
2.3 帧同步与撕裂：垂直同步和帧队列怎么设
桌面复制 API 本身是按“帧到达”事件驱动的，你 AcquireNextFrame 拿到一帧，处理完必须 ReleaseFrame，否则下一帧永远等不到。Unity 这边 Update 和渲染是两条线，如果直接在 Update 里抓帧，很容易出现撕裂或者帧率对不上。常见做法是：原生插件开一个独立线程做 AcquireNextFrame，把最新帧写进一个双缓冲队列，Unity 侧每帧从队列取最新一帧，取不到就复用上一帧。垂直同步方面，如果 Unity 开了 VSync，抓帧线程不要跟着等，否则会互相拖累。我一般把抓帧线程优先级设成 THREAD_PRIORITY_ABOVE_NORMAL，队列深度设 2，超过就丢旧帧，保证延迟不累积。
提示：队列深度不要超过 3，否则延迟肉眼可见，做实时演示时鼠标指针会明显拖后腿。
3. 在 Unity 里跑通最小同步桌面：从插件加载到画面贴上材质
3.1 原生插件编译与 Unity 侧导入的完整步骤
第一步，建一个 C++ DLL 工程，导出三个函数：InitCapture、GetFrame、ReleaseCapture。InitCapture 里初始化 D3D11 设备和桌面复制接口，GetFrame 返回共享纹理句柄和帧序号，ReleaseCapture 释放资源。编译成 x64 DLL，放进 Unity 工程的 Assets/Plugins/x86_64 目录。第二步，Unity 侧写一个 CaptureManager 脚本，用 DllImport 声明这三个函数，在 Start 里调 InitCapture，在 Update 里调 GetFrame 并更新 RawImage.texture。第三步，场景里建一个 Canvas，放一个 RawImage，把 CaptureManager 挂上去，把 RawImage 拖进字段。第四步，运行，如果黑屏，先看 Player Settings 里 Graphics API 是不是 D3D11，再看 DLL 是不是 x64。
using System; using System.Runtime.InteropServices; using UnityEngine; using UnityEngine.UI; public class CaptureManager : MonoBehaviour { [DllImport("WindowsCapture")] private static extern bool InitCapture(int width, int height); [DllImport("WindowsCapture")] private static extern IntPtr GetFrame(out int frameIndex); [DllImport("WindowsCapture")] private static extern void ReleaseCapture(); public RawImage targetImage; // 场景里的 RawImage private Texture2D _tex; private int _lastFrame = -1; void Start() { int w = Screen.currentResolution.width; int h = Screen.currentResolution.height; if (!InitCapture(w, h)) { Debug.LogError("InitCapture failed, check D3D11 and x64 DLL"); return; } _tex = Texture2D.CreateExternalTexture(w, h, TextureFormat.BGRA32, false, false, IntPtr.Zero); targetImage.texture = _tex; } void Update() { int idx; IntPtr ptr = GetFrame(out idx); if (ptr == IntPtr.Zero || idx == _lastFrame) return; // 没新帧就跳过 _lastFrame = idx; _tex.UpdateExternalTexture(ptr); // 关键：把共享纹理句柄刷进 Unity } void OnDestroy() => ReleaseCapture(); }这段脚本里，CreateExternalTexture 的第三个参数必须跟原生纹理格式一致，BGRA32 对应 DXGI_FORMAT_B8G8R8A8_UNORM，写错就是花屏。UpdateExternalTexture 每帧调一次，但只有帧序号变了才调，避免无谓刷新。frameIndex 是我在插件里自增的，用来判断有没有新帧，没有就复用上一帧，省一次纹理更新。
3.2 分辨率、帧率、抓取区域三个必调参数
分辨率不要直接拿 Screen.currentResolution，因为那可能是缩放后的。用 EnumDisplaySettings 拿真实桌面分辨率，或者干脆在插件里用 DXGI 输出描述里的 DesktopCoordinates。帧率方面，桌面复制 API 本身不限制，但你可以通过等待垂直同步或者 Sleep 来控制，我一般设 60，太高了 CPU 回读扛不住，太低了画面卡顿。抓取区域如果只要主屏，就传 0 号输出；多屏的话，每个输出单独开一个复制接口，Unity 侧用多个 RawImage 分别贴。
// 获取真实桌面分辨率，避免 DPI 缩放导致抓取区域错位 DEVMODE dm = {}; dm.dmSize = sizeof(DEVMODE); EnumDisplaySettings(nullptr, ENUM_CURRENT_SETTINGS, &dm); int realWidth = dm.dmPelsWidth; int realHeight = dm.dmPelsHeight; // 用这个宽高去初始化 D3D11 纹理和复制接口这段代码解决的是高 DPI 下抓取区域偏移的问题。我遇到过 150% 缩放时，抓到的画面只占纹理左上角四分之一，就是因为用了 Screen.width 而不是真实像素。参数上，dmPelsWidth 和 dmPelsHeight 是物理像素，跟 Unity 的 Screen.width 不是一回事。
3.3 把桌面画面贴到 UI 和 3D 物体上的两种接法
贴到 UI 上最简单，RawImage.texture 直接赋值就行。贴到 3D 物体上，需要把 Texture2D 赋给材质的主纹理，注意材质的 Shader 要支持 BGRA 格式，Standard Shader 默认可以，但如果你用了自定义 Shader，采样出来可能是反色。我一般会建一个 Unlit Shader，直接 SampleTexture，不做颜色空间转换。另外，如果桌面画面要作为场景背景，可以把纹理贴到一个跟摄像机等距的 Plane 上，或者用 Camera 的 targetTexture 做后处理混合。
注意：Unity 的 Color Space 如果是 Linear，BGRA 纹理采样出来会偏暗，需要在 Shader 里做一次 Gamma 校正，或者把纹理的 sRGB 标志打开。
4. 避坑与排查：黑屏、掉帧、切窗口崩溃的 5 个血泪记录
4.1 现象：运行后 RawImage 全黑，日志无报错
原因：最常见的是 DLL 位数不对，Unity 编辑器是 x64，你编译了 Win32 DLL，DllImport 直接找不到入口，但 Unity 不一定报错。其次是 Graphics API 不是 D3D11，共享纹理句柄无效。解决：先确认 DLL 是 x64，再在 Player Settings 里把 D3D11 提到第一位，最后在插件里加日志，看 InitCapture 返回 false 还是 GetFrame 返回空。
4.2 现象：帧率只有 15 到 20，CPU 占用飙高
原因：走了 CPU 回读路径，每帧都在做 Map/Unmap 和 LoadRawTextureData。解决：切到共享纹理方案，如果必须用 CPU 回读，把分辨率降到 1280x720，或者把抓取帧率限制到 30，用时间累积做插值。另外检查是不是每帧都在创建新的 Texture2D，那样 GC 会爆炸。
4.3 现象：切换窗口或全屏游戏时画面卡死
原因：Desktop Duplication API 在模式切换时会返回 DXGI_ERROR_ACCESS_LOST，如果没处理这个错误码，抓帧线程就死循环了。解决：在 AcquireNextFrame 返回 ACCESS_LOST 时，释放旧的复制接口，重新初始化一遍，通常 1 到 2 帧内恢复。
4.4 现象：多显示器下只抓到主屏，副屏黑屏
原因：只枚举了 0 号输出。解决：用 IDXGIFactory::EnumAdapters 和 EnumOutputs 遍历所有输出，每个输出单独建复制接口和纹理，Unity 侧用字典管理。
4.5 现象：编辑器里正常，打包后黑屏
原因：打包后 Unity 的图形设备初始化顺序跟编辑器不同，插件在 D3D 设备创建前就调用了。解决：把 InitCapture 放到 Camera.onPreRender 或者用协程等一帧再调，确保 Unity 的 D3D 设备已经就绪。
5. 进阶：用帧序号做同步校验和延迟测量
5.1 用帧序号和 Stopwatch 测端到端延迟
光看帧率不够，实时同步桌面最怕的是延迟。我一般会在插件里给每帧打一个时间戳，Unity 侧拿到帧后跟当前 Stopwatch 时间对比，算出端到端延迟。如果超过 50 毫秒，就要查队列深度和回读路径。下面这段是测量逻辑。
private System.Diagnostics.Stopwatch _sw = new System.Diagnostics.Stopwatch(); private long _lastCaptureTicks; void Update() { int idx; IntPtr ptr = GetFrame(out idx); if (ptr != IntPtr.Zero && idx != _lastFrame) { _lastFrame = idx; _tex.UpdateExternalTexture(ptr); long now = _sw.ElapsedTicks; long latencyMs = (now - _lastCaptureTicks) / TimeSpan.TicksPerMillisecond; if (latencyMs > 50) Debug.LogWarning($"High latency: {latencyMs}ms"); } }这里 _lastCaptureTicks 需要插件通过另一个导出函数传回来，或者用共享内存写帧序号和时间戳。参数上，50 毫秒是经验阈值，超过这个值做实时演示时鼠标指针会明显滞后。
5.2 多窗口抓取和区域裁剪的取舍
如果只要抓某个窗口，Desktop Duplication 做不到，得用 PrintWindow 或者 Windows Graphics Capture（Win10 1803 以上）。后者能抓单个窗口且支持硬件加速，但需要处理窗口移动和缩放。我一般会做一个混合方案：整屏用 Desktop Duplication，单窗口用 Graphics Capture，Unity 侧统一成 Texture2D 接口。区域裁剪可以在 Shader 里做，也可以在插件里用 CopySubresourceRegion 只拷贝感兴趣的区域，后者省带宽。
5.3 我踩过的最深的一个坑：忘了 ReleaseFrame
Desktop Duplication 的 AcquireNextFrame 和 ReleaseFrame 必须成对，我早期版本在异常分支里直接 return，忘了 Release，结果跑几分钟后系统桌面复制直接卡死，连正常桌面都黑屏，只能重启。后来我在插件里用 RAII 包了一层，确保任何路径退出都会 Release。这个坑没有后悔药，只能靠代码规范。
希望帮到你。
本文还有配套的精品资源，点击获取
