传感器与深度：RGB、ToF、双目与“什么时候值得上深度”
很多 AR 产品在路线选择上会纠结：到底要不要加深度传感器？表面看，这是“效果更好”的问题；实际是成本、功耗、外观、算法复杂度与供应链的综合题。
1. 深度能解决什么？
AR 最容易被用户指出的问题有两个：遮挡不真实和放置不稳定。深度的价值主要在：
- 遮挡（Occlusion）：虚拟物体应该被真实物体遮住时，必须知道近处表面在哪。
- 交互：手与物体的距离关系、碰撞检测、抓取与贴合。
- 建图加速：在低纹理环境里，几何信息可以增强跟踪与重定位。
2. 常见方案对比：ToF vs 双目 vs 纯视觉估深
- ToF（飞行时间）：对某些距离范围内的深度获取更直接；但在强光、反光、远距离与多路径干扰下会不稳定，同时带来发光器件与功耗成本。
- 双目：硬件相对“被动”，但需要精确标定；在纹理不足、重复纹理与低照环境下会退化。
- 纯视觉估深（单目/多视图）：成本最低、最灵活，但依赖训练数据与计算；对尺度、动态场景与泛化有挑战。
3. 工程现实：深度不是“加一个传感器就完事”
加入深度后，你会额外面对：
- 多传感器同步：深度与 RGB、IMU 的时间对齐。
- 标定维护：出厂标定与长期温漂的修正。
- 数据融合：深度噪声、空洞、边缘毛刺要在融合与滤波里处理。
- 功耗策略：深度并非必须常开，通常需要按需触发。
4. 什么时候“值得上深度”？给一个务实判断法
我更喜欢用三个问题来倒推：
- 你的核心体验是否依赖遮挡/贴合？（例如把虚拟物体放在桌面并“真实穿插”）
- 你的典型场景是否低纹理或光照复杂？（工业现场、弱光室内）
- 你是否能接受成本与外观的增加？（镜框空间、电池、热）
如果答案大多是“是”，深度往往能显著提高体验上限；如果答案大多是“否”，先用纯视觉与策略兜底把产品做稳，可能更快落地。
一句话总结：深度能提升体验上限，但也会显著增加系统复杂度。是否采用，取决于你的核心场景是否“必须要深度”。