端侧 AI 与空间理解：从检测分割到多模态与 Agent
AI 让 AR 更像“可用的助手”：识别物体、理解场景、给出步骤、把知识叠加到视野里。但 AI 真正落地时，问题通常不是“模型够不够大”，而是延迟、功耗、隐私与稳定性。
1. AR 里的 AI 价值不是“炫”，而是“省步骤”
AR + AI 最有价值的形态往往很朴素：
- 识别设备型号、零件位置，给出下一步操作提示。
- 把文本信息变成“可视化指引”（箭头、框选、编号）。
- 在合适的时机给出提醒，而不是持续打扰。
如果 AI 只是把搜索框搬到眼前，用户不会长期使用；如果 AI 能把一个任务从 20 步减少到 8 步，价值立刻变得可衡量。
2. 端侧 vs 云侧：关键链路必须端侧闭环
AR 的关键链路（跟踪、渲染、交互反馈）不能依赖网络。AI 的合理分工是：
- 端侧：轻量模型（检测、关键点、OCR、小词表语音），保证可用性与隐私。
- 云侧：大模型推理、知识检索、复杂理解与生成，提升能力上限。
工程关键在于：端侧有“默认可用”的最小能力，云侧是“增强包”。网络差时，体验能降级但不断裂。
3. 空间理解：从 2D 感知到“可交互的 3D 语义”
AR 的难点不是识别一个物体，而是把它放进空间关系里：
- 几何：平面、深度、遮挡与碰撞。
- 语义：这是什么、能做什么、风险在哪里。
- 状态：开/关、温度、是否在运行、是否可拆卸。
空间理解往往需要把多源信息融合：相机、深度、IMU、以及业务系统的结构化数据。单一模型很难独自解决全部。
4. 延迟与功耗：AR 的 AI 更像“实时系统”
很多 AI Demo 是离线或低频运行的，但 AR 需要持续运行。你需要明确：
- 哪些模型必须每帧/每秒运行（极少）。
- 哪些模型可以按需触发（大多数）。
- 哪些结果可以缓存与复用（很多）。
工程上更可行的做法是“分层触发”：先用便宜的检测器判断是否值得运行昂贵模型，再按置信度决定是否要求用户确认。
5. 多模态与 Agent：更像产品形态，而不是单个模型
当你把语音、图像、文本与空间坐标结合起来，AR 的交互会变得自然：用户说“把这个阀门关掉”，系统不仅能回答，还能在视野里标出阀门位置、给出步骤与风险提示。
但 Agent 的工程挑战更大：
- 工具调用的安全边界（不能让模型随意执行危险操作）。
- 可解释性（为什么建议这么做）。
- 可回溯（谁在什么时候给出过什么建议）。
一句话总结：AR + AI 的胜负手不是模型大小，而是：端侧闭环、按需触发、可解释、可审计，并把能力变成“少步骤的体验”。