边缘推理

AI推理（模型运行）正在从云端向边缘设备（手机、PC、IoT设备、汽车）扩展。边缘推理的优势是低延迟、保护隐私、不依赖网络。Apple Intelligence、高通AI引擎和NVIDIA Jetson是代表性的边缘AI方案。 因果链：AI应用对实时性和隐私的要求 → 云端推理延迟和带宽成本过高 → AI推理向边缘设备迁移 → 需要专用的边缘AI芯片和轻量化模型 → 高通、联发科、Apple在手机AI芯片领域竞争 → NVIDIA Jetson在工业和机器人边缘AI领先 2024年Apple Intelligence、Windows Copilot PC的发布标志着边缘AI从概念走向落地。手机SoC中NPU（神经网络处理单元）性能成为新的竞争焦点。

边缘推理是一个长期确定性强但短期缺乏催化剂的赛道。AI手机和AI PC概念已经推出，但消费者付费意愿不强。高通Snapdragon X在PC市场的表现低于预期。长期看机器人和自动驾驶的边缘AI需求更有确定性。

边缘推理与AI算力芯片赛道互补——一个负责云端训练，一个负责端侧运行。边缘推理芯片同样依赖晶圆代工（台积电）和先进封装。 下游对接所有需要端侧AI能力的应用：自动驾驶、工业机器人、AI手机、AI PC等。与开源大模型赛道关系紧密——端侧运行的通常是开源的小模型（如LLaMA 7B/13B的量化版本）。