一次开发,全芯极速高效运行

抽象统一 · SDK 原生 · 算子融合 · 内存复用 · 指令流水 · 自适应量化 —— 六大底层技术支撑

算力、能效、精度、延时、并发、长稳同步跃迁,同样硬件支持更大模型、更多路数、更低功耗;抽象统一让应用一次编写跨多芯适配;数据、传输、运维、可视化、迭代同步提速。

核心维度

芯片上层调用方式、软硬件适配、部署接入、数据流水线效率,是AI盒子落地应用的核心基础能力

我方AI盒子 · 核心优势

一次开发、多端适配

打造统一硬件加速接口,应用只需一次编写,可自适应不同芯片硬件能力,彻底解决多芯片重复适配问题。

底层极致提速

基于芯片原生SDK深度定制,采用C/C++高效语言开发,摒弃低效通用库与流水线。

全方位深度优化

实现算子融合、内存复用、指令流水线三重优化,同时重构极致数据流水线,最大化挖掘芯片硬件算力。

零依赖轻量部署

第三方库零依赖,程序运行加依赖体积<1M,可直接部署到资源受限产品。

行业典型AI盒子 · 痛点短板

适配成本高

无统一硬件接口,每款芯片需要单独开发适配,多芯片场景复用率极低。

运行效率低

依赖OpenCV等第三方通用库处理业务,搭配Python高级语言、Ros2低效数据流水线,资源损耗大。

无底层优化

完全使用芯片厂公版SDK,原生默认逻辑运行,不做任何算子、内存、指令深度优化。

依赖臃肿难部署

依赖Python、OpenCV及其它第三方库,程序运行加依赖体积几百M~几G,无法部署到资源受限产品。

我们如何做到的?

Conv、BN、ReLU 算子融合流程示意图

算子级融合

· 将 Conv、BN、ReLU 等连续算子合并执行。 · 减少中间结果反复读写,降低内存访问开销。 · 将多个操作转换为单条 NPU 指令,提高推理效率。

内存复用策略流程图

内存复用策略

· 根据 Tensor 生命周期统一管理缓存空间。 · 已释放的内存块可被后续 Tensor 继续复用。 · 减少重复内存申请,降低片外内存占用。

芯片指令流水线并行架构图

指令流水线并行

· 将 CPU 预处理、NPU 推理、CPU 后处理拆分为流水线阶段。 · 多帧任务可以交叠执行,减少等待时间。 · 提高整体吞吐能力,降低数据传输延迟感。

自适应量化模型结构示意图

自适应量化

· 根据不同网络层的激活值分布选择量化精度。 · 对精度敏感层保留 INT8,对低敏感层使用 INT4。 · 在尽量保持精度的同时,提升推理速度并减少计算量。

SDK 硬件加速能力面板

SDK级硬件加速

· 使用C/C++底层硬件语言,提升接口效率; · 直接使用芯片原始SDK,相比使用OpenCV等第三方库,获得最大化的硬件加速收益。

抽象中间层统一架构图

抽象中间层统一

· 将各家芯片SDK接口进行抽象统一,以隔离芯片差异对上层应用算法的影响; · 实现跨芯片支持同一算法及应用 ,应用一次编写,多家芯片平台运行。

效率与效果的显著提升

支持更大模型

同样的硬件 支持更大模型

Lite 系列原本只能跑 YOLOv8n,优化后可跑 YOLOv8s(帧率不降)

支持更多路数

支持更多路数

同样算力下承载更多视频通道,提升边缘侧并发处理能力。

更低的功耗

更低的功耗

面向模型结构与芯片特性做功耗调度,降低长期运行能耗。

更高性能

更高性能

优化内存、算子与数据流水线,让单位资源输出更高推理效率。

支持更多芯片

支持更多芯片

统一底层适配能力,覆盖更多芯片平台与硬件形态。

测试环境

硬件:Pro

模型:YOLOv8n

分辨率:1080p

公版Xeroptix25fps10fps
Xeroptix 与公版在 Lite 上运行 YOLOv8n 的帧率性能对比柱状图,公版 10fps,Xeroptix 25fps