一次開發,全芯極速高效運行

抽象統一 · SDK 原生 · 算子融合 · 記憶體複用 · 指令流水 · 自適應量化 —— 六大底層技術支撐

算力、能效、精度、延遲、並發、長穩同步躍遷,同樣硬體支援更大模型、更多路數、更低功耗;抽象統一讓應用一次編寫即可跨多晶片適配;資料、傳輸、運維、可視化、迭代同步提速。

核心維度

晶片上層調用方式、軟硬體適配、部署接入、資料流水線效率,是AI盒子落地應用的核心基礎能力

我方AI盒子 · 核心優勢

一次開發、多端適配

打造統一硬體加速介面,應用只需一次編寫,可自適應不同晶片硬體能力,徹底解決多晶片重複適配問題。

底層極致提速

基於晶片原生SDK深度定製,採用C/C++高效語言開發,摒棄低效通用庫與流水線。

全方位深度優化

實現算子融合、記憶體複用、指令流水線三重優化,同時重構極致資料流水線,最大化挖掘晶片硬體算力。

零依賴輕量部署

第三方庫零依賴,程式運行加依賴體積<1M,可直接部署到資源受限產品。

行業典型AI盒子 · 痛點短板

適配成本高

無統一硬體介面,每款晶片需要單獨開發適配,多晶片場景複用率極低。

運行效率低

依賴OpenCV等第三方通用庫處理業務,搭配Python高階語言、Ros2低效資料流水線,資源損耗大。

無底層優化

完全使用晶片廠公版SDK,原生預設邏輯運行,不做任何算子、記憶體、指令深度優化。

依賴臃腫難部署

依賴Python、OpenCV及其它第三方庫,程式運行加依賴體積幾百M~幾G,無法部署到資源受限產品。

我們如何做到的?

Conv、BN、ReLU 算子融合流程示意圖

算子級融合

· 將 Conv、BN、ReLU 等連續算子合併執行。 · 減少中間結果反覆讀寫,降低記憶體存取開銷。 · 將多個操作轉換為單條 NPU 指令,提高推理效率。

記憶體複用策略流程圖

記憶體複用策略

· 根據 Tensor 生命週期統一管理快取空間。 · 已釋放的記憶體區塊可被後續 Tensor 繼續複用。 · 減少重複記憶體申請,降低片外記憶體佔用。

晶片指令流水線並行架構圖

指令流水線並行

· 將 CPU 預處理、NPU 推理、CPU 後處理拆分為流水線階段。 · 多幀任務可以交疊執行,減少等待時間。 · 提高整體吞吐能力,降低資料傳輸延遲感。

自適應量化模型結構示意圖

自適應量化

· 根據不同網路層的啟動值分佈選擇量化精度。 · 對精度敏感層保留 INT8,對低敏感層使用 INT4。 · 在盡量保持精度的同時,提升推理速度並減少計算量。

SDK 硬體加速能力面板

SDK級硬體加速

· 使用C/C++底層硬體語言,提升介面效率; · 直接使用晶片原始SDK,相比使用OpenCV等第三方庫,獲得最大化的硬體加速收益。

抽象中間層統一架構圖

抽象中間層統一

· 將各家晶片SDK介面進行抽象統一,以隔離晶片差異對上層應用演算法的影響; · 實現跨晶片支援同一演算法及應用 ,應用一次編寫,多家晶片平台運行。

效率與效果的顯著提升

支援更大模型

同樣的硬體 支援更大模型

Lite 系列原本只能跑 YOLOv8n,優化後可跑 YOLOv8s(幀率不降)

支援更多路數

支援更多路數

同樣算力下承載更多視訊通道,提升邊緣側並發處理能力。

更低的功耗

更低的功耗

面向模型結構與晶片特性做功耗調度,降低長期運行能耗。

更高效能

更高效能

優化記憶體、算子與資料流水線,讓單位資源輸出更高推理效率。

支援更多晶片

支援更多晶片

統一底層適配能力,覆蓋更多晶片平台與硬體形態。

測試環境

硬體:Pro

模型:YOLOv8n

解析度:1080p

公版Xeroptix25fps10fps
Xeroptix 與公版在 Lite 上運行 YOLOv8n 的幀率效能對比柱狀圖,公版 10fps,Xeroptix 25fps