154 lines
4.7 KiB
Markdown
154 lines
4.7 KiB
Markdown
|
# RK3588双板视觉系统技术方案
|
|||
|
|
## 版本信息
|
|||
|
|
| 版本 | 日期 | 变更说明 |
|
|||
|
|
|------|------|----------|
|
|||
|
|
| V1.0 | 2026-05-14 | 初始方案定稿 |
|
|||
|
|
|
|||
|
|
## 一、项目概述
|
|||
|
|
### 1.1 需求背景
|
|||
|
|
基于两块瑞芯微RK3588开发板构建分布式视觉系统，实现第三方平面相机图像采集、算法检测、实时视频传输与远程控制功能。系统需充分利用RK3588硬件加速能力，满足低延迟、高稳定性、低CPU占用的工业级要求。
|
|||
|
|
|
|||
|
|
### 1.2 核心功能
|
|||
|
|
- **板一（采集处理端）**：通过第三方相机SDK采集图像，运行目标检测算法，将处理后的图像进行硬件编码并推流
|
|||
|
|
- **板二（显示控制端）**：拉取板一的视频流并硬件解码显示，支持远程控制板一的检测启停
|
|||
|
|
- **双向通信**：控制指令和检测结果通过轻量可靠协议传输，保证不丢包、低延迟
|
|||
|
|
|
|||
|
|
### 1.3 硬件环境
|
|||
|
|
- 核心板：Firefly RK3588（两块）
|
|||
|
|
- 相机：第三方平面相机（支持USB/MIPI/GigE接口）
|
|||
|
|
- 网络：千兆局域网（直连或交换机）
|
|||
|
|
- 显示：HDMI显示器（板二）
|
|||
|
|
|
|||
|
|
## 二、整体架构设计
|
|||
|
|
### 2.1 系统总架构
|
|||
|
|
```mermaid
|
|||
|
|
flowchart LR
|
|||
|
|
subgraph 板一[板一（采集处理端）]
|
|||
|
|
A[相机SDK] --> B[算法处理]
|
|||
|
|
B --> C[FFMedia RGA格式转换]
|
|||
|
|
C --> D[FFMedia H.264硬件编码]
|
|||
|
|
E[ZeroMQ服务端]
|
|||
|
|
end
|
|||
|
|
|
|||
|
|
subgraph 板二[板二（显示控制端）]
|
|||
|
|
F[控制界面] --> G[ZeroMQ客户端]
|
|||
|
|
H[FFMedia RTSP拉流解码] --> I[FFMedia DRM/X11显示]
|
|||
|
|
end
|
|||
|
|
|
|||
|
|
D -- RTSP视频流 --> H
|
|||
|
|
G -- ZeroMQ控制/结果 --> E
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 2.2 数据流设计
|
|||
|
|
#### 2.2.1 图像数据流（单向）
|
|||
|
|
```mermaid
|
|||
|
|
flowchart LR
|
|||
|
|
subgraph 板一[板一（采集处理端）]
|
|||
|
|
direction TD
|
|||
|
|
A1[相机SDK采集]
|
|||
|
|
B1[算法检测]
|
|||
|
|
C1[绘制检测框]
|
|||
|
|
D1[RGA转NV12格式]
|
|||
|
|
E1[FFMedia内存输入]
|
|||
|
|
F1[MPP硬件编码H.264]
|
|||
|
|
G1[RTSP推流（板一）]
|
|||
|
|
end
|
|||
|
|
subgraph 板二[板二（显示控制端）]
|
|||
|
|
direction TD
|
|||
|
|
H1[RTSP拉流（板二）]
|
|||
|
|
I1[MPP硬件解码H.264]
|
|||
|
|
J1[RGA适配显示分辨率]
|
|||
|
|
K1[DRM/X11硬件显示]
|
|||
|
|
end
|
|||
|
|
|
|||
|
|
A1 --> B1
|
|||
|
|
B1 --> C1
|
|||
|
|
C1 --> D1
|
|||
|
|
D1 --> E1
|
|||
|
|
E1 --> F1
|
|||
|
|
F1 --> G1
|
|||
|
|
G1 --> H1
|
|||
|
|
H1 --> I1
|
|||
|
|
I1 --> J1
|
|||
|
|
J1 --> K1
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
#### 2.2.2 控制指令流（双向）
|
|||
|
|
```mermaid
|
|||
|
|
flowchart LR
|
|||
|
|
A2[板二控制界面点击]
|
|||
|
|
B2[ZeroMQ REQ发送指令]
|
|||
|
|
C2[板一ZeroMQ REP接收]
|
|||
|
|
D2[执行启停操作]
|
|||
|
|
E2[返回执行结果]
|
|||
|
|
F2[板二更新界面状态]
|
|||
|
|
|
|||
|
|
A2 --> B2
|
|||
|
|
B2 --> C2
|
|||
|
|
C2 --> D2
|
|||
|
|
D2 --> E2
|
|||
|
|
E2 --> F2
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
#### 2.2.3 检测结果流（单向）
|
|||
|
|
```mermaid
|
|||
|
|
flowchart LR
|
|||
|
|
A3[板一算法输出检测结果]
|
|||
|
|
B3[Protobuf结构化序列化]
|
|||
|
|
C3[ZeroMQ PUB发布结果]
|
|||
|
|
D3[板二ZeroMQ SUB接收结果]
|
|||
|
|
E3[界面叠加显示检测框]
|
|||
|
|
|
|||
|
|
A3 --> B3
|
|||
|
|
B3 --> C3
|
|||
|
|
C3 --> D3
|
|||
|
|
D3 --> E3
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## 三、技术选型
|
|||
|
|
### 3.1 核心技术栈
|
|||
|
|
| 功能模块 | 技术方案 | 选型理由 |
|
|||
|
|
|----------|----------|----------|
|
|||
|
|
| 视频编解码 | FFMedia + RKMPP | 瑞芯微官方封装，原生支持硬件编解码，零拷贝，低延迟 |
|
|||
|
|
| 视频传输 | FFMedia RTSP | 内置RTSP服务器/客户端，无需额外开发，支持UDP低延迟模式 |
|
|||
|
|
| 控制与结果传输 | ZeroMQ C++ | 轻量高性能，原生支持REQ-REP/PUB-SUB模式，ARM平台占用极低，无第三方依赖 |
|
|||
|
|
| 数据序列化 | Google Protobuf | 结构化数据体积小，C++支持好，跨平台 |
|
|||
|
|
| 图像预处理 | FFMedia RGA | 硬件加速缩放、裁剪、格式转换，CPU占用极低 |
|
|||
|
|
| 显示 | FFMedia DRM/X11 | 硬件加速渲染，零拷贝显示，延迟最低 |
|
|||
|
|
|
|||
|
|
## 四、性能指标
|
|||
|
|
### 4.1 端到端延迟（1080P 30fps）
|
|||
|
|
| 环节 | 延迟范围（ms） |
|
|||
|
|
|------|----------------|
|
|||
|
|
| 相机采集 | 8~15 |
|
|||
|
|
| 算法处理 | 10~40（取决于模型复杂度） |
|
|||
|
|
| RGA格式转换 | 2~5 |
|
|||
|
|
| MPP硬件编码 | 5~8 |
|
|||
|
|
| 网络传输 | 3~10 |
|
|||
|
|
| RTSP解封装 | 10~20（低延迟模式） |
|
|||
|
|
| MPP硬件解码 | 4~7 |
|
|||
|
|
| 显示输出 | 1~3 |
|
|||
|
|
| **总延迟** | **60~120（含算法处理）** |
|
|||
|
|
|
|||
|
|
### 4.2 资源占用
|
|||
|
|
- 板一CPU占用：<15%（不含算法）
|
|||
|
|
- 板二CPU占用：<10%
|
|||
|
|
- 网络带宽：约4Mbps（1080P 30fps H.264）
|
|||
|
|
- 内存占用：<512MB
|
|||
|
|
|
|||
|
|
## 五、优化方向
|
|||
|
|
### 5.1 延迟优化
|
|||
|
|
- 关闭不必要的网络缓冲，启用RTSP低延迟模式
|
|||
|
|
- 全程使用DMA内存，避免内存拷贝
|
|||
|
|
- 优化编码参数，降低GOP大小
|
|||
|
|
- 优先使用UDP传输协议
|
|||
|
|
- ZeroMQ启用TCP_NODELAY选项，减少小包延迟
|
|||
|
|
|
|||
|
|
### 5.2 稳定性优化
|
|||
|
|
- 实现ZeroMQ自动重连机制
|
|||
|
|
- 增加异常处理逻辑，支持相机断连、网络异常自动恢复
|
|||
|
|
- 完善资源管理，避免内存泄漏
|
|||
|
|
- 建立完善的日志系统，便于问题定位
|
|||
|
|
|
|||
|
|
---
|