GrabBag/App/DroneScrewbolt/Doc/project.md

RK3588双板视觉系统技术方案

版本信息

版本	日期	变更说明
V1.0	2026-05-14	初始方案定稿

一、项目概述

1.1 需求背景

基于两块瑞芯微RK3588开发板构建分布式视觉系统，实现第三方平面相机图像采集、算法检测、实时视频传输与远程控制功能。系统需充分利用RK3588硬件加速能力，满足低延迟、高稳定性、低CPU占用的工业级要求。

1.2 核心功能

• 板一（采集处理端）：通过第三方相机SDK采集图像，运行目标检测算法，将处理后的图像进行硬件编码并推流
• 板二（显示控制端）：拉取板一的视频流并硬件解码显示，支持远程控制板一的检测启停
• 双向通信：控制指令和检测结果通过轻量可靠协议传输，保证不丢包、低延迟

1.3 硬件环境

• 核心板：Firefly RK3588（两块）
• 相机：第三方平面相机（支持USB/MIPI/GigE接口）
• 网络：千兆局域网（直连或交换机）
• 显示：HDMI显示器（板二）

二、整体架构设计

2.1 系统总架构

flowchart LR
    subgraph 板一[板一（采集处理端）]
        A[相机SDK] --> B[算法处理]
        B --> C[FFMedia RGA格式转换]
        C --> D[FFMedia H.264硬件编码]
        E[ZeroMQ服务端]
    end

    subgraph 板二[板二（显示控制端）]
        F[控制界面] --> G[ZeroMQ客户端]
        H[FFMedia RTSP拉流解码] --> I[FFMedia DRM/X11显示]
    end

    D -- RTSP视频流 --> H
    G -- ZeroMQ控制/结果 --> E

2.2 数据流设计

2.2.1 图像数据流（单向）

flowchart LR
    subgraph 板一[板一（采集处理端）]
        direction TD
        A1[相机SDK采集]
        B1[算法检测]
        C1[绘制检测框]
        D1[RGA转NV12格式]
        E1[FFMedia内存输入]
        F1[MPP硬件编码H.264]
        G1[RTSP推流（板一）]
    end
    subgraph 板二[板二（显示控制端）]
        direction TD
        H1[RTSP拉流（板二）]
        I1[MPP硬件解码H.264]
        J1[RGA适配显示分辨率]
        K1[DRM/X11硬件显示]
    end

    A1 --> B1
    B1 --> C1
    C1 --> D1
    D1 --> E1
    E1 --> F1
    F1 --> G1
    G1 --> H1
    H1 --> I1
    I1 --> J1
    J1 --> K1

2.2.2 控制指令流（双向）

flowchart LR
    A2[板二控制界面点击]
    B2[ZeroMQ REQ发送指令]
    C2[板一ZeroMQ REP接收]
    D2[执行启停操作]
    E2[返回执行结果]
    F2[板二更新界面状态]

    A2 --> B2
    B2 --> C2
    C2 --> D2
    D2 --> E2
    E2 --> F2

2.2.3 检测结果流（单向）

flowchart LR
    A3[板一算法输出检测结果]
    B3[Protobuf结构化序列化]
    C3[ZeroMQ PUB发布结果]
    D3[板二ZeroMQ SUB接收结果]
    E3[界面叠加显示检测框]

    A3 --> B3
    B3 --> C3
    C3 --> D3
    D3 --> E3

三、技术选型

3.1 核心技术栈

功能模块	技术方案	选型理由
视频编解码	FFMedia + RKMPP	瑞芯微官方封装，原生支持硬件编解码，零拷贝，低延迟
视频传输	FFMedia RTSP	内置RTSP服务器/客户端，无需额外开发，支持UDP低延迟模式
控制与结果传输	ZeroMQ C++	轻量高性能，原生支持REQ-REP/PUB-SUB模式，ARM平台占用极低，无第三方依赖
数据序列化	Google Protobuf	结构化数据体积小，C++支持好，跨平台
图像预处理	FFMedia RGA	硬件加速缩放、裁剪、格式转换，CPU占用极低
显示	FFMedia DRM/X11	硬件加速渲染，零拷贝显示，延迟最低

四、性能指标

4.1 端到端延迟（1080P 30fps）

环节	延迟范围（ms）
相机采集	8~15
算法处理	10~40（取决于模型复杂度）
RGA格式转换	2~5
MPP硬件编码	5~8
网络传输	3~10
RTSP解封装	10~20（低延迟模式）
MPP硬件解码	4~7
显示输出	1~3
总延迟	60~120（含算法处理）

4.2 资源占用

• 板一CPU占用：<15%（不含算法）
• 板二CPU占用：<10%
• 网络带宽：约4Mbps（1080P 30fps H.264）
• 内存占用：<512MB

五、优化方向

5.1 延迟优化

• 关闭不必要的网络缓冲，启用RTSP低延迟模式
• 全程使用DMA内存，避免内存拷贝
• 优化编码参数，降低GOP大小
• 优先使用UDP传输协议
• ZeroMQ启用TCP_NODELAY选项，减少小包延迟

5.2 稳定性优化

• 实现ZeroMQ自动重连机制
• 增加异常处理逻辑，支持相机断连、网络异常自动恢复
• 完善资源管理，避免内存泄漏
• 建立完善的日志系统，便于问题定位

---