RV1106开发板实战：手把手教你编译FFmpeg 3.4.8并集成到LVGL 9.2.3播放视频

RV1106开发板实战：从零构建FFmpeg 3.4.8与LVGL 9.2.3视频播放系统

在嵌入式设备上实现流畅的视频播放一直是开发者面临的挑战之一。RV1106作为一款高性能的嵌入式处理器，结合FFmpeg强大的多媒体处理能力和LVGL轻量级图形库的优雅界面，能够打造出功能丰富且响应迅速的嵌入式视频应用。本文将带你一步步完成从交叉编译到系统集成的全过程，解决实际开发中可能遇到的各种问题。

1. 开发环境搭建与工具链配置

在开始编译FFmpeg之前，我们需要准备好开发环境。RV1106开发板通常采用ARM架构，因此需要在x86主机上搭建交叉编译环境。以下是环境配置的关键步骤：

Ubuntu 22.04基础环境准备：

sudo apt update sudo apt install -y build-essential cmake git wget \ pkg-config libssl-dev libdrm-dev \ libavcodec-dev libavformat-dev libswscale-dev

RV1106开发板通常配套提供专用的交叉编译工具链。假设工具链已下载到/opt/rv1106-toolchain目录，我们需要设置环境变量：

export CROSS_COMPILE=/opt/rv1106-toolchain/bin/arm-rockchip830-linux-uclibcgnueabihf- export PATH=$PATH:/opt/rv1106-toolchain/bin

验证工具链是否正常工作：

${CROSS_COMPILE}gcc --version

提示：不同RV1106开发板厂商可能提供不同的工具链版本，务必使用与你的开发板匹配的工具链。

2. FFmpeg 3.4.8交叉编译详解

FFmpeg 3.4.8是一个相对稳定的版本，特别适合嵌入式系统使用。我们将从源码开始编译，确保获得最佳兼容性。

2.1 源码获取与配置

首先下载FFmpeg 3.4.8源码并解压：

wget http://www.ffmpeg.org/releases/ffmpeg-3.4.8.tar.gz tar -zxvf ffmpeg-3.4.8.tar.gz cd ffmpeg-3.4.8

配置编译选项时，需要特别注意以下几点：

• --enable-cross-compile：启用交叉编译模式
• --arch=arm：指定目标架构
• --target-os=linux：指定目标操作系统
• --enable-shared：生成动态链接库
• --prefix：指定安装目录

完整的配置命令如下：

./configure \ --enable-cross-compile \ --arch=arm \ --target-os=linux \ --cross-prefix=${CROSS_COMPILE} \ --enable-shared \ --prefix=/opt/ffmpeg-rv1106 \ --disable-static \ --enable-small \ --disable-programs \ --disable-doc \ --disable-avdevice \ --disable-swresample \ --disable-postproc \ --disable-avfilter \ --disable-pthreads \ --disable-w32threads \ --disable-os2threads \ --disable-network \ --disable-dct \ --disable-dwt \ --disable-error-resilience \ --disable-lsp \ --disable-lzo \ --disable-mdct \ --disable-rdft \ --disable-fft

2.2 编译与安装

配置完成后，开始编译和安装：

make -j$(nproc) make install

编译完成后，/opt/ffmpeg-rv1106目录将包含以下内容：

/opt/ffmpeg-rv1106/ ├── bin/ # 可执行文件（如果未禁用） ├── include/ # 头文件 ├── lib/ # 动态库文件 └── share/ # 其他资源

2.3 常见问题解决

在编译过程中可能会遇到以下问题：

1. libdrm版本不兼容：

   • 解决方案：更新libdrm或使用与FFmpeg兼容的版本
   • 检查命令：${CROSS_COMPILE}pkg-config --modversion libdrm

2. 头文件缺失：

   • 确保安装了所有依赖的开发包
   • 使用pkg-config检查依赖关系

3. 链接错误：

   • 确认工具链路径正确
   • 检查LD_LIBRARY_PATH是否包含工具链的库目录

3. 部署FFmpeg到RV1106开发板

编译完成后，需要将FFmpeg部署到开发板上。以下是详细步骤：

3.1 文件传输与目录结构

将编译好的FFmpeg文件复制到开发板的/usr/local/ffmpeg目录：

scp -r /opt/ffmpeg-rv1106 root@<板子IP>:/usr/local/ffmpeg

建议的目录结构：

/usr/local/ffmpeg/ ├── bin/ ├── include/ ├── lib/ └── share/

3.2 环境变量配置

在开发板上设置环境变量，确保系统能够找到FFmpeg的库和可执行文件：

编辑/etc/profile文件，添加以下内容：

export FFMPEG_DIR=/usr/local/ffmpeg export PATH=$FFMPEG_DIR/bin:$PATH export LD_LIBRARY_PATH=$FFMPEG_DIR/lib:$LD_LIBRARY_PATH

使配置生效：

source /etc/profile

3.3 验证安装

在开发板上运行以下命令验证FFmpeg是否正常工作：

ffmpeg -version

如果一切正常，你将看到类似如下的输出：

ffmpeg version 3.4.8 Copyright (c) 2000-2020 the FFmpeg developers built with gcc 6.3.0 (Rockchip rk3308_linux_release_20210323) configuration: --enable-cross-compile --arch=arm --target-os=linux ... libavutil 55. 78.100 / 55. 78.100 libavcodec 57.107.100 / 57.107.100 libavformat 57. 83.100 / 57. 83.100 libswscale 4. 8.100 / 4. 8.100

4. LVGL 9.2.3集成FFmpeg实战

LVGL（Light and Versatile Graphics Library）是一款轻量级的嵌入式图形库，版本9.2.3开始提供了对FFmpeg的良好支持。

4.1 启用LVGL的FFmpeg支持

首先需要在LVGL配置中启用FFmpeg支持。编辑lv_conf.h文件：

#define LV_USE_FFMPEG 1

LVGL的FFmpeg组件需要以下库支持：

• libavformat
• libavcodec
• libswscale
• libavutil

4.2 CMake工程配置

在CMakeLists.txt中添加FFmpeg的查找和链接配置：

# FFmpeg配置 find_package(PkgConfig REQUIRED) pkg_check_modules(FFMPEG REQUIRED libavformat libavcodec libswscale libavutil) # 包含头文件 include_directories( ${FFMPEG_INCLUDE_DIRS} ${LVGL_INCLUDE_DIRS} ) # 链接库 target_link_libraries(your_target ${FFMPEG_LIBRARIES} lvgl # 其他依赖... )

如果使用自定义编译的FFmpeg，可以手动指定路径：

set(FFMPEG_DIR "/usr/local/ffmpeg") include_directories(${FFMPEG_DIR}/include) link_directories(${FFMPEG_DIR}/lib)

4.3 视频播放实现

下面是一个基本的LVGL FFmpeg播放器实现示例：

#include "lvgl/lvgl.h" #include "lv_lib_ffmpeg/lv_ffmpeg.h" void create_video_player(const char *video_path) { // 创建播放器对象 lv_obj_t *player = lv_ffmpeg_player_create(lv_scr_act()); // 设置视频源 lv_ffmpeg_player_set_src(player, video_path); // 设置自动重启 lv_ffmpeg_player_set_auto_restart(player, true); // 开始播放 lv_ffmpeg_player_set_cmd(player, LV_FFMPEG_PLAYER_CMD_START); // 居中显示 lv_obj_center(player); }

4.4 常见问题与修复

在实际集成过程中，可能会遇到以下问题：

1. 文件无法打开： 在较新版本的FFmpeg中，需要显式调用av_register_all()（在FFmpeg 3.4中已废弃，但某些情况下仍需要）。

   修改lv_ffmpeg.c文件，在打开文件前添加：

   av_register_all();

2. 内存不足： RV1106内存有限，需要优化视频解码参数：

   // 设置较小的解码缓冲区 AVCodecContext *codec_ctx = ...; codec_ctx->flags |= AV_CODEC_FLAG_LOW_DELAY; codec_ctx->thread_count = 1; // 减少线程数

3. 显示格式不匹配： 确保视频像素格式与LVGL显示格式匹配，通常需要转换为RGB565：

   // 在解码后添加格式转换 SwsContext *sws_ctx = sws_getContext( codec_ctx->width, codec_ctx->height, codec_ctx->pix_fmt, display_width, display_height, AV_PIX_FMT_RGB565, SWS_BILINEAR, NULL, NULL, NULL);

5. 性能优化与调试技巧

在资源受限的RV1106上实现流畅的视频播放需要精心优化。以下是一些实用的优化技巧：

5.1 视频参数优化

参数	推荐值	说明
分辨率	≤480p	RV1106适合处理较低分辨率视频
帧率	15-24fps	平衡流畅度和CPU负载
编码格式	H.264	硬件加速支持更好
码率	≤1Mbps	降低I/O和解码压力

5.2 内存管理

嵌入式系统内存有限，需要特别注意：

• 帧缓冲重用：避免频繁分配释放内存
• 双缓冲技术：减少显示撕裂
• 内存池：预分配关键数据结构

示例内存池实现：

#define FRAME_POOL_SIZE 3 AVFrame *frame_pool[FRAME_POOL_SIZE]; void init_frame_pool() { for (int i = 0; i < FRAME_POOL_SIZE; i++) { frame_pool[i] = av_frame_alloc(); } } AVFrame *get_frame_from_pool() { // 简单的轮询分配 static int index = 0; return frame_pool[(index++) % FRAME_POOL_SIZE]; }

5.3 多线程处理

合理使用多线程可以提高性能，但需要注意：

• 解码线程：单独线程处理视频解码
• 显示线程：主线程负责UI刷新
• 同步机制：使用互斥锁保护共享资源

示例线程模型：

pthread_t decode_thread; pthread_mutex_t frame_mutex; void *decode_func(void *arg) { while (running) { pthread_mutex_lock(&frame_mutex); // 解码一帧视频 pthread_mutex_unlock(&frame_mutex); usleep(1000); // 适当休眠 } return NULL; } void start_decode_thread() { pthread_mutex_init(&frame_mutex, NULL); pthread_create(&decode_thread, NULL, decode_func, NULL); }

5.4 硬件加速

RV1106具有视频解码硬件加速能力，可以通过以下方式利用：

1. 检查硬件解码支持：

   cat /proc/cpuinfo dmesg | grep -i vpu

2. 使用FFmpeg硬件解码： 在配置FFmpeg时启用硬件加速选项：

   ./configure --enable-omx --enable-omx-rk ...

3. 专用API调用： 某些平台提供专用的硬件解码API，可以显著提高性能。

6. 实际应用案例

让我们通过一个完整的视频播放器示例，展示如何将上述技术整合到一起。

6.1 播放器UI设计

使用LVGL创建简单的播放器界面：

typedef struct { lv_obj_t *player; lv_obj_t *play_btn; lv_obj_t *stop_btn; lv_obj_t *progress; bool is_playing; } video_player_t; video_player_t *create_video_ui() { video_player_t *vp = malloc(sizeof(video_player_t)); // 创建容器 lv_obj_t *cont = lv_obj_create(lv_scr_act()); lv_obj_set_size(cont, 320, 240); lv_obj_center(cont); // 创建播放器区域 vp->player = lv_ffmpeg_player_create(cont); lv_obj_set_size(vp->player, 300, 180); lv_obj_align(vp->player, LV_ALIGN_TOP_MID, 0, 10); // 创建控制按钮 vp->play_btn = lv_btn_create(cont); lv_obj_align(vp->play_btn, LV_ALIGN_BOTTOM_LEFT, 10, -10); lv_obj_t *play_label = lv_label_create(vp->play_btn); lv_label_set_text(play_label, "Play"); vp->stop_btn = lv_btn_create(cont); lv_obj_align(vp->stop_btn, LV_ALIGN_BOTTOM_RIGHT, -10, -10); lv_obj_t *stop_label = lv_label_create(vp->stop_btn); lv_label_set_text(stop_label, "Stop"); // 创建进度条 vp->progress = lv_bar_create(cont); lv_obj_set_size(vp->progress, 280, 10); lv_obj_align(vp->progress, LV_ALIGN_BOTTOM_MID, 0, -30); vp->is_playing = false; return vp; }

6.2 播放控制逻辑

实现基本的播放控制功能：

void play_btn_cb(lv_event_t *e) { video_player_t *vp = lv_event_get_user_data(e); if (!vp->is_playing) { lv_ffmpeg_player_set_src(vp->player, "/root/test.mp4"); lv_ffmpeg_player_set_cmd(vp->player, LV_FFMPEG_PLAYER_CMD_START); vp->is_playing = true; } } void stop_btn_cb(lv_event_t *e) { video_player_t *vp = lv_event_get_user_data(e); if (vp->is_playing) { lv_ffmpeg_player_set_cmd(vp->player, LV_FFMPEG_PLAYER_CMD_STOP); vp->is_playing = false; } } void setup_controls(video_player_t *vp) { lv_obj_add_event_cb(vp->play_btn, play_btn_cb, LV_EVENT_CLICKED, vp); lv_obj_add_event_cb(vp->stop_btn, stop_btn_cb, LV_EVENT_CLICKED, vp); }

6.3 进度更新与状态显示

实时更新播放进度和状态：

void update_progress(lv_timer_t *timer) { video_player_t *vp = timer->user_data; if (vp->is_playing) { int64_t duration = lv_ffmpeg_player_get_duration(vp->player); int64_t position = lv_ffmpeg_player_get_position(vp->player); if (duration > 0) { lv_bar_set_value(vp->progress, (position * 100) / duration, LV_ANIM_ON); } } } // 在主循环中添加定时器 lv_timer_create(update_progress, 100, vp);

7. 高级功能扩展

基础播放功能实现后，可以考虑添加更多高级特性。

7.1 网络视频流播放

通过FFmpeg支持网络流媒体播放：

// RTSP流播放示例 lv_ffmpeg_player_set_src(player, "rtsp://example.com/stream");

需要注意：

• 确保RV1106网络连接稳定
• 适当增加网络缓冲区大小
• 处理网络中断情况

7.2 视频滤镜应用

利用FFmpeg的滤镜功能实现简单特效：

// 添加旋转滤镜 lv_ffmpeg_player_set_filter(player, "transpose=1"); // 90度旋转 // 添加缩放滤镜 lv_ffmpeg_player_set_filter(player, "scale=160:120");

7.3 音频同步处理

如果需要音频支持，可以扩展音频处理：

1. 编译FFmpeg时启用音频支持
2. 添加音频设备初始化代码
3. 实现音视频同步逻辑

音频初始化示例：

SDL_AudioSpec wanted_spec, spec; wanted_spec.freq = 44100; wanted_spec.format = AUDIO_S16SYS; wanted_spec.channels = 2; wanted_spec.silence = 0; wanted_spec.samples = 1024; wanted_spec.callback = audio_callback; if (SDL_OpenAudio(&wanted_spec, &spec) < 0) { LV_LOG_ERROR("Failed to open audio: %s", SDL_GetError()); }

7.4 性能监控与调优

添加性能监控界面，实时显示：

• 帧率(FPS)
• CPU使用率
• 内存占用
• 解码延迟

实现示例：

void update_stats(lv_timer_t *timer) { static uint32_t last_time = 0; static uint32_t frames = 0; uint32_t current = lv_tick_get(); if (current - last_time >= 1000) { float fps = frames * 1000.0 / (current - last_time); lv_label_set_text_fmt(fps_label, "FPS: %.1f", fps); last_time = current; frames = 0; } frames++; }