深圳罗湖做网站58/百度导航下载安装手机导航
标题实在缩不到50个字，只好把开头的【“星睿O6”AI PC开发套件评测】简写了，远标题应该是
【“星睿O6”AI PC开发套件评测】三套OpenCV性能测试，OpenCL加速测试，KleidiCV加速测试，JPG硬件编码加速测试
安谋科技、此芯科技与瑞莎计算机联合打造了面向AI PC、边缘、机器人等不同场景的“星睿O6”开发套件
该套件异构集成了Arm®v9 CPU核心、Arm Immortalis™ GPU以及安谋科技“周易”NPU
三套OpenCV？
你没有看错，真的是三套！
OpenCV 是一个开源的计算机视觉和机器学习库，提供了各种图像处理和分析功能，比如滤镜、特征检测和对象识别，是我们实现炫酷视觉效果和聪明机器的好帮手
- 从 apt 安装的 opencv
apt安装的opencv是最完整的，能直接在cmake中 find_package(OpenCV) 找到和使用
apt install libopencv-dev
cmake例子
find_package(OpenCV REQUIRED)
add_executable(test main.cpp)
target_link_libraries(test ${OpenCV_LIBS})
- 原系统自带 cix-opencv
无需额外安装，系统自带，但是没有包含cmake的target文件，无法通过标准 find_package(OpenCV REQUIRED) 找到，用起来会稍微麻烦些，要自己配置下include/lib目录
include_directories(/usr/share/cix/include/opencv4)
link_directories(/usr/share/cix/lib)
add_executable(test main.cpp)
target_link_libraries(test opencv_highgui opencv_imgcodecs opencv_imgproc opencv_core)
- nihui/opencv-mobile
opencv-mobile 通过调整编译参数，删减部分opencv源码，来最小化编译的 opencv 库
提供了 opencv 常用的功能，如读写图片，处理，矩阵操作等等，版本与上游同步，无第三方依赖
在绝大多数情况下，以 1/10 的体积无痛替换官方 opencv，尤其适合对体积有特殊要求的移动端和嵌入式环境
opencv-4.11支持了KleidiCV库集成，KleidiCV利用了最新Arm CPU中的高性能图像处理功能，可被集成至各类计算机视觉框架中，从而简化并加速计算机视觉工作负载的性能优化，而无需开发者执行额外操作。
开启 KleidiCV 编译步骤
wget https://github.com/nihui/opencv-mobile/releases/latest/download/opencv-mobile-4.11.0.zip
unzip -q opencv-mobile-4.11.0.zip
cd opencv-mobile-4.11.0
mkdir build
cd build
cmake -DCMAKE_TOOLCHAIN_FILE=../aarch64-linux-gnu.toolchain.cmake -DCMAKE_INSTALL_PREFIX=`pwd`/install -DCMAKE_BUILD_TYPE=Release `cat ../options.txt` -DBUILD_opencv_world=OFF -DWITH_KLEIDICV=ON ..
make -j12
make install
假设最后安装到了 /home/radxa/opencv-mobile-4.11.0/build/install 路径，那么这样配置即可使用，比apt版本多一行
set(OpenCV_DIR "/home/radxa/opencv-mobile-4.11.0/build/install/lib/cmake/opencv4")
find_package(OpenCV REQUIRED)
add_executable(test main.cpp)
target_link_libraries(test ${OpenCV_LIBS})
图像处理测试 CPU 版本
为防止多线程测速时的耗时不稳定，规定只使用单线程
cv::setNumThreads(1);
为防止大小核心之间被调度导致耗时不稳定，用 taskset 命令绑定大核/小核
taskset -c 0 ./test
taskset -c 1 ./test
简单造了一套opencv图像处理，包含常用的缩放，旋转，高斯模糊，锐化，颜色空间转换，边缘检测，图像叠加，输入1920x1080的BGR图片，重复200轮取最小耗时
double mint = 999999;cv::Mat out;
cv::Mat grad_x;
cv::Mat grad_y;
cv::Mat abs_grad_x;
cv::Mat abs_grad_y;
for (int i = 0; i < 200; i++)
{double t0 = get_current_time();cv::resize(bgr, out, cv::Size(1000, 800));cv::rotate(out, out, cv::ROTATE_90_CLOCKWISE);cv::GaussianBlur(out, out, cv::Size(5, 5), 0, 0);cv::addWeighted(out, 2.f, out, -1.f, 0, out);cv::cvtColor(out, out, cv::COLOR_BGR2GRAY);cv::Sobel(out, grad_x, -1, 1, 0);cv::Sobel(out, grad_y, -1, 1, 0);cv::convertScaleAbs(grad_x, abs_grad_x);cv::convertScaleAbs(grad_y, abs_grad_y);cv::addWeighted(abs_grad_x, 0.5, abs_grad_y, 0.5, 0, out);double t1 = get_current_time();mint = std::min(mint, t1 - t0);
}fprintf(stderr, "mint %.2fms\n", mint);
图像处理测试 OpenCL 版本
apt和cix版opencv都支持OpenCL加速，经测试发现在orion o6上默认可用，结果和CPU一致
同样的过程用 UMat 跑一次
cv::ocl::setUseOpenCL(true);
double cl_mint = 999999;cv::UMat cl_bgr = bgr.getUMat(cv::ACCESS_READ);
cv::UMat cl_out;
cv::UMat cl_grad_x;
cv::UMat cl_grad_y;
cv::UMat cl_abs_grad_x;
cv::UMat cl_abs_grad_y;
for (int i = 0; i < 200; i++)
{double t0 = get_current_time();cv::resize(cl_bgr, cl_out, cv::Size(1000, 800));cv::rotate(cl_out, cl_out, cv::ROTATE_90_CLOCKWISE);cv::GaussianBlur(cl_out, cl_out, cv::Size(5, 5), 0, 0);cv::addWeighted(cl_out, 2.f, cl_out, -1.f, 0, cl_out);cv::cvtColor(cl_out, cl_out, cv::COLOR_BGR2GRAY);cv::Sobel(cl_out, cl_grad_x, -1, 1, 0);cv::Sobel(cl_out, cl_grad_y, -1, 1, 0);cv::convertScaleAbs(cl_grad_x, cl_abs_grad_x);cv::convertScaleAbs(cl_grad_y, cl_abs_grad_y);cv::addWeighted(cl_abs_grad_x, 0.5, cl_abs_grad_y, 0.5, 0, cl_out);double t1 = get_current_time();cl_mint = std::min(cl_mint, t1 - t0);
}fprintf(stderr, "cl_mint %.2fms\n", cl_mint);out = cl_out.getMat(cv::ACCESS_READ).clone();
图像处理性能测试结果
耗时(ms)，越小越好
结论如下
- CPU大核性能全面显著优于小核
- OpenCL性能显著优于CPU
- KleidiCV为opencv-mobile提供了有效的加速
因此
- CPU做图像处理，推荐使用 opencv-mobile + KleidiCV
- GPU做图像处理，apt和cix的区别不大
基于V4L2的JPG硬件编码
图像读写也是十分耗时的过程，这里再用三套opencv分别测试下 1920x1080 BGR JPG图片的编解码
cv::Mat bgr = cv::imread("in.jpg", 1);
cv::imwrite("out.jpg", bgr);
opencv-mobile之前做过一些soc的硬件编解码功能集成
通过 v4l2 工具发现，orion o6支持的硬件编解码能力十分全面！其中就包含了JPEG编解码
但遗憾的是，isp并没有单独暴露出来，无法利用isp硬件加速 RGB2YUV 这类的颜色空间转换
orion o6 支持的硬件解码
radxa@orion-o6:~/opencv/build$ v4l2-ctl -d 3 --list-formats-out
ioctl: VIDIOC_ENUM_FMTType: Video Output Multiplanar[0]: 'AVS1' (AVS, compressed)[1]: 'AVS2' (AVS2, compressed)[2]: 'H263' (H.263, compressed)[3]: 'H264' (H.264, compressed)[4]: 'HEVC' (HEVC, compressed)[5]: 'MPG2' (MPEG-2 ES, compressed)[6]: 'MPG4' (MPEG-4 Part 2 ES, compressed)[7]: 'VC1G' (VC-1 (SMPTE 412M Annex G), compressed)[8]: 'VC1L' (VC-1 (SMPTE 412M Annex L), compressed)[9]: 'VP80' (VP8, compressed)[10]: 'VP90' (VP9, compressed)[11]: 'AV01' (AV1, compressed)[12]: 'JPEG' (JFIF JPEG, compressed)[13]: 'MJPG' (Motion-JPEG, compressed)
orion o6 支持的硬件编码
radxa@orion-o6:~/opencv/build$ v4l2-ctl -d 4 --list-formats
ioctl: VIDIOC_ENUM_FMTType: Video Capture Multiplanar[0]: 'H264' (H.264, compressed)[1]: 'HEVC' (HEVC, compressed)[2]: 'VP80' (VP8, compressed)[3]: 'VP90' (VP9, compressed)[4]: 'JPEG' (JFIF JPEG, compressed)[5]: 'MJPG' (Motion-JPEG, compressed)
沿用之前做树莓派v4l2 jpg编码的经验 https://zhuanlan.zhihu.com/p/682444243
可以在 orion o6 上类似的实现 jpg 编码，区别在于不再需要 isp 中转，直接对编码器喂 RGB 数据就能得到 JPEG 数据
原本是要把jpg解码也一起实现，可惜倒腾了半天总是无法获取解码后的数据，由于没有技术资料，又缺乏相关参考代码，暂时放弃了 qaq
只测试了 1920x1080 的图片，代码写的比较粗糙，后续等有空整理后再 pull request 到 opencv-mobile 仓库中吧
JPG图像编解码性能测试结果
耗时(ms)，越小越好
结论如下
- cix版opencv的jpg编解码性能显著差于apt和opencv-mobile，即便都是用cpu处理
- 基于V4L2的JPG硬件编码能获得大幅加速！
小小的总结
- orion o6 的 armv9 cpu 能享受到 ARM KleidiCV 的优化成果，有加速效果
- orion o6 的 opencv opencl 整合很不错，没有遇到什么坑，使用 UMat 有加速效果
- orion o6 的 v4l2 视频编解码硬件适配全面，JPEG编码性能也很好，这对摄像头直播推流很有帮助