我正在开发一个机器人项目,使用 Android 手机作为主处理器,并使用摄像头来检测运动。我拿到来自 OpenCV 的 Android 二进制包并正确安装。我可以使用 OpenCV 本机相机捕获图像并将其显示到屏幕上。不过,我在使用背景扣除类时遇到了问题。我可以在构造函数中创建一个新的 BackgroundSubtractorMOG 对象,但是当我尝试运行下面的代码时,它会强制退出,我从本机代码中收到错误“BackgroundSubtractorMOG 仅支持 1 通道和 3 通道 8 位图像”。我尝试将 Highgui.CV_CAP_ANDROID_COLOR_FRAME_RGBA 更改为 Highgui.CV_CAP_ANDROID_COLOR_FRAME_RGB,然后它不会强制退出,但我得到的只是黑屏。我很确定 BMP 对于 FRAME_RGB 仍然为空,因为屏幕保持黑色,并且我在位图之后绘制的 fps 计数器(为了清楚起见,从下面发布的代码中删除,作为故障排除步骤)没有显示。
我查看了该函数的 OpenCV C++ 代码(388行在这里),如果图像类型不是 CV_8UC1 或 CV_8UC3,则会出现图像类型错误,因此我尝试在 capture.retrieve() 中使用 java CvType.CV_8UC3 而不是 Highgui.CV_CAP_ANDROID_COLOR_FRAME_RGBA,但它强制关闭并得到“输出”不支持帧格式”错误。
我猜我刚刚遇到了类型转换问题,但我一生都无法弄清楚 OpenCV 的 Android 特定图像类型与记录的常规图像类型是否相符。任何帮助,将不胜感激。
变量:
private SurfaceHolder mHolder;
private VideoCapture mCamera;
private Mat mRgba;
private Mat mFGMask;
private BackgroundSubtractorMOG mBGSub;
我的 SurfaceView 的 run() 函数:
public void run() {
Bitmap bmp = null;
synchronized (this) {
if (mCamera == null)
break;
if (!mCamera.grab()) {
Log.e(TAG, "mCamera.grab() failed");
break;
}
processFrame(mCamera);
bmp = Bitmap.createBitmap(mFGMask.cols(), mFGMask.rows(), Bitmap.Config.ARGB_8888);
Utils.matToBitmap(mFGMask, bmp);
}
if (bmp != null) {
Canvas canvas = mHolder.lockCanvas();
if (canvas != null) {
canvas.drawBitmap(bmp, (canvas.getWidth() - bmp.getWidth()) / 2, (canvas.getHeight() - bmp.getHeight()) / 2, null);
mHolder.unlockCanvasAndPost(canvas);
}
bmp.recycle();
}
}
run()中引用的processFrame()函数:
protected void processFrame(VideoCapture capture) {
capture.retrieve(mRgba, Highgui.CV_CAP_ANDROID_COLOR_FRAME_RGBA);
mBGSub.apply(mRgba, mFGMask);
}
Edit:
最终有效的解决方案:
protected void processFrame(VideoCapture capture) {
capture.retrieve(mRgba, Highgui.CV_CAP_ANDROID_COLOR_FRAME_RGB);
//GREY_FRAME also works and exhibits better performance
//capture.retrieve(mRgba, Highgui.CV_CAP_ANDROID_GREY_FRAME);
mBGSub.apply(mRgba, mFGMask, 0.1);
Imgproc.cvtColor(mFGMask, mRgba, Imgproc.COLOR_GRAY2BGRA, 4);
}