构建适用于 Android 的 OpenCV 并将其与 NDK 一起使用

背景：我目前正在 Android Studio 上为 Moverio BT 200 增强现实眼镜开发一个应用程序。我正在使用 OpenCV，特别是该库的 arUco 模块。该模块必须与 NDK 一起使用。另外，它不在稳定版本中，所以我自己编译了该库（使用本指南：https://zami0xzami.wordpress.com/2016/03/17/building-opencv-for-android-from-source/）。图书馆建设进展顺利。之后，我做了一个android studio项目（customOCVtest）。我按照将 OpenCV 与 Android Studio 和 NDK 结合使用时一贯的方式进行操作，只不过这次是使用自定义构建。我检查了库是否已正确加载：

private static final String OCVdevTAG = "OCVmainAct";

static {
    System.loadLibrary("native-lib");
    if(!OpenCVLoader.initDebug()) {
        Log.d(OCVdevTAG, "OpenCV not loaded");
    } else {
        Log.d(OCVdevTAG, "OpenCV loaded");
    }
}

当我构建时，该库确实已加载。

现在问题来了：当我尝试在本机代码中实际使用 arUco 模块时（这是我的 native-lib.cpp）：

#include <jni.h>
#include <string>
#include <opencv2/aruco.hpp>

extern "C" {
jstring
Java_com_jambonsama_customocvtest_MainActivity_stringFromJNI(
    JNIEnv *env,
    jobject /* this */) {
std::string hello = "Hello from C++";
cv::Ptr<cv::aruco::Dictionary> dict = cv::aruco::getPredefinedDictionary(cv::aruco::DICT_6X6_250);
cv::Mat marker;
cv::aruco::drawMarker(dict, 25, 200, marker, 1);
return env->NewStringUTF(hello.c_str());
}
}

gradle 同步可以工作，但我无法构建。我收到以下错误：

Error:FAILURE: Build failed with an exception.

* What went wrong:
Execution failed for task ':app:externalNativeBuildDebug'.
> Build command failed.
Error while executing 'C:\Users\JambonSama\AppData\Local\Android\Sdk\cmake\3.6.3155560\bin\cmake.exe' with arguments {--build C:\Users\JambonSama\AndroidStudioProjects\customOCVtest\app\.externalNativeBuild\cmake\debug\mips64 --target native-lib}
[1/1] Linking CXX shared library ..\..\..\..\build\intermediates\cmake\debug\obj\mips64\libnative-lib.so
FAILED: cmd.exe /C "cd . && C:\Users\JambonSama\AppData\Local\Android\sdk\ndk-bundle\toolchains\llvm\prebuilt\windows-x86_64\bin\clang++.exe  -target mips64el-none-linux-android -gcc-toolchain C:/Users/JambonSama/AppData/Local/Android/sdk/ndk-bundle/toolchains/mips64el-linux-android-4.9/prebuilt/windows-x86_64 --sysroot=C:/Users/JambonSama/AppData/Local/Android/sdk/ndk-bundle/platforms/android-21/arch-mips64 -fPIC -g -DANDROID -ffunction-sections -funwind-tables -fstack-protector-strong -no-canonical-prefixes -Wa,--noexecstack -Wformat -Werror=format-security -fno-exceptions -fno-rtti -g -DANDROID -ffunction-sections -funwind-tables -fstack-protector-strong -no-canonical-prefixes -Wa,--noexecstack -Wformat -Werror=format-security -fno-exceptions -fno-rtti  -O0 -fno-limit-debug-info -O0 -fno-limit-debug-info  -Wl,--build-id -Wl,--warn-shared-textrel -Wl,--fatal-warnings -Wl,--no-undefined -Wl,-z,noexecstack -Qunused-arguments -Wl,-z,relro -Wl,-z,now -Wl,--build-id -Wl,--warn-shared-textrel -Wl,--fatal-warnings -Wl,--no-undefined -Wl,-z,noexecstack -Qunused-arguments -Wl,-z,relro -Wl,-z,now -shared -Wl,-soname,libnative-lib.so -o ..\..\..\..\build\intermediates\cmake\debug\obj\mips64\libnative-lib.so CMakeFiles/native-lib.dir/src/main/cpp/native-lib.cpp.o  C:/Libs/opencv_src/opencv/platforms/build_android_arm/install/sdk/native/libs/armeabi-v7a/libopencv_core.a C:/Libs/opencv_src/opencv/platforms/build_android_arm/install/sdk/native/libs/armeabi-v7a/libopencv_aruco.a -llog -lm "C:/Users/JambonSama/AppData/Local/Android/sdk/ndk-bundle/sources/cxx-stl/gnu-libstdc++/4.9/libs/mips64/libgnustl_static.a" && cd ."
C:/Users/JambonSama/AppData/Local/Android/sdk/ndk-bundle/toolchains/mips64el-linux-android-4.9/prebuilt/windows-x86_64/lib/gcc/mips64el-linux-android/4.9.x/../../../../mips64el-linux-android/bin\ld: C:/Libs/opencv_src/opencv/platforms/build_android_arm/install/sdk/native/libs/armeabi-v7a/libopencv_core.a(alloc.cpp.o): Relocations in generic ELF (EM: 40)
  C:/Users/JambonSama/AppData/Local/Android/sdk/ndk-bundle/toolchains/mips64el-linux-android-4.9/prebuilt/windows-x86_64/lib/gcc/mips64el-linux-android/4.9.x/../../../../mips64el-linux-android/bin\ld: C:/Libs/opencv_src/opencv/platforms/build_android_arm/install/sdk/native/libs/armeabi-v7a/libopencv_core.a(alloc.cpp.o): Relocations in generic ELF (EM: 40)
  C:/Users/JambonSama/AppData/Local/Android/sdk/ndk-bundle/toolchains/mips64el-linux-android-4.9/prebuilt/windows-x86_64/lib/gcc/mips64el-linux-android/4.9.x/../../../../mips64el-linux-android/bin\ld: C:/Libs/opencv_src/opencv/platforms/build_android_arm/install/sdk/native/libs/armeabi-v7a/libopencv_core.a(alloc.cpp.o): Relocations in generic ELF (EM: 40)
  C:/Users/JambonSama/AppData/Local/Android/sdk/ndk-bundle/toolchains/mips64el-linux-android-4.9/prebuilt/windows-x86_64/lib/gcc/mips64el-linux-android/4.9.x/../../../../mips64el-linux-android/bin\ld: C:/Libs/opencv_src/opencv/platforms/build_android_arm/install/sdk/native/libs/armeabi-v7a/libopencv_core.a(alloc.cpp.o): Relocations in generic ELF (EM: 40)
  C:/Users/JambonSama/AppData/Local/Android/sdk/ndk-bundle/toolchains/mips64el-linux-android-4.9/prebuilt/windows-x86_64/lib/gcc/mips64el-linux-android/4.9.x/../../../../mips64el-linux-android/bin\ld: C:/Libs/opencv_src/opencv/platforms/build_android_arm/install/sdk/native/libs/armeabi-v7a/libopencv_core.a(alloc.cpp.o): Relocations in generic ELF (EM: 40)
  C:/Users/JambonSama/AppData/Local/Android/sdk/ndk-bundle/toolchains/mips64el-linux-android-4.9/prebuilt/windows-x86_64/lib/gcc/mips64el-linux-android/4.9.x/../../../../mips64el-linux-android/bin\ld: C:/Libs/opencv_src/opencv/platforms/build_android_arm/install/sdk/native/libs/armeabi-v7a/libopencv_core.a(alloc.cpp.o): Relocations in generic ELF (EM: 40)
  C:/Users/JambonSama/AppData/Local/Android/sdk/ndk-bundle/toolchains/mips64el-linux-android-4.9/prebuilt/windows-x86_64/lib/gcc/mips64el-linux-android/4.9.x/../../../../mips64el-linux-android/bin\ld: C:/Libs/opencv_src/opencv/platforms/build_android_arm/install/sdk/native/libs/armeabi-v7a/libopencv_core.a(alloc.cpp.o): Relocations in generic ELF (EM: 40)
  C:/Users/JambonSama/AppData/Local/Android/sdk/ndk-bundle/toolchains/mips64el-linux-android-4.9/prebuilt/windows-x86_64/lib/gcc/mips64el-linux-android/4.9.x/../../../../mips64el-linux-android/bin\ld: C:/Libs/opencv_src/opencv/platforms/build_android_arm/install/sdk/native/libs/armeabi-v7a/libopencv_core.a(alloc.cpp.o): Relocations in generic ELF (EM: 40)
  C:/Users/JambonSama/AppData/Local/Android/sdk/ndk-bundle/toolchains/mips64el-linux-android-4.9/prebuilt/windows-x86_64/lib/gcc/mips64el-linux-android/4.9.x/../../../../mips64el-linux-android/bin\ld: C:/Libs/opencv_src/opencv/platforms/build_android_arm/install/sdk/native/libs/armeabi-v7a/libopencv_core.a(alloc.cpp.o): Relocations in generic ELF (EM: 40)
  C:/Libs/opencv_src/opencv/platforms/build_android_arm/install/sdk/native/libs/armeabi-v7a/libopencv_core.a: error adding symbols: File in wrong format
  clang++.exe: error: linker command failed with exit code 1 (use -v to see invocation)
  ninja: build stopped: subcommand failed.


* Try:
Run with --stacktrace option to get the stack trace. Run with --info or --debug option to get more log output.

特别是，此错误消息告诉我，我尝试使用以下参数进行构建：

{--build C:\Users\JambonSama\AndroidStudioProjects\customOCVtest\app\.externalNativeBuild\cmake\debug\mips64 --target native-lib}

这个参数是AS自动生成的，我找不到它传递的文件。我相信，如果我能找到它，我就可以为arm构建（这就是我想要的），而不是mips。问题是，我找不到它。 （我什至不确定这确实是我正在寻找的。我只是想让我的项目适合我的眼镜。）

下面是我的 CMakeLists.txt ：

# Sets the minimum version of CMake required to build the native
# library. You should either keep the default value or only pass a
# value of 3.4.0 or lower.

cmake_minimum_required(VERSION 3.4.1)

# Creates and names a library, sets it as either STATIC
# or SHARED, and provides the relative paths to its source code.
# You can define multiple libraries, and CMake builds it for you.
# Gradle automatically packages shared libraries with your APK.

add_library( # Sets the name of the library.
             native-lib

             # Sets the library as a shared library.
             SHARED

             # Provides a relative path to your source file(s).
             # Associated headers in the same location as their source
             # file are automatically included.
             src/main/cpp/native-lib.cpp )

include_directories(C:/Libs/opencv_src/opencv/platforms/build_android_arm/install/sdk/native/jni/include)

# Searches for a specified prebuilt library and stores the path as a
# variable. Because system libraries are included in the search path by
# default, you only need to specify the name of the public NDK library
# you want to add. CMake verifies that the library exists before
# completing its build.

find_library( # Sets the name of the path variable.
              log-lib

              # Specifies the name of the NDK library that
              # you want CMake to locate.
              log )

# Specifies libraries CMake should link to your target library. You
# can link multiple libraries, such as libraries you define in the
# build script, prebuilt third-party libraries, or system libraries.


target_link_libraries( # Specifies the target library.
                       native-lib
                       C:/Libs/opencv_src/opencv/platforms/build_android_arm/install/sdk/native/libs/armeabi-v7a/libopencv_core.a
                       C:/Libs/opencv_src/opencv/platforms/build_android_arm/install/sdk/native/libs/armeabi-v7a/libopencv_aruco.a

                       # Links the target library to the log library
                       # included in the NDK.
                       ${log-lib} )

这是我的应用程序 build.gradle ：

apply plugin: 'com.android.application'

android {
    compileSdkVersion 25
    buildToolsVersion "25.0.1"
    defaultConfig {
        applicationId "com.jambonsama.customocvtest"
        minSdkVersion 14
        targetSdkVersion 25
        versionCode 1
        versionName "1.0"
        testInstrumentationRunner "android.support.test.runner.AndroidJUnitRunner"
        externalNativeBuild {
            cmake {
                cppFlags ""
            }
        }
    }
    buildTypes {
        release {
            minifyEnabled false
            proguardFiles getDefaultProguardFile('proguard-android.txt'), 'proguard-rules.pro'
        }
    }
    externalNativeBuild {
        cmake {
            path "CMakeLists.txt"
        }
    }
    sourceSets { main { jni.srcDirs = ['src/main/jni', 'src/main/jniLibs/'] } }
}

dependencies {
    compile fileTree(include: ['*.jar'], dir: 'libs')
    androidTestCompile('com.android.support.test.espresso:espresso-core:2.2.2', {
        exclude group: 'com.android.support', module: 'support-annotations'
    })
    compile 'com.android.support:appcompat-v7:25.0.1'
    testCompile 'junit:junit:4.12'
    compile project(':openCVLibrary310dev')
}

和我的 openCVLibrary310dev build.gradle

apply plugin: 'com.android.library'

android {
    compileSdkVersion 25
    buildToolsVersion "23.0.2"

    defaultConfig {
        ndk {
            abiFilter("armeabi-v7a")
        }
        minSdkVersion 14
        targetSdkVersion 25
    }

    buildTypes {
        release {
            minifyEnabled false
            proguardFiles getDefaultProguardFile('proguard-android.txt'), 'proguard-rules.txt'
        }
    }
}

我尝试过的，主要是通过复制帮助其他人解决与我的问题相似的问题的内容：

#set(CMAKE_SYSTEM_NAME Android)

or

#set(CMAKE_TOOLCHAIN_FILE "Toolchain file" CACHE FILEPATH "C:/Libs/opencv_src/opencv/platforms/android.toolchain.cmake")

or

#set( CMAKE_CXX_COMPILER "C:/Libs/android-ndk-r13b/toolchains/arm-linux-androideabi-4.9/prebuilt/windows-x86_64/bin/arm-linux-androideabi-g++.exe" )

在 CMakeLists.txt 中

and

splits {
    abi {
        enable true
        reset()
        include 'armeabi-v7a'
        universalApk true
    }
}

or

tasks.getByPath(":app:linkMipsDebugRemoteDesktopSharedLibrary").enabled = false

在 build.gradle 中（我尝试了两者，因为我不知道哪一个应该拥有它）。

除了最后一段代码（task.getByPath ...）之外，同步有效，但我无法构建。对于最后一个，我什至无法同步。

我还尝试重建 mips 库，因为架构似乎是问题所在，但我不知道该怎么做。

我在哪里可以找到包含以下参数的文件：

{--build C:\Users\JambonSama\AndroidStudioProjects\customOCVtest\app\.externalNativeBuild\cmake\debug\mips64 --target native-lib}

构建时通过？和/或如何让 Android Studio 构建我的 Arm 架构项目？

因此，可以通过将以下代码添加到app的gradle.build中，在android块的末尾来解决mips架构问题：

productFlavors {
    armv7 {
        ndk {
            abiFilter "armeabi-v7a"
        }
    }
    fat
}

但随后，其他问题又出现了。值得注意的是，该库是使用胡萝卜素选项构建的，Android Studio 不喜欢这个选项，然后，gzlib 缺失，因此 Android Studio 无法构建和/或运行。因此，经过多次尝试，我终于实现了我想要的：在 Windows 上对 openCV 与 Android 的额外模块进行交叉编译，并使用上述构建的库构建一个 AS 项目以便它发挥作用。我记录了我的整个过程，从下载 openCV 源代码到在我的 arm 架构设备上运行我的应用程序，我将把它复制粘贴到这里，供任何也需要这样做的人使用。以下说明主要基于本教程（感谢写它的 Zamrath Nizam）。该教程的唯一问题是它可能有点旧，因此需要更改一些选项/步骤。

从源代码交叉编译 OPENCV，并使用 WINDOWS10 中适用于 Android 的额外模块

*第一：先决条件*

• 下载 OpenCV 并解压（例如在“../opencv-source”）
• 下载 OpenCV 额外模块并解压（例如在“../opencv-contrib-source”）
• 下载 Android NDK（例如在“../ndk-dir”）
• 下载 CMake（即“../cmake-dir”）和 MinGW（即“../mingw-dir”）
• 安装Android Studio

* 第二：使用 CMake 配置 *

• 转到“../opencv-source/platforms”并创建一个名为“build_android_arm”的文件夹
• in CMake, fill the following first two fields with the following paths :
  1. 源代码在哪里：'../opencv-source'
  2. 在哪里构建二进制文件：'../opencv-source/platforms/build_android_arm'
• add the following options via the 'Add Entry' :
  1. ANDROID_NDK，类型“路径”，值“../ndk-dir”
  2. ANDROID_NDK_HOST_X64，类型“布尔”，值 1
  3. CMAKE_TOOLCHAIN_FILE，类型“路径”，值“../opencv-source/platforms/android/android.toolchain.cmake”
• 按“配置”
• 选择“MinGW Makefiles”作为编译器
• 选择“指定用于交叉编译的工具链文件”
• press 'Next', and 'Finish'
  • 注意 1：只要没有出现错误消息，就一切正常。不必担心警告消息（例如 CMake 告诉您正在执行已弃用的操作）。
  • 注意 2：如果您无法在该步骤进行配置，请尝试阅读接下来的几点，它可能会有所帮助。

• 通过“搜索”字段更改以下附加选项：

  1. EXTRA_MODULE_PATH，类型“路径”，值“../opencv-contrib-source/modules”
  2. WITH_CAROTENE，类型“布尔”，值 0
  3. BUILD_ZLIB, type 'bool', value 1
     • 注意：在此步骤之前您必须已经配置过一次，因为之前创建的变量会重新分组到“未分组条目”组下，而以下变量是 CMake 自动生成的变量，需要分组到正确的组中（这不是“未分组的条目”）。

• 验证以下选项是否正确设置（通过“搜索”字段）：

  1. ANDROID_NDK_HOST_X64，类型“布尔”，值 1
  2. CMAKE_MAKE_PROGRAM，输入“路径”，值“../mingw-dir/bin/mingw32-make.exe”。这个选项，实际上我的 CMake 配置中没有它。如果当您按“配置”时，它不起作用并且您没有此选项，那么您应该尝试添加它（但我不知道如何添加）。如果当您按“配置”时没有任何问题，则不必担心该变量。此检查来自上面链接的原始教程。
  3. CMAKE_TOOLCHAIN_FILE，类型“路径”，值“../opencv-source/platforms/android/android.toolchain.cmake”

• 按“配置”

• 选择“MinGW Makefiles”作为编译器
• 选择“指定用于交叉编译的工具链文件”
• 按“下一步”和“完成”
• 按“生成”

* 第三：使用 mingw 编译 *

• 转到 '../mingw-dir/msys/1.0' 并运行 'msys' bash 文件
• 导航到“../opencv-source/platforms/android_arm”
• 运行“mingw32-make”命令
• 运行“mingw32-make install”命令

* 第四：安卓项目 *

• launch Android Studio and create a new project :
  1. 选择文件 -> 新建 -> 新建项目...
  2. 将“应用程序名称”填写为“cOCV”
  3. 选中“包括 C++ 支持”框
  4. 点击下一步'
  5. 选择您的最小 SDK（假设 API 14：Android 4.0 (IceCreamSandwich)
  6. 单击“下一步”、“下一步”和“完成”

• 转到文件 -> 新建 -> 导入模块...

  1. 提供'../opencv-source/platforms/android_arm/install/sdk/java'
  2. 单击“下一步”和“完成”

• 更改 openCVLibraryXXX（导入模块）文件夹中的 build.gradle 文件中的目标：

  1. compileSdkVersion 和 targetSdkVersion 应该相同，大于或等于 23
  2. minSdkVersion 需与创建项目时指定的一致

• 在 openCVLibraryXXX （导入模块）文件夹中的 build.gradle 文件中：

  1. 将“应用插件：com.android.application”替换为“应用插件：com.android.library”
  2. remove the line 'applicationId "org.opencv"'
     • 注意：完成最后一步是为了避免以下错误：“项目应用程序上未指定解析为不支持作为编译依赖项的 APK 存档”。

• 将导入的库作为依赖项添加到“文件”->“项目结构”中的“应用程序”模块

• 在 'app/src/main' 中创建 jniLibs 文件夹：

  1. 在左侧菜单的 Android 视图中右键单击“应用程序”
  2. 单击“新建文件夹-JNI 文件夹”
  3. 检查“更改文件夹位置”
  4. 将“目标源集”设置为“app/src/main/jniLibs”

• 从“opencv-source/platforms/android_arm/install/sdk/native/libs”复制 OpenCV 库 进入新创建的文件夹（jniLibs） 'AndroidStudioProjects/cOCV/app/src/main/jniLibs' 文件夹

  • 注意：例如，我的 AndroidStudioProjects 文件夹位于“C:\Users\JambonSama\AndroidStudioProjects”。

• 在 'opencv-contrib-source/modules/module_you_desperately_need/CMakeLists.txt' 中，将 'ocv_define_module(module_you_desperately_need opencv some other module)' 更改为 'ocv_define_module(module_you_desperately_need opencv some other module WRAP java)'

  • 注意 1：这一步可能没有用，因为 WRAP java 可能已经写入文件中。
  • 注2：如果也写了“python”，没关系，你就让它写在原来的地方。

• 在 CMakeLists.txt 中，添加：

  1. 以下两行位于“add_library”块之后和“find_library”块之前：

      include_directories(../opencv_src/opencv/platforms/build_android_armn/install/sdk/native/jni/include)
      link_directories(../AndroidStudioProjects/cOCVn/app/src/main/jniLibs/armeabi-v7a)
     

     • 注意：这两行非常直接地给出了包含目录和链接目录的路径

  2. “find_library”块之后和“target_link_libraries”块之前的以下行：

      file(GLOB PARTYLIBS "../opencv_src/opencv/platforms/build_android_armn/install/sdk/native/3rdparty/libs/armeabi-v7a/*.a")
      file(GLOB CVLIBS  "../opencv_src/opencv/platforms/build_android_armn/install/sdk/native/libs/armeabi-v7a/*.a")
     

     • 注意：这些是为了更容易链接命令，请参阅下一点。

  3. 以下路径（按书面形式）位于“target_link_libraries”中，位于“native-lib”变量之后、“${log-lib}”之前：

      ${CVLIBS}
      ${PARTYLIBS}
      ${CVLIBS}
     

     • 注意：这是棘手的部分：由于循环依赖性，您必须编写 CVLIBS、PARTYLIBS，然后再次编写 CVLIBS，否则您将不会停止出现链接错误。到现在为止，一切都应该链接起来。

• 在app的gradle.build中，添加以下代码：

       productFlavors {
           armv7 {
               ndk {
                   abiFilter "armeabi-v7a"
               }
           }
           fat
      }
  

  在 android 块的末尾

  • 注意：通过一劳永逸地指定arm架构，可以防止构建时出现mips64架构错误

• 在native-lib.cpp中：

  1. 在'stringFromJNI'函数中尝试以下代码（这是在创建项目时由AS自动生成的）

      cv::Mat test;
      cv::VideoCapture camera;
      camera.open(0);
      cv::Ptrcv::aruco::Dictionary dict = cv::aruco::getPredefinedDictionary(cv::aruco::DICT_6X6_250);
      cv::Mat marker;
      cv::aruco::drawMarker(dict, 25, 200, marker, 1);
      std::string hello = "Hello from C++";
      return env-NewStringUTF(hello.c_str());
     

  2. 不要忘记以下内容：

      #include jni.h
      #include string
      #include opencv2/aruco.hpp
      #include opencv2/videoio.hpp
     

     • 注意：因为该字符串不是在函数结束之前生成的，所以您知道，当您测试时，如果该字符串确实显示在屏幕上，则该函数已经执行完毕，没有问题，并且您很好（因为上面提供的代码使用了一些截至 2016 年 8 月 12 日尚未稳定发布的模块（12 月 8 日，我以 dd/mm/yyyy 格式编写日期）。

• 测试时间：

  1. 同步 gradle
  2. build
  3. 在arm设备上运行

你可以走了 \ o \\ O // o /

补充笔记 ：

• 所有 gradle.build 文件和 CMakeLists.txt 文件都可以在 AS 窗口左侧菜单中的 Android 视图中轻松找到。
• 请记住，如果您在命令窗口中导航时遇到错误，那么您的“/”可能应该是“\”，或者反之亦然。 （“cd”命令用于在命令窗口中导航）。
• 我在 Windows 10 上运行。
• 如果您不太确定应该逐步在屏幕上看到什么，我在答案开头提到的教程应该可以让您很好地了解在创建 AS 项目之前应该看到什么。然后，您可以看一下本教程，其中解释了如何在正式版本的 Android Studio 项目中设置 OpenCV SDK。我提供的步骤与这两个教程都不同，但我把它们放在这里，因为它们可以帮助您了解屏幕/窗口应该是什么样子。