2017 年在 OS X 上从源代码构建 Apache Hadoop

到目前为止，我已经分叉了 Git 存储库：

https://github.com/apache/hadoop

我一直在寻找有关如何从源代码构建的信息，我尝试过以下命令：

mvn package -Pdist -Dtar -DskipTests

这导致了以下错误：

似乎没有关于此的良好文档，有人知道正确的程序吗？

UPDATE:

也尝试过这样的方式：

根据这个文件 https://gist.github.com/zedar/f631ace0759c1d512573，您需要让 get protoc 才能构建包

brew link --force --overwrite protobuf250

macOS 依赖项是：

$ brew install cmake
$ brew install zlib
$ brew install protobuf
$ brew install snappy

但无济于事：

顺便说一句，官方文档完全没有帮助——他们本质上是说“使用 Docker 容器 https://git-wip-us.apache.org/repos/asf?p=hadoop.git;a=blob;f=BUILDING.txt"

在 OSX 上使用 Homebrew：

安装所需的依赖项：

brew install [email protected] /cdn-cgi/l/email-protection gcc autoconf automake libtool cmake snappy gzip bzip2 zlib openssl

符号链接协议：

ln -s /usr/local/Cellar/[email protected] /cdn-cgi/l/email-protection/2.5.0/bin/protoc /usr/local/bin/protoc

验证版本（libprotoc 2.5.0）：

protoc --version

导出构建标志：

export OPENSSL_ROOT_DIR="/usr/local/opt/openssl"
export LDFLAGS="-L${OPENSSL_ROOT_DIR}/lib"
export CPPFLAGS="-I${OPENSSL_ROOT_DIR}/include"
export PKG_CONFIG_PATH="${OPENSSL_ROOT_DIR}/lib/pkgconfig"
export OPENSSL_INCLUDE_DIR="${OPENSSL_ROOT_DIR}/include"

检查 Hadoop 版本：

hadoop version

获取上面返回的版本的 Hadoop 源并构建：

wget https://archive.apache.org/dist/hadoop/core/hadoop-3.1.0/hadoop-3.1.0-src.tar.gz
tar zxvf hadoop-3.1.0-src.tar.gz
cd hadoop-3.1.0-src
mvn package -Dmaven.javadoc.skip=true -Pdist,native -DskipTests -Dtar

将本机库复制到您的 Homebrew 安装中：

cp -R hadoop-dist/target/hadoop-3.1.0/lib/ /usr/local/Cellar/hadoop/3.1.0/lib/

更新hadoop-env.sh：

vi /usr/local/Cellar/hadoop/3.1.0/libexec/etc/hadoop/hadoop-env.sh

修改HADOOP_OPTS（可以注释掉）：

export HADOOP_OPTS="-Djava.net.preferIPv4Stack=true -Djava.library.path=/usr/local/Cellar/hadoop/3.1.0/lib/native"

重新启动 Hadoop 并运行以下命令进行验证：

hadoop checknative -a

根据指示https://medium.com/@faizanahemad/hadoop-native-libraries-installation-on-mac-osx-d8338a6923db https://medium.com/@faizanahemad/hadoop-native-libraries-installation-on-mac-osx-d8338a6923db