编译hudi
-
下载hudi
git clone https://github.com/apache/incubator-hudi.git && cd incubator-hudi
-
编译
mvn clean install -DskipTests -DskipITs
注意: 这一步有可能会报错，我在编译的时候，因为hudi源码中hudi-utilities下的pom文件中有四个依赖用maven是获取不到的.所以这里只能去下载对应的jar包，手动安装到本地Repository
-
下载confluent
1.点击 DOWNLOAD FREE
2.会弹出一个界面,注意要填写邮件地址,并且勾选两个条约
3.最后点击右侧 DOWNLOAD Version 5.3.1(版本号,我下载的是这个版本)
4.稍等一会,压缩包便会下载好,然后解压
5.找出4个jar包目录分别在:
confluent-5.3.1\share\java\confluent-control-center\kafka-avro-serializer-5.3.1.jar
confluent-5.3.1\share\java\confluent-control-center\kafka-schema-registry-client-5.3.1.jar
confluent-5.3.1\share\java\confluent-common\common-config-5.3.1.jar
confluent-5.3.1\share\java\confluent-common\common-utils-5.3.1.jar
6.安装这些jar包到本地仓库(如果你的版本跟我不一样,请更改版本)
mvn install:install-file -DgroupId=io.confluent -DartifactId=common-config -Dversion=5.3.1 -Dpackaging=jar -Dfile=common-config-5.3.1.jar
mvn install:install-file -DgroupId=io.confluent -DartifactId=common-utils -Dversion=5.3.1 -Dpackaging=jar -Dfile=common-utils-5.3.1.jar
mvn install:install-file -DgroupId=io.confluent -DartifactId=kafka-avro-serializer -Dversion=5.3.1 -Dpackaging=jar -Dfile=kafka-avro-serializer-5.3.1.jar
mvn install:install-file -DgroupId=io.confluent -DartifactId=kafka-schema-registry-client -Dversion=5.3.1 -Dpackaging=jar -Dfile=kafka-schema-registry-client-5.3.1.jar
7.修改hudi-utilities下的pom
<!--Kafka-->
<dependency>
<groupId>io.confluent</groupId>
<artifactId>kafka-avro-serializer</artifactId>
<version>5.3.1</version>
</dependency>
<dependency>
<groupId>io.confluent</groupId>
<artifactId>common-config</artifactId>
<version>5.3.1</version>
</dependency>
<dependency>
<groupId>io.confluent</groupId>
<artifactId>common-utils</artifactId>
<version>5.3.1</version>
</dependency>
<dependency>
<groupId>io.confluent</groupId>
<artifactId>kafka-schema-registry-client</artifactId>
<version>5.3.1</version>
</dependency>
-
重新编译
mvn clean install -DskipTests -DskipITs
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
