Windows11编译Hadoop3.3.6源码

本文介绍: 由于还未发布3.3.6版本 win util s，因此尝试源码编译。

由于https://github.com/kontext-tech/winutils还未发布3.3.6版本，因此尝试源码编译

环境和安装包 准备，见2

zlib 编译

方法一：

VS2010打开zlib路径contribvstudiovc10zlibvc.sln

zlib的vs sln解决方案文件包含6个工程。其中：
(1). zlib vc 生成动态链接库zlibwapi.dll和对应的导入库zli bwapi.li b
(2). zli b stat 生成静态链接库zli b stat.lib
(3). testzlibdll 测试生成的动态链接库zlibwapi.dll
(4). testzlib测试生成的静态链接库zlibstat.lib

debug 模式下编译zlibvc和zlibstat，在zlib路径contribvstudiovc10x64的ZlibStatDebug和ZlibDllDebug文件夹中获取编译生成的文件
将这三个文件存入单独的文件夹中，将路径加入系统环境变量 path

方法二：

VS命令行工具进入到zlib根目录，执行 nmake -f win32/Makefile.msc ,在根目录下生成：zlib.lib(静态库) zdll.lib(动态库的导入库) zlib1.dll(动态库)
zlib2

配置文件 更改

1. maven 阿里云镜像

修改apache-maven-3.9.5路径confsettings.xml文件镜像 mirrors 节点，使用阿里云仓库，添加如下代码。

    <mirror&gt;
      <id&gt;aliyunmaven</id&gt;
      <mirrorOf&gt;*</mirrorOf&gt;
      <name&gt;阿里云公共仓库</name&gt;
      <url&gt;https://maven.aliyun.com/repository/public</url>
    </mirror>

不更改会很慢，亲测！！！

2. Node版本

编辑hadoop-3.3.6-srchadoop-yarn-projecthadoop-yarnhadoop-yarn-applicationshadoop-yarn-applications-cataloghadoop-yarn-applications-catalog-webapp的pom.xml文件
findnodeVersion，将<nodeVersion>${nodejs.version}</nodeVersion>改为自己的node版本<nodeVersion>v21.2.0</nodeVersion>
如果不更改会出现错误如下。

[ERROR] Failed to execute goal com.github.eirslett:frontend-maven-plugin:1.11.2:yarn (yarn install) on project 
hadoop-yarn-applications-catalog-webapp: Failed to run task: 'yarn ' failed. 
org.apache.commons.exec.
ExecuteException: Process exited with an error: 1 (Exit value: 1) -> [Help 1]

3. 越过Jav ad oc 检查

在pom.xml中禁用严格检查<additionalparam>-Xdoclint:none</additionalparam>

<plugins>
  <plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-javadoc-plugin</artifactId>
    <configuration>
      <additionalparam>-Xdoclint:none</additionalparam>
    </configuration>
  </plugin>
</plugins>

特别是hadoop-3.3.6-srchadoop-common-projecthadoop-annotationspom.xml需要更改，否则会出现如下错误。

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-javadoc-plugin:3.0.1:jar (module-javadocs) on project hadoop-annotations: MavenReportException: Error while generating Javadoc:

mvn 命令构建时跳过 Javadoc
mvn 其他参数 -Dmaven.javadoc.skip=true verify

编译Hadoop

VS命令行工具cd Hadoop文件夹下
执行命令mvn clean package -Pdist,native-win -DskipTests -Dtar -Dmaven.javadoc.skip=true
编译成功
编译后文件目录为hadoop-3.3.6-srchadoop-disttarget

Error,其他报错见3

RelWithDebInfo does not exist

hadoop-hdfs-projecthadoop-hdfs-native-clienttargetnativebinRelWithDebInfo does not exist

错误是这个目录不存在，则在hadoop-hdfs-projecthadoop-hdfs-native-clienttargetnative下手动创建这个目录，并根据提示在重新执行命令时添加参数-rf :hadoop-hdfs-native-client，如下。
mvn package -Pdist,native-win -DskipTests -Dtar -Dmaven.javadoc.skip=true -rf :hadoop-hdfs-native-client

hadoop-hdfs-native-client

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.x:run (make) on project hadoop-hdfs-native-client: An Ant BuildException has occured: exec returned: 1
[ERROR] around Ant part ...<exec failonerror="true" dir="hadoop路径hadoop-hdfs-projecthadoop-hdfs-native-clienttarget/native" executable="cmake">