Hadoop之mapreduce参数大全-5

101.指定任务启动过程中允许的最大跳过尝试次数

mapreduce.task.skip.start.attempts 是 Hadoop MapReduce 框架中的一个配置属性，用于指定任务启动过程中允许的最大跳过尝试次数。

在 MapReduce 作业中，如果某个任务（Map 任务或 Reduce 任务）在启动过程中遇到了错误，框架可以尝试跳过失败的任务，并继续执行其他任务。mapreduce.task.skip.start.attempts 就是用来限制任务启动阶段的跳过尝试次数。

在 Hadoop MapReduce 配置文件中，可以通过以下方式设置 mapreduce.task.skip.start.attempts：

<property>
  <name>mapreduce.task.skip.start.attempts</name>
  <value>3</value> <!-- 设置为期望的最大跳过尝试次数 -->
</property>

上述配置中，mapreduce.task.skip.start.attempts 的值为 3，表示允许任务启动过程中最多尝试跳过 3 次。如果某个任务在启动时连续失败了 3 次，那么后续的跳过尝试将被禁止，任务将终止。

这个配置属性的设置可以影响作业的容错性。通过允许一定次数的任务启动阶段的跳过，可以避免由于一些暂时的问题导致整个作业失败。然而，在设置此属性时，需要权衡容错和作业执行的稳定性。

102.指定当作业启用跳过模式（skip mode）时，跳过执行的任务的输出目录

mapreduce.job.skip.outdir 是 Hadoop MapReduce 框架中的一个配置属性，用于指定当作业启用跳过模式（skip mode）时，跳过执行的任务的输出目录。

在 MapReduce 作业中，如果启用了跳过模式，当某个任务执行失败并被跳过时，框架会尝试继续执行后续的任务。mapreduce.job.skip.outdir 允许指定一个目录，该目录用于存储跳过执行的任务的输出数据。

在 Hadoop MapReduce 配置文件中，可以通过以下方式设置 mapreduce.job.skip.outdir：

<property>
  <name>mapreduce.job.skip.outdir</name>
  <value>/path/to/skip/output</value> <!-- 设置为跳过执行任务的输出目录路径 -->
</property>

上述配置中，/path/to/skip/output 是一个示例路径，表示当作业启用跳过模式时，跳过执行的任务的输出数据将被存储在该目录下。

启用跳过模式可以提高作业的容错性，避免由于某个任务的失败而导致整个作业无法完成。通过设置 mapreduce.job.skip.outdir，可以将跳过执行的任务的输出数据保存下来，以便后续分析和处理。

请注意，要使用跳过模式，还需要设置 mapreduce.job.skip.mode 为 true，并确保作业的配置和任务的逻辑正确处理跳过执行的情况。

103.指定在跳过模式（skip mode）下，Map 任务可以跳过的最大记录数

mapreduce.map.skip.maxrecords 是 Hadoop MapReduce 框架中的一个配置属性，用于指定在跳过模式（skip mode）下，Map 任务可以跳过的最大记录数。

在 MapReduce 作业中，如果启用了跳过模式，当某个 Map 任务执行失败并被跳过时，框架会尝试继续执行后续的 Map 任务。mapreduce.map.skip.maxrecords 允许设置一个阈值，当一个 Map 任务的失败记录数达到或超过该阈值时，该任务将被跳过。

在 Hadoop MapReduce 配置文件中，可以通过以下方式设置 mapreduce.map.skip.maxrecords：

<property>
  <name>mapreduce.map.skip.maxrecords</name>
  <value>1000</value> <!-- 设置为期望的最大跳过记录数 -->
</property>

上述配置中，mapreduce.map.skip.maxrecords 的值为 1000，表示当一个 Map 任务的失败记录数达到或超过 1000 条时，该任务将被跳过。

通过设置这个属性，可以灵活控制在跳过模式下对于失败的 Map 任务的处理策略。超过指定记录数的任务将被跳过，以避免由于某个任务的错误导致整个作业失败。

请注意，要使用跳过模式，还需要设置 mapreduce.job.skip.mode 为 true，并确保作业的配置和任务的逻辑正确处理跳过执行的情况。

104.指定在跳过模式（skip mode）下，自动增加的 Map 任务的处理次数是否自动递增

mapreduce.map.skip.proc-count.auto-incr 是 Hadoop MapReduce 框架中的一个配置属性，用于指定在跳过模式（skip mode）下，自动增加的 Map 任务的处理次数是否自动递增。

在 MapReduce 作业中，如果启用了跳过模式，当某个 Map 任务执行失败并被跳过时，框架会尝试继续执行后续的 Map 任务。mapreduce.map.skip.proc-count.auto-incr 允许设置是否自动递增自动跳过的任务的处理次数。

在 Hadoop MapReduce 配置文件中，可以通过以下方式设置 mapreduce.map.skip.proc-count.auto-incr：

<property>
  <name>mapreduce.map.skip.proc-count.auto-incr</name>
  <value>true</value> <!-- 设置为 true 表示自动递增处理次数 -->
</property>

上述配置中，mapreduce.map.skip.proc-count.auto-incr 的值为 true，表示在跳过模式下，自动跳过的 Map 任务的处理次数将自动递增。

如果设置为 false，则自动跳过的任务在下一次执行时仍然具有相同的处理次数。如果设置为 true，则每次自动跳过后，处理次数会递增，以防止任务无限制地重试。

这个属性的设置可以影响跳过模式下对于失败的 Map 任务的处理方式。选择是否自动递增处理次数取决于具体的需求和作业执行的策略。

请注意，要使用跳过模式，还需要设置 mapreduce.job.skip.mode 为 true，并确保作业的配置和任务的逻辑正确处理跳过执行的情况。

105.指定在跳过模式（skip mode）下，Reduce 任务可以跳过的最大分组数

mapreduce.reduce.skip.maxgroups 是 Hadoop MapReduce 框架中的一个配置属性，用于指定在跳过模式（skip mode）下，Reduce 任务可以跳过的最大分组数。

在 MapReduce 作业中，如果启用了跳过模式，当某个 Reduce 任务执行失败并被跳过时，框架会尝试继续执行后续的 Reduce 任务。mapreduce.reduce.skip.maxgroups 允许设置一个阈值，当一个 Reduce 任务的失败分组数达到或超过该阈值时，该任务将被跳过。

在 Hadoop MapReduce 配置文件中，可以通过以下方式设置 mapreduce.reduce.skip.maxgroups：

<property>
  <name>mapreduce.reduce.skip.maxgroups</name>
  <value>10</value> <!-- 设置为期望的最大跳过分组数 -->
</property>

上述配置中，mapreduce.reduce.skip.maxgroups 的值为 10，表示当一个 Reduce 任务的失败分组数达到或超过 10 个时，该任务将被跳过。

通过设置这个属性，可以灵活控制在跳过模式下对于失败的 Reduce 任务的处理策略。超过指定分组数的任务将被跳过，以避免由于某个任务的错误导致整个作业失败。

请注意，要使用跳过模式，还需要设置 mapreduce.job.skip.mode 为 true，并确保作业的配置和任务的逻辑正确处理跳过执行的情况。

106.指定在跳过模式（skip mode）下，自动增加的 Reduce 任务的处理次数是否自动递增

mapreduce.reduce.skip.proc-count.auto-incr 是 Hadoop MapReduce 框架中的一个配置属性，用于指定在跳过模式（skip mode）下，自动增加的 Reduce 任务的处理次数是否自动递增。

在 MapReduce 作业中，如果启用了跳过模式，当某个 Reduce 任务执行失败并被跳过时，框架会尝试继续执行后续的 Reduce 任务。mapreduce.reduce.skip.proc-count.auto-incr 允许设置是否自动递增自动跳过的任务的处理次数。

在 Hadoop MapReduce 配置文件中，可以通过以下方式设置 mapreduce.reduce.skip.proc-count.auto-incr：

<property>
  <name>mapreduce.reduce.skip.proc-count.auto-incr</name>
  <value>true</value> <!-- 设置为 true 表示自动递增处理次数 -->
</property>

上述配置中，mapreduce.reduce.skip.proc-count.auto-incr 的值为 true，表示在跳过模式下，自动跳过的 Reduce 任务的处理次数将自动递增。

如果设置为 false，则自动跳过的任务在下一次执行时仍然具有相同的处理次数。如果设置为 true，则每次自动跳过后，处理次数会递增，以防止任务无限制地重试。

这个属性的设置可以影响跳过模式下对于失败的 Reduce 任务的处理方式。选择是否自动递增处理次数取决于具体的需求和作业执行的策略。

请注意，要使用跳过模式，还需要设置 mapreduce.job.skip.mode 为 true，并确保作业的配置和任务的逻辑正确处理跳过执行的情况。

107.指定是否启用 Map 任务对于中间文件（Intermediate File）的预读取（read-ahead）

mapreduce.ifile.readahead 是 Hadoop MapReduce 框架中的一个配置属性，用于指定是否启用 Map 任务对于中间文件（Intermediate File）的预读取（read-ahead）。

在 MapReduce 作业中，Map 任务的输出会被写入中间文件，而这些中间文件会被 Reduce 任务用作输入。通过设置 mapreduce.ifile.readahead，可以控制在 Reduce 任务开始读取中间文件之前，是否对中间文件进行预读取。

在 Hadoop MapReduce 配置文件中，可以通过以下方式设置 mapreduce.ifile.readahead：

<property>
  <name>mapreduce.ifile.readahead</name>
  <value>true</value> <!-- 设置为 true 表示启用预读取 -->
</property>

上述配置中，mapreduce.ifile.readahead 的值为 true，表示启用对中间文件的预读取。

启用预读取可以在一定程度上提高 Reduce 任务的性能，因为中间文件的内容可以在实际读取之前被预先加载到内存中。这有助于减少磁盘 I/O 操作，并提高数据的可用性。

请注意，启用预读取可能会占用更多的内存资源，因此需要在考虑性能优化时仔细评估。在某些情况下，禁用预读取可能更合适，具体取决于作业和集群的特定需求。

108.指定在启用 Map 任务对于中间文件（Intermediate File）的预读取（read-ahead）时，要预读取的字节数

mapreduce.ifile.readahead.bytes 是 Hadoop MapReduce 框架中的一个配置属性，用于指定在启用 Map 任务对于中间文件（Intermediate File）的预读取（read-ahead）时，要预读取的字节数。

在 MapReduce 作业中，Map 任务的输出会被写入中间文件，而这些中间文件会被 Reduce 任务用作输入。通过设置 mapreduce.ifile.readahead.bytes，可以控制每次预读取的字节数。

在 Hadoop MapReduce 配置文件中，可以通过以下方式设置 mapreduce.ifile.readahead.bytes：

<property>
  <name>mapreduce.ifile.readahead.bytes</name>
  <value>4096</value> <!-- 设置为期望的预读取字节数 -->
</property>

上述配置中，mapreduce.ifile.readahead.bytes 的值为 4096，表示每次预读取 4096 字节的数据。

通过调整这个属性的值，可以根据实际的硬件性能和数据分布情况来优化预读取策略。较大的预读取字节数可能会提高读取性能，但也会占用更多的内存资源。

请注意，启用预读取功能需要确保 Hadoop 版本和配置支持该特性，并且根据具体需求进行适当的调整。

109.指定提交的 MapReduce 作业所属的队列（Queue）名称

mapreduce.job.queuename 是 Hadoop MapReduce 框架中的一个配置属性，用于指定提交的 MapReduce 作业所属的队列（Queue）名称。

在 Hadoop 集群中，可以通过资源管理器（ResourceManager）对资源进行调度和管理。资源管理器可以配置多个队列，每个队列都有自己的资源配额。通过将作业分配到不同的队列中，可以更好地控制资源的分配和调度。

在 Hadoop MapReduce 配置文件中，可以通过以下方式设置 mapreduce.job.queuename：

<property>
  <name>mapreduce.job.queuename</name>
  <value>myQueue</value> <!-- 设置为期望的队列名称 -->
</property>

上述配置中，mapreduce.job.queuename 的值为 myQueue，表示将提交的 MapReduce 作业分配到名为 myQueue 的队列中。

通过设置这个属性，可以根据作业的优先级和资源需求将作业放置到不同的队列中，以更好地利用集群资源。请注意，确保指定的队列名称在资源管理器中存在，且配置正确。

这个属性在多租户环境中非常有用，可以根据不同的作业需求将其分配到不同的队列，以确保公平调度和资源隔离。

110.为提交的 MapReduce 作业设置标签（tags）

mapreduce.job.tags 是 Hadoop MapReduce 框架中的一个配置属性，用于为提交的 MapReduce 作业设置标签（tags）。

在 Hadoop 集群中，可以为作业设置标签，标签是一些描述性的元信息，可以帮助用户对作业进行分类、跟踪和管理。通过设置 mapreduce.job.tags，可以为作业关联一个或多个标签。

在 Hadoop MapReduce 配置文件中，可以通过以下方式设置 mapreduce.job.tags：

<property>
  <name>mapreduce.job.tags</name>
  <value>production,urgent</value> <!-- 设置为期望的标签列表 -->
</property>

上述配置中，mapreduce.job.tags 的值为 production,urgent，表示将提交的 MapReduce 作业关联到两个标签，分别是 production 和 urgent。

通过为作业设置标签，可以在资源管理器和作业历史服务器等界面中方便地对作业进行过滤、搜索和分类。这对于跟踪和管理大规模集群中的作业非常有用。

请注意，标签之间使用逗号分隔。可以根据具体的管理和监控需求，为作业设置适当的标签，以便更好地组织和管理作业。

111.指定 MapReduce 作业执行期间在本地文件系统上存储临时数据的目录

mapreduce.cluster.local.dir 是 Hadoop MapReduce 框架中的一个配置属性，用于指定 MapReduce 作业执行期间在本地文件系统上存储临时数据的目录。

在 MapReduce 作业执行期间，框架需要在本地文件系统上创建临时文件和目录，用于存储中间数据、任务输出等。mapreduce.cluster.local.dir 允许用户配置这些临时数据存储的本地目录路径。

在 Hadoop MapReduce 配置文件中，可以通过以下方式设置 mapreduce.cluster.local.dir：

<property>
  <name>mapreduce.cluster.local.dir</name>
  <value>/path/to/local/dir</value> <!-- 设置为期望的本地目录路径 -->
</property>

上述配置中，/path/to/local/dir 是一个示例路径，表示指定 MapReduce 作业执行期间的本地临时目录。

配置 mapreduce.cluster.local.dir 对于确保作业在本地文件系统上有足够的空间和性能是很重要的。这些本地目录通常用于存储 Map 任务的中间输出、Reduce 任务的输入和输出等临时数据。在配置时，需要确保所指定的目录路径具有足够的可用空间，并且可以满足作业的性能需求。

请注意，这是一个集群范围的配置，通常在 Hadoop 集群的 mapred-site.xml 文件中进行设置。

112.指定是否启用作业访问控制列表（ACLs）功能

mapreduce.cluster.acls.enabled 是 Hadoop MapReduce 框架中的一个配置属性，用于指定是否启用作业访问控制列表（ACLs）功能。

在 Hadoop 集群中，作业访问控制列表允许管理员定义哪些用户或用户组有权提交、管理和访问特定的 MapReduce 作业。通过启用 ACLs，可以更精细地控制对 MapReduce 作业的访问权限。

在 Hadoop MapReduce 配置文件中，可以通过以下方式设置 mapreduce.cluster.acls.enabled：

<property>
  <name>mapreduce.cluster.acls.enabled</name>
  <value>true</value> <!-- 设置为 true 表示启用 ACLs -->
</property>

上述配置中，mapreduce.cluster.acls.enabled 的值为 true，表示启用了作业访问控制列表功能。

启用 ACLs 可以提高集群的安全性，并确保只有授权用户能够提交、管理和访问作业。管理员可以进一步配置 ACLs 规则，定义允许或拒绝的用户和用户组。

请注意，在启用 ACLs 功能时，还需要配置其他相关的 ACLs 属性，如 mapreduce.cluster.acls.admins、mapreduce.cluster.acls.view-job 等，以定义具体的访问规则。配置 ACLs 需要仔细考虑集群中用户和组的管理策略。

113.设置哪些用户或用户组有权修改（kill、suspend、resume 等）指定的 MapReduce 作业

mapreduce.job.acl-modify-job 是 Hadoop MapReduce 框架中的一个配置属性，用于设置哪些用户或用户组有权修改（kill、suspend、resume 等）指定的 MapReduce 作业。

在 Hadoop 集群中，作业访问控制列表（ACLs）允许管理员定义哪些用户或用户组有权执行不同的作业操作。mapreduce.job.acl-modify-job 配置项用于指定具有修改（kill、suspend、resume 等）作业权限的用户或用户组。

在 Hadoop MapReduce 配置文件中，可以通过以下方式设置 mapreduce.job.acl-modify-job：

<property>
  <name>mapreduce.job.acl-modify-job</name>
  <value>user1,user2;group1,group2</value>
  <!-- 设置允许修改作业的用户和用户组列表 -->
</property>

上述配置中，mapreduce.job.acl-modify-job 的值包含了两个部分，以分号 (;) 分隔。第一个部分是允许修改作业的用户列表，第二个部分是允许修改作业的用户组列表。

例如，配置 mapreduce.job.acl-modify-job 的值为 user1,user2;group1,group2 表示 user1 和 user2 以及 group1 和 group2 这些用户和用户组有权修改作业。

配置这个属性可以限制哪些用户或用户组有权对作业进行修改操作，以提高集群的安全性和控制权限。

请注意，ACLs 相关的配置需要谨慎处理，确保配置符合安全性和业务需求。

114.设置哪些用户或用户组有权查看指定的 MapReduce 作业信息

mapreduce.job.acl-view-job 是 Hadoop MapReduce 框架中的一个配置属性，用于设置哪些用户或用户组有权查看指定的 MapReduce 作业信息。

在 Hadoop 集群中，作业访问控制列表（ACLs）允许管理员定义哪些用户或用户组有权执行不同的作业操作。mapreduce.job.acl-view-job 配置项用于指定具有查看作业信息权限的用户或用户组。

在 Hadoop MapReduce 配置文件中，可以通过以下方式设置 mapreduce.job.acl-view-job：

<property>
  <name>mapreduce.job.acl-view-job</name>
  <value>user1,user2;group1,group2</value>
  <!-- 设置允许查看作业信息的用户和用户组列表 -->
</property>

上述配置中，mapreduce.job.acl-view-job 的值包含了两个部分，以分号 (;) 分隔。第一个部分是允许查看作业信息的用户列表，第二个部分是允许查看作业信息的用户组列表。

例如，配置 mapreduce.job.acl-view-job 的值为 user1,user2;group1,group2 表示 user1 和 user2 以及 group1 和 group2 这些用户和用户组有权查看作业信息。

配置这个属性可以限制哪些用户或用户组有权查看作业的详细信息，以提高集群的安全性和控制权限。

请注意，ACLs 相关的配置需要谨慎处理，确保配置符合安全性和业务需求。

115.指定在所有 Reduce 任务完成后是否立即结束作业

mapreduce.job.finish-when-all-reducers-done 是 Hadoop MapReduce 框架中的一个配置属性，用于指定在所有 Reduce 任务完成后是否立即结束作业。

在默认情况下，MapReduce 作业会等待所有的 Map 任务和 Reduce 任务完成后才会结束。然而，如果设置了 mapreduce.job.finish-when-all-reducers-done 为 false，那么作业将在所有的 Reduce 任务完成后立即结束，而不需要等待 Map 任务的完成。

在 Hadoop MapReduce 配置文件中，可以通过以下方式设置 mapreduce.job.finish-when-all-reducers-done：

<property>
  <name>mapreduce.job.finish-when-all-reducers-done</name>
  <value>false</value> <!-- 设置为 false 表示在所有 Reduce 任务完成后立即结束作业 -->
</property>

上述配置中，mapreduce.job.finish-when-all-reducers-done 的值为 false，表示作业将在所有 Reduce 任务完成后立即结束。

设置这个属性可以提前结束作业，而不必等待所有 Map 任务的完成。这对于一些特定的场景和需求可能会有用，例如，当用户关心的是 Reduce 阶段的输出而不关心 Map 阶段的输出时。

请注意，根据具体的作业需求和逻辑，谨慎使用这个配置属性，以确保得到期望的作业执行结果。

116.指定是否启用作业令牌跟踪标识（tracking IDs）

mapreduce.job.token.tracking.ids.enabled 是 Hadoop MapReduce 框架中的一个配置属性，用于指定是否启用作业令牌跟踪标识（tracking IDs）。

在 Hadoop 集群中，作业令牌用于对 MapReduce 作业进行身份验证和授权。mapreduce.job.token.tracking.ids.enabled 配置项用于控制是否在作业令牌中包含跟踪标识。跟踪标识用于在客户端和服务器之间跟踪作业的唯一标识符。

在 Hadoop MapReduce 配置文件中，可以通过以下方式设置 mapreduce.job.token.tracking.ids.enabled：

<property>
  <name>mapreduce.job.token.tracking.ids.enabled</name>
  <value>true</value> <!-- 设置为 true 表示启用作业令牌跟踪标识 -->
</property>

上述配置中，mapreduce.job.token.tracking.ids.enabled 的值为 true，表示启用了作业令牌跟踪标识。

启用作业令牌跟踪标识可以帮助跟踪作业的执行过程，特别是在分布式环境中。通过在作业令牌中包含跟踪标识，可以更容易地将作业的不同阶段和任务与其相关联。

请注意，启用或禁用这个配置取决于特定的需求和环境，具体的设置应该根据实际情况进行调整。

117.指定作业令牌跟踪标识（tracking IDs）的值。当启用作业令牌跟踪标识时，该配置项可以设置作业令牌的跟踪标识值

mapreduce.job.token.tracking.ids 是 Hadoop MapReduce 框架中的一个配置属性，用于指定作业令牌跟踪标识（tracking IDs）的值。当启用作业令牌跟踪标识时，该配置项可以设置作业令牌的跟踪标识值。

在 Hadoop MapReduce 配置文件中，可以通过以下方式设置 mapreduce.job.token.tracking.ids：

<property>
  <name>mapreduce.job.token.tracking.ids</name>
  <value>customTrackingId</value> <!-- 设置作业令牌的跟踪标识值 -->
</property>

上述配置中，mapreduce.job.token.tracking.ids 的值为 customTrackingId，表示设置作业令牌的跟踪标识值为 customTrackingId。

作业令牌的跟踪标识可以用于在客户端和服务器之间唯一标识作业。通过设置这个值，可以更容易地跟踪特定作业的执行过程，尤其是在大规模分布式环境中。

请注意，具体的作业令牌跟踪标识值应该根据实际需求进行设置，以确保在监控和调试作业时能够清晰地识别作业。

118.指定在合并（merge）Map任务的输出文件时，报告合并进度的记录数

mapreduce.task.merge.progress.records 是 Hadoop MapReduce 框架中的一个配置属性，用于指定在合并（merge）Map任务的输出文件时，报告合并进度的记录数。

在 MapReduce 作业的Map阶段，输出的中间数据会被分配到多个分区中，并存储在临时文件中。在Reduce阶段之前，这些中间文件可能会被合并以提高性能。mapreduce.task.merge.progress.records 允许您设置在合并过程中报告进度的记录数，以便在监控和调试作业时了解合并进度。

在 Hadoop MapReduce 配置文件中，可以通过以下方式设置 mapreduce.task.merge.progress.records：

<property>
  <name>mapreduce.task.merge.progress.records</name>
  <value>10000</value> <!-- 设置合并进度报告的记录数 -->
</property>

上述配置中，mapreduce.task.merge.progress.records 的值为 10000，表示每处理 10000 条记录时报告一次合并进度。

通过调整这个配置，可以根据作业的特性和需求来更细粒度地监控合并过程的进度。请注意，报告的频率对于监控和调试作业非常有用，但设置的值应该根据实际情况进行调整，以避免产生过多的进度报告。

119.指定在执行 Combiner（合并器）时报告合并进度的记录数

mapreduce.task.combine.progress.records 是 Hadoop MapReduce 框架中的一个配置属性，用于指定在执行 Combiner（合并器）时报告合并进度的记录数。

在 MapReduce 作业的Map阶段，可以使用 Combiner 来在Map端对中间数据进行合并，以减少传输到Reduce端的数据量。mapreduce.task.combine.progress.records 允许您设置在执行 Combiner 过程中报告进度的记录数，以便在监控和调试作业时了解 Combiner 的进度。

在 Hadoop MapReduce 配置文件中，可以通过以下方式设置 mapreduce.task.combine.progress.records：

<property>
  <name>mapreduce.task.combine.progress.records</name>
  <value>5000</value> <!-- 设置 Combiner 进度报告的记录数 -->
</property>

上述配置中，mapreduce.task.combine.progress.records 的值为 5000，表示每处理 5000 条记录时报告一次 Combiner 进度。

通过调整这个配置，可以根据作业的特性和需求来更细粒度地监控 Combiner 过程的进度。请注意，报告的频率对于监控和调试作业非常有用，但设置的值应该根据实际情况进行调整，以避免产生过多的进度报告。

120.指定在启动 Reduce 任务之前要完成的 Map 任务的比例

mapreduce.job.reduce.slowstart.completedmaps 是 Hadoop MapReduce 框架中的一个配置属性，用于指定在启动 Reduce 任务之前要完成的 Map 任务的比例。这个配置项影响 Reduce 阶段的启动策略，确保在启动 Reduce 任务之前有足够的 Map 任务完成，以提高整体作业的性能。

在 Hadoop MapReduce 配置文件中，可以通过以下方式设置 mapreduce.job.reduce.slowstart.completedmaps：

<property>
  <name>mapreduce.job.reduce.slowstart.completedmaps</name>
  <value>0.95</value> <!-- 设置在启动 Reduce 任务之前完成的 Map 任务的比例 -->
</property>

上述配置中，mapreduce.job.reduce.slowstart.completedmaps 的值为 0.95，表示在启动 Reduce 任务之前至少完成 95% 的 Map 任务。

通过调整这个配置项，可以根据作业的特性和集群的状态来优化 Reduce 任务的启动策略。启动 Reduce 任务之前完成的 Map 任务越多，Reduce 任务可以更充分地利用已经生成的中间数据，从而加速整个作业的执行。

请注意，具体的配置值应根据实际需求和集群性能进行调整。在某些情况下，设置一个较高的比例可能有助于减少 Reduce 任务的启动时间，但也可能增加整个作业的等待时间。

121.指定在作业完成后是否取消关联的委托令牌（delegation tokens）

mapreduce.job.complete.cancel.delegation.tokens 是 Hadoop MapReduce 框架中的一个配置属性，用于指定在作业完成后是否取消关联的委托令牌（delegation tokens）。

在 Hadoop 中，委托令牌是一种用于进行用户身份验证的机制，允许用户通过令牌访问相应的服务。mapreduce.job.complete.cancel.delegation.tokens 配置项控制作业完成后是否取消与该作业关联的委托令牌。

在 Hadoop MapReduce 配置文件中，可以通过以下方式设置 mapreduce.job.complete.cancel.delegation.tokens：

<property>
  <name>mapreduce.job.complete.cancel.delegation.tokens</name>
  <value>true</value> <!-- 设置为 true 表示作业完成后取消关联的委托令牌 -->
</property>

上述配置中，mapreduce.job.complete.cancel.delegation.tokens 的值为 true，表示作业完成后会取消关联的委托令牌。

取消关联的委托令牌可以增加安全性，确保在作业完成后不再允许使用相应的令牌进行访问。然而，在某些情况下，如果用户需要继续使用相应的令牌，可以将这个配置项设置为 false。

请注意，在配置这个属性时需要权衡安全性和操作的便利性，并根据实际需求进行设置。

122.指定 Reduce 任务在进行数据传输时使用的端口

mapreduce.shuffle.port 是 Hadoop MapReduce 框架中的一个配置属性，用于指定 Reduce 任务在进行数据传输时使用的端口。

在 MapReduce 作业的 Shuffle 阶段，Reduce 任务从所有的 Map 任务节点获取它们产生的中间数据。为了有效地进行数据传输，Reduce 任务需要知道 Map 任务节点上 Shuffle 服务的端口号。mapreduce.shuffle.port 配置项就是用来指定这个端口号。

在 Hadoop MapReduce 配置文件中，可以通过以下方式设置 mapreduce.shuffle.port：

<property>
  <name>mapreduce.shuffle.port</name>
  <value>13562</value> <!-- 设置为期望的 Shuffle 服务端口号 -->
</property>

上述配置中，mapreduce.shuffle.port 的值为 13562，表示设置 Reduce 任务在进行 Shuffle 操作时将使用端口号 13562。

通常情况下，不需要手动配置这个属性，因为 Hadoop 会自动为 Shuffle 服务分配一个可用的端口。然而，在特定情况下（例如端口冲突或网络配置要求），你可能需要显式地设置这个端口号。

请确保在设置端口号时避免使用已经被其他服务占用的端口，以确保 MapReduce 作业的正常执行。

123.指定 Reduce 任务的 Shuffle 操作所使用的消费者插件类

mapreduce.job.reduce.shuffle.consumer.plugin.class 是 Hadoop MapReduce 框架中的一个配置属性，用于指定 Reduce 任务的 Shuffle 操作所使用的消费者插件类。

在 MapReduce 作业的 Shuffle 阶段，Reduce 任务需要从所有的 Map 任务节点获取中间数据。mapreduce.job.reduce.shuffle.consumer.plugin.class 配置项允许用户指定自定义的 Shuffle 操作消费者插件类，以便在数据传输过程中进行定制化的操作。

在 Hadoop MapReduce 配置文件中，可以通过以下方式设置 mapreduce.job.reduce.shuffle.consumer.plugin.class：

<property>
  <name>mapreduce.job.reduce.shuffle.consumer.plugin.class</name>
  <value>com.example.CustomShuffleConsumerPlugin</value>
  <!-- 设置自定义的 Shuffle 操作消费者插件类 -->
</property>

上述配置中，mapreduce.job.reduce.shuffle.consumer.plugin.class 的值为 com.example.CustomShuffleConsumerPlugin，表示使用名为 CustomShuffleConsumerPlugin 的自定义插件类。

自定义的 Shuffle 操作消费者插件类可以实现特定的逻辑，例如自定义的数据解密、数据过滤或其他定制化的操作。这个插件类需要实现 Hadoop 提供的相关接口，以确保与 MapReduce 框架协同工作。

在使用自定义插件时，请确保插件类的可用性和正确性，并根据实际需求进行配置。

124.指定作业运行的节点标签表达式

mapreduce.job.node-label.expression 是 Hadoop MapReduce 框架中的一个配置属性，用于指定作业运行的节点标签表达式。节点标签是在 Hadoop 集群中为节点分配的用户定义的标签，可用于将作业限制在特定类型的节点上运行。

在 Hadoop MapReduce 配置文件中，可以通过以下方式设置 mapreduce.job.node-label.expression：

<property>
  <name>mapreduce.job.node-label.expression</name>
  <value>gpu</value> <!-- 设置作业运行的节点标签表达式为 "gpu" -->
</property>

上述配置中，mapreduce.job.node-label.expression 的值为 gpu，表示该作业将只在具有 “gpu” 标签的节点上运行。

通过设置这个配置属性，可以在 Hadoop 集群中利用节点标签功能，将作业限制在特定类型的节点上运行，以满足作业对硬件或软件环境的特定需求。这对于需要特定资源或功能的作业很有用，例如需要 GPU 的深度学习作业。

请注意，要使用节点标签功能，Hadoop 集群需要启用节点标签，并且相应的节点需要被分配标签。确保配置的节点标签表达式与集群中实际的节点标签匹配，以确保作业在正确的节点上运行。

125.指定作业的 ApplicationMaster（AM）运行的节点标签表达式

mapreduce.job.am.node-label.expression 是 Hadoop MapReduce 框架中的一个配置属性，用于指定作业的 ApplicationMaster（AM）运行的节点标签表达式。节点标签是在 Hadoop 集群中为节点分配的用户定义的标签，可用于将 AM 限制在特定类型的节点上运行。

在 Hadoop MapReduce 配置文件中，可以通过以下方式设置 mapreduce.job.am.node-label.expression：

<property>
  <name>mapreduce.job.am.node-label.expression</name>
  <value>gpu</value> <!-- 设置 AM 运行的节点标签表达式为 "gpu" -->
</property>

上述配置中，mapreduce.job.am.node-label.expression 的值为 gpu，表示该作业的 AM 将只在具有 “gpu” 标签的节点上运行。

通过设置这个配置属性，可以在 Hadoop 集群中利用节点标签功能，将 AM 限制在特定类型的节点上运行，以满足 AM 对硬件或软件环境的特定需求。这对于需要特定资源或功能的 AM 非常有用，例如需要 GPU 的深度学习作业。

请注意，要使用节点标签功能，Hadoop 集群需要启用节点标签，并且相应的节点需要被分配标签。确保配置的节点标签表达式与集群中实际的节点标签匹配，以确保 AM 在正确的节点上运行。

代码007普通

打赏 收藏 海报 链接