2025年yarn的命令（yarn logs -applicationid命令）

科技前沿 • 2025-06-08 08:01 • 阅读 36

大家好，我是讯享网，很高兴认识大家。

MapReduce是一个运行在Hadoop上的分布式计算框架，它可以处理大规模的数据集。下面是MapReduce的安装和配置步骤：

安装Java JDK

MapReduce需要Java环境支持，所以需要先安装Java JDK。可以通过以下命令安装：

sudo apt-get install openjdk-8-jdk

讯享网

安装Hadoop

MapReduce是Hadoop的一部分，所以需要先安装Hadoop。可以从Hadoop的官方网站上下载最新的二进制文件，然后解压缩到一个目录中即可。

配置Hadoop

Hadoop的配置文件位于$<em>HADOOP</em>_HOME/etc/<em>hadoop</em>目录下，需要进行以下配置：

讯享网

core-site.xml

讯享网&lt;configuration&gt; &lt;property&gt; &lt;name&gt;fs.defaultFS&lt;/name&gt; &lt;value&gt;hdfs://localhost:9000&lt;/value&gt; &lt;/property&gt; &lt;/configuration&gt;

hdfs-site.xml

&lt;configuration&gt; &lt;property&gt; &lt;name&gt;dfs.replication&lt;/name&gt; &lt;value&gt;1&lt;/value&gt; &lt;/property&gt; &lt;/configuration&gt;

mapred-site.xml

讯享网&lt;configuration&gt; &lt;property&gt; &lt;name&gt;<em>mapreduce</em>.framework.name&lt;/name&gt; &lt;value&gt;<em>yarn</em>&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;<em>mapreduce</em>.jobhistory.address&lt;/name&gt; &lt;value&gt;localhost:10020&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;<em>mapreduce</em>.jobhistory.webapp.address&lt;/name&gt; &lt;value&gt;localhost:19888&lt;/value&gt; &lt;/property&gt; &lt;/configuration&gt;

yarn-site.xml

&lt;configuration&gt; &lt;property&gt; &lt;name&gt;<em>yarn</em>.nodemanager.aux-services&lt;/name&gt; &lt;value&gt;<em>mapreduce</em>_shuffle&lt;/value&gt; &lt;/property&gt; &lt;/configuration&gt;

启动Hadoop

使用以下命令启动Hadoop：

讯享网$<em>HADOOP</em>_HOME/sbin/start-dfs.sh $<em>HADOOP</em>_HOME/sbin/start-<em>yarn</em>.sh

运行MapReduce

使用以下命令运行MapReduce：

<em>hadoop</em> jar $<em>HADOOP</em>_HOME/share/<em>hadoop</em>/<em>mapreduce</em>/<em>hadoop</em>-<em>mapreduce</em>-examples-*.jar pi 10 100

这将启动一个计算Pi的MapReduce任务，并将结果输出到控制台。

2025年yarn的命令（yarn logs -applicationid命令）

相关推荐