yarn 进程（yarn运行流程）

科技前沿 • 2025-05-26 11:32 • 阅读 44
大家好，我是讯享网，很高兴认识大家。
 <p>初识Yarn</p><p>概念：Yarn就是为计算模型做资源调度，HDFS和Yarn在逻辑上是可以分离的</p><p><ul><li></p><p>配置yarn</p><p>vim yarn-site.xml写在末尾</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2019%2F06%2F11%2Fda5e40078dd03b93295c96c1.png&thumbnail=660x&quality=80&type=jpg"/><br/></p><p></li><li></p><p>我们需要配置一下mapreduce的运行环境,如果不配那就是本地单机上跑，配了就是在yarn上运行</p><p></li></ul></p><p></p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F6w0a7R7TvqhF73o35aCjxk5Nbd%3D3KKuLV2W8E870nq7tp56.png&thumbnail=660x&quality=80&type=jpg"/><br/></p><p>我们写一个例子，计算出每个单词出现的个数</p><p><ul><li>这个是hadoop自带的一个例子程序</li></ul></p><p>原文件的传输</p><p>拆分</p><p>映射</p><p>派发</p><p>缩减</p><p>input</p><p>split</p><p>map</p><p>shuffle</p><p>reduce</p><p>output</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2019%2F06%2F11%2Fba9f65985caa4a12a94efa8956.png&thumbnail=660x&quality=80&type=jpg"/><br/></p><p>1.首先新建一个文件夹（wcinput），其中写入（自定义）</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2FBXzXFlTywA%3DWs3UDgnWwkO44%3DamsaEFq9e0QBF4wy6Nv461.png&thumbnail=660x&quality=80&type=jpg"/><br/></p><p>2.找到示例文件</p><p></p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2FsAIqVKRlJEy2QrteFoTngxHVaHzuGpQd0ul37FE24z1rQ63compressflag.png&thumbnail=660x&quality=80&type=jpg"/><br/></p><p></p><p><ul><li>解释：hadoop jar命令后面跟jar的全路径/usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar，示例文件中有很多的小程序，我们需要用到的就是wordcount这个程序，需要为他指明那些文件做输入以计算文件内的单词个数/wcinput/input.txt，指明输入的地方/wcoutput</li></ul></p><p>3.用网页进行查询(Ip加50070)：</p><p></p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2FCAnoGQKkDkEReosvUAJPJzMMCqPKvg%3Dh46aWuOyx90fgJ63.png&thumbnail=660x&quality=80&type=jpg"/><br/></p><p>4.找到你的机器名点入</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2FyYcsVdo0kjMjdcKqiJi3nLw5St5DFzwUSuzfgSebeLTCE64compressflag.png&thumbnail=660x&quality=80&type=jpg"/><br/></p><p>5.查询的结果：</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2FqNuNHazYYAp2j9tAjIogotgAcxIn6JWMRnVgtlZoQMXUM65.png&thumbnail=660x&quality=80&type=jpg"/><br/></p><p>好了，看完大概知道自己哪里不足，未来我们在2019要学习补充什么知识了吧！做程序员真的不容易！</p><p>【1】想领取java、java高级、java系统架构师知识可以关注我下方评论转发后，跟帖“资料”。</p><p>【2】部分资料有时间限制，抓紧时间吧~、</p><p>感谢大家支持！</p>
讯享网
yarn 进程（yarn运行流程）

相关推荐
