文章目录
1. 在web界面上查看
如果运行在 YARN 模式，可以在 ResourceManager 节点的 WEB UI 页面根据 任务状态、用户名 或者 applicationId Search 到应用。
就进入到Spark作业监控的 WEB UI 界面，这个页面就是对应 Spark 应用程序历史执行界面：
到这个界面之后，可以点击 Executors 菜单，这时可以进入到 Spark 程序的 Executors 界面，里面列出所有Executor信息，以表格的形式展示，在表格中有 Logs 这列，里面就是Spark应用程序运行的日志。
2. 对应机器日志目录下面查看
目录位置在Yarn配置里面的中设置；
如设置的是:
3. 通过 命令查看
最简单地收集日志的方式是使用 YARN 的日志收集工具（），这个工具可以收集你应用程序相关的运行日志；
需要开启日志聚合功能（，在默认情况下，这个参数是 false），下面会详细讲到。
YARN日志聚合
日志聚集是YARN提供的日志中央化管理功能，它能将运行完成的Container/任务日志上传到HDFS上，从而减轻NodeManager负载，且提供一个中央化存储和分析机制。默认情况下，Container/任务日志存在在各个NodeManager上，如果启用日志聚集功能需要额外的配置。 这个日志存储的就是具体map和reduce的日志，包括框架的和应用程序里自己打印的。这个日志聚合是用来看日志的，而mapreduce job history server，则是用来看某个application的大致统计信息的，包括启停时间，map任务数，reduce任务数以及各种计数器的值等等。job history server是抽象概要性的统计信息，而聚合日志是该application所有任务节点的详细日志集合。
要实现日志聚集，需要在文件中配置如下几个参数：
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/204365.html