Hadoop中的日志文件总结

这篇文章主要讲解了“Hadoop中的日志文件总结”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Hadoop中的日志文件总结”吧!

成都创新互联公司专业为企业提供绥德网站建设、绥德做网站、绥德网站设计、绥德网站制作等企业网站建设、网页设计与制作、绥德企业网站模板建站服务,10余年绥德做网站经验,不只是建网站,更提供有价值的思路和整体网络服务。

参考资料:hadoop 日志存放位置

1、Hadoop MapReduce日志分类

1)、服务日志

2)、作业日志

2、Hadoop 1.x版本中MapReduce的服务日志包括?

1)、JobTracker日志

JobTracker:在JobTracker安装节点上,默认位置是
        ${hadoop.log.dir}/logs/*-jobtracker-*.log,该文件每天生成一个,旧的日志后缀是日期,当天的日志文件后缀是“.log”,其中${hadoop.log.dir}默认值是hadoop安装目录,即${HADOOP_HOME}。

2)、各个TaskTracker日志

TaskTracker:在各个TaskTracker安装节点上,默认位置是
    $HADOOP_HOME/logs/*-tasktracker-*.log,该文件每天生成一个,旧的日志后面会跟一个日志,当天的日志文件后缀是“.log”

3、作业日志包括哪两部分日志?

    作业日志包括jobhistory日志和task日志两部分

4、jobhistory日志的作用?

    jobhistory日志是作业运行日志,包括作业启动时间、结束时间、每个任务的启动时间、结束时间、各种counter信息等,用户可以从这个日志中解析出作业运行的各种信息,是非常有价值的信息。

5、jobhistory日志默认存放位置?

    默认存放位置是JobTracker所在节点的${hadoop.log.dir}/history目录下

6、jobhistory日志存放位置可通过什么选项配置?

    可通过参数hadoop.job.history.location配置。

7、task日志存放位置?

    每个task日志存放在task运行节点上,存放位置是${hadoop.log.dir}/userlogs//目录下。

8、每个task日志包含哪几个子文件?

    每个task包含三个日志文件,分别是stdout、stderr和syslog。

    1)、stdout

    stdout:是通过标准输出打印出来的日志。

    比如System.out.println,注意,程序中通过标准输出打印的日志并不会直接显示在终端上,而是保存在这个文件中。

    2)、syslog

    syslog是通过log4j打印的日志,通常这个日志中包含的有用信息最多,也是错误调试中最关键的参考日志。

感谢各位的阅读,以上就是“Hadoop中的日志文件总结”的内容了,经过本文的学习后,相信大家对Hadoop中的日志文件总结这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!


网站名称:Hadoop中的日志文件总结
网页链接:http://ybzwz.com/article/psjjgp.html