SparkHistoryServer配置部署-创新互联
简介
为了可以通过WebUI控制台页面来查看具体的运行细节,解决应用程序运行结束,无法继续查看监控集群信息。无法回顾运行的程序细节,配置开启spark.history服务.Spark History Server可以很好地解决上面的问题。
创新互联服务项目包括华蓥网站建设、华蓥网站制作、华蓥网页制作以及华蓥网络营销策划等。多年来,我们专注于互联网行业,利用自身积累的技术优势、行业经验、深度合作伙伴关系等,向广大中小型企业、政府机构等提供互联网行业的解决方案,华蓥网站推广取得了明显的社会效益与经济效益。目前,我们服务的客户以成都为中心已经辐射到华蓥省份的部分城市,未来相信会继续扩大服务区域并继续获得客户的支持与信任!配置文件位置:
$SPARK_HOME$/conf目录下的spark-defaults.conf文件。默认spark-defaults.conf是不存在的,我们可以根据Spark提供的template文件新建。
配置参数描述
spark.master spark://172.20.101.157:7070,172.20.101.164:7070,172.20.101.165:7070
#spark集群的Master节点的ip地址
spark.history.updateInterval
#默认值:10,以秒为单位,更新日志相关信息的时间间隔
spark.history.retainedApplications
#默认值:50,在内存中保存Application历史记录的个数,如果超过这个值,旧的应用程序信息将被删除,当再次访问已被删除的应用信息时需要重新构建页面。
spark.history.ui.port
#默认值:4040,HistoryServer的web端口
spark.history.ui.acls.enable
#默认值:false,授权用户查看应用程序信息的时候是否检查acl。如果启用,只有应用程序所有者和spark.ui.view.acls指定的用户可以查看应用程序信息;否则,不做任何检查
spark.eventLog.enabled
#默认值:false ,是否记录Spark事件,用于应用程序在完成后重构webUI
spark.eventLog.dir
#默认值:file:///tmp/spark-events,保存日志相关信息的路径,可以是hdfs://开头的HDFS路径,也可以是file://开头的本地路径,都需要提前创建
spark.eventLog.compress
#默认值:false,是否压缩记录Spark事件,前提spark.eventLog.enabled为true,默认使用的是snappy
本地文件存储日志配置案例:
spark-defaults.conf
spark.master spark://172.20.101.157:7070,172.20.101.164:7070,172.20.101.165:7070
spark.history.ui.port 18080
spark.history.retainedApplications 10
spark.eventLog.compress true
spark.eventLog.enabled true
spark.eventLog.dir file:/data/sparkhistory
spark.history.fs.logDirectory file:/data/sparkhistory
启动服务
$SPARK_HOME/sbin/start-history-server.sh
访问
浏览器:http://nodeIP:18080
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
名称栏目:SparkHistoryServer配置部署-创新互联
本文网址:http://ybzwz.com/article/cesgge.html