SparkSQL性能优化
==> 在内存中缓存数据
我们提供的服务有:成都网站设计、成都做网站、微信公众号开发、网站优化、网站认证、沙湾ssl等。为成百上千企事业单位解决了网站和推广的问题。提供周到的售前咨询和贴心的售后服务,是有科学管理、有技术的沙湾网站制作公司
---> 性能调优主要是将数据放入内存中操作
---> 使用例子:
// 从 Oracle 数据库中读取数据,生成 DataFrame val oracleDF = spark.read.format("jdbc") .option("url", "jdbc:oracle:thin:@192.168.10.100:1521/orcl.example.com") .option("dbtable", "scott.emp") .option("user", "scott") .option("password", "tiger").load // 将 DataFrame 注册成表 oracleDF.registerTempTable("emp") // 执行查询,并通过 Web Console 监控执行的时间 spark.sql("select * from emp").show // 将表进行缓存,并查询两次,通过 Web Console 监控执行的时间 spark.sqlContext.cacheTable("emp") // 清空缓存 spark.sqlContext.cacheTable("emp") spark.sqlContext.clearCache
==> 优化相关参数
---> spark.sql.inMemoryColumnarStorage.compressed
---- 默认值: true
---- Spark SQL 将会基于统计信息自动地为每一列选择一种压缩编码方式
---> spark.sql.inMemoryColumnarStorage.batchSize
---- 默认值: 10000
---- 缓存批处理大小, 较大的批处理可以提高内存利用率和压缩率,但同时也会带来 OOM(Out Of Memory)的风险
---> spark.sql.files.maxPartitionBytes
---- 默认值: 128M
---- 读取文件时单个分区可容纳的最大字节数
---> spark.sql.files.openCostinBytes
---- 默认值: 4M
---- 打开文件的估算成本,按照同一时间能够扫描的字节数来测量,当往一个分区写入多个文件时会使用,高估相对较好,这样小文件分区将会比大文件分区速度更快(优先调度)
---> spark.sql.autoBroadcastJoinThreshold
---- 默认值:10M
---- 用于配置一个表在执行 join 操作时能够广播给所有 worker 节点的最大字节大小,通地将这个值设置为-1可以禁用广播,
---- 注意:当前 数据统计仅支持已经运行了 ANALYZE TABLE
---> spark.sql.shuffle.partitions
---- 默认值: 200
---- 用于配置 join 或聚合操作混洗(shuffle)数据时使用的分区数
当前题目:SparkSQL性能优化
转载源于:http://ybzwz.com/article/pdepij.html