Spark性能调优
一.缓存
对于某些工作负载，可以通过在内存中缓存数据或打开某些实验选项来提高性能。
Spark SQL可以通过调用spark.catalog.cacheTable(“tableName”)或使用内存列式格式缓存表dataFrame.cache()。然后，Spark SQL将仅扫描所需的列，并将自动调整压缩以最大程度地减少内存使用和GC压力。可以调用spark.catalog.uncacheTable(“tableName”)从内存中删除表。
可以在SparkSession上使用setConf设置或SET key=value使用SQL 运行 命令来完成内存中缓存的配置。
- spark.sql.inMemoryColumnarStorage.compressed
默认值：true
含义：设置为true时，Spark SQL将根据数据统计信息自动为每一列选择一个压缩编解码器。 - spark.sql.inMemoryColumnarStorage.batchSize
默认值：10000
含义：控制用于列式缓存的批处理的大小。较大的批处理大小可以提高内存利用率和压缩率，但是在缓存数据时更容易出现OOM。
二.其他配置选项
以下选项也可以用于调整查询执行的性能。随着自动执行更多优化，这些选项可能会在将来的版本中被弃用。
三.Spark动态广播
当两个表进行链接时，广播提示spark表与另一个表或视图要广播的每个指定的表。当Spark确定连接方法时，即使统计数据高于配置，也首选广播哈希连接（即BHJ）spark.sql.autoBroadcastJoinThreshold。当指定了连接的两端时，Spark广播统计信息较少的一方。注意Spark不能保证始终选择BHJ，因为并非所有情况（例如完全外部联接）都支持BHJ。当选择广播嵌套循环联接时，我们仍然遵守提示。
import org.apache.spark.sql.functions.broadcastbroadcast(spark.table("src")).join(spark.table("records"), "key").show()
古城微笑少年丶
忘是亡心i
野性酷女
不念不忘少年蓝@
骑猪看日落
还没有评论，来说两句吧...