Em praticamente todos os setores que lidam com dados complexos, o Spark rapidamente se tornou um ambiente de computação distribuída “de fato” para equipes em todos os estágios do ciclo de vida de dados e análises. Um dos recursos mais esperados do Spark 3.0 é a nova estrutura Adaptive Query Execution (AQE), que aborda problemas que surgem com muitas cargas de trabalho do Spark SQL. Eles foram documentados no início de 2018 por uma equipe de especialistas da Intel e do Baidu. Para uma análise mais aprofundada da estrutura, você pode fazer nosso curso atualizado de ajuste de desempenho do Apache Spark .
Nossa experiência com Workload XM certamente confirma a realidade e a gravidade desses problemas.
AQE Spark 2.4, Spark 3.0 3.1 . , , AQE.
Catalyst
, , group-by-count DataFrames.
Spark , " " - 200.
:
1. 200 , , ;
2. , 200 ;
3. : , .
? :
spark.conf.set(“spark.sql.shuffle.partitions”,”2″)
:
.
.
.
, Spark . , , , - : .
Adaptive Query Execution
AQE , . , « », .
Catalyst , , .
AQE Spark Catalyst, Spark " ".
? , :
, Spark , .
Spark , Spark , , .
AQE , Spark 2.4.
, spark.sql.adaptive.enabled true, - false. AQE , 200 .
TPC-DS AQE:
Sort Merge Joins Broadcast Joins
AQE sort-merge broadcast -, broadcast -.
TPC-DS AQE:
shuffle
, , - .
:
· spark.sql.adaptive.enabled
· spark.sql.adaptive.coalescePartitions.enabled
true, Spark , spark.sql.adaptive.advisoryPartitionSizeInBytes. , .
Skew () - . :
, , .
skew join, , A0 , , park.sql.adaptive.advisoryPartitionSizeInBytes, B0 B.
, AQE .
:
1. spark.sql.adaptive.skewJoin.skewedPartitionFactor : , , , , , ,
2. spark.sql.adaptive.skewedPartitionThresholdInBytes, : , .
(dynamic partition pruning, DPP) - : , . DPP, AQE . DPP Spark 2.4 CDP.
, .
1. .
2. , , .
DPP (, SortMergeJoin), spark.sql.optimizer.dynamicPartitionPruning.reuseBroadcastOnly.
Spark , DPP .
DPP , , 5 .
, 72 99 TPC-DS DPP.
Spark : .
- : Spark RDD, DataFrames.
SQL, - , : , .
AQE, DPP, Kubernetes , Spark 3.1