avatar

REX | Spark - Shuffle

Certaines opérations dans Spark déclenchent un événement appelé shuffle.

Le shuffle est le mécanisme de Spark pour redistribuer les données afin qu’elles soient regroupées différemment entre les partitions.

Cela implique généralement la copie des données entre les exécuteurs et les machines, ce qui fait du shuffle une opération complexe et coûteuse.