LEARN | Scala - Design Patterns
Le language Scala est très riche en design patterns qui ne sont pas «built-in», ce qui les rend parfois difficile à repérer et à écrire de façon «correcte».
REX | Spark - Shuffle
Certaines opérations dans Spark déclenchent un événement appelé shuffle.
Le shuffle est le mécanisme de Spark pour redistribuer les données afin qu’elles soient regroupées différemment entre les partitions.
Cela implique généralement la copie des données entre les exécuteurs et les machines, ce qui fait du shuffle une opération complexe et coûteuse.