Otimizações no Apache Spark: Spill, Skew e Shuffle | Live #76

Você talvez já tenha perdido noites de sono com problemas que fazem o tempo de processamento do seu ETL ou ELT aumentar consideravelmente:
Spill = Mover os dados da memória para o disco e vice-versa;
Skew = Quando partições de uma tabela estão desniveladas;
Shuffle = Redistribuir os dados entre os executores.
Dificilmente seu código de Spark estará sem um desses problemas, por isso, nessa Live iremos identificar e tratar cada um desses vilões e aprender como mitigá-los de forma inteligente e eficiente.
Em agosto, você poderá se juntar a nós e descobrir como otimizar a sua utilização do Apache Spark. Acesse o link abaixo e receba todas as informações em primeira mão:
➡ theplumbers.co...
🎙Temos um podcast sobre engenharia de dados onde compartilhamos todo o nosso conhecimento e ainda trazemos nomes de peso dentro da área para falar sobre temas atuais. Acesse o seguinte link e confira: engenhariadeda...
#apachespark #engenhariadedados

[@LuanMorenoMMaciel]

Aprenda a utilizar Apache Spark com excelência e abra um mundo de possibilidades para a sua carreira.
Especialização: Engenharia de Dados com Apache Spark
➡ theplumbers.com.br/apache-spark/

[@samukapsilvas]

Sempre muito bom poder assistir esses videos. Ajudas muita gente Luan. Valew demais, desejo muito muito mais sucesso pra vcs. Tmj

[@vcaltabiano]

Worked! What an absolute genius mad lad! Was so easy

[@JowOfBeco]

Conteúdo riquíssimo. Obrigado!

[@danielcampos9975]

Aula excelente