@@Adilmor1 boa Adilmor, muito obrigado pela ajuda. Fixei seu comentário, tudo bem? Muito obrigado pela contribuição e pelo incentivo. Abraço, bons estudos
Obrigado por essas aulas mano. Já comentei em seu vídeo anteriormente, mas novamente preciso te agradecer, essas 3 horas de aulas foram sem dúvidas uma ótima introdução mão na massa de Pyspark. ✌
Cara, assisti todas as aulas de PySpark e achei-as excelentes. Parabéns pela didática, exemplos trazidos e o modo como abordou o tema. Espero que disponibilize novos vídeos. Agora que já curti as 3 aulas, irei me inscrever no canal. Desejo sucesso!
Oi José Diego, tudo bem? Poxa, muito obrigado pelas palavras e pelo tempo dedicado assistindo os vídeos, de verdade, espero ter ajudado. Estive impossibilitado de fazer novos vídeos por um tempo, mas vou voltar a produzir conteúdo de pyspark e python em geral. Muito obrigado pelo incentivo a continuar fazendo vídeos, de verdade.
@@maiullymend muito obrigado pelo apoio e pelo comentário de incentivo, de coração. Fico feliz que eu tenha ajudado de alguma maneira. Muito obrigado e bons estudos
Oi Karine, tudo bem? Pô, muuuuito obrigado por acompanhar e por participar. Logo logo eu faço mais vídeos de PySpark, desculpa pela demora em fazer coisa nova hahaha Vlw Karine, bons estudos.
Oi Adriano, tudo bem? Adriano, me desculpe pela demora em responder. Estava complicado no trabalho devido a algumas mudanças, mas acredito que agora eu consiga voltar a criar vídeos sobre PySpark. Muito obrigado por acompanhar e participar, de verdade. Bons estudos
Opa, tudo bem? Po cara, agradeço de verdade pelas palavras. Essa semana sai um vídeo novo de PySpark, uma análise na prática. Vou tentar trazer vídeos com mais frequência. Agradeço pelo comentário, de coração, é isso que incentiva a continuar produzindo. Muito obrigado e bons estudos 🙏
Nota 1000 pelas aulas, excelente explicações. Por favor não pare, isso motiva a nos envolvermos e aprofundarmos na Eng. de Dados, ahh poderia nos contar sobre problemas do dia-a-dia de um Eng. de dados, problemas de rotinas mesmo, ajudará a galera a se posicionar diante dos desafios🙂
Oi Gilberto, tudo bem? Boa tarde. Cara, só tenho a agradecer por participar e comentar. Estava meio ausente, mas assim ué conseguir, farei outro vídeo e essa será a temática, algo mais do dia-a-dia. Agradeço por participar, Gilberto. Bons estudos.
Po Thiago, só tenho a agradecer pelo empenho em participar e compartilhar os vídeos, de verdade mesmo muito obrigado. Estive ausente devido à mudanças no trabalho, mas agora está estabilizando e vou conseguir voltar a produzir vídeos. Muito obrigado por acompanhar e bons estudos.
Matheus, muuuito obrigado pelas palavras, de verdade. Esse tipo de comentário incentiva demais. Muito obrigado mesmo. Estou fazendo um novo vídeo de análise de dados com PySpark, vou colocar no ar assim que possível. Mto obrigado e bons estudos.
Chefe suas aulas Estão excelentes. Vou indicar para algumas pessoas . Gostaria que você mostrasse uma aula falando sobre json.. algumas manipulações em json seria muito top. Tem pouco conteúdo sobre isso na rede.. Tbm existe pouco conteudo sobre Hdfs com spark
Oi Renan, tudo bem? Muito obrigado pelas dicas, vou ver o que sei sobre isso e como posso criar um vídeo tentando auxiliar a galera. Muito obrigado mesmo pelo conselho. E obrigado por participar, de verdade. Bons estudos, chará.
Renan, Boa noite, Queria tirar uma duvida a respeito do Collect. A duvida. Eu tenho dois dataframe. Primeiro de Nota Fiscal, onde tenho 50K Linhas e usando o Filter, quero trazer apenas as NF de São Paulo, o retorno será de 10K de notas fiscais. Na sequencia quero colocar o nº de cada uma dessas 10.000 NF em uma collect. Depois quando for gerar o dataframe de Itens de notas fiscais, quero trazer apenas os itens das NF que constam em uma lista gerada no for feito no collect e vou fazer isso no Filter com In ListaCollectNfSaoPaulo e com isso vou trazer os itens de NF das 10.000 Nf do Dataframe de NF. Faz algum sentido isso que falei e se dá para ser implementado. Parabens pelo seu canal, excelentes conteudos e principalmente por ser em Português, pois o idioma é uma tremenda barreira. Grato.
Oi José Paulo, tudo bem? Boa noite. José, me desculpe pela demora em responder, espero que ainda consiga ser útil. Pelo que entendi, você precisa filtrar só SP, depois extrair os números das NF e depois exibir apenas os valores baseados em uma lista específica, é isso? Se for, é simples de resolver. Você pode criar uma lista nova, com as NF que você precisa exibir, vamos chamar de NF_exibir. Dentro dessa lista, você vai colocar todas as NF que vc quer que apareça (por exemplo, NF_exibir = [7, 9, 10]). Depois disso vc vai usar o filtro (filter ou where, tanto faz): df.where(df.coluna_NF_original.isin(NF_exibir)).show() Acredito que essa seja a maneira mais fácil de resolver. Caso eu tenha entendido errado, me manda mensagem novamente que dessa vez eu prometo que respondo mais rápido hahahaha. Obs: caso você ainda queira usar o Collect, você pode usar depois do filtro, que já vai "limpar" seus dados. Obrigado, José. Boa sorte e espero ter ajudado.
Oi Edney, tudo bem? Me desculpe pela demora em responder. Eu estava bem ocupado com coisas no trabalho, mas agora está se estabilizando e vou conseguir voltar a criar conteúdo para o canal. Não sei se tenho interesse em criar nenhum conteúdo pago, acredito que vou continuar criando pequenas aulas como essas e ir postando no RUclips, pra ajudar toda a comunidade. Muito obrigado por participar e acompanhar.
Oi Heliton, tudo bem? Então, na verdade eu não estou atuando em TI no momento. Acabei de pegar meu certificado de Engenharia de Dados e agora estou trabalhando em alguns projetos para portifólio, mas não estou atuando profissionalmente por enquanto.
@@helitonribeiroferreira6948 é exatamente isso mesmo. Semana q vem, vou fazer um projeto usando Cloud (Google). No Coursera tem alguns cursos gratuitos de pipeline, usando Dataprep e Dataproc, da uma pesquisada sobre isso. O Dataprep te poupa um bom tempo em ETL.
@@helitonribeiroferreira6948 estou estudando pra isso agora kkkk... Como é um coisa um pouco mais cara, não quero desperdiçar, entende? Quero fazer a prova quando estiver 100% certo que vou passar.
Pra ajudar a galera que tá com preguiça de digitar, abaixo agrupamento de continente:
europa = ['Sweden', 'Germany', 'France', 'Belgium', 'Croatia', 'Spain', 'Denmark', 'Iceland', 'Switzerland', 'England', 'Poland', 'Portugal', 'Serbia']
asia = ['Russia', 'IR Iran', 'Korea Republic', 'Saudi Arabia', 'Japan']
africa = ['Senegal', 'Nigeria', 'Morocco', 'Tunisia', 'Egypt']
oceania = ['Australia']
america_norte = ['Panama', 'Mexico', 'Costa Rica']
america_sul = ['Argentina', 'Peru', 'Uruguay', 'Brazil', 'Colombia']
@@Adilmor1 boa Adilmor, muito obrigado pela ajuda. Fixei seu comentário, tudo bem?
Muito obrigado pela contribuição e pelo incentivo. Abraço, bons estudos
Obrigado por essas aulas mano. Já comentei em seu vídeo anteriormente, mas novamente preciso te agradecer, essas 3 horas de aulas foram sem dúvidas uma ótima introdução mão na massa de Pyspark. ✌
@@GuilhermeHenrique-sk1ww só tenho a te agradecer, Guilherme. Muito obrigado pela atenção, de verdade
Ótimo material! Tô fazendo um "intensivão" aqui pra iniciar no meu primeiro projeto com Pyspark e essas aulas ajudaram demais! Valeu Renan!
Booora Caio. Muito obrigado por acompanhar e participar. Espero que te ajude de vdd.
Vlw Caio, bons estudos.
Cara, assisti todas as aulas de PySpark e achei-as excelentes. Parabéns pela didática, exemplos trazidos e o modo como abordou o tema. Espero que disponibilize novos vídeos. Agora que já curti as 3 aulas, irei me inscrever no canal. Desejo sucesso!
Oi José Diego, tudo bem?
Poxa, muito obrigado pelas palavras e pelo tempo dedicado assistindo os vídeos, de verdade, espero ter ajudado. Estive impossibilitado de fazer novos vídeos por um tempo, mas vou voltar a produzir conteúdo de pyspark e python em geral. Muito obrigado pelo incentivo a continuar fazendo vídeos, de verdade.
Gostei tanto das aulas que fiquei pensando: Já acabou?
Obrigada por compartilhar o seu conhecimento 🙏🏽🙏🏽
@@maiullymend muito obrigado pelo apoio e pelo comentário de incentivo, de coração. Fico feliz que eu tenha ajudado de alguma maneira. Muito obrigado e bons estudos
Caracaaaa, muito bom bichooo!!!! Não para não para não para não !!!! Obrgada =D
Oi Karine, tudo bem?
Pô, muuuuito obrigado por acompanhar e por participar.
Logo logo eu faço mais vídeos de PySpark, desculpa pela demora em fazer coisa nova hahaha
Vlw Karine, bons estudos.
Parabéns Renan!
Não para não man!
Continua essa playlist de pyspark!
Oi Adriano, tudo bem?
Adriano, me desculpe pela demora em responder. Estava complicado no trabalho devido a algumas mudanças, mas acredito que agora eu consiga voltar a criar vídeos sobre PySpark. Muito obrigado por acompanhar e participar, de verdade. Bons estudos
@@datadevacademy tbm sou engenheiro de dados e sei como é importante ter esses vídeos quando estamos começando!
Deus te abençoe!
Melhor que muita aula de faculdade.
Muuuito obrigado, Nickolas
Grande Renan ! Didáctica em dia , aulas notas 1000! Aprendi muito com estas aulas de Pyspark! Show de Bola ! Continua esta playliste ai ersss!
Opa, tudo bem? Po cara, agradeço de verdade pelas palavras. Essa semana sai um vídeo novo de PySpark, uma análise na prática. Vou tentar trazer vídeos com mais frequência. Agradeço pelo comentário, de coração, é isso que incentiva a continuar produzindo. Muito obrigado e bons estudos 🙏
Nota 1000 pelas aulas, excelente explicações.
Por favor não pare, isso motiva a nos envolvermos e aprofundarmos na Eng. de Dados, ahh poderia nos contar sobre problemas do dia-a-dia de um Eng. de dados, problemas de rotinas mesmo, ajudará a galera a se posicionar diante dos desafios🙂
Oi Gilberto, tudo bem?
Boa tarde.
Cara, só tenho a agradecer por participar e comentar.
Estava meio ausente, mas assim ué conseguir, farei outro vídeo e essa será a temática, algo mais do dia-a-dia.
Agradeço por participar, Gilberto.
Bons estudos.
@@datadevacademy Obrigado! Joins agora são mamão com açucar hahhaha!
Ótima aula! Obrigada!
Kelly, só tenho a agradecer por você participar e acompanhar os vídeos, de verdade. Muuuuuuuuito obrigado e bons estudos.
Parabéns Renan! Excelente didática e conteúdo!!
Estou compartilhando com todos que conheço!
No aguardo para mais vídeos!
Po Thiago, só tenho a agradecer pelo empenho em participar e compartilhar os vídeos, de verdade mesmo muito obrigado.
Estive ausente devido à mudanças no trabalho, mas agora está estabilizando e vou conseguir voltar a produzir vídeos. Muito obrigado por acompanhar e bons estudos.
Nossa a melhor didática que ja vi sobre o assunto. Você poderia fazer um curso na Udemy. Parabéns pelos vídeos!!!!!
Matheus, muuuito obrigado pelas palavras, de verdade.
Esse tipo de comentário incentiva demais. Muito obrigado mesmo.
Estou fazendo um novo vídeo de análise de dados com PySpark, vou colocar no ar assim que possível.
Mto obrigado e bons estudos.
Muito bom!
Muito obrigado pela força, Emerson.
Abraço e bons estudos. 🙏
Fantastic thank you for taking your time
I appreciate it, Rafael. Thank you so much for your attention. Have a nice day.
Parabéns pelas aulas, estou acompanhando e esperando as próximas!!
Vlw Ni
Chefe suas aulas Estão excelentes. Vou indicar para algumas pessoas
. Gostaria que você mostrasse uma aula falando sobre json.. algumas manipulações em json seria muito top. Tem pouco conteúdo sobre isso na rede..
Tbm existe pouco conteudo sobre Hdfs com spark
Oi Renan, tudo bem?
Muito obrigado pelas dicas, vou ver o que sei sobre isso e como posso criar um vídeo tentando auxiliar a galera. Muito obrigado mesmo pelo conselho. E obrigado por participar, de verdade. Bons estudos, chará.
Ótimo vídeo!
Muuuito obrigado, Rafa
Parabéns pelo conteúdo, continue os videos, abraço.
Heliton, obrigado por assistir e acompanhar... Bons estudos
Ótimo conteúdo, e muito bem explicado. Parabéns 👏
Muuito obrigado por acompanhar e participar, Caio
Parabéns!!
Ótima aula!
Renan,
Boa noite,
Queria tirar uma duvida a respeito do Collect.
A duvida.
Eu tenho dois dataframe.
Primeiro de Nota Fiscal, onde tenho 50K Linhas e usando o Filter,
quero trazer apenas as NF de São Paulo, o retorno será de 10K de notas fiscais.
Na sequencia quero colocar o nº de cada uma dessas 10.000 NF em uma collect.
Depois quando for gerar o dataframe de Itens de notas fiscais, quero trazer apenas os itens das NF que constam em uma lista gerada no for feito no collect e
vou fazer isso no Filter com In ListaCollectNfSaoPaulo e com isso vou trazer os itens de NF das 10.000 Nf do Dataframe de NF.
Faz algum sentido isso que falei e se dá para ser implementado.
Parabens pelo seu canal, excelentes conteudos e principalmente por ser em Português, pois o idioma é uma tremenda barreira.
Grato.
Oi José Paulo, tudo bem?
Boa noite.
José, me desculpe pela demora em responder, espero que ainda consiga ser útil.
Pelo que entendi, você precisa filtrar só SP, depois extrair os números das NF e depois exibir apenas os valores baseados em uma lista específica, é isso?
Se for, é simples de resolver.
Você pode criar uma lista nova, com as NF que você precisa exibir, vamos chamar de NF_exibir.
Dentro dessa lista, você vai colocar todas as NF que vc quer que apareça (por exemplo, NF_exibir = [7, 9, 10]).
Depois disso vc vai usar o filtro (filter ou where, tanto faz):
df.where(df.coluna_NF_original.isin(NF_exibir)).show()
Acredito que essa seja a maneira mais fácil de resolver.
Caso eu tenha entendido errado, me manda mensagem novamente que dessa vez eu prometo que respondo mais rápido hahahaha.
Obs: caso você ainda queira usar o Collect, você pode usar depois do filtro, que já vai "limpar" seus dados.
Obrigado, José.
Boa sorte e espero ter ajudado.
Excelente conteudo Renan, parabéns pelos videos, quando vem o proximo ?
Pretende fazer algum curso de spark ?
Oi Edney, tudo bem?
Me desculpe pela demora em responder. Eu estava bem ocupado com coisas no trabalho, mas agora está se estabilizando e vou conseguir voltar a criar conteúdo para o canal.
Não sei se tenho interesse em criar nenhum conteúdo pago, acredito que vou continuar criando pequenas aulas como essas e ir postando no RUclips, pra ajudar toda a comunidade.
Muito obrigado por participar e acompanhar.
Olá Renan, vc atua como cientista ou engenheiro? Grato.
Oi Heliton, tudo bem?
Então, na verdade eu não estou atuando em TI no momento.
Acabei de pegar meu certificado de Engenharia de Dados e agora estou trabalhando em alguns projetos para portifólio, mas não estou atuando profissionalmente por enquanto.
@@datadevacademy Que legal, estou estudando sql, pyspark e irei começar estudar cloud, acho que para engenharia é uma boa base
@@helitonribeiroferreira6948 é exatamente isso mesmo.
Semana q vem, vou fazer um projeto usando Cloud (Google).
No Coursera tem alguns cursos gratuitos de pipeline, usando Dataprep e Dataproc, da uma pesquisada sobre isso. O Dataprep te poupa um bom tempo em ETL.
@@datadevacademy Opa, obrigado, chegou a tirar alguma certificação da GCP?
@@helitonribeiroferreira6948 estou estudando pra isso agora kkkk... Como é um coisa um pouco mais cara, não quero desperdiçar, entende? Quero fazer a prova quando estiver 100% certo que vou passar.