Pipeline ETL Python - Web Scraping com Scrapy

Поделиться
HTML-код
  • Опубликовано: 4 фев 2025

Комментарии • 38

  • @midnightkyogre133
    @midnightkyogre133 15 часов назад

    O que levou 1:30hr na live para ele fazer eu levei foi 3 dias, mas considerando que foi meu primeiro contato com um projeto em python estou muito feliz. Obrigado pela aula!

  • @guilhermevinicius73
    @guilhermevinicius73 Месяц назад

    Natal e estamos aqui, para aprender um pouco mais sobre coleta de dados. Vs e feraaa

  • @marcosribeiro9164
    @marcosribeiro9164 7 месяцев назад +1

    Ansioso para participar da aula! Luciano, suas aulas são incríveis! 👏👏👏

  • @ricardo.fahham
    @ricardo.fahham 5 месяцев назад

    Muito bom !!!

  • @thiagosantana_oficial
    @thiagosantana_oficial 8 месяцев назад +3

    Dica. Fiquei horas tentando descobrir o motivo das colunas não serem removidas.
    No momento 2:04:30 ele usa o método DROP, como ele faz muito rapido, não da para ver o final da QUERY
    Um dica é :
    df = df.drop(columns=['old_price_reais','old_price_centavos','new_price_reais','new_price_centavos'])
    O comando é
    df.drop(columns=['old_price_reais','old_price_centavos','new_price_reais','new_price_centavos'], inplace=True)

  • @sandrojorgeoliveira175
    @sandrojorgeoliveira175 8 месяцев назад

    Obrigado por compartilhar conhecimento, Senhores!

  • @mikaelcordeiro8008
    @mikaelcordeiro8008 8 месяцев назад

    otima live, parabens pelo conteudo. Eu entrei pra ver uma coisa especifica, mas acabei assistindo tudo kkk

  • @SandroMochiaro
    @SandroMochiaro 3 месяца назад

    Muito bom. Seria top se pudesse optar por uma categoria, puxar os dados da descrição detalhada dos produtos e gerar o link de afiliação. Isso é possível?

  • @paulo.e2894
    @paulo.e2894 7 месяцев назад

    Salve de Porto Alegre

  • @Miguel0800ko
    @Miguel0800ko 7 месяцев назад +1

    top gostei

  • @daviferreira8687
    @daviferreira8687 7 месяцев назад

    Gostei

  • @duhsantos6709
    @duhsantos6709 6 месяцев назад +1

    Conteudo muito top. Estou seguindo e vendo todos seus vídeos. Gostaria de saber se o seu curso ensina do zero. Ainda estou engatinhando em python.

    • @JornadaDeDados
      @JornadaDeDados  6 месяцев назад

      Olá, ensina sim! Os vídeos do RUclips não da tempo para passar todos os fundamentos, para isso temos os bootcamps de Python e SQL, que juntos somam mais de 80 horas de conteúdo aplicado a dados (e iniciamos do zero!)

  • @fillipeamg5877
    @fillipeamg5877 4 месяца назад

    Todos os dados necessários já vêm formatados em JSON no head do html.

  • @OceanAlves23
    @OceanAlves23 8 месяцев назад +2

    Olá, super live ontem. Assim como outras pessoas que estavam presentes ontem não estão na planilha de certificados.

    • @JornadaDeDados
      @JornadaDeDados  8 месяцев назад +1

      Me manda seu nome completo para o contato@lvgalvaofilho.com que enviamos 👊

  • @denisemarcelo22
    @denisemarcelo22 7 месяцев назад +3

    min 33'16: para ativar o venv no Windows não precisa usar o comando source" (Deixando aqui pq sou iniciante e tive problemas do lado de cá :D )

    • @renatoandre1656
      @renatoandre1656 Месяц назад

      Eu sempre usei o , source venv/Scripts/activate
      E sempre deu bom,aliás os dev q conheço fazem assim.

  • @Levy957
    @Levy957 7 месяцев назад +1

    quando foram rodar o scrapy shell, estajam na pasta coleta

    • @danielandrade7948
      @danielandrade7948 28 дней назад

      Salvou minha vida guerreiro kkk

    • @Mateus-di8bj
      @Mateus-di8bj 22 дня назад

      Manoo salvou demais kkk Estava batendo cabeça aqui achando que o problema era no meu ambiente.

  • @nivaldooliveira6778
    @nivaldooliveira6778 8 месяцев назад +1

    Bom dia Luciano! Acabei tendo de sair sa sua aula ontem, motivos médicos. Vou assitir ela novamente. É posisvel disponibilizar o arquivo com os códigos utilizados?

    • @JornadaDeDados
      @JornadaDeDados  8 месяцев назад +1

      Claro, esse é o código que fizemos ao ao vivo
      github.com/lvgalvao/projetoscrapingaovivo

  • @jonatapaulino
    @jonatapaulino 8 месяцев назад +1

    Não vi meu nome na planilha de certificado.

  • @GustavoJean
    @GustavoJean 6 месяцев назад +1

    Como eu faço para participar da comunidade?

    • @JornadaDeDados
      @JornadaDeDados  6 месяцев назад

      Boa tarde, você consegue ver todos os detalhes em nosso site
      www.suajornadadedados.com.br

  • @rodrigo100kk
    @rodrigo100kk 8 месяцев назад

    Pessoal, a área de dados está super difícil para Seniores, que dirá para juniores. O momento não está nada favorável para novatos.

  • @juniorlima1201
    @juniorlima1201 8 месяцев назад

    Bom dia Luciano! Estava obtendo resposta (200) normal, mas depois voltou pro (403), mesmo com o user_agent. Como resolver isso? Onde encontro a planilha com os nomes do certificado? Obrigado!

    • @makinista5661
      @makinista5661 4 месяца назад

      Olá amigo, também estou tendo o mesmo problema... você achou solução? pois ainda não achei!!

    • @Mateus-di8bj
      @Mateus-di8bj 22 дня назад

      Certifique-se de rodar o comando 'scrapy shell' dentro da pasta 'coleta'

  • @thiagosantana_oficial
    @thiagosantana_oficial 8 месяцев назад

    Alguém me ajuda com o erro:
    conexao = sqlite3.connect('data/quotes.db')
    ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
    sqlite3.OperationalError: unable to open database file
    o caminho do banco de dados está correto, pois quando faço o teste para acessar o banco de dados da certo,.

  • @zaqueulima5481
    @zaqueulima5481 8 месяцев назад +1

    eu tbm assisti a live e não vi meu certificado

    • @JornadaDeDados
      @JornadaDeDados  8 месяцев назад

      Me manda um e-mail com seu nome todo, contato@lvgalvaofilho.com

  • @MrCochico01
    @MrCochico01 8 месяцев назад

    Não achei o link no grupo do whatsapp

    • @JornadaDeDados
      @JornadaDeDados  6 месяцев назад

      Em nosso site, você passa o fluxo de cadastro e ao final existe a possibilidade de entrar no grupo mais recente. Por aqui: suajornadadedados.com.br/python-zero-ao-deploy-v2/

  • @MrCochico01
    @MrCochico01 8 месяцев назад

    Pessoal, onde eu baixo o ebook?

    • @JornadaDeDados
      @JornadaDeDados  6 месяцев назад

      Você pode encontrar através desse link: drive.google.com/file/d/1TXbiiiSrImvTEeXYi3vZk7lNuxp0c_pm/view