Programação na Prática
Programação na Prática
  • Видео 39
  • Просмотров 112 928
Webscraping Python e Scrapy - Magazine Luiza
Webscraping com python e Scrapy Magazine Luiza
Quer aprender mais sobre webscraping?
Link para curso com 70 aulas e mais de 12 horas de conteúdo.
hotm.art/scrapy
Просмотров: 394

Видео

Django ou Flask Qual o MELHOR webframework em Python?
Просмотров 1064 месяца назад
Django ou flask. Qual webframework usar em python?
5 Projetos Webscraping com Python e Scrapy
Просмотров 1844 месяца назад
Quer aprender mais sobre webscraping? Link para curso com 70 aulas e mais de 12 horas de conteúdo. hotm.art/scrapy
COMO RESOLVER CAPTCHA COM PYTHON?
Просмотров 1,6 тыс.5 месяцев назад
Quer aprender mais sobre webscraping? Link para curso com 70 aulas e mais de 12 horas de conteúdo. hotm.art/scrapy Links do vídeo: github.com/2captcha/2captcha-python/ Link do 2Captcha (afiliado): 2captcha.com/?from=22054009
PYTHONANYWHERE DO ZERO. GUIA PARA INICIANTES!
Просмотров 9099 месяцев назад
Link para pythonanywhere: tinyurl.com/2p94c2za
ALTERNATIVAS E O FIM DO PLANETSCALE.
Просмотров 2019 месяцев назад
ALTERNATIVAS E O FIM DO PLANETSCALE.
ERRO 403 OLX, COMO RESOLVER? WEBSCRAPING COM PYTHON
Просмотров 1,1 тыс.9 месяцев назад
Quer aprender mais sobre webscraping? Link para curso com 70 aulas e mais de 12 horas de conteúdo. hotm.art/scrapy Cupom de desconto: RUclipsSCRAPY
DEBUGAR MELHOR EM PYTHON - 99% NÃO CONHECEM - Use icecream ic() e não print()!
Просмотров 398Год назад
Quer aprender mais sobre webscraping? Link para curso com 70 aulas e mais de 12 horas de conteúdo. hotm.art/scrapy Cupom de desconto: RUclipsSCRAPY
O melhor plugin para python do vscode!
Просмотров 396Год назад
Quer aprender mais sobre webscraping? Link para curso com 70 aulas e mais de 12 horas de conteúdo. hotm.art/scrapy Cupom de desconto: RUclipsSCRAPY
Como configurar VSCODE e Python
Просмотров 510Год назад
Quer aprender mais sobre webscraping? Link para curso com 70 aulas e mais de 12 horas de conteúdo. hotm.art/scrapy Cupom de desconto: RUclipsSCRAPY
Webscraping com python sem scrapy - AliExpress com Python
Просмотров 1,1 тыс.Год назад
Quer aprender mais sobre webscraping? Link para curso com 70 aulas e mais de 12 horas de conteúdo. hotm.art/scrapy Cupom de desconto: RUclipsSCRAPY Código do vídeo: pastebin.com/ktAHtJcb
Ler PDF com python - Freelancer com python - PNP 02
Просмотров 428Год назад
Ler PDF com python - Freelancer com python - PNP 02
if __name__ == '__main__' o que é e para que serve?
Просмотров 431Год назад
if name ' main ' o que é e para que serve?
reservando hotel com python - freelance com python 02
Просмотров 309Год назад
reservando hotel com python - freelance com python 02
webscraping com python - 5000 itens OLX com scrapy e python em 5 minutos.
Просмотров 11 тыс.Год назад
webscraping com python - 5000 itens OLX com scrapy e python em 5 minutos.
Ideias de projetos com python e scrapy!
Просмотров 271Год назад
Ideias de projetos com python e scrapy!
Scrapy é uma marreta!
Просмотров 184Год назад
Scrapy é uma marreta!
Excel e scrapy e python. Como fazer?
Просмотров 278Год назад
Excel e scrapy e python. Como fazer?
WEBSCRAPING COM SCRAPY E PYTHON PARA INICIANTES
Просмотров 7 тыс.Год назад
WEBSCRAPING COM SCRAPY E PYTHON PARA INICIANTES
ALTERNATIVA AO HEROKU - FLYIO E PYTHON!
Просмотров 842Год назад
ALTERNATIVA AO HEROKU - FLYIO E PYTHON!
10 MINUTOS DE PYTHON! BLACKFRAUDE NUNCA MAIS.
Просмотров 263Год назад
10 MINUTOS DE PYTHON! BLACKFRAUDE NUNCA MAIS.
CHATGPT E BING NO MICROSOFT EDGE! É O FIM DO GOOGLE?
Просмотров 118Год назад
CHATGPT E BING NO MICROSOFT EDGE! É O FIM DO GOOGLE?
PROJETO PRÁTICO FÁCIL PARA INICIANTES COM PYTHON E FLASK E JAVASCRIPT!
Просмотров 3,9 тыс.2 года назад
PROJETO PRÁTICO FÁCIL PARA INICIANTES COM PYTHON E FLASK E JAVASCRIPT!
ALTERNATIVA AO HEROKU! DEPLOY RENDER.COM (PYTHON E FLASK)
Просмотров 12 тыс.2 года назад
ALTERNATIVA AO HEROKU! DEPLOY RENDER.COM (PYTHON E FLASK)
ALTERNATIVA AO HEROKU. FIM DO PLANO GRÁTIS DO HEROKU, E AGORA?
Просмотров 4,2 тыс.2 года назад
ALTERNATIVA AO HEROKU. FIM DO PLANO GRÁTIS DO HEROKU, E AGORA?
Criar app no Heroku (Python e Flask)
Просмотров 2,9 тыс.2 года назад
Criar app no Heroku (Python e Flask)
FOR LOOP PYTHON COM LIST COMPREHENSION
Просмотров 4583 года назад
FOR LOOP PYTHON COM LIST COMPREHENSION
PYTHON E PILLOW! [COMO MANIPULAR IMAGENS COM PYTHON PILLOW]
Просмотров 8 тыс.3 года назад
PYTHON E PILLOW! [COMO MANIPULAR IMAGENS COM PYTHON PILLOW]
DECLARAR IMPOSTO DE RENDA RÁPIDO COM PYTHON! [PANDAS E PYAUTOGUI]
Просмотров 7 тыс.3 года назад
DECLARAR IMPOSTO DE RENDA RÁPIDO COM PYTHON! [PANDAS E PYAUTOGUI]
Tutorial Scrapy - Ganhando dinheiro na Prática com Upwork! [ série webscraping na prática]
Просмотров 8 тыс.3 года назад
Tutorial Scrapy - Ganhando dinheiro na Prática com Upwork! [ série webscraping na prática]

Комментарии

  • @luiskys-ImoveisSP
    @luiskys-ImoveisSP 12 дней назад

    eu sou corretor de imoveis, ao puxar estes dados no olx, é possivel segmentar com o filtro "proprietário", selecionar sao paulo, ou o bairro, e fazer a automação abrir cada chat para captar o numero de telefone do criador do anuncio?

    • @prognapratica
      @prognapratica 11 дней назад

      se o dado for público e estiver no html, deve ser possível

  • @vendasimports7227
    @vendasimports7227 13 дней назад

    tnho um projeto no pythonanywhere, não consigo migrar para o render

    • @prognapratica
      @prognapratica 11 дней назад

      exatamente porque não consegue?

  • @DevMuriloScorsato
    @DevMuriloScorsato 26 дней назад

    Não tem um prompt de comandos no render? Eu precisava configuração os arquivos staticos porq tenho um aplicação Django com Css , etc....

    • @prognapratica
      @prognapratica 11 дней назад

      vc pode iniciar o render com um script em python e usar subprocess, por exemplo. é uma opção

  • @corretorpersano
    @corretorpersano 26 дней назад

    Boa tarde como eu aprendo a rodar python dentro do servidor, como um site web ?

  • @epaminondasSim
    @epaminondasSim 2 месяца назад

    Rapaz, eu aprendi a fazer scraping utilizando os ensinamentos deste vídeo, mas agora estou tendo problemas para replicar em outros sites. Aparece esta mensagem após o comando scrapy runspider: ScrapyDeprecationWarning: '2.6' is a deprecated value for the 'REQUEST_FINGERPRINTER_IMPLEMENTATION' setting. It is also the default value. In other words, it is normal to get this warning if you have not defined a value for the 'REQUEST_FINGERPRINTER_IMPLEMENTATION' setting. This is so for backward compatibility reasons, but it will change in a future version of Scrapy. See the documentation of the 'REQUEST_FINGERPRINTER_IMPLEMENTATION' setting for information on how to handle this deprecation. return cls(crawler)

  • @danielcaetano5140
    @danielcaetano5140 2 месяца назад

    Sofri bastante com esse da gogle: www.google.com/recaptcha/api2/userverify. Eu não tinha a noção de como enviar o token, tentava encontrar algum botão, seu vídeo me deu a luz de buscar a função no script para fazer isso, muito obrigado.

  • @raphael7866
    @raphael7866 2 месяца назад

    não consegui passar da parte do captcha =/

  • @grlking333
    @grlking333 2 месяца назад

    ola tou querendo fazer um script/bot voce pode me ajudar? si conseguir me passa seu instagram

  • @mschon
    @mschon 3 месяца назад

    Eu queria ver algo realmente completo, por exemplo, uma aplicação desktop, com tela de login onde os dados estão em um banco de dados criptografado, usando um visual agradavel com QT ou CTk, geração de binario para distribuição em vários SO e obviamente abrindo uma segunda janela com controle deste login (admin tem permissão para acessar certos locais que um user normal não tem). Obviamente vem com um usuario default 'admin' que sua senha deve ser alterada no primeiro login e os demais usuarios cadastrados por dentro do APP.

  • @umahoracg3353
    @umahoracg3353 3 месяца назад

    Consegue desconto no curso de 50% ?

    • @prognapratica
      @prognapratica 3 месяца назад

      Fala nobre. Tem esse cupom aqui, mas acho que , se estiver funcionando, não é 50%. RUclipsSCRAPY

  • @PedroLucas-pc6nb
    @PedroLucas-pc6nb 3 месяца назад

    Excelente aula, mestre! Poderia fazer um vídeo mostrando como criar um schedule ou alguma forma de executar o crawler em horários/dias específicos? Seria muito bacana.

    • @prognapratica
      @prognapratica 3 месяца назад

      Tem sim..vou gravar durante a semana

  • @grlking333
    @grlking333 3 месяца назад

    salve boa noite pode me ajudar em um script meu

  • @douglasneres
    @douglasneres 3 месяца назад

    dá pra fazer muitooo mais fácil com BeautifulSoup

  • @ianbarddal7294
    @ianbarddal7294 3 месяца назад

    Meus parabéns, amigo. Que vídeo, senhores, que vídeo!

  • @mateusriebeck
    @mateusriebeck 3 месяца назад

    Muito bom seu conteúdo, fico realmente animado pra aprender mais ainda sou bem newbie e ainda por cima sou da área de dados, mas fico fascinado por essa parte de web, dev muito obrigado pelo conteúdo

  • @ianbarddal7294
    @ianbarddal7294 3 месяца назад

    Muito bom, amigo, obrigado!

  • @piorprogramadorbr9481
    @piorprogramadorbr9481 3 месяца назад

    COMO QUE EU TRANSFIRO O DOMÍNIO DO PYTHONANYWHERE PRO DOMÍNIO DO REGISTRO BR ?

  • @paulomaia9170
    @paulomaia9170 3 месяца назад

    Muito top, Lucas! Voce poderia por favor fazer webscraping utilizando o Selenium?

  • @RogerioCampos07
    @RogerioCampos07 3 месяца назад

    Muito legal. Por favor você poderia trazer um scrapy de página que o javascript se altera a cada interação?

  • @VeniltonSiqueira
    @VeniltonSiqueira 3 месяца назад

    Excelente. Obrigado por compartilhar.

  • @kromodoro
    @kromodoro 3 месяца назад

    Isso é bruxaria

  • @marcioprado608
    @marcioprado608 4 месяца назад

    Usei o Flask num projeto pessoal, ainda não conheço o Django. O que achei um complicador no Flask é a sua estrutura obrigatória de pastas, que acaba entrando em conflito com outras partes do projeto, por exemplo, o Firebase que também têm sua estrutura específica.

    • @prognapratica
      @prognapratica 4 месяца назад

      boa! qual conflito com pastas? template e static? você pode mudar o nome delas se precisar.

    • @marcioprado608
      @marcioprado608 4 месяца назад

      @@prognapratica Sim isso mesmo, o Firebase precisa de tudo direto na raiz da pasta public.

  • @ademirvasco4032
    @ademirvasco4032 4 месяца назад

    comigo só da código 403. triste.....

    • @prognapratica
      @prognapratica 4 месяца назад

      Da uma olhada que no canal tem um vídeo falando disso =]

  • @philippehaw1971
    @philippehaw1971 4 месяца назад

    Você recomenda algum curso sobre web apps e python?

  • @kromodoro
    @kromodoro 4 месяца назад

    Putz, estou num grande projeto e usando Flask 🤡

    • @prognapratica
      @prognapratica 4 месяца назад

      Faz parte haha. Mas tudo se resolve!

  • @mp_8634
    @mp_8634 4 месяца назад

    Tem muita coisa que o pessoal deveria saber antes de usar um web Framework acho que protocolos de HTTP o básico de redes parece óbvio pra quem já tá muito tempo na área,porém muita gente pula isso.

  • @VeniltonSiqueira
    @VeniltonSiqueira 4 месяца назад

    Ainda não usei nenhum dos dois. Interessante isso aí. Obrigado.

  • @philippehaw1971
    @philippehaw1971 4 месяца назад

    Para hospedar meus projetos no servidor, uma boa seria o servidor hetzner Linux + redcap ? Que outros itens de gerenciamento eu precisaria instalar no servidor?

    • @prognapratica
      @prognapratica 4 месяца назад

      cara, não conheço redcap. o que eu uso atualmente é hetzner + caprover

  • @nnoturno
    @nnoturno 4 месяца назад

    consegui usando o vs code e usando o navegador EDGE para a parte de inspeção.

  • @VeniltonSiqueira
    @VeniltonSiqueira 4 месяца назад

    O que dificulta a maioria dessas ideias aí é a falta de padronização nos nomes dos "produtos", pois não há regra, nos carros por exemplo, cada um coloca no anúncio o título que quiser. Obrigado pelo vídeo, bem interessante. Que tal novos vídeos com algumas das ideias que você colocou? Um abraço.

    • @prognapratica
      @prognapratica 4 месяца назад

      Verdade , Venilton. Nesse caso, mais uma etapa no projeto seria coseguir classificar e organizar essas informações. Alguns produtos possuem dados em comum. Algumas características de carros também. Vai da sua organização e planejamento.

  • @philippehaw1971
    @philippehaw1971 4 месяца назад

    Onde você sugere para aprender sobre essa parte do servidor? Configurações e ambiente servidor?

    • @prognapratica
      @prognapratica 4 месяца назад

      Se for em python e vc só quiser hospedar seu projeto, pythonanywhere é um bom começo.

  • @philippehaw1971
    @philippehaw1971 4 месяца назад

    Qual você acha que é o melhor servidor? Heroku, render, railway, anywhere? Alguma sugestão?

    • @prognapratica
      @prognapratica 4 месяца назад

      Para começar, acho que o python anywhere é mais amigável. Mas depois, acredito que alugar um servidor e configurar e colocar o que vc quiser é o melhor caminho (e mais barato também).

  • @marvio_rocha
    @marvio_rocha 4 месяца назад

    Assim aconteceu com o Railway, Heroku e Google Fotos. Bom ponto de vista por isso que tenho olhos diferente a serviços que usam plano gratis não deixo de usar mais não dá para apostar todas as fichas

  • @traderkardozo5035
    @traderkardozo5035 4 месяца назад

    oi, qual o video anterior a este? para saber sobre procfile?

  • @sunflowers2836
    @sunflowers2836 4 месяца назад

    Olá, caro desenvolvedor amigo! 👨‍💻 Gostaria de agradecer-te por esse tutorial objetivo e direto. Aprecio a maestria com que executastes tamanho ensinamento. Eu estava, há dias exaustivos, na tentativa de conseguir hospedar a minha primeira aplicação Flask. E, graças ao seu vídeo, eu consegui. Mais uma vez, agradeço! 🤝

  • @PEDRIQUES_site
    @PEDRIQUES_site 5 месяцев назад

    Muito bacana! Já tentou algo parecido no site do QuintoAndar ?

    • @prognapratica
      @prognapratica 4 месяца назад

      Não fiz não, mas parece ser possível.

  • @carloshenrique-ov5nk
    @carloshenrique-ov5nk 5 месяцев назад

    muito bom seu vídeo

  • @mp_8634
    @mp_8634 5 месяцев назад

    Se eu não em engano o seleniumBase já passa esses captchas ou outras Bibliotecas purae.Tirando o fator de Aprendizagem tem muita coisa que não compensa escrever do zero pois praticamente já tem solução pra tudo.

    • @prognapratica
      @prognapratica 5 месяцев назад

      Boa, vou testar. Pelo que vi é um pouco overkill por ser um framework. Também tenho que ver se ele passa tipos mais complexos de captcha e se funciona com headless mode. Além disso, tem a dificuldade de configurar a infra também do deploy da aplicação com o SB, a opção da lib é bem mais simples para esse propósito.

    • @mp_8634
      @mp_8634 5 месяцев назад

      @@prognapratica Eu coloque um script Com BS em modo "Headless" numa VPS, Funciona que é uma blz.O problema é que as vezes o pessoal Estrapola d+ tem que ter bom senso e saber que automação WEB 1 dia ta funcionando outro dia Não ta mais a varias questões.

    • @prognapratica
      @prognapratica 5 месяцев назад

      Top. Vou testar e faço um vídeo aqui citando você. Valeu pela dica

    • @danielcaldeira2874
      @danielcaldeira2874 4 месяца назад

      @@prognapratica seleniumbase ajuda mas por pouco tempo, até o recaptcha desconfiar de bot

    • @jacielrj
      @jacielrj 3 месяца назад

      ​@@mp_8634Pode me ajudar tô no precisando de um serviço básico que faça isso poucas vezes por dia sem estrapolar

  • @Miguel0800ko
    @Miguel0800ko 5 месяцев назад

    Parabéns!!

  • @diogo_ferrarezi
    @diogo_ferrarezi 5 месяцев назад

    Muito bom

  • @Miguel0800ko
    @Miguel0800ko 5 месяцев назад

    qual esse programa que voce usou para marca as paginas desenho no tempo 29:57

  • @info_dados
    @info_dados 6 месяцев назад

    Será que com Selenium está bloqueado também?

    • @prognapratica
      @prognapratica 6 месяцев назад

      Não testei, mas provavelmente estará. A não ser que você use um selenium com proxy ou com um perfil de outro navegador.

    • @erickfernandes8895
      @erickfernandes8895 Месяц назад

      Sim, eles bloquearam na hora de logar kk

  • @Euricojr123
    @Euricojr123 6 месяцев назад

    Parabéns pelo vídeo

  • @tonymarcel1608
    @tonymarcel1608 6 месяцев назад

    Mano eu sei o basico de programação em phyton , mas se eu comprar seu curso eu consigo ficar bom mesmo so tendo o basico ?

    • @prognapratica
      @prognapratica 6 месяцев назад

      Fala, Tony, blz? Quando eu comecei a estudar scrapy sabia só o básico. Variáveis, loops, funções. Nem objetos sabia direito. Mas aprendi muito e por isso passei esse conhecimento da forma mais progressiva que eu pude. Pode testar lá, você vai ter acesso ao meu email, então poderá tirar dúvidas de qualquer aula ou tópico. Caso tenha alguma dificuldade, entra em contato comigo.

  • @brxdavidcloss
    @brxdavidcloss 6 месяцев назад

    to fazendo um site que nada disso funciona, retorna as funções e nao os dados

  • @EulerKernighan
    @EulerKernighan 7 месяцев назад

    Excelente tutorial! Por que não encontro o botão de doação aqui no youtube pra vc arrecadar uma grana? Se habilitar, faço doação, de pouco em pouco a galinha enche o papo kakakak

  • @paulokill4442
    @paulokill4442 7 месяцев назад

    🎉Show! Gostei muito. Faz mais video utilizando Python, Flask e JS juntos.🙏

  • @dek4dron
    @dek4dron 8 месяцев назад

    carai.. meu sonho era ficar top nestas linguagens de programação .. mas toquei a vida por outro caminho .. vou estudando aos poucos por hobby mesmo

  • @HARDCODEDMC
    @HARDCODEDMC 8 месяцев назад

    para quem esta tentando a olx esta bloqeuando as requisicoes do modo headless pela cloudfare

  • @lucasmerloti9872
    @lucasmerloti9872 8 месяцев назад

    Fala professor, to com um problema no scrapy. Percebi que todos sites que possuem noindex_true fazem que nada seja retornado do site. O que é o noindex_true? E como posso contornar?

    • @prognapratica
      @prognapratica 8 месяцев назад

      alterou o robots txt nas settings? dá uma olhada no curso intensivo que tem aqui no canal.