Fala galera! Gostou do vídeo? Deixa a sua curtida e se inscreve no canal! ► Para baixar o Minicurso de Python, acesse: pages.hashtagtreinamentos.com/inscricao-minicurso-python-automacao-org?origemurl=hashtag_yt_org_minipython_QdLgNr1mKQU ► Para baixar os arquivos da aula, acesse: pages.hashtagtreinamentos.com/arquivo-python-12dFWOx9eH1dJH7iEV7vE7AIF1w1Up9FN?origemurl=hashtag_yt_org_planilhapyt_QdLgNr1mKQU ► Para instalar o Jupyter, acesse: ruclips.net/video/_eK0z5QbpKA/видео.html ► Blog: bit.ly/2MRUZs0 ► RUclips: bit.ly/3c0LJQi ► Instagram: bit.ly/3o6dw42 ► Facebook: bit.ly/3qGtaF2
Videos de WebScrapping, sempre fazem abrir a mente, dando-nos uma noção de informações que desejamos, mais que para obte-las, é complicado ou exigia uma certa esperteza. Ainda temos a possibilidade de adquirirmos informações a partir de uma planilha e gravarmos em um banco de dados. Ajuda bastante e em algumas vezes é necessário, principalmente quando há um legado. Eu tenho uma necessidade. Estou precisando de pegar todos os bairros de todos os municípios de uma UF. A partir de cada município, que há necessidade de ser escolhido, preciso ler pelo menos o CEP, pois diante deste, existe um pacote Python que mostra o Bairro e no teste utilizado, ele trouxe essa informação a partir de um campo, chamado Distrit.
Ótimo vídeo, gostei muito. Só tenho uma pequena correção no código, quando for armazenar a avalição os valores se repetem. com isso é coloquei uma variável para contar e ir de índice em índice "'nota': response.css('strong::text')[cont].get()". Coloque "cont = 0" antes do "for" e fiz a incrementarão logo após o final da chave do "yield", que ficou assim "cont += 1".
Estou integrando numa empresa e o teste técnico é justamente usar o Scrapy e Docker para varrer um site específico. Obrigado pela aula! Me ajudou muito!
Obrigado pelo material, muito bom ver na prática e realmente, é muito simples, minha experiência de desenvolvimento web de 6 anos facilita bastante, mas realmente é incrivel a praticidade do python para esses processos, vou continuar estudando, mas o seu vídeo já me deu fundamentos mais que suficiente para trabalhar processos interessantes. Mais uma vez obrigado e parabéns, inscrição em gratidão.
Excelente vídeo! Ajudou muito! Estamos ralando no trabalho com uma planilha que deve ser preenchida todos os dias com informações de um dos sites que atendemos. Vou puxar essas informações de de forma direta agora.
Top...muito obrigado pela ótima explicação...vai me ajudar muito em um projetos que estou desenvolvendo...estou engatinhando no python mas esse canal tem me ajudado bastante a progredir
Primeiramente parabéns pelo excelente trabalho que o time está realizando. Gostaria de sugerir vídeos com os módulos OS, SYS, PROCESS, SUBPROCESS e outros nessa levada...
Muito bom o vídeo! Se pudesse fazer outro vídeo aprofundando um pouco, por exemplo: Ensinando como passar esse csv formatado para realizar analises com o pandas, como realizar scraping em sites onde a lista de informações que eu quero está dividida em várias páginas (pág 1, 2, 3), etc.
Adorei o vídeo, os atalhos são incríveis, realmente facilita a vida. Ainda nesse assunto de Webscraping, consegue fazer um Webscraping que puxe os vendedores do mercado livre? Para prospecção de Leads.
Poderia fazer uma aula comparando preço dos produtos de sites diferentes, mostrando quanto custa um produto A em fornecedores diferentes e talvez até fazer um ranking do melhor preço, etc... Parabéns pela aula👏👏👏
Top demais, Daniel! Eu só tive problema em usar o terminal que não reconheceu o scrapy, mas usei o cmd. Acho que tem relação com a versão do Python que no vídeo é 3.6 e o meu já está no 3.8. Mas no final, tudo funcionou perfeitamente. Obrigado!
Começando os estudos de python com esse vídeo e para um projeto pessoal tbm. Como estamos em temo de copa do mundo, poderia fazer um vídeo mostrando como pegar os dados de alguma copa qualquer no site da Fifa. Tanto como resultados de jogos, escalação e marcadores de gol...
@Hashtag Programação, muito bom !! Vocês poderiam fazer uma aula de integração do Python de Análise de Dados com o Google Data Studio, seria muito interesse por ser um ambiente Web.
Blz! Estou inscrito no curso de Python Impressionador e estou gostando bastante deste assunto. Lá no curso de Python fala sobre Selenium e do Pyautogui, fazendo uma breve comparação entre estes que mecionei e o Scrapy, quando seria o melhor? ou quando devo usar um deles? Grato.
Para vc ter um ambiente somente com a bibliotecas q vc for usar sem misturar com o ambiente global. Dessa forma, evita incompatibilidade de bibliotecas e vários problemas. Tbm contribui para uma melhor organização.
Olá, boa noite ! É possível fazer webscraping de comentários da página de fecebook e Instagram. Eu trabalhava fazendo análises qualitativas de comentários nas Redes sociais. E fazia isso manualmente.
Cara, acho que vale a pena uma aprofundada nisso hein. Scrapy X Selenium: Quais as diferenças, quando utilizar um ou outro? Como fazer uma extração e jogar os resultados direto em um BD?
preferi fazer no selenium, ta doido maior trampo, essa parada de criar ambiente virtual, via a aula parando e pensando, ja no selenium fiz em 5min o codigo, scrapy deve ser bom para outras coisas
@@marcelohenriquepsy1491 Sim mano, dependendo da situação o scrapy acaba sendo uma "bazuca pra matar uma formiga", se é que me entende. O Selenium te permite fazer as coisas de um jeito mais prático e direto, mas quando você começa a pegar uns problemas maiores começa a ficar complicado (meu cenário). Sobre papo de ambiente virtual, isso ai é independente do selenium po. É mais uma boa prática. Dependendo do contexto, dá pra lascar tudo no global mesmo.
@@marcelohenriquepsy1491 Sendo bem sincero o Daniel perdeu um tempo violento ensinando a criar ambiente virtual e as paradas por CMD, coisa que quem tá começando não compensa aprender isso de cara, só "assusta" mesmo.
@@marcelohenriquepsy1491 se você não criar ambiente virtual pode danificar o python do seu sistema ou seja qual for a linguagem, no máximo vc teria que formatar seu Pc! Se por algum milagre seus projetos estiverem no GitHub basta fazer o clone e continuar de onde parou!
Boa tarde, pfvr se conseguirem fazer algum vídeo de WebDriver utilizando o internet explorer ajudaria muito. Não achei nada na internet sobre, queria selecionar botões e escrever nos input, atualmente o sistema da minha empresa só roda nesse navegador. Desde já muito obrigado.
Parabéns pelo conteúdo foi muito explicativo. Agora me deparei com uma situação que os textos tinha acentos. Onde devo informa o utf8_encode($texto); ?
Mano muito bom o vídeo, mas os itens da nota estão errados. Deu 9.2 independente do filme, pq vc ta dizendo q a nota é sempre o primeiro item da lista de notas. Faltou utilizar um enumerate no for pra poder iterar pelo índice e pegar a informação correta da nota através do índice. For indice,filme in enumerate(filmes): Yield{ ... Nota : response.css(...)[indice] } Mas ótimo vídeo, não tô querendo ser chato mas é pq é uma informação importante hehe. Vlw, tmj!
@@viniciussalgueiro1953 Tente fazer algo assim: def parse(self, response): for i, filmes in enumerate(response.css(".titleColumn")): yield{ "title" : filmes.css(".titleColumn a::text").get(), "date" : filmes.css(".secondaryInfo::text").get()[1:-1], "rate" : response.css("strong::text").getall()[i] } pass E fazer o scrapy crawl novamente
Ótima aula. Parabéns pelo conteúdo. Só fiquei em dúvida que os títulos estavam em português (no site) e quando foram extraídos para .json ou .csv estes apareceram em inglês. Outro ponto já mencionado em outros comentários é que as notas ficaram as mesmas para todos os filmes. Abraço e muito obrigado por nos ensinar mais e mais.
Fala galera!
Gostou do vídeo? Deixa a sua curtida e se inscreve no canal!
► Para baixar o Minicurso de Python, acesse: pages.hashtagtreinamentos.com/inscricao-minicurso-python-automacao-org?origemurl=hashtag_yt_org_minipython_QdLgNr1mKQU
► Para baixar os arquivos da aula, acesse: pages.hashtagtreinamentos.com/arquivo-python-12dFWOx9eH1dJH7iEV7vE7AIF1w1Up9FN?origemurl=hashtag_yt_org_planilhapyt_QdLgNr1mKQU
► Para instalar o Jupyter, acesse: ruclips.net/video/_eK0z5QbpKA/видео.html
► Blog: bit.ly/2MRUZs0
► RUclips: bit.ly/3c0LJQi
► Instagram: bit.ly/3o6dw42
► Facebook: bit.ly/3qGtaF2
o comando pip nao eh reconhecido no ambiente virtual, o que pode ser feito?
Videos de WebScrapping, sempre fazem abrir a mente, dando-nos uma noção de informações que desejamos, mais que para obte-las, é complicado ou exigia uma certa esperteza.
Ainda temos a possibilidade de adquirirmos informações a partir de uma planilha e gravarmos em um banco de dados.
Ajuda bastante e em algumas vezes é necessário, principalmente quando há um legado.
Eu tenho uma necessidade.
Estou precisando de pegar todos os bairros de todos os municípios de uma UF.
A partir de cada município, que há necessidade de ser escolhido, preciso ler pelo menos o CEP, pois diante deste, existe um pacote Python que mostra o Bairro e no teste utilizado, ele trouxe essa informação a partir de um campo, chamado Distrit.
Ótimo vídeo, gostei muito. Só tenho uma pequena correção no código, quando for armazenar a avalição os valores se repetem. com isso é coloquei uma variável para contar e ir de índice em índice "'nota': response.css('strong::text')[cont].get()". Coloque "cont = 0" antes do "for" e fiz a incrementarão logo após o final da chave do "yield", que ficou assim "cont += 1".
Que aula SENSACIONAL! 1 hora de puro conteudo, isso é maravilhoso.
deem mais espaço para este cara lira, o cara é bom e a didática é excelente !!!!!!!!!
Estou integrando numa empresa e o teste técnico é justamente usar o Scrapy e Docker para varrer um site específico. Obrigado pela aula! Me ajudou muito!
Gentee, que massa essa sequencia de videos de webscrapping
arrasaram
Muito obrigado por esta abordagem à biblioteca Scrapy !!! Excelenteeee e PARABÊNS
melhor video sobre o tema. Assisti vários e já quebrei muito a cabeça. Vlw! Salvou rs
Obrigado pelo material, muito bom ver na prática e realmente, é muito simples, minha experiência de desenvolvimento web de 6 anos facilita bastante, mas realmente é incrivel a praticidade do python para esses processos, vou continuar estudando, mas o seu vídeo já me deu fundamentos mais que suficiente para trabalhar processos interessantes.
Mais uma vez obrigado e parabéns, inscrição em gratidão.
Excelente vídeo! Ajudou muito! Estamos ralando no trabalho com uma planilha que deve ser preenchida todos os dias com informações de um dos sites que atendemos. Vou puxar essas informações de de forma direta agora.
Top...muito obrigado pela ótima explicação...vai me ajudar muito em um projetos que estou desenvolvendo...estou engatinhando no python mas esse canal tem me ajudado bastante a progredir
Cara estou abismado show de bola, curti muito. Estou ingressando agora nesse mundo e de cara ja vi esse vídeo que só me deixou mais animado ainda.
Animal essa aula. Já tinha noção de WebScraping e não esperava.
MUITO FODA! Obrigado por ir super no detalhe, faz muita diferença para quem está começando!!!
Vocês lêem mentes é? Tava pesquisando sobre isso desde ontem. Vocês são muito bons!
Enfim o algoritmo.
Eles não, mas o algoritmo do yt kskskskks
Webscraping mudou minhavida
Gostei muito da sua didática. Impossível não compreender.
nota máxima em qualidade e conteúdo. Vale a pena assistir.
Primeiramente parabéns pelo excelente trabalho que o time está realizando.
Gostaria de sugerir vídeos com os módulos OS, SYS, PROCESS, SUBPROCESS e outros nessa levada...
Boa garoto, seria top falar sobre essas bibliotecas mesmo !
UP
muito bom esse vídeo, é o que explicou melhor como funciona
Parabéns o trabalho excelente de conteúdo!!! tenho uma noção de scrapy e agora com esse vídeo me ajudou muito! Obrigado
Show de bola, entendi muito mais do que no curso que eu to pagando e fazendo...
gostei bastante,que Deus abençoe vocês e a familia de vocês sempre
Animal esse scrapy, agradeço a aula completa!
Muito bom, isso é um grande inicio para projetos maiores, parabéns e obrigado...
Muito obrigado, seu trabalho é relevante e importante. Aprendi bastante com o vídeo e vai ser bastante útil pra mim
Meus canais preferidos hashteg programação, curso em vídeo e programando programas
Muito legal. A tua aula é muito boa.
Muito bom o vídeo! Se pudesse fazer outro vídeo aprofundando um pouco, por exemplo:
Ensinando como passar esse csv formatado para realizar analises com o pandas, como realizar scraping em sites onde a lista de informações que eu quero está dividida em várias páginas (pág 1, 2, 3), etc.
alguém sabe essa solução?
@@GianScaglianti eu sei, mas só vou explicar no meu curso
Muito obrigada! Muito explicativo! Espero que façam um com um site que as atualizações são recorrentes! No aguardo!
JOvem do céu. Conteudo muito topp
Eu gostei. Ensinou várias coisas. Valeu Candioto, Candidato a vaga do Lira.
capiroto*
Cara que show, eu amo webscraping, mas não conhecia o scrapy, muito show seu vídeo cara, Sucesso!
Cara, muito boa aula, muito fácil a maneira como você trouxe o conteúdo, parabéns e obrigado!!
Muito bom conteúdo! minha primeira experiência em webscraping, obrigado.
Mano kkkkk que daora isso. Valeu pelo vídeo. Entendi a importância de criar um ambinete virtual tbm
Sensacional! Parabéns!
Adorei o vídeo, os atalhos são incríveis, realmente facilita a vida. Ainda nesse assunto de Webscraping, consegue fazer um Webscraping que puxe os vendedores do mercado livre? Para prospecção de Leads.
Muito bom Candioto!!! Obrigado por compartilhar e Parabéns pelo conteúdo!
Muito bom os vídeos de vocês, parabéns!!! Minha dúvida é como fazer isso em um site que precisa de login e senha?
Poderia fazer uma aula comparando preço dos produtos de sites diferentes, mostrando quanto custa um produto A em fornecedores diferentes e talvez até fazer um ranking do melhor preço, etc... Parabéns pela aula👏👏👏
sabe se tem vídeo sobre isso usando python? (vários sites)
muito boa a dica do selector gadget!
Excelente! Muito obrigado!
Top demais, Daniel!
Eu só tive problema em usar o terminal que não reconheceu o scrapy, mas usei o cmd. Acho que tem relação com a versão do Python que no vídeo é 3.6 e o meu já está no 3.8.
Mas no final, tudo funcionou perfeitamente.
Obrigado!
Eu estava usando o Python 3.11 e realmente deu errado. Parece que o Scrapy só roda nessas versões mais antigas (usei o Python 3.7 no meu venv)
Meus parabéns pelo excelente vídeo 👏👏👏
Começando os estudos de python com esse vídeo e para um projeto pessoal tbm. Como estamos em temo de copa do mundo, poderia fazer um vídeo mostrando como pegar os dados de alguma copa qualquer no site da Fifa. Tanto como resultados de jogos, escalação e marcadores de gol...
Top! Obrigado por compartilhar essas informações.
Thanks! I've been searching how to get it and this is brilliant :D
Muito bom parceiro. Excelente para quem está começando.
Gostei da aula. Poderia mostrar depois como ficaria isso, fazendo tipo um cron, agendamento.
Mais uma aula TOP, parabéns
Que aula meu amigo, conteúdo de valor !
Meus parabéns !
Perfeito.
Excelente explicação.
Só professor bom nesse canal. Sou fã
Muito bom o vídeo.
Poderia falar um pouco mais sobre scrappy vs requests + Bs4?
Olá, ótima aula. Perfeita, como faço no caso de ter mais de uma página na lista de filmes?
Muito bom. Parabéns pelo excelente vídeo.
@Hashtag Programação, muito bom !!
Vocês poderiam fazer uma aula de integração do Python de Análise de Dados com o Google Data Studio, seria muito interesse por ser um ambiente Web.
top demais esse framework!
Aula Impressionadora! Adoro o conteúdo de vocês! A hashtag devia se chamar hashtop!
Vcs arrasam façam mais videos de webscrapping por favor
Conteúdo top, obrigado por produzir.
Maravilha!! Quando vai ter curso completo de Scrapy?
Obrigado Diogo Defante programador
Sensacional!
Parabens! Maravilha! Gostei muito!
Muito bom vídeo!! Parabéns!
OI, faz um video de como usar webscraping para preencher formulario por requests
Muito bom o vídeo.
Cara tem um problema ai, as notas todas foram 9.2, o get ta pegando somente a nota do primeiro filme, fora isso ficou perfeito, parabéns!
Excelente vídeo, inclusive!
Muito booommm professor. Faz uma aula depois de scrapy pra coletar dados de sites como Americanas, Magalu, Mercado Livre, Shopee etc
Obrigado pela aula!
boa tarde, tudo bem? queria ver um mini curso para coloetar dados do site da amazon para pegar valor e nome do produto. Muito bom o video.
Poderia pegar também de indicadores de mercado, bem voltado para o mercado de trabalho
muito bom, parabens...
Excelente aula.
Valeu...
Maravilha meu irmão!
Daniel, Parabéns pelo vídeo, bastante didático! Gostaria de saber se o scrapy consegue também extrair informações de paginas dinâmicas.
Blz! Estou inscrito no curso de Python Impressionador e estou gostando bastante deste assunto. Lá no curso de Python fala sobre Selenium e do Pyautogui, fazendo uma breve comparação entre estes que mecionei e o Scrapy, quando seria o melhor? ou quando devo usar um deles? Grato.
Muito obrigado!
def parse(self, response):
for indice, filme in enumerate(response.css('.titleColumn')):
yield {
'titulo' : filme.css('.titleColumn a::text').get(),
'ano' : filme.css('.secondaryInfo ::text').get(),
'nota' : response.css('strong ::text').getall()[indice]
}
Parabéns!
Muito bom - Obrigado!!!
Olá, pessoal. Muito bom o vídeo! A minha dúvida é pq devemos criar um ambiente virtual em cada projeto?
Para vc ter um ambiente somente com a bibliotecas q vc for usar sem misturar com o ambiente global. Dessa forma, evita incompatibilidade de bibliotecas e vários problemas. Tbm contribui para uma melhor organização.
Olá, boa noite ! É possível fazer webscraping de comentários da página de fecebook e Instagram. Eu trabalhava fazendo análises qualitativas de comentários nas Redes sociais. E fazia isso manualmente.
Cara, acho que vale a pena uma aprofundada nisso hein.
Scrapy X Selenium: Quais as diferenças, quando utilizar um ou outro?
Como fazer uma extração e jogar os resultados direto em um BD?
Ah, e claro, conteúdo MUITO bom.
Obrigado e parabéns!
preferi fazer no selenium, ta doido maior trampo, essa parada de criar ambiente virtual, via a aula parando e pensando, ja no selenium fiz em 5min o codigo, scrapy deve ser bom para outras coisas
@@marcelohenriquepsy1491 Sim mano, dependendo da situação o scrapy acaba sendo uma "bazuca pra matar uma formiga", se é que me entende. O Selenium te permite fazer as coisas de um jeito mais prático e direto, mas quando você começa a pegar uns problemas maiores começa a ficar complicado (meu cenário).
Sobre papo de ambiente virtual, isso ai é independente do selenium po. É mais uma boa prática. Dependendo do contexto, dá pra lascar tudo no global mesmo.
@@marcelohenriquepsy1491 Sendo bem sincero o Daniel perdeu um tempo violento ensinando a criar ambiente virtual e as paradas por CMD, coisa que quem tá começando não compensa aprender isso de cara, só "assusta" mesmo.
@@marcelohenriquepsy1491 se você não criar ambiente virtual pode danificar o python do seu sistema ou seja qual for a linguagem, no máximo vc teria que formatar seu Pc! Se por algum milagre seus projetos estiverem no GitHub basta fazer o clone e continuar de onde parou!
Muito bom!
Boa tarde, pfvr se conseguirem fazer algum vídeo de WebDriver utilizando o internet explorer ajudaria muito.
Não achei nada na internet sobre, queria selecionar botões e escrever nos input, atualmente o sistema da minha empresa só roda nesse navegador.
Desde já muito obrigado.
Parabéns pelo conteúdo foi muito explicativo. Agora me deparei com uma situação que os textos tinha acentos. Onde devo informa o utf8_encode($texto); ?
Excelente
to aprendendo muito com esse canal, muito obrigado !
Mano muito bom o vídeo, mas os itens da nota estão errados. Deu 9.2 independente do filme, pq vc ta dizendo q a nota é sempre o primeiro item da lista de notas.
Faltou utilizar um enumerate no for pra poder iterar pelo índice e pegar a informação correta da nota através do índice.
For indice,filme in enumerate(filmes):
Yield{
...
Nota : response.css(...)[indice]
}
Mas ótimo vídeo, não tô querendo ser chato mas é pq é uma informação importante hehe.
Vlw, tmj!
Olá @Guilherme Pimenta, tentei o for loop e enumerate acima, mas nao funcionou também. Como conseguiu fazer?
@@Kgs2050 vc colocou o css seletor correto ?
@@guilhermepimenta1960 verdade
ele me retorna apenas 3 itens e com as notas 9 . e 2 kkkk
@@viniciussalgueiro1953 Tente fazer algo assim:
def parse(self, response):
for i, filmes in enumerate(response.css(".titleColumn")):
yield{
"title" : filmes.css(".titleColumn a::text").get(),
"date" : filmes.css(".secondaryInfo::text").get()[1:-1],
"rate" : response.css("strong::text").getall()[i]
}
pass
E fazer o scrapy crawl novamente
Ótima aula. Parabéns pelo conteúdo.
Só fiquei em dúvida que os títulos estavam em português (no site) e quando foram extraídos para .json ou .csv estes apareceram em inglês. Outro ponto já mencionado em outros comentários é que as notas ficaram as mesmas para todos os filmes. Abraço e muito obrigado por nos ensinar mais e mais.
Muito legal
Gostaria de fazer um scraping do Mercado livre. Saber quantos produtos meus concorrentes venderam de um determinado produto
Teria como extrair as infos do perfil do LinkedIn
Grava um vídeo pegando dados da Pichau, seria interessante..
E possível extrair informações de um site de produtos direto para planilha para adicionar produtos em um site shopfy ou loja integrada por exemplo?
Gostaria de pegar os resultados dos jogos da NBA de basquete ... Me ajude por favor 🙏🙏🙏🙏🙏