cara to assitindo seu video em 2023 e foi o unico video bem explicado que achei na internet, explicacao clara, objetiva e direto ao ponto, muito obrigado pelo seu conteudo e ganhou mais um inscrito. Abracos
@@joaopinto1428 depende da quantidade de acessos. Mas no minimo 1gb ... faça um teste de carga, use ferramentas de monitoramento como new relic por exemplo, e vc vai ter a base mais ou menos.👍
Esse vídeo caiu como uma luva! Depois de 35 vídeos e sites (ou até mais), descobri que a Rocketseat já tinha um vídeo isso hahahaha e foi esse que me ajudou a resolver a minha aplicação. Obrigado, Mayk e Rocketseat pelo excelente conteúdo! Dia 12 tamo lá na NLW
Muito bom, Webscraping é algo util demais quando você precisa fazer caso de uso. Esse vídeo veio na hora certa. Gostei de uma aplicação e não soube como refazer. Agora eu sei. Mayk super professor, daqui a pouco os cursos pagos que ensinam coisas que não agregam tanto valor quando os seus ensinos vão ter que se reinventar pois o de graça ta sendo melhor que os pagos! LIVRE LEVE LIKE
Nossa que top web scraping , estou fazendo faculdade de DSM e teve uma palestra sobre raspagem de dados , mas ensinaram a fazer com python , dai tipo pega todo codigo fonte , html css e js do site , vou ver procurar pra ver se tem como fazer com js. Mas é muito legal praticamente cria um robo e manda ele fazer o que vc quiser top, parabens pelo video.
Salvou meu dia! Precisava extrair links da página de busca do Google. Só precisei alterar os argumentos no callback do map. Show de bola! Valeu Mayk!!!
Sempre top mega Power!!! Antes das minhas sugestões, me recomenda algum lugar onde eu possa comprar layouts de sites no figma (do jeito que vocês fazem no NLW)?? Novas sugestões: - instalar e usar o docker fazendo um contêiner de um sistema simples (algum sistema já criado mesmo); - Fazer deploy de um container do Docker (não sei se é possível, mas seria assim: subir um container que usa node em uma hospedagem que não usa node).
Gostei bastante, já fazia webscraping com c#, mas nunca havia feito com Node e me pareceu bem tranquilo, eu havia feito um para baixar as imagens do slideshare e converter em um pdf que ficava identifico ao pdf original quando não estava habilitado a opção de download em pdf no site
A aula ficou maravilhosa, parabéns pessoal. Infelizmente com a política do Instagram de não permitir o acesso ao conteúdo dos perfis, tive que fazer uma gambiarra para resolver.
Estou trabalhando em um projeto com puppeteer no momento, uma coisa legal q descobri é q da pra vc usar o browser já aberto (por exemplo, uma janela do chrome q já estava aberta pelo usuário, sem precisar criar uma no código) . É mt massa mesmo, consegui abandonar o selenium, q estava me dando dores de cabeça
No lugar de copiar a nodeList usando o operador spreed não é mais viável utilizar Array.from(nodeList) ? uma vez que você não vai expandir com outros conteúdos a não ser o que vem do querySelectorAll, eu achei mais performático isso é verdade ? me bateu essa dúvida aqui
Muito boa explicação, parabéns !! Acabei fazendo junto pq achei muito interessante essa biblioteca e no final tive uma surpresa, para ser mais especifico essa surpresa (net::ERR_BLOCKED_BY_RESPONSE.NotSameOrigin 200) as imagens apenas não carregam, posso estar falando besteira mas aparentemente não é possível mais utilizar as imagens do insta diretamente, catando o erro em fóruns tem alguns comentários informando que é algo a ver com Cross-Origin Resource Policy (CORP), algo da politica da empresa mesmo
Mas isso no uso indevido dos dados, não? Pq o Puppeteer nada mais é que um Chromium rodando em background. É o mesmo caso de você baixar manualmente e usar de forma indevida.
@@GameplaysDuvidosoZ Foi isso que eu pensei, utilizando dados de terceiros manualmente ou de forma automático com scraping dá no mesmo. O problema não é o scraping, e sim os direitos autorais kkkkk
Maykão! Cara, conteúdo muito fera... Queria fazer um pedido se possível. Que tal um vídeo mostrando como pegar a imagem e o conteúdo da foto do instagram? Descrição, título, autor da foto, coração, símbolo de enviar mensagem etc... Abraço!
Quando se trata de extrair dados de site grandes, como por exemplo o Instagram, o puppeteer é inviável para implementação em aplicações comerciais, pois o próprio Instagram bane os ips das maquinas que acessam suas páginas através do puppeteer (passei por isso hj... isso pq fiz de uma forma pra contornar essa situação fazendo uma requisição por dia)
Tentei usar o Cheerio no meu TCC e tive umas limitações. Só consegui executar com o Puppeteer. Queria que fosse ao contrário, pois o Puppeteer pode ficar bem pesadinho por abrir páginas do Chrome...
Eu faço webscapping com request e cheerio, o cheerio age como o jquery no backend, ae facilita o scrap, e o request, faz o request mesmo...inclusive com paginas com login, eu faço login, guardo o cookie e entro nas paginas protegidas, so com esses 2.
Show de bola! Me pintou uma dúvida sobre essa prática de scrapping... Até que ponto podemos pegar informações de sites? Ex. Posso garimpar de qualquer site sem medo de ser processado por algum motivo hahahh?
Acho que se vc não reproduzir coisas com direitos autorais ou tentar vender os mesmos, pode pegar de tudo que esteja público. Mas tem que usar com sabedoria e vê as licenças do q vai pegar
Mayke muito bom o conteúdo, você manja muito mesmo. Uma dúvida puppeteer tem alguma coisa como clicar, caso eu queira selecionar um filtro por exemplo?
Amei o video, no meu as imagens não aparecem, só aparece como se tivesse sendo carregada não printa nehum erro no meu console e ja verifiquei todos codigos estao corretos
Precisei de uma linha a mais de código para rodar deve aguardar o carregamento da primeira imagem na página antes de extrair todas as imagens, garantindo que você obtenha uma lista completa de imagens na saída. " await page.waitForSelector('article img'); "
Muito legal o vídeo! Demais mesmo! Bah Mayke sem querer ser chato tem como trazer a resolução 'desse tema de casa' em uma outra aula? Seria bem legal e eu aprenderia também. Abração.
Maykão, vc poderia mostrar uma maneira de "executar esse evaluate" em uma versão do Js puro? Ps: Eu codei um bot que baixa os stories (fotos e vídeos), separa em pastas com seus respectivos nomes, e guarda na minha máquina. Mas, queria muito entender isso, com o JavaScript puro.
@@imperiando Olá, eu usei o Puppeteer, o modulo fs e https do node. procure a documentação do Puppeteer. Lambrando que o que eu criei é para quem usar o instagram no pc e não no smartphone, certo?
cara to assitindo seu video em 2023 e foi o unico video bem explicado que achei na internet, explicacao clara, objetiva e direto ao ponto, muito obrigado pelo seu conteudo e ganhou mais um inscrito. Abracos
Lembrando que o pupeteer consome memória pra caramba, se for deixar em produção, indico fortemente deixar separado da sua api! Parabéns kaike👍
Ótima informações Felipe. Obg pelo feedback ❤️❤️❤️❤️
Vindo do Chrome já dá pra saber o tanto de ram que vai precisar
Quanto devo ter de memória pra funcionar bem o pupeteer Felipe?
@@joaopinto1428 depende da quantidade de acessos. Mas no minimo 1gb ... faça um teste de carga, use ferramentas de monitoramento como new relic por exemplo, e vc vai ter a base mais ou menos.👍
@@felipehuggler valeu!
Obrigado por compartilhar!!! Fiz e funcionou tudo certinho
Pegou o seu? O meu não ta abrindo o Instagram pelo Chromium do puppeteer
Esse vídeo caiu como uma luva! Depois de 35 vídeos e sites (ou até mais), descobri que a Rocketseat já tinha um vídeo isso hahahaha e foi esse que me ajudou a resolver a minha aplicação.
Obrigado, Mayk e Rocketseat pelo excelente conteúdo! Dia 12 tamo lá na NLW
Hahahahaha 😄😄. Que massa Luis! Nos vemos por lá então!! 😍🚀
Explicação mais simples de uma IIFE que eu já vi desde que comecei a estudar. Show demais Maykão!
Mikão é um monstro! simples, rápido, didático e simpatia de sobra! top!
Muito bom, Webscraping é algo util demais quando você precisa fazer caso de uso. Esse vídeo veio na hora certa. Gostei de uma aplicação e não soube como refazer.
Agora eu sei.
Mayk super professor, daqui a pouco os cursos pagos que ensinam coisas que não agregam tanto valor quando os seus ensinos vão ter que se reinventar pois o de graça ta sendo melhor que os pagos!
LIVRE LEVE LIKE
Nossa que top web scraping , estou fazendo faculdade de DSM e teve uma palestra sobre raspagem de dados , mas ensinaram a fazer com python , dai tipo pega todo codigo fonte , html css e js do site , vou ver procurar pra ver se tem como fazer com js. Mas é muito legal praticamente cria um robo e manda ele fazer o que vc quiser top, parabens pelo video.
Salvou meu dia! Precisava extrair links da página de busca do Google. Só precisei alterar os argumentos no callback do map. Show de bola! Valeu Mayk!!!
Show! Melhor didática do youtube! parabéns 👏👏👏👏👏 um CodeDrops de Svelte seria TOP...
Sempre top mega Power!!! Antes das minhas sugestões, me recomenda algum lugar onde eu possa comprar layouts de sites no figma (do jeito que vocês fazem no NLW)??
Novas sugestões:
- instalar e usar o docker fazendo um contêiner de um sistema simples (algum sistema já criado mesmo);
- Fazer deploy de um container do Docker (não sei se é possível, mas seria assim: subir um container que usa node em uma hospedagem que não usa node).
Muito bem, dos melhores tutorials de Puppeteer. Recomendo.
Gostei bastante, já fazia webscraping com c#, mas nunca havia feito com Node e me pareceu bem tranquilo, eu havia feito um para baixar as imagens do slideshare e converter em um pdf que ficava identifico ao pdf original quando não estava habilitado a opção de download em pdf no site
Que massa Glauber! Valeeu pelo feedback! 💜
Detalhado, ditádico e prático. Muito Obrigado pelo tutorial.
Muito top. Parabéns pelo conteúdo.
Valeu Fábio
Mais um vídeo fantástico Mayk
Que vídeo top! Não conhecia essa lib, sempre fiz webscraping utilizando extensões no chrome e com essa lib fica bem melhor.
Eu amo os desafios da rocketseat 👉🏻👈🏻❤️
Usei esse Puppeter para criar um baixador de sources especificos rsrsrs muito bom mesmo!
Muito top, parabéns pelo conteúdo!!
Valeu Milton
A aula ficou maravilhosa, parabéns pessoal. Infelizmente com a política do Instagram de não permitir o acesso ao conteúdo dos perfis, tive que fazer uma gambiarra para resolver.
Fantástico. Parabéns e obrigado por compartilhar o seu conhecimento com a comunidade!
Esse cara é um mito!
Você é demais!! Suas aulas são boas demais
Partiu fazer maratona dos vídeos do mayk
Nossa Mestre Maycão lê os nossos pensamentos, vídeo ultra massa. 💜🚀 Agora vou colocar a mão na massa depois partiu para o próximo code/drops.
Aula show Mayk Parabéns !!
Puxa vida... isso é incrível... Obrigado Mayk Brito... Já sei...
Que aula sensacional professor.
maykão sempre didático, ótimo vídeo!!!
cara muito boa tuas explicações!
Ótima aula professor, estava procurando algo para extrair informações de outros sites XD
Sensacional Matheus 🎉🎉
Cara parabéns vc explica muito bem
Muito show. Aprendi bastante!
Obrigadoooo maykão
hahahahah ficou engraçado esse comentário. 🐮
Corretor, nem vi kkkkkk kkk
Caraca mayk ,conteúdo top👏👏👏
Show de bola!
Valeu Luzimar
Não é possível, Rocketseat lendo mentes kkkk Vlw
Nós já dissemos que lemos, não sei porque não acreditam! 🔮🔮
Show! Cada dia melhora as dicas de vcs!
Estou trabalhando em um projeto com puppeteer no momento, uma coisa legal q descobri é q da pra vc usar o browser já aberto (por exemplo, uma janela do chrome q já estava aberta pelo usuário, sem precisar criar uma no código) . É mt massa mesmo, consegui abandonar o selenium, q estava me dando dores de cabeça
Olá. Como está fazendo já com a janela aberta?
Que ótimo conteúdo. Obrigado!
Maikão manja muito
Muito legal sempre quis aprender sobre Webscraping.
Show!! Um toast notification nos próximos code drop seria bacana.
Esse code/drops foi sensacional!!!
No lugar de copiar a nodeList usando o operador spreed não é mais viável utilizar Array.from(nodeList) ?
uma vez que você não vai expandir com outros conteúdos a não ser o que vem do querySelectorAll, eu achei mais performático isso é verdade ?
me bateu essa dúvida aqui
Maykão tá parecendo Prince nesse vídeo
O que seria de nós iniciantes se não fosse vocês da Rocket?. #MM MaykMonstro!
muito bom este video. Parabens
Muito boa explicação, parabéns !! Acabei fazendo junto pq achei muito interessante essa biblioteca e no final tive uma surpresa, para ser mais especifico essa surpresa (net::ERR_BLOCKED_BY_RESPONSE.NotSameOrigin 200) as imagens apenas não carregam, posso estar falando besteira mas aparentemente não é possível mais utilizar as imagens do insta diretamente, catando o erro em fóruns tem alguns comentários informando que é algo a ver com Cross-Origin Resource Policy (CORP), algo da politica da empresa mesmo
Estou com o mesmo problema
Estava procurando este comentário... Infelizmente não funciona mais com Instagram ou algo do tipo. Vou tentar outra coisa.
Adorei o conteúdo. Massa...
Parabéns Mike e Rocketseat pelo excelente vídeo. 🚀
Valeeeeeu Marcus pelo feedback!! 💜
Gostei muito do vídeo!
Show demais! Obrigado.
Que massa que curtiu, Edwilson! 💜
Quando usar o FS e quando usar um banco de dados? O FS seria mais pra testes, certo? Ou em aplicações pequenas posso usar?
Você respondeu, geralmente em produção pode usar tbm porém vc vai ser responsável por fazer o backup dos arquivos, que é muito chato
Uma boa ideia pra ficar monitorando quando chega ps5 na amazon hahaha
Olha que não é uma má ideia... 👀 😛 💜
Parabéns "Mayk Brito na área"!! Rs
video maravilhoso, explicacao do mykao eh foda.
mas a magica em 14:00 fico meio dificil de acompanhar pra mim, que tenho pouca intimidade com JS
Ele tem um array de objetos. O map é como se fosse um for onde retorna um array. Então para cada elemento desse array dele, ele cria uma LI.
Sensacional!!!
Shoow! muito bom !
Show!! Conteúdo excelente.. 👏👏👏
Valeeeeu Iago!! 💜
Show de bola
MASSA!! vlw Mayk!!!
bom dia, seguindo a aula não carregou as imagens. Não deveria ter uma prate de login antes para após entrar na pagina e fazer a captura das fotos?
Muuuito bom!! Como fica em produção, eu consigo criar um service na aws, por exemplo, e disparar ele sempre que eu precisar?
da pra colocar um registro de hora q foi salva a imagem? no caso salvar o texto da div + a imagem q o texto ta por cima...?
Acha ele melhor que o selenium ?
So uma informação adicional cuidado onde vocês iram usar Web Scraping, alguns sites proíbem essa pratica, dando até processo para o envolvido
Mas isso no uso indevido dos dados, não? Pq o Puppeteer nada mais é que um Chromium rodando em background. É o mesmo caso de você baixar manualmente e usar de forma indevida.
@@GameplaysDuvidosoZ Foi isso que eu pensei, utilizando dados de terceiros manualmente ou de forma automático com scraping dá no mesmo. O problema não é o scraping, e sim os direitos autorais kkkkk
Didática tooop...
Maykão! Cara, conteúdo muito fera... Queria fazer um pedido se possível. Que tal um vídeo mostrando como pegar a imagem e o conteúdo da foto do instagram? Descrição, título, autor da foto, coração, símbolo de enviar mensagem etc... Abraço!
Hoje eu estava pesquisando isso também para um projeto...
Sensacional.
Valeeeu pelo feedback, Eduardo!! 💜
Vou usar em um projeto meu, valeu.
Seria legal ter algum video ensinando a fazer o Deploy de uma aplicação usando o puppeteer. Pq é bem chato fazer o deploy delas.
qual programa vc uso pra fazer este codigo
Quando se trata de extrair dados de site grandes, como por exemplo o Instagram, o puppeteer é inviável para implementação em aplicações comerciais, pois o próprio Instagram bane os ips das maquinas que acessam suas páginas através do puppeteer (passei por isso hj... isso pq fiz de uma forma pra contornar essa situação fazendo uma requisição por dia)
Uma solução pra isso é usar a própria api do Instagram, onde ela retorna um json com todos os dados da página que queira extrair os dados
O cheerio também permite fazer isso, só que ele não abre um browser, é parecido com o beautifulsoup do Python.
Tentei usar o Cheerio no meu TCC e tive umas limitações. Só consegui executar com o Puppeteer. Queria que fosse ao contrário, pois o Puppeteer pode ficar bem pesadinho por abrir páginas do Chrome...
@@rodrigoferreiradossantos7873 o que vc fez no seu TCC que teve que usar exclusivamente o Puppeteer?
Vídeo top, traz um vídeo ensinando técnicas de notificação, tipo admin para todos os usuários
top de mais😃
Eu faço webscapping com request e cheerio, o cheerio age como o jquery no backend, ae facilita o scrap, e o request, faz o request mesmo...inclusive com paginas com login, eu faço login, guardo o cookie e entro nas paginas protegidas, so com esses 2.
Sim, também faço isso, usar puppeteer gasta muita memória a toa
Show de bola!
Me pintou uma dúvida sobre essa prática de scrapping...
Até que ponto podemos pegar informações de sites?
Ex. Posso garimpar de qualquer site sem medo de ser processado por algum motivo hahahh?
Acho que se vc não reproduzir coisas com direitos autorais ou tentar vender os mesmos, pode pegar de tudo que esteja público. Mas tem que usar com sabedoria e vê as licenças do q vai pegar
Show gostaria de mais conteúdo sobre automação
não sei se mudou muito, mas tento de todas as formas e não roda mais para fazer esse print
Quem não prática o code drops. mas não perde por nada, porque ama o clean code do Maik deixe um like aqui.
Aula sensacional - parabéns 👏👏👏
Valeeu, Amós! 💜💜🚀
F A N T Á S T I C O !!!!
O que eu tinha pedido *--------*
Mayke muito bom o conteúdo, você manja muito mesmo. Uma dúvida puppeteer tem alguma coisa como clicar, caso eu queira selecionar um filtro por exemplo?
Faala Evertton! Tem sim, dá uma conferida sobre o "element.click()" lá na documentação do Puppeteer 💜
Showww de bola1
Faaala, Robson! Valeu! 💜 🚀
Muito massa, e realmente eu auto executava as minhas funções da outra forma haja.
Amei o video, no meu as imagens não aparecem, só aparece como se tivesse sendo carregada
não printa nehum erro no meu console e ja verifiquei todos codigos estao corretos
Well done Maikao!!!
Valeeeeu Robson! 💜
Precisei de uma linha a mais de código para rodar deve aguardar o carregamento da primeira imagem na página antes de extrair todas as imagens, garantindo que você obtenha uma lista completa de imagens na saída. " await page.waitForSelector('article img'); "
No caso o Chrome que é baseado no Chromium, não?
Obrigado pato papão!
Muito legal o vídeo! Demais mesmo! Bah Mayke sem querer ser chato tem como trazer a resolução 'desse tema de casa' em uma outra aula? Seria bem legal e eu aprenderia também. Abração.
Faala Dionis! Valeeu pelo feedback e sugestão!! 💜
Consigo criar isso com docker compose??
no meu não aparece como imagem, só o link da imagem, fiz algo errado?
Maykão, vc poderia mostrar uma maneira de "executar esse evaluate" em uma versão do Js puro?
Ps: Eu codei um bot que baixa os stories (fotos e vídeos), separa em pastas com seus respectivos nomes, e guarda na minha máquina.
Mas, queria muito entender isso, com o JavaScript puro.
Amigo, como conseguiu criar um bot pra baixar os stories?
@@imperiando Olá, eu usei o Puppeteer, o modulo fs e https do node.
procure a documentação do Puppeteer.
Lambrando que o que eu criei é para quem usar o instagram no pc e não no smartphone, certo?
boa madrugada, eu consigo rodar ele no terminal ubuntu server20.04?
Posso lhe fazer uma pergunta? Como faço uma aplicação em HTML ou PHP que use o PUPPETEER em uma hospedagem CPANEL.
Rapaz, o PHP é outra biblioteca pra fazer webscraping.