Dei uma olhada em alguns dos vídeos desse canal, e cara... é triste ver que o canal com uma qualidade e didática tão bacana não cresceu! mas obrigada de qualquer forma pelos conteúdos postados.
Ganhou uma inscrita, um like, uma mega seguidora, uma aluna com certeza aos seus cursos pq sei que vou absorver. Teve coisa que bugou no meu note mas fiz questão de buscar solução pra fazer o projeto até o final
Fala pessoal, tudo beleza? Qualquer dúvida podem deixar aqui nos comentários! Se tiverem sugestões para próximos vídeos não deixem de comentar também ✌️ Abraços Link do notebook: colab.research.google.com/drive/1Q-IP1WnJM7bkcPoUA-i5yq_QyE5FMwM1?usp=sharing
Faço extração de dados para meu software SaaS há anos e volta meia o youtube me indica vídeos de webscraping. Apesar de não usar a Requests no dia a dia, conheço ela e você deu um show ao explicar o processo todo para se chegar no csv final. Parabéns!
Obrigado pela dica Elaine 😄 Vamos fazer playlists para entrar mais fundo em alguns tópicos, no momento estamos criando uma de Machine Learning. Você tem alguma sugestão de próximas playlists?
Parabéns pelo vídeo! Você conseguiu explicar de forma rápida, objetiva e com bom um exemplo. Ficaram ótimos os recursos visuais e o passo a passo bem explicado.
Excelente vídeo, muito boa sua didatica. Gostaria de saber se é possível criar um grupo de palavras e extrair somente tags que contenha pelo menos uma dessas palavras, a estrutura é algo parecido com isso: texto link download ... quero baixar apenas os PDF's relacionados com textos especificos (detalhe o site tem login e senha e esta parte ja resolvi). desde ja agradeço pelo conteúdo
Eu preciso muito de uma ferramenta para captura de dados de um Ecommerce, e ainda mais, eu preciso me logar a ele para ter as informações que eu preciso, exite uma forma de fazer isso?
Ola boa tarde meu amigo esta de parabéns , será que e possível obter dessa formar informações em tempo real de um site , se sim gostaria de pedir a você essas informações Obrigado
Mano, muito top o vídeo. Parabéns, era oq eu estava procurando. Mas fiquei com uma duvida e não sei como resolver, como conseguiria entrar em um modal? o link dele é o so o site principal mais o #, teria como fazer isso? Vlw mano, parabens
Ótimo vídeo! Muito obrigado por compartilhar esse conhecimento! Só me tira uma dúvida: Por que ao executar o algoritmo no meu computador, demora muito pra pegar os dados de cada Estado? Muito mais lento que o seu. E a Internet aqui é boa.
Oi Juliana, tudo bem? Acredito que houve algum problema na instalação do beaufitulsoup. É possivel importá-lo em um arquivo .py também, confira sua instalação com o comando pip freeze
Cara, show de bola, aprendi muito com esse vídeo! Consegui fazer na minha máquina local e até com algumas modificações... a lista de estados puxo de um arquivo csv, e ao fim, eu estava tentando gravar os dados no SQL Server, mas não consegui... Aqui vão algumas dúvidas: O que significa o ->dict: , quando posso usa-lo? def scrap_state_info(state: str) -> dict: Nessa última linha abaixo, no meu código, sempre que rodo, o estado de SP é o primeiro, no seu parece que ele não passa por esse scrap_state_info('SP'), tentei colocar a variável state aí dentro, mas deu erro... É pra ficar SP cravado mesmo? return state_dict scrap_state_info('SP') No meu código, quando eu executo states_df.loc[0].to_list(), o campo governador por ex. vem 'GLADSON DE LIMA CAMELI\xa0\xa0\xa0', como faço para remover? E por fim, se puder me ajudar... Estou tentando levar os dados para um banco sql, consegui fazer a conexão e até dar um insert pelo python, e aí, tentei fazer o seguinte: var = states_df.loc[0].to_list() cursor.execute("INSERT INTO IBGE_UF (uf, governador, populacao_estimada, densidade_demografica ,area_territorial, idh, receitas_per_capta, total_veiculos, matriculas_ensino_fundamental, despesas_empenhadas, receita_realizadas) VALUES("+var+")") Mas dá erro...Você recomenda fazer de outra forma? Se puder sugerir vídeos sobre gravar dados com python para o SQL, me ajudaria muito!! Desde já muito Obrigado!!!
Fala José, poxa muito obrigado pelo feedback 👊 Fico muito feliz que o vídeo tenha te ajudado! Pode ficar a vontade para mandar dúvidas e sugestões de vídeos meu amigo... 1) o -> dict é para fins de documentação mesmo. Você informa para quem está lendo que o retorno da função será um dicionário. (Acho que eu podia ter comentado isso hahaha). Porém, ele não vai fazer nada além disso, não vai estourar algum tipo de erro caso você esteja retornando algo que não seja um dicionário (algumas linguagens fortemente tipadas fazem isso). 2) a linha scrap_state_info('SP') era para ir vermos o output da célula conforme evoluíamos a função, pode tirar ela :) 3) Putz... Acabamos não limpando a coluna do governador. Esse \xa0 é um Unicode Character para "No-break space". Você pode limpar ele com a função strip igual fizemos com as outras colunas. É só trocar a linha 22 da seção clean de: states_df[num_cols] = states_df[num_cols].apply(lambda x: x.str.strip()) para states_df = states_df.apply(lambda x: x.str.strip()) Assim todas as colunas ficam sem esses espaços 4) Gostei da idéia, vou preparar um vídeo mostrando como usar o pandas para ler e escrever dados em bancos de dados SQL. Você poderia usar esse código aqui para fazer o insert dinâmico por todas as linhas do dataframe: cols = "`,`".join([str(i) for i in states_df.columns.tolist()]) for i,row in states_df.iterrows(): sql = "INSERT INTO `IBGE_UF` (`" +cols + "`) VALUES (" + "%s,"*(len(row)-1) + "%s)" cursor.execute(sql, tuple(row)) connection.commit() BÔNUS) Dá uma olhada no método to_sql do Pandas: pandas.pydata.org/docs/reference/api/pandas.DataFrame.to_sql.html Você consegue fazer inserts de um dataframe direto pelo pandas, mas vai precisar instalar a lib sqlalchemy ai no seu ambiente. (Cria um conector com o sqlalchemy e dps passa como argumento para o states_df.to_sql) Eu gosto bastante dessa abordagem, fica bem mais simples hehehe Vou montar um vídeo explicando isso, beleza? Obrigado pela pergunta e pela dica de vídeo. Abraço José!
Fala Leonardo, É verdade, ao em vez de utilizar seletores de css poderíamos utilizar regex para extrair a label e value dos indicadores. Obrigado pela dica!
Brother, sem sacanagem, você tem a melhor didática que já vi na vida!!! 👌
Dei uma olhada em alguns dos vídeos desse canal, e cara... é triste ver que o canal com uma qualidade e didática tão bacana não cresceu! mas obrigada de qualquer forma pelos conteúdos postados.
sesacional clareza nas explicações! Parabéns direto ao ponto.. Muito bommm
Didática: 10. Edição: 10. Domínio do assunto: 10. Relevância: 10. Nota final: 1000. Parabéns pelo vídeo!
Nota do comentário: MAIS DE 8 MIL 🚀
Muito obrigado Maycon, fiquei muito feliz com o feedback!
Abraços
Assino em baixo Maycon
Conteúdo muito bom, irmão! Parabéns! 👏👏
Se continuar nessa pegada, me mantenho inscrito....
Gratidão pelo conteúdo foda, parabéns 👏👏
Opa cheguei chegando tô aprendendo python... E esse e meu foco de aprendizado... Depois SQL .. ótimo conteúdo pra mim da uma treinada...
Ganhou uma inscrita, um like, uma mega seguidora, uma aluna com certeza aos seus cursos pq sei que vou absorver. Teve coisa que bugou no meu note mas fiz questão de buscar solução pra fazer o projeto até o final
Fala pessoal, tudo beleza?
Qualquer dúvida podem deixar aqui nos comentários!
Se tiverem sugestões para próximos vídeos não deixem de comentar também ✌️
Abraços
Link do notebook:
colab.research.google.com/drive/1Q-IP1WnJM7bkcPoUA-i5yq_QyE5FMwM1?usp=sharing
Cara... que didática fenomenal!
Fabuloso, irmão, incrível!!!
Parabéns, Primeiro canal com conteúdo de qualidade e didático!
Faço extração de dados para meu software SaaS há anos e volta meia o youtube me indica vídeos de webscraping. Apesar de não usar a Requests no dia a dia, conheço ela e você deu um show ao explicar o processo todo para se chegar no csv final. Parabéns!
Qual é o seu saas ? Que tipo de informações vc extrai ?
Muiiito bom, o melhor vídeo sobre o tema que encontrei, disparado! Sua didática é simplesmente ótima!!
Cara, faz uma playlist. A maioria das pessoas procuram vídeos que tenha playlist.
Muito bom o visual do vídeo e a explicação, adorei.
Obrigado pela dica Elaine 😄
Vamos fazer playlists para entrar mais fundo em alguns tópicos, no momento estamos criando uma de Machine Learning.
Você tem alguma sugestão de próximas playlists?
Voltem com os vídeos, didática ímpar
Simplesmente me inscrevi! Pois a didática/edição e tudo mais foram demais!
Parabéns pelo vídeo gente, muito didática aprendi pra caramba
Mestre Man 😀
Muito obrigado pelo feedback meu amigo.
Fica sempre a vontade para mandar qualquer dúvida ou sugestão!
Abraços
Parabéns pelo vídeo! Você conseguiu explicar de forma rápida, objetiva e com bom um exemplo. Ficaram ótimos os recursos visuais e o passo a passo bem explicado.
Fala Carlos,
Muito obrigado pelo feedback parceiro!
Abraços
Você ensina de uma forma super didática! Ótimo canal! Parabéns.
Valeuuu Victor 👊👊👊
Salve galera!! Achei sensacional, didático, interessante, completo e muito bem humorado também!! Parabéns ✌️✌️✌️
Eaii Georgera tudo bom?
Muito obrigado meu amigo ❤️
Didático e muito divertido!!!
Valeu mestre Takato!
Excelente seu vídeo, de fácil entendimento, me fez avançar mais uns degraus no python.
Muito boa. Seu conhecimento e didática são excelentes. Parabéns e obrigado por nos ajudar
Eu AMEI: simples, rápido, objetivo, claro.
Eu queria aprender a como fazer um mapa com todas essas informações no python. Ensina?
Muito bom a aula, já fiz a inscrição de cara no canal. Esperando mais conteúdos.👏👏👏
Valeu Alves 👊
Te espero no próximo video 🚀🚀
muito boa a didática dos vídeos e muito bom a edição do vídeo. Parabéns. Seu canal merece mais inscritos.
Muito obrigado Gero!
Vídeo ficou TOP meu parceiro! Parabéns!
Valeu Lucas 👊
Abraços!
Muito bom o vídeo! Ótimo conteúdo e explicação! Parabéns!
Ótimo vídeo, parabéns!
Obrigado!
Muito bom! Sugestão: prepara um tutorial para o API do Sidra IBGE. Já existe uma biblioteca python, o pysidra. Mas fiquei com muitas dúvidas pra usar.
Eai Fernando,
Nossa não conhecia o Sidra, legal demais!
Obrigado pela dica, vou dar uma olhada 😉
otimos video no canal não entendo pq param as postagens novas, uma duvida como insere esses desenhos no codigo?
Como eu faria um web Scraping de um < span > ? toda vez que atualiza o site o valor é alterado alguma dica?
Muito bom! Parabéns, tudo ótimo...
Véi ... depois faça um vídeo explicando como você faz os vídeos! 😂😂😂😂
Muito bom!
Parabéns!
Muito bom meu amigo. Vc tem algum curso de Analista de dados?
Publica um curso de Big Query + Data Studio, ou se tiver um curso pago, me avisa. sua didática é muito boa. Parabéns
bem didático !!! sucesso
Muito obrigado Cleyton!
Además de aprender me reí con lo del "strip" X ) ... no ese tipo de stripr... Buen Video
gostei da parte do regex pena não ter um vídeo exclusivo para o recurso.
Parabéns pelo Vídeo, top
Bom demais. Parabéns!
Fala André
Muito obrigado parceiro 👊
sites dinâmicos também é possível ? Existe alguma proteção que barra ?
Excelente!
Excelente vídeio. Seria muito bom se fosse feito outro vídeo com sites que contém dados sendo exibidos de forma assincrona.
Muito bom!
a parte final de export não deu certo o arquivo não salvou e csv no google drive porque será?
Qual a diferença em criar uma copia do df com => states_df = df.copy() e declarar um novo df com => states_df = df ?
Excelente vídeo, muito boa sua didatica.
Gostaria de saber se é possível criar um grupo de palavras e extrair somente tags que contenha pelo menos uma dessas palavras, a estrutura é algo parecido com isso:
texto
link download
...
quero baixar apenas os PDF's relacionados com textos especificos (detalhe o site tem login e senha e esta parte ja resolvi).
desde ja agradeço pelo conteúdo
Muito bom, obrigado!
Estou tentando fazer um para coletar os valores de vários produtos no reclame aqui, mas não consigo de forma alguma.
Eu preciso muito de uma ferramenta para captura de dados de um Ecommerce, e ainda mais, eu preciso me logar a ele para ter as informações que eu preciso, exite uma forma de fazer isso?
Ola boa tarde meu amigo esta de parabéns , será que e possível obter dessa formar informações em tempo real de um site , se sim gostaria de pedir a você essas informações Obrigado
Video PANDAS !!! up up ótimo canal !
Valeu Jeff!
pandas == ❤️
Top, estou aprendendo python e parei para assistir e gostei muito
Valeu Gilberto!
Mano, muito top o vídeo. Parabéns, era oq eu estava procurando.
Mas fiquei com uma duvida e não sei como resolver, como conseguiria entrar em um modal? o link dele é o so o site principal mais o #, teria como fazer isso?
Vlw mano, parabens
Vc sabe algum módulo parecido com BeatifulSoup só que para Lua em vez de Python? Só estou tentando cada vez mais sair do Python.
Fala LowRhyan,
Se não me engano você consegue fazer a mesma coisa em Lua utilizando o Gumbo
Boa Naka!
Valeu mestre Pablito!
Ótimo vídeo! Muito obrigado por compartilhar esse conhecimento!
Só me tira uma dúvida: Por que ao executar o algoritmo no meu computador, demora muito pra pegar os dados de cada Estado? Muito mais lento que o seu. E a Internet aqui é boa.
Vídeo top!
+1 inscrito
Likeeeeeee
Poderia fazer um para analise das apostas do site de apostas da
Blaze?
Exelente!
Por que eu só consigo importar o beautifulsoup de um notebook? Se eu tento por um arquivo .py não funciona (instalei com pip)
Oi Juliana, tudo bem?
Acredito que houve algum problema na instalação do beaufitulsoup.
É possivel importá-lo em um arquivo .py também, confira sua instalação com o comando
pip freeze
Cara, show de bola, aprendi muito com esse vídeo!
Consegui fazer na minha máquina local e até com algumas modificações... a lista de estados puxo de um arquivo csv, e ao fim, eu estava tentando gravar os dados no SQL Server, mas não consegui...
Aqui vão algumas dúvidas:
O que significa o ->dict: , quando posso usa-lo?
def scrap_state_info(state: str) -> dict:
Nessa última linha abaixo, no meu código, sempre que rodo, o estado de SP é o primeiro, no seu parece que ele não passa por esse scrap_state_info('SP'), tentei colocar a variável state aí dentro, mas deu erro... É pra ficar SP cravado mesmo?
return state_dict
scrap_state_info('SP')
No meu código, quando eu executo states_df.loc[0].to_list(), o campo governador por ex. vem 'GLADSON DE LIMA CAMELI\xa0\xa0\xa0', como faço para remover?
E por fim, se puder me ajudar...
Estou tentando levar os dados para um banco sql, consegui fazer a conexão e até dar um insert pelo python, e aí, tentei fazer o seguinte:
var = states_df.loc[0].to_list()
cursor.execute("INSERT INTO IBGE_UF (uf, governador, populacao_estimada, densidade_demografica ,area_territorial, idh, receitas_per_capta, total_veiculos, matriculas_ensino_fundamental, despesas_empenhadas, receita_realizadas) VALUES("+var+")")
Mas dá erro...Você recomenda fazer de outra forma?
Se puder sugerir vídeos sobre gravar dados com python para o SQL, me ajudaria muito!!
Desde já muito Obrigado!!!
Fala José, poxa muito obrigado pelo feedback 👊
Fico muito feliz que o vídeo tenha te ajudado!
Pode ficar a vontade para mandar dúvidas e sugestões de vídeos meu amigo...
1) o -> dict é para fins de documentação mesmo. Você informa para quem está lendo que o retorno da função será um dicionário. (Acho que eu podia ter comentado isso hahaha).
Porém, ele não vai fazer nada além disso, não vai estourar algum tipo de erro caso você esteja retornando algo que não seja um dicionário (algumas linguagens fortemente tipadas fazem isso).
2) a linha scrap_state_info('SP') era para ir vermos o output da célula conforme evoluíamos a função, pode tirar ela :)
3) Putz... Acabamos não limpando a coluna do governador.
Esse \xa0 é um Unicode Character para "No-break space".
Você pode limpar ele com a função strip igual fizemos com as outras colunas.
É só trocar a linha 22 da seção clean
de:
states_df[num_cols] = states_df[num_cols].apply(lambda x: x.str.strip())
para
states_df = states_df.apply(lambda x: x.str.strip())
Assim todas as colunas ficam sem esses espaços
4) Gostei da idéia, vou preparar um vídeo mostrando como usar o pandas para ler e escrever dados em bancos de dados SQL.
Você poderia usar esse código aqui para fazer o insert dinâmico por todas as linhas do dataframe:
cols = "`,`".join([str(i) for i in states_df.columns.tolist()])
for i,row in states_df.iterrows():
sql = "INSERT INTO `IBGE_UF` (`" +cols + "`) VALUES (" + "%s,"*(len(row)-1) + "%s)"
cursor.execute(sql, tuple(row))
connection.commit()
BÔNUS)
Dá uma olhada no método to_sql do Pandas:
pandas.pydata.org/docs/reference/api/pandas.DataFrame.to_sql.html
Você consegue fazer inserts de um dataframe direto pelo pandas, mas vai precisar instalar a lib sqlalchemy ai no seu ambiente. (Cria um conector com o sqlalchemy e dps passa como argumento para o states_df.to_sql)
Eu gosto bastante dessa abordagem, fica bem mais simples hehehe
Vou montar um vídeo explicando isso, beleza?
Obrigado pela pergunta e pela dica de vídeo.
Abraço José!
Vocês realizam o serviço de webscraping ou somente cursos nessa área?
Ainda não realizamos cursos nessa área.
Caso queira um serviço pode entrar em contato conosco para conversarmos sobre o seu problema!
Very good
🚀 Thanks!
👏👏👏👏
✌
Show
Da para usar tambem o REGEX no lugar do beutifull soup, mas e um pouco mais dificinho aprender REGEX
Fala Leonardo,
É verdade, ao em vez de utilizar seletores de css poderíamos utilizar regex para extrair a label e value dos indicadores.
Obrigado pela dica!
03:53 :o)
nos queremos qui voçe esplique melhor a biblioteca Pandas
Muito bom!
👏👏👏👏👏👏
✌️