Fabricio, obrigado pela difusão de conhecimentos. Para quem estiver com problema em gerar o arquivo .csv: - coloque ".txt" ( ponto na frente do txt ) caso esqueça que tem um ponto entre estes dois parâmetros ( {year_date}.{type_file} ). - caso tenha problema com resultado do arquivo .csv, aconselho mudar para arquivo .xlsx mudando o ( df_final.to_csv ) para ( df_final.to_excel e final_file = 'all_bovespa.xlsx' ) São apenas modificações que funcionaram no meu script.
Canal fenomenal, o melhor sem dúvidas! Cara, uma dúvida, como faço pra puxar os anos automático? Sem ter que colocar ano por ano, tipo se adicionar o 2021, rodar de novo sem ter que colocar o 2021?
Muito Bom, excelente explicação, somente uma duvida estes codigos que voce mostra para fazer o tratamento dos dados da B3, voce não disponibilizou para baixar ne?
Preciso de um programa ou código que rode automaticamente , que me mostre quais ações sobem de um determinado horário ate o fechamento. Com estatísticas das que sobem mais por período. Tipo no último mês , no trimestre e semestre passando por 1 ano a 2 anos.
boa tarde, gostei da didática, sucinto e direto. parabéns. mas meu problema está aqui... como no começo do vídeo, apresentou erro de Unicode... consegui seguir com - r´ - e tudo funcionou até se formatar o programa. Seguindo à risca me aparece o erro abaixo: ao usar f´ aparece esse erro: SyntaxError: (unicode error) 'unicodeescape' codec can't decode bytes in position 2-3: truncated \UXXXXXXXX escape mas qdo uso no path: - r´ - aparece esse erro: -> 11 concat_files = (path, name_file, year_date, type_file, final_file) NameError: name 'path' is not defined. Como resolver esse problema?
Ótimo Video! Agora imagina que cada linha tem informações diferentes, teria alguma maneira de pegar estas informações sendo que aparentemente consigo definir apenas um layout no colspecs.
Excelente conteúdo, parabéns. Tenho uma dúvida, estou aprendendo python. Na hora que você dividiu por 100 para arredondar os números, daria para usar a função Round do python?
Oi Junior,que bom que está gostando do nosso conteúdo. Eu dividi por 100 pois o campo não estava com separador de 2 casas decimais. Round seria para arredondamento. Abraços
Boa tarde. É normal os itens da tabela ficarem todos para o lado direito ? E o meu arquivo quando abre também , os tópicos da tabela estão separados por vírgula. Usei o exemplo do vídeo e o do github também.
Opa, tô achando muito daora o conteúdo, estou só com uma dúvida, como seria para ajustar os numeros das colunas qtd_negocios e volume_negocios para INT? Estou fazendo com o COTAHIST desse ano e veio cheio de números. Agradeço se puder me ajudar, abraço!
Da uma lida neste link www.google.com/url?sa=t&source=web&rct=j&url=www.digitalocean.com/community/tutorials/how-to-convert-data-types-in-python-3&ved=2ahUKEwjohrOnrtj7AhUOspUCHVHhBDwQFnoECAgQBQ&usg=AOvVaw1yFInWRviqOxXYThC6Gr9K
Olá! Estou com problemas para conseguir gerar o arquivo all_bovespa.csv Inicialmente foi gerado o seguinte erro: read_files takes 3 positional arguments but 4 were given, na linha: df=read_files(path,name_file,y,type_file). Acabei tirando o y. Porém, agora sigo com o erro: FileNotFoundError: [Errno 2] No such file or directory: "C:\\Users\\User\\Desktop\\MERCADO_FINANCEIRO\\COTAHIST_A['2018', '2019', '2020'].txt" já tentei alterar para somente 1 data e conferi severas vezes o código. Poderia me ajudar? Obrigada!
Oi Vitoria, o seu caminho é passando a lista inteira, tem que passar os anos 1 de cada vez. Use o codigo que está no meui github github.com/fabrimatt/engenharia_de_dados
Ótimo conteúdo!! O meu código está certo roda tudo, mas não extrai para o excel todos os ativos, por exemplo, eu procuro pela LUPA3, no txt (COTAHIST_A2021.txt) tem mas no excel não. ...Tem algo que posso fazer para melhorar? Obrigado pelos videos e parabéns pelo canal!!!
Muito bacana. eu to fazendo o mesmo código que vc fez mas ta dando erro na data. eu baixei os arquivos da b3 hj e elas não estão no mesmo formato que vc mostrou no vídeo. estão aparecendo apenas 3 algarismos para o ano. será que a b3 modificou alguma coisa? eu vi que a última atualização deles foi dia 05/10. tem como arrumar isso?
@@Codifike isso! eu baixei os mesmos arquivos que vc baixou do mesmo local da B3 (inclusive baixei o 2020) mas o ano não está em um formato adequado (está apresentando 3 algarismos para o ano) e quando eu mando colocar o ano em um formato adequado (como vc fez) apresenta uma msg de erro (justamente pelo fato de não estar em um formato adequado).
@@MrLiecht esse é o link do arquivo histórico. Baixa o anual : www.b3.com.br/pt_br/market-data-e-indices/servicos-de-dados/market-data/historico/mercado-a-vista/series-historicas/
Excelente script. Tentei gerar um arquivo de 2010 a 2021 e encontrei erros em 2 anos, conforme mensagens abaixo. Alguma sugestão sobre como corrigir esse problema? Na msg de erro aparece a posição onde houve o erro de "decoe byte": 2012: UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc7 in position 7188: invalid continuation byte 2014: UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc9 in position 5378: invalid continuation byte
Oi Paulo, me parece que está vindo algum caractere errado. Mas sempre usei o arquivo do bovespa e nunca tive problema.Tente essa dica: stackoverflow.com/questions/13471665/unicodedecodeerror-utf-8-codec-cant-decode-byte-0xc7-in-position
Olá Wyllow , freelancer seria maneira mais rápida para começar a empreender, pois você pode pegar projetos para fazer sem sair de onde está (caso esteja em um emprego). Outra maneira é partindo para emprego na área de dados onde tem bastante procura atualmente. Abraços
Oi Charles, se estiver no windows, tem que colocar como no vídeo com barras duplas, e atentar para não ter nenhum caracter especial(cedilha, acento) e se possível retire espaços
O meu código não está puxando os arquivos txt. Dando erro ainda na importação. # Importar bibliotecas import pandas as pd !pip install fsspec colspecs = [(2,10), (10,12), (12,24), (27,39), (56,69), (69,82), (82,95), (108,121), (152,170), (170,188) ] names = ['data_pregao','codbdi','sigla_acao','nome_acao','preco_abertura','preco_maximo','preco_minimo','preco_fechamento','qtd_negocios','volume_negocios'] df = pd.read_fwf('C://Users//Tiago//Documents//bovespa//COTAHIST_A2021.txt', colspecs = colspecs, names = names, skiprows = 1) Aparece a seguinte mensagem: FileNotFoundError: [Errno 2] No such file or directory: '/content/C://Users//Tiago//Documents//bovespa//COTAHIST_A2021.txt' Como resolver???
@@Codifike Oi bom dia. Muito obrigado pelo retorno. Eu estava copiando do computador e de nenhuma forma deu certo. Coloquei os arquivos no drive, montei dentro do colab e peguei o caminho do drive. Agora funcionou. Vou seguir o restante do vídeo. Muito obrigado.
Descubra como se tornar um Engenheiro de Dados com o Método Data Pro:
metododatapro.codifike.com.br/
Fabricio, obrigado pela difusão de conhecimentos.
Para quem estiver com problema em gerar o arquivo .csv:
- coloque ".txt" ( ponto na frente do txt ) caso esqueça que tem um ponto entre estes dois parâmetros ( {year_date}.{type_file} ).
- caso tenha problema com resultado do arquivo .csv, aconselho mudar para arquivo .xlsx mudando o ( df_final.to_csv ) para ( df_final.to_excel e final_file = 'all_bovespa.xlsx' )
São apenas modificações que funcionaram no meu script.
Obrigado Alex
Salve!
Ainda bem que assisti esse vídeo, pois é muito bom!
Não para, continua postando os vídeos, por favor!
Olá Beatriz, que bom que você gostou
só tenho uma palavra pra definir o conteúdo do seu canal, Sensacional !
Oi Marcelo muito obrigado 👍
Muito, conteúdo muito bom, não dá pra para de assistir!
Conteudo denso e bem explicado, falta isso aqui no YT pra muitas pessoas que resolvem gerar conteudo sobre Dados.
Parabéns cara!!! virei fã do canal.
Obrigado Fábio
É muito massa ver o código rodar liso. Obg por compartilhar esse conhecimento!
E para isso que criei o canal
O vídeo é tão bom que faz toda essa engenharia parecer fácil.. Tipo "mamão c/ açúcar"..
Obrigado
Explicação excelente, direto , pratico
Parabéns!!
Obrigado Gisele
Faz mais video assim, sobre etl, muito bom!
Oi vou fazer sim
Conheci seu canal há 2 dias, nunca dei tanto like kkkk
Parabéns pelo conteúdo e pelo conhecimento tbm
Muito Obrigado
quando lançar o curso e se estiver dentro do meu orçamento, farei com toda certeza...
Otimos videos, ótimas explicações, ótimo conteúdo... PARABENS
Muito Obrigado
Parabéns pelo video, gosto muito de assistir seus vídeos, sempre aprendendo um pouco mais. Obrigado por compartilhar seus conhecimentos.
Eu que agradeço
Show! parabéns pelo conteúdo meu amigo e um grande abraço.
Valeu Lucas obrigado
pô cara, vídeo excelente, exatamente o q tava procurando
se me permite uma sugestão: Web Scraping
Oi Heliomar, muito obrigado
@@heliomar93 Anotado. Aqui quem manda são os inscritos :)
Canal incrível, didática excelente.
Valeu Alexandre, muito obrigado. Um abraço
Canal fenomenal, o melhor sem dúvidas!
Cara, uma dúvida, como faço pra puxar os anos automático? Sem ter que colocar ano por ano, tipo se adicionar o 2021, rodar de novo sem ter que colocar o 2021?
Muito Bom, excelente explicação, somente uma duvida estes codigos que voce mostra para fazer o tratamento dos dados da B3, voce não disponibilizou para baixar ne?
Sim, no site da codifike, tem um link para meu github onde tem os códigos. Você pode ver nas descrições. Abraços.
Preciso de um programa ou código que rode automaticamente , que me mostre quais ações sobem de um determinado horário ate o fechamento. Com estatísticas das que sobem mais por período. Tipo no último mês , no trimestre e semestre passando por 1 ano a 2 anos.
Excelente! Obrigado!!!
Não consegui achar o layout...
Muito bom, parabéns!!!
Valeu Lucas obrigado
boa tarde, gostei da didática, sucinto e direto. parabéns. mas meu problema está aqui...
como no começo do vídeo, apresentou erro de Unicode... consegui seguir com - r´ - e tudo funcionou até se formatar o programa. Seguindo à risca me aparece o erro abaixo:
ao usar f´ aparece esse erro: SyntaxError: (unicode error) 'unicodeescape' codec can't decode bytes in position 2-3: truncated \UXXXXXXXX escape
mas qdo uso no path: - r´ - aparece esse erro: -> 11 concat_files = (path, name_file, year_date, type_file, final_file)
NameError: name 'path' is not defined.
Como resolver esse problema?
Muito bom #etl #engenhariadedados #python
Ótimo Video! Agora imagina que cada linha tem informações diferentes, teria alguma maneira de pegar estas informações sendo que aparentemente consigo definir apenas um layout no colspecs.
Oi Claudio que bom que gostou. Esse script é para dados estruturados. Para dados não estruturados, precisamos ter outra abordagem
@@Codifike Valew
obrigado pela aula!!!
Bons estudos!
muito bom! conteúdo bem bacana!
Obrigado
Muito bom!
Obrigado Brayan
excelente
Excelente conteúdo, parabéns.
Tenho uma dúvida, estou aprendendo python. Na hora que você dividiu por 100 para arredondar os números, daria para usar a função Round do python?
Oi Junior,que bom que está gostando do nosso conteúdo.
Eu dividi por 100 pois o campo não estava com separador de 2 casas decimais. Round seria para arredondamento. Abraços
Conteúdo massa!
Obrigado 🤙
o meu nao ta abrindo esse ARquivo
que vc pega os numeros
Boa tarde. É normal os itens da tabela ficarem todos para o lado direito ? E o meu arquivo quando abre também , os tópicos da tabela estão separados por vírgula. Usei o exemplo do vídeo e o do github também.
Isso acontece quando não é informado tipo de separador,no vídeo foi usado ponto e vírgula .
Opa, tô achando muito daora o conteúdo, estou só com uma dúvida, como seria para ajustar os numeros das colunas qtd_negocios e volume_negocios para INT? Estou fazendo com o COTAHIST desse ano e veio cheio de números. Agradeço se puder me ajudar, abraço!
Da uma lida neste link www.google.com/url?sa=t&source=web&rct=j&url=www.digitalocean.com/community/tutorials/how-to-convert-data-types-in-python-3&ved=2ahUKEwjohrOnrtj7AhUOspUCHVHhBDwQFnoECAgQBQ&usg=AOvVaw1yFInWRviqOxXYThC6Gr9K
tentei esse codigo tudo deu certos no final execuçao error cocant_files 'is not defined'
Verifique se está tudo certinho com as variáveis, Diretório do arquivo
Fiz pelo google colab e exportei em csv fazendo download
Oi Elaine, que bom que conseguiu. Abraços
Olá! Estou com problemas para conseguir gerar o arquivo all_bovespa.csv
Inicialmente foi gerado o seguinte erro: read_files takes 3 positional arguments but 4 were given, na linha: df=read_files(path,name_file,y,type_file). Acabei tirando o y. Porém, agora sigo com o erro: FileNotFoundError: [Errno 2] No such file or directory: "C:\\Users\\User\\Desktop\\MERCADO_FINANCEIRO\\COTAHIST_A['2018', '2019', '2020'].txt" já tentei alterar para somente 1 data e conferi severas vezes o código. Poderia me ajudar? Obrigada!
Oi Vitoria, o seu caminho é passando a lista inteira, tem que passar os anos 1 de cada vez. Use o codigo que está no meui github github.com/fabrimatt/engenharia_de_dados
Ótimo conteúdo!! O meu código está certo roda tudo, mas não extrai para o excel todos os ativos, por exemplo, eu procuro pela LUPA3, no txt (COTAHIST_A2021.txt) tem mas no excel não. ...Tem algo que posso fazer para melhorar? Obrigado pelos videos e parabéns pelo canal!!!
Oi Davi, verifique o arquivo .csv, se estiver lá , o problema deve ser no excel
Quando substituí o arquivo por _file apresenta o seguinte erro: nonameError: name '_file' is not defined. Como resolver?
O código esta no meu github nas descrições, dá uma olhada se não esqueceu nada
Muito bacana. eu to fazendo o mesmo código que vc fez mas ta dando erro na data. eu baixei os arquivos da b3 hj e elas não estão no mesmo formato que vc mostrou no vídeo. estão aparecendo apenas 3 algarismos para o ano. será que a b3 modificou alguma coisa? eu vi que a última atualização deles foi dia 05/10. tem como arrumar isso?
Oi Ranan, o arquivo que você baixou são os históricos?
@@Codifike isso! eu baixei os mesmos arquivos que vc baixou do mesmo local da B3 (inclusive baixei o 2020) mas o ano não está em um formato adequado (está apresentando 3 algarismos para o ano) e quando eu mando colocar o ano em um formato adequado (como vc fez) apresenta uma msg de erro (justamente pelo fato de não estar em um formato adequado).
@@MrLiecht esse é o link do arquivo histórico. Baixa o anual : www.b3.com.br/pt_br/market-data-e-indices/servicos-de-dados/market-data/historico/mercado-a-vista/series-historicas/
Como é que eu adiciono o caminho para ele ler o arquivo obtido da B3?
Oi Felipe pode seguir o código que está aqui: github.com/fabrimatt/engenharia_de_dados
Excelente script. Tentei gerar um arquivo de 2010 a 2021 e encontrei erros em 2 anos, conforme mensagens abaixo. Alguma sugestão sobre como corrigir esse problema? Na msg de erro aparece a posição onde houve o erro de "decoe byte":
2012: UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc7 in position 7188: invalid continuation byte
2014: UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc9 in position 5378: invalid continuation byte
Oi Paulo, me parece que está vindo algum caractere errado. Mas sempre usei o arquivo do bovespa e nunca tive problema.Tente essa dica: stackoverflow.com/questions/13471665/unicodedecodeerror-utf-8-codec-cant-decode-byte-0xc7-in-position
Olá amigo, estou querendo entrar para a engenharia de dados, é possivel empreender(sem ser via freelancer)? Algo escalável ?
Olá Wyllow , freelancer seria maneira mais rápida para começar a empreender, pois você pode pegar projetos para fazer sem sair de onde está (caso esteja em um emprego). Outra maneira é partindo para emprego na área de dados onde tem bastante procura atualmente. Abraços
@@Codifike entendi, é por que isso não é algo escalável, o tempo né
@@Codifike se tratando de empresa prestadora de serviços ou de algo escalável acha que não tem espaço?
@@willownot Também é uma opção, prestar serviço para várias empresa
Onde consigo o layout?
Oi Ivan no próprio site da bovespa em dados históricos tem o arquivo de layout.
@@Codifike O problema é que eu só achei desatualizado, não encontro o de 2021
@@ivansalt1969 segue o link www.b3.com.br/data/files/33/67/B9/50/D84057102C784E47AC094EA8/SeriesHistoricas_Layout.pdf
nao estou consegundo o layout
esta dando erro na hora que informo o endereço do arquivo txt. no minuto 14. alguem pode me ajudar?
Oi Charles, se estiver no windows, tem que colocar como no vídeo com barras duplas, e atentar para não ter nenhum caracter especial(cedilha, acento) e se possível retire espaços
@@Codifike ainda não consegui.
@@charlesmiranda6311 O link do código está aqui: github.com/fabrimatt/engenharia_de_dados
Como você sabia que tinha que dividir por 100?
O que significam as abreviações, N(), X(), V()?
Os valores vierem como string, então converti e depois fiz a divisão pois queria 2 casas decimais
O meu código não está puxando os arquivos txt. Dando erro ainda na importação.
# Importar bibliotecas
import pandas as pd
!pip install fsspec
colspecs = [(2,10),
(10,12),
(12,24),
(27,39),
(56,69),
(69,82),
(82,95),
(108,121),
(152,170),
(170,188)
]
names = ['data_pregao','codbdi','sigla_acao','nome_acao','preco_abertura','preco_maximo','preco_minimo','preco_fechamento','qtd_negocios','volume_negocios']
df = pd.read_fwf('C://Users//Tiago//Documents//bovespa//COTAHIST_A2021.txt', colspecs = colspecs, names = names, skiprows = 1)
Aparece a seguinte mensagem:
FileNotFoundError: [Errno 2] No such file or directory: '/content/C://Users//Tiago//Documents//bovespa//COTAHIST_A2021.txt'
Como resolver???
Olá parece que o caminho está errado ( tem um content na frente do C:) da uma olhada na barra de endereço do windows e pega o caminho de lá.
@@Codifike Oi bom dia. Muito obrigado pelo retorno. Eu estava copiando do computador e de nenhuma forma deu certo. Coloquei os arquivos no drive, montei dentro do colab e peguei o caminho do drive. Agora funcionou. Vou seguir o restante do vídeo. Muito obrigado.