Excelente vídeo, melhor ainda com a Palavra de Deus, mais fascinante ainda com o livro de Provérbios, obrigado pelo conteúdo, preciso aplicar algo bem similiar. Parabéns!!!
Parabéns pelo seu trabalho e didática! Estou fazendo especialização em NLP e estou muito empolgado com essa tecnologia. Seus vídeos me ajudam muito além de serem inspiradores. Forte abraço.
Oi, Edu! Na sua opinião, para gerar "text2sql" sem precisar de uma chave OpenAI (free total) e testar/estudar local, o que você me recomendaria? Abraço, e obrigado pelo conteúdo incrível.
Obrigado pelo tutorial Uma dúvida, se eu tenho um conjunto de dados com linhas e colunas o princípio seria o mesmo para fazer o treinamento e interagir com esses dados?
O Make é uma boa ferramenta pra quem quer automação rápida e fácil, sem mexer com código. Ele conecta vários apps e serviços de forma simples, tipo arrastar e soltar. Então, pra quem quer algo rápido, sem se preocupar com programação, é uma ótima escolha. Agora, sendo bem direto: eu prefiro usar Python e automação via código nativo. Por quê? Com Python, você tem muito mais controle e flexibilidade pra fazer automações complexas, como criar agentes de IA que navegam na web de forma autônoma, interagem com APIs, fazem scraping de dados e se adaptam a diferentes cenários. Plataformas como o Make são ótimas até certo ponto, mas quando você precisa de algo mais personalizado e escalável, usar código é muito superior. No fim, depende do seu objetivo. Se você quer automações mais simples e rápidas, beleza, o Make.com pode servir bem. Mas se quer criar soluções mais robustas, com IA e automações poderosas, Python é o caminho que eu recomendo. É mais trabalho no começo, mas te dá muito mais liberdade no final! De boa? Aproveita e participa do AI Experience! Lá vou ensinar a criar agentes de IA do zero, usando Python e frameworks nativos, sem low-code. É a chance de levar suas automações pro próximo nível e entrar de cabeça no mundo da IA. Bora juntos nessa? Clica aê cienciadosdados.com/
Fala pessoal, alguem consegue me dar umas dicas. sou analista de dados e estou começando com o uso de IA para analise de dados, ai quero saber qual o melhor padrão de dados para imputar para a ia consultar, já que trago uma consulta pronta do SQL, e geralmente to salvando em JSON para a IA analisar, mas tô achando que não tá tão viável.
25 дней назад+1
Olá, querido colega analista de dados! Puxa, que pergunta sensacional você fez. Sabe, eu entendo perfeitamente a sua situação - essa transição para usar IA na análise de dados é mesmo um desafio e tanto, não é? Vamos conversar um pouco sobre isso. Primeiro, quero te parabenizar por estar dando esse passo. Explorar novas tecnologias como IA para melhorar nossas análises mostra que você está realmente comprometido em evoluir na carreira. Isso é incrível! Agora, sobre a sua dúvida específica do formato de dados para IA, especialmente pensando em LLMs (Large Language Models), vou te contar o que eu acho baseado na minha experiência e no que tenho visto no mercado. O JSON que você está usando é um ótimo começo! Ele é flexível e fácil de trabalhar. Mas entendo que você está sentindo que talvez não seja a solução ideal, e você tem razão em questionar isso. Para LLMs, o que realmente importa são os dados vetoriais - os famosos embeddings. Esses vetores são como o "sumo" do seu texto, a representação matemática que o modelo de IA realmente entende. Então, o ideal é pensar em como armazenar e manipular esses vetores de forma eficiente. Aqui vão algumas ideias: 1. Banco de dados vetoriais: Ferramentas como Pinecone, Weaviate ou Milvus são especializadas em armazenar e buscar vetores rapidamente. Elas são ótimas quando você tem muitos dados e precisa fazer buscas semânticas rápidas. 2. Formatos de arquivo otimizados: Se você prefere trabalhar com arquivos, formatos como Parquet ou HDF5 podem ser excelentes para armazenar grandes quantidades de vetores junto com metadados. 3. Soluções híbridas: Uma abordagem que eu particularmente gosto é manter os dados originais em SQL, gerar os embeddings sob demanda ou em lotes, e armazená-los temporariamente em um formato eficiente para a análise com IA. O fluxo poderia ser algo assim: 1. Extrair dados do SQL 2. Gerar embeddings (você pode usar bibliotecas como sentence-transformers para isso) 3. Armazenar temporariamente em um formato eficiente (como numpy arrays, por exemplo) 4. Fazer a análise com seu modelo de IA 5. Armazenar os resultados de volta no SQL ou em outro lugar apropriado Lembre-se, não existe uma solução única que sirva para todos os casos. O melhor approach vai depender muito do volume de dados que você tem, da frequência com que precisa atualizá-los, do tipo de análise que está fazendo, e dos recursos computacionais disponíveis. Minha dica é: experimente! Comece com algo simples e vá refinando conforme entende melhor as necessidades do seu projeto específico. Talvez você descubra que uma combinação de técnicas funciona melhor para você. E olha, não se sinta pressionado a acertar de primeira. Essa área de IA aplicada à análise de dados está evoluindo rapidamente, e todos nós estamos aprendendo juntos. O importante é manter a curiosidade e a vontade de melhorar sempre. Se quiser trocar mais ideias sobre isso, estou aqui! Que tal me contar um pouco mais sobre o tipo específico de análise que você está tentando fazer? Talvez eu possa te dar dicas mais direcionadas. Boa sorte na sua jornada com IA e análise de dados! Tenho certeza que você vai arrasar!
tá bem no começo, onde já tenho uma consulta pronta, e peço para a IA gerar informações, identificar uma tendencia, um valor fora da média, e algumas explicações que os dados apresentados podem fornecer.
Excelente vídeo, melhor ainda com a Palavra de Deus, mais fascinante ainda com o livro de Provérbios, obrigado pelo conteúdo, preciso aplicar algo bem similiar. Parabéns!!!
Que conteúdo top! Conteúdo técnico abordado com uma didática excelente! Parabéns!
Parabéns pelo seu trabalho e didática! Estou fazendo especialização em NLP e estou muito empolgado com essa tecnologia. Seus vídeos me ajudam muito além de serem inspiradores. Forte abraço.
Uma honra garoto! Tmj
Show de bola, Eduardo! Parabéns!
Show garoto! Tmj
Muito Top
tmj
Conteúdo top
Oi, Edu! Na sua opinião, para gerar "text2sql" sem precisar de uma chave OpenAI (free total) e testar/estudar local, o que você me recomendaria? Abraço, e obrigado pelo conteúdo incrível.
Obrigado pelo tutorial
Uma dúvida, se eu tenho um conjunto de dados com linhas e colunas o princípio seria o mesmo para fazer o treinamento e interagir com esses dados?
Qual a sua opiniao sobre o make?
O Make é uma boa ferramenta pra quem quer automação rápida e fácil, sem mexer com código. Ele conecta vários apps e serviços de forma simples, tipo arrastar e soltar. Então, pra quem quer algo rápido, sem se preocupar com programação, é uma ótima escolha.
Agora, sendo bem direto: eu prefiro usar Python e automação via código nativo. Por quê? Com Python, você tem muito mais controle e flexibilidade pra fazer automações complexas, como criar agentes de IA que navegam na web de forma autônoma, interagem com APIs, fazem scraping de dados e se adaptam a diferentes cenários. Plataformas como o Make são ótimas até certo ponto, mas quando você precisa de algo mais personalizado e escalável, usar código é muito superior.
No fim, depende do seu objetivo. Se você quer automações mais simples e rápidas, beleza, o Make.com pode servir bem. Mas se quer criar soluções mais robustas, com IA e automações poderosas, Python é o caminho que eu recomendo. É mais trabalho no começo, mas te dá muito mais liberdade no final! De boa?
Aproveita e participa do AI Experience! Lá vou ensinar a criar agentes de IA do zero, usando Python e frameworks nativos, sem low-code. É a chance de levar suas automações pro próximo nível e entrar de cabeça no mundo da IA. Bora juntos nessa? Clica aê
cienciadosdados.com/
Fala pessoal, alguem consegue me dar umas dicas.
sou analista de dados e estou começando com o uso de IA para analise de dados, ai quero saber qual o melhor padrão de dados para imputar para a ia consultar, já que trago uma consulta pronta do SQL, e geralmente to salvando em JSON para a IA analisar, mas tô achando que não tá tão viável.
Olá, querido colega analista de dados! Puxa, que pergunta sensacional você fez. Sabe, eu entendo perfeitamente a sua situação - essa transição para usar IA na análise de dados é mesmo um desafio e tanto, não é? Vamos conversar um pouco sobre isso.
Primeiro, quero te parabenizar por estar dando esse passo. Explorar novas tecnologias como IA para melhorar nossas análises mostra que você está realmente comprometido em evoluir na carreira. Isso é incrível!
Agora, sobre a sua dúvida específica do formato de dados para IA, especialmente pensando em LLMs (Large Language Models), vou te contar o que eu acho baseado na minha experiência e no que tenho visto no mercado.
O JSON que você está usando é um ótimo começo! Ele é flexível e fácil de trabalhar. Mas entendo que você está sentindo que talvez não seja a solução ideal, e você tem razão em questionar isso.
Para LLMs, o que realmente importa são os dados vetoriais - os famosos embeddings. Esses vetores são como o "sumo" do seu texto, a representação matemática que o modelo de IA realmente entende. Então, o ideal é pensar em como armazenar e manipular esses vetores de forma eficiente.
Aqui vão algumas ideias:
1. Banco de dados vetoriais:
Ferramentas como Pinecone, Weaviate ou Milvus são especializadas em armazenar e buscar vetores rapidamente. Elas são ótimas quando você tem muitos dados e precisa fazer buscas semânticas rápidas.
2. Formatos de arquivo otimizados:
Se você prefere trabalhar com arquivos, formatos como Parquet ou HDF5 podem ser excelentes para armazenar grandes quantidades de vetores junto com metadados.
3. Soluções híbridas:
Uma abordagem que eu particularmente gosto é manter os dados originais em SQL, gerar os embeddings sob demanda ou em lotes, e armazená-los temporariamente em um formato eficiente para a análise com IA.
O fluxo poderia ser algo assim:
1. Extrair dados do SQL
2. Gerar embeddings (você pode usar bibliotecas como sentence-transformers para isso)
3. Armazenar temporariamente em um formato eficiente (como numpy arrays, por exemplo)
4. Fazer a análise com seu modelo de IA
5. Armazenar os resultados de volta no SQL ou em outro lugar apropriado
Lembre-se, não existe uma solução única que sirva para todos os casos. O melhor approach vai depender muito do volume de dados que você tem, da frequência com que precisa atualizá-los, do tipo de análise que está fazendo, e dos recursos computacionais disponíveis.
Minha dica é: experimente! Comece com algo simples e vá refinando conforme entende melhor as necessidades do seu projeto específico. Talvez você descubra que uma combinação de técnicas funciona melhor para você.
E olha, não se sinta pressionado a acertar de primeira. Essa área de IA aplicada à análise de dados está evoluindo rapidamente, e todos nós estamos aprendendo juntos. O importante é manter a curiosidade e a vontade de melhorar sempre.
Se quiser trocar mais ideias sobre isso, estou aqui! Que tal me contar um pouco mais sobre o tipo específico de análise que você está tentando fazer? Talvez eu possa te dar dicas mais direcionadas.
Boa sorte na sua jornada com IA e análise de dados! Tenho certeza que você vai arrasar!
tá bem no começo, onde já tenho uma consulta pronta, e peço para a IA gerar informações, identificar uma tendencia, um valor fora da média, e algumas explicações que os dados apresentados podem fornecer.