- Видео 68
- Просмотров 196 437
SQL Cerebro - Luis Renato de Souza
Бразилия
Добавлен 1 май 2012
Scripts T-SQL, Database Performance Tuning, dicas e truques para facilitar a vida do DBA e usuários do Microsoft SQL Server e Azure.
Microsoft Fabric - Carregando dados para OneLake no formato Delta a partir de CSV
Este é um tutorial que faz parte de uma série. Ele demonstra como criar uma tabela no formato Delta Parquet no Microsoft Fabric Data Lakehouse usando um Spark Notebook.
Crie um Lakehouse: No ambiente de engenharia de dados do Microsoft Fabric, crie um novo Lakehouse.
Baixe o Spark Notebook: Importe o Spark Notebook do repositório GitHub para o seu espaço de trabalho.
Carregue os arquivos CSV: Baixe os arquivos CSV do site do CMS e faça o upload deles para o Lakehouse usando o Azure Storage Explorer.
Execute o Spark Notebook: O notebook irá processar os arquivos CSV, aplicar transformações e criar uma tabela Delta Parquet com uma nova coluna para o ano.
Verifique os dados: Execute consultas si...
Crie um Lakehouse: No ambiente de engenharia de dados do Microsoft Fabric, crie um novo Lakehouse.
Baixe o Spark Notebook: Importe o Spark Notebook do repositório GitHub para o seu espaço de trabalho.
Carregue os arquivos CSV: Baixe os arquivos CSV do site do CMS e faça o upload deles para o Lakehouse usando o Azure Storage Explorer.
Execute o Spark Notebook: O notebook irá processar os arquivos CSV, aplicar transformações e criar uma tabela Delta Parquet com uma nova coluna para o ano.
Verifique os dados: Execute consultas si...
Просмотров: 201
Видео
Vídeos hiper-realistas com inteligência Artificial VASA-1
Просмотров 6886 месяцев назад
O VASA-1 é um projeto da Microsoft que visa gerar videos hiper-realistas em tempo real a partir de uma única imagem estática e um clipe de áudio. Ele se assemelha ao EMO AI do Alibaba e ao Sora da OpenAi, porem mais realista. www.microsoft.com/en-us/research/project/vasa-1/
Tutorial de como copiar arquivos entre On-prem e Nuvem com AzCopy e Data Factory
Просмотров 1869 месяцев назад
Neste vídeo eu demonstro como executar o procedimento de cópia entre o ambiente Onpremisses e a Nuvem do Azure através das ferramentas Azure Data Factory e o command AZcopy, a partir de Blob Storage ou Data Lake para file server, file share (servidor de arquivos) Qual serviço é melhor? Qual é mais rápido? Qual é mais barato? GCP
Tutorial de como copiar arquivos entre On-prem e Nuvem com Data Factory e AzCopy
Просмотров 1349 месяцев назад
Neste vídeo eu demonstro como executar o procedimento de cópia entre o ambiente Onpremisses e a Nuvem do Azure através das ferramentas Azure Data Factory e o command AZcopy, a partir de Blob Storage ou Data Lake para file server, file share (servidor de arquivos) Qual serviço é melhor? Qual é mais rápido? Qual é mais barato? GCP
Como habilitar o Microsoft Fabric para trabalhar com o PowerBI
Просмотров 51810 месяцев назад
Tutorial de Demonstração de como ativar, habilitar e configurar o Microsoft Fabric no Tenant do Power BI, com permissão para todos os usuários ou para grupos especificos de segurança. O Fabric tem suporte a Ingestão (Data Factory Pipelines), armazenamento (OneLake), Spark, notebooks etc...
Cientistas Dados na Era da Ai Generativa - Prompt Engineering
Просмотров 16410 месяцев назад
Será o fim dos Cientistas e Engenheiros de Dados na nova era de IA Generativa? Vamos discutir os prós e contras da Inteligência Artificial com ChatGPT e ad OpenAi. Da Microsoft e dos seus Copilots Neste vídeo eu uso o CharGPT da OpenAi, para gerar uma query do SQL Server, do PostGreSQL e do Synapse Analytics com notebook do Azure. Essa função foi integrada ao Github Copilot através do Codex, re...
Futuro dos Cientistas e Engenheiros de dados da Era da Ai
Просмотров 204Год назад
Será o fim dos Cientistas e Engenheiros de Dados na nova era de IA Generativa? Vamos discutir os prós e contras da Inteligência Artificial com ChatGPT e ad OpenAi. Da Microsoft e dos seus Copilots GCP e Google Cloud
Synapse Link para CosmosDB - Solução para analise de dados noSQL
Просмотров 136Год назад
Neste vídeo eu demonstro como configurar o Synapse Link for CosmosDB, um recurso que funciona como um processo de CDC (change data Captura) para um banco de dados distribuído e noSQL, implementando ambiente hibrido (transacional e analítico). Falo também como funciona o Change Feed do CosmosDB e o novo modelo de dados para PostgreSQL. O Synapse Link suporta fontes de dados como SQL Database, Da...
Use o Copilot no Bing e Windows. Mais rápido mais inteligente a super atualizado.
Просмотров 298Год назад
O ChatGPT (versão aberta e gratuita) ainda é Beta, ou seja, uma versão de demonstração. Muita gente não entende isso e reclama pelo fato de seu modelo estar treinando com dados somente até 2021. Já o Bing é um serviço gratuito, usa o mesmo GPT-4, tem informações atualizadas, integração com a Busca Conversacional (afinal o Bing é um buscador) com seus próprios modelos de AI, como o Prometheus, t...
Conheça o ChatGPT e a OpenAi, e entenda qual a relação com a Microsoft
Просмотров 264Год назад
Neste vídeo eu explico detalhadamente oque é ChatGPT e OpenAi como funciona e qual a relação com a Microsoft. Veja esse tutorial sobre de onde veio o Chat GPT, Codex, Dall-E, Github Copilot e a Open AI.
Análise de dados com ChatGPT da OpenAi gerando código Spark, SQL e Postgre
Просмотров 2,3 тыс.Год назад
Neste vídeo eu uso o CharGPT da OpenAi, para gerar uma query do SQL Server, do PostGreSQL e do Synapse Analytics com notebook do Azure. Essa função foi integrada ao Github Copilot através do Codex, recurso que usa o GPT3.5 ChatGPT chat.openai.com/chat
Performance de Bancos de Dados: Índices
Просмотров 1,6 тыс.Год назад
Performance de queries, indexes, índices, Clustered e lentidão no banco de dados. Desempenho das pesquisas do SQL e bancos relacionais. Heap de Dados, Arvore Binária, B-tree
Azure Data Studio - SQL Server, Notebooks e SQL Database PaaS - Dica para DBAs
Просмотров 2,6 тыс.2 года назад
Azure Data Studio - SQL Server, Notebooks e SQL Database PaaS - Dica para DBAs
Governança e privacidade de Dados - LGPD e segurança da informação
Просмотров 8082 года назад
Governança e privacidade de Dados - LGPD e segurança da informação
Performance de Bancos de Dados: DeadLocks
Просмотров 1,4 тыс.2 года назад
Performance de Bancos de Dados: DeadLocks
Performance de Bancos de Dados: Locks
Просмотров 2,4 тыс.2 года назад
Performance de Bancos de Dados: Locks
Redução de custo do SQL Server, automatização da gestão e segurança com o SQL IaaS Extension [pt-br]
Просмотров 6022 года назад
Redução de custo do SQL Server, automatização da gestão e segurança com o SQL IaaS Extension [pt-br]
Synapse Analytics - Criando um Data Lakehouse com Data Lake e Modern Data Warehouse [PT-BR]
Просмотров 4,6 тыс.3 года назад
Synapse Analytics - Criando um Data Lakehouse com Data Lake e Modern Data Warehouse [PT-BR]
Como criar uma Aba/Painel Retrátil com filtros ou Slicer Panel no Power BI [pt-br]
Просмотров 1,9 тыс.3 года назад
Como criar uma Aba/Painel Retrátil com filtros ou Slicer Panel no Power BI [pt-br]
Introdução ao Azure Data Explorer - Kusto Query Language KQL [pt-br]
Просмотров 1,7 тыс.3 года назад
Introdução ao Azure Data Explorer - Kusto Query Language KQL [pt-br]
Inteligência Artificial, Redes Neurais e Deep Learning [pt-br]
Просмотров 6893 года назад
Inteligência Artificial, Redes Neurais e Deep Learning [pt-br]
A História da Análise de Dados - do Data Warehouse ao Big Data
Просмотров 2,3 тыс.3 года назад
A História da Análise de Dados - do Data Warehouse ao Big Data
Tutorial: Azure Purview catalogando o Data Lake e o SQL DB usando Credencias e Secrets do Key Vault
Просмотров 2,2 тыс.3 года назад
Tutorial: Azure Purview catalogando o Data Lake e o SQL DB usando Credencias e Secrets do Key Vault
Replicação e Alta Disponibilidade no SQL Database do Azure - Disaster Recovery
Просмотров 8113 года назад
Replicação e Alta Disponibilidade no SQL Database do Azure - Disaster Recovery
Diferenças entre Databases SQL e NoSQL, e como implementar MongoDB e Cassandra com o CosmosDB
Просмотров 8443 года назад
Diferenças entre Databases SQL e NoSQL, e como implementar MongoDB e Cassandra com o CosmosDB
Opções de Database SQL no Azure - Migração e Segurança - Azure Key Vault [PT-BR]
Просмотров 6603 года назад
Opções de Database SQL no Azure - Migração e Segurança - Azure Key Vault [PT-BR]
Aplicações nativas de Cloud com Azure Storage Account e Blob Storage [pt-br]
Просмотров 3133 года назад
Aplicações nativas de Cloud com Azure Storage Account e Blob Storage [pt-br]
Novidades do Azure para Data & Ai em 2022 - PT-BR
Просмотров 4483 года назад
Novidades do Azure para Data & Ai em 2022 - PT-BR
Fazendo previsões e estimativas com PowerBI - Forecasting [PT-BR]
Просмотров 25 тыс.3 года назад
Fazendo previsões e estimativas com PowerBI - Forecasting [PT-BR]
Ótimo conteúdo! Obrigado pelo compartilhamento de conhecimento.
@@ed_teixeira valeu pelo comentário Ed. Veja os outros vídeos do canal. Abraços
Eu uso este recurso, porém sinto a falta de um card ou um tooltip fixo no final da linha, mostrando a previsão, sup e inf da previsão. Eu tenho um report via power bi, logo, eu exporto para pdf. se alguem souber como fazer, seria grato.
Muito bom!
@@veteranodilso obrigado pelo feedback. Veja os outros vídeos do canal e, se puder, compartique nas suas redes. Abraços
Muito bom!
@@veteranodilso valeu. Abraços.
Cara do céu, seloko vc é muito fera, só queria uma semana acompanhando vc trabalhar que eu sairia com um conhecimento absurdoooooo. Parabéns e muito obrigado pelo conteúdo!
Valeu Leandro. Obrigado pelo feedback
Obrigado!
Obrigado pelo comentario Raphael!!!!
Por gentileza, qual a diferença de índice e View?
@@annends índice é um mecanismo que ajuda a acelerar a resposta das queres. View é uma query pré criada. Imagine que você tem tem 2 tabelas que sempre são consultadas juntas, ao invés de escrever a query com JOIN a cada consulta, você pode criar uma View
Simples e objetivo
@@alexwallace960 obrigado pelo comentário Alex. Espero que goste dos outros vídeos do canal. Abraços
Esse vídeo realmente consegue explicar claramente o que são Índices, parabéns!
@@DSanches obrigado Sanches. Veja os outros vídeos do canal, e se possível compartilhe nas suas redes. Abraços
Muito obrigada! Excelente explicação!
Valeu!
Mestre boa noite eu tava feliz da vida usando o Power BI com Python e SQL....aí mudei de área e agora tem uma tal linguagem KQL (Kusto) do Azure Explorer...tô rachando a cabeça entender.o script....vc teria algum material pra compartilhar comigo? Tentei até o chatgpt mas começa bem mas buga depois. Aguardo sua resposta!! Boa noite!
Mestre boa noite eu tava feliz da vida usando o Power BI com Python e SQL....aí mudei de área e agora tem uma tal linguagem KQL (Kusto) do Azure Explorer...tô rachando a cabeça entender.o script....vc teria algum material pra compartilhar comigo? Tentei até o chatgpt mas começa bem mas buga depois. Aguardo sua resposta!! Boa noite!
Fala Hudson. O KQL é a linguagem do Log Analytics e o Data Explorer ( ruclips.net/video/keS-vwkcCsY/видео.html ) eu sugiro o link: learn.microsoft.com/pt-br/azure/data-explorer/kusto/query/
muito bom o vídeo, mesmo assistindo depois de 4 anos... hehehe... tenho duas dúvidas: como fazer para automatizar o sincronismo dos dados do on-premise para o azure analysis services? outra coisa, estou procurando alguma dica sobre o RSL, até achei alguma coisa, mas nada funciona nesse formato on-premise Vs Azure ...
Olá Rogerio. Vou procurar as restosta e respondo por aqui. Abraços e obrigado pelo comentário.
Muito bom Luis Renato, sempre trazendo conteúdo de qualidade!
@@fernandoacallejon Fala Callejon. Obrigado pelo comentário e feedback. Bom falar com você. Abraços
Excelente explicação
@@joelson091 obrigado pelo feedback. Veja os outros vídeos do canal
Muito obrigado, video muito bom, sem enrolação e objetivo no aprendizado!
Valei pelo Feedback Renato. Veja os outros vídeos do canal. Se possivel compartilhe em suas redes. Abraços
Melhor vídeo sobre índices do RUclips, baita didática! Obrigado por compartilhar conosco!
Opa.... Valeu Michel. Veja os outros videos do canal, tem um sobre DeadLocks que deve ser interessantes para você.
@@SQLCerebro verei sim mestre! Parabéns pelo canal, já virei fã! Abs!
Qual é a sua metodologia para códigos de armazenamento?
Olá Aline. Não sei se entndi a pegunta. O que você chama de "códigos de armazenamento"? Está se referindo a Primary Key?
Esta disponível para download ?
Alguns desses modelos já estão disponiveis para o uso, mas (até onde sei) nenhum deles roda localmente. Todos são serviços e rodam na nuvem, devido a grande necessidade de processamento.
E ja tá liberada ou n
Em desenvolvimento ainda
E porque voce não ensina como fazer a foto falar passo apasso?
Obrigado pela sugestão.
@@SQLCerebro É porque geralmente o pessoal quer saber na prática, eu mesmo entrei pra saber, mas como vocês não mostraram, talvez o recurso nâo esteja liberado no site, tentei fazer sozinho, procurei no canal gringo também, não achei na prática 🙄
ta. mas e aí? faltou dizer se essa ferramenta vai ser comercializada ou nao... se vamos ter acesso...
Certamente haverá aplicações práticas para essa tecnologia, mas como tudo em inteligência artificial o time do VASA1 precisa estar atento às possibilidades de mau uso.
Obrigado por abordar o assunto!!!! Sempre tive essa dúvida.
Espero ter ajudado
Sempre tive essa dúvida. Obrigado por abordar o assunto!!!! Gosto dos seus vídeos
Eu que agradeço
Muito bom e util o vídeo!!!
Que bom que ajudou
O AzCopy é gratuito ou existe alguma versão paga?
Totalmente gratuito. Obrigado pelo comentário!!!!
Produto muito promissor!!!
Obrigado pelo comentário!!!! O Fabric vai bombar!!!
Impressionante a animação!!! Parabéns pelo vídeo
Obrigado pelo comentário!!!!
Primeiro canal brasileiro falando sobre o assunto. Parabéns 👏👏👏
Valeu. Dê uma olhada nos outros vídeos do canal e, se possível, compartilhe nas sua redes. Abraços
Assunstador
Concordo
O olhar e tudo. Impressionante a semelhança !😮 Parabéns pelo vídeo Renato.👏🏽
As possivilidades para o uso no bem são infinitas, assistentes virtuais mais reais, filmes traduzidos etc... para assim como existe podencial para uso do lado do mau
Muito bom! Fiquei curioso sobre a pausa, há perca de dados? Porque a Microsoft não está gastando poder computacional, mas e sobre armazenamento? Se eu tenho 3TB de informação nesse DW e pausar, vou ter que recriar novamente ou eles ainda estarão lá?
Durante a pausa não há perda de dados, somente os recursos computacionais são "desligados" e, por tanto, não cobrados. Mas os recursos de armazenamento seguro continuam no ar (e cobrando por isso). Então é super seguro manter os dados, mesmo com a computação pausada. Abraços
@@SQLCerebro Caraca! Entendi agora. Curioso o approach...
@@eliumoraes Na verdade, diferentemente dos sistemas transacionais, os Sistemas de DW e BI não precisam estar no ar o tempo todo, eles podem ser provisionados por demanda, ou durante a geração de relatórios off-line. Depois disse ficam desligados.
Por favor, pode explicar o conceito de notebooks? Quero dizer, existe criar notebooks, mas né sentido e como se fosse um "IDE" de codificação? Muito obrigado.
Fala Ageu. Notebook no contexto de Machine Learning é um script (como os scripts SQL, por exemplo), que são executados contra ambientes com motor Spark, e usando linguagens como Python, R, Skala, C# e Spark SQL.
@@SQLCerebro muito obrigado. Valeu pelo retorno.
Parabéns pelo vídeo. Ótimo conteúdo 😊
Obrigado pelo comentário Fernando. Veja os outro videos do canal. Se puder, compartilhe nas suas redes. Abraços
Valeu pela demonstração.
Obrigado pelo feedback Mauricio. Abraços
Pelo o que entendi e olhando a documentação, no vídeo você está com um banco com tier General Purpose, que o seu armazenamento é LRS. Para aumentar a disponibilidade, você fez a réplica do banco para outra região. Isso devido a não existir tier geo redundante. Certo?
Sim, General Purpose. O tier Business Critical já tem uma cópia by design. A questão de LRS é uma configuração de redundancia de backup. Abraços
@@SQLCerebroNa documentação diz que os dados ficam em um armazenamento LRS para esse tipo de tier. learn.microsoft.com/en-us/azure/azure-sql/database/high-availability-sla?view=azuresql&tabs=azure-powershell
@@SQLCerebrona documentação diz que esse tier é armazenado em lrs. Para backup tem essa e outras opções.
Muito bom!! Parabéns!!
Obrigado pelo Feedback, dê uma olhada nos demais videos do canal e, se possivel, compartilhe o canal com suas redes. Abraços
Boa tarde vídeo muito bom mesmo
Obrigado pelo feedback Renato. Veja os outros videos do canal e, se possivel, compartilhe nas suas redes. Abraços
Cara muito bom esse vídeo
Obrigado Guilherme. Dê uma olhada nos outros vídeos, tem muita coisa interessante. Abraços
muito legal, obrigada.
obrigado voce pelo feedback. veja os outros videos do canal
Que Dicção boa mannn
Opa. Super obrigado pelo feedback. Eu me esforço bastante para que as narrações sejam muito claras. Valeu pela audiência e veja os outros videos do canal. Abraços.
Muito bom prático e direto ao ponto peguei tudo que queria saber sobre assunto
Obrigado pelo feedback. Veja os outros videos do canal.
Tive que comentar.. Excelente conteúdo, parabéns!
Muito obrigado 😁
Obrigado, meu caro! Me ajudou bastante
Obrigado você pela audiência. Abraços
Estudo ciência da computação nunca vi alguém explicar tão bem esses conceitos que confunde muitas gente
obrigado pelo feed back Laura. se possivel compartilhe com seus colegas
Luiis, boa noite, Parabens pelo curso, tenho uma duvida, tudo que voce fez, foi feito sem uma linha de codigo, para promover esses passos para homologação e produção, existe alguma ferramenta ou algo parecedo, para a promoção para os demais ambientes ?
Olá José Paulo. Existem algumas formas de aplicar as disciplinas de DevOps com o Data Factory, 1. Você pode integrar o ADF com o Github ou o Azure DevOps, você pode também usar um SDK em Python ou .NET. Você pode ainda usar Azure Cli ou PowerShell para criar pilepine as Code: medium.com/hitachisolutions-braintrust/3-steps-to-run-powershell-in-azure-data-factory-e7c73d38e548
@@SQLCerebro , Luis, muito obrigado pela resposta, atualmente o mercado usa mais o que ADF com o Github ou o Azure DevOps ? E parabens pela sua iniciativa, me inscrevi e vou segui-lo, eu trabalho com AWS e no dia08/01/2024, vou começar um curso na Ka Solution 34203 Data Engineering on Microsoft Azure (DP-203) , pois quero ter conhecimento em engenharia de dados nas duas clouds.
@@josepaulo9054 Certamente o Github. Bons estudos. Abraços
Parabéns pelo video, muito bacana, curtos e diretos, fale mais sobre criação de data lake e ingestão de dados. grande abraço
Opa Alexandre. Obrigado pelo feedback e sugestão de tema. Abraços
Parabéns pela didática e conteúdo! Não é fácil ser simples e objetivo, e você o fez com maestria. Sucesso hoje e sempre !!!
Valeu pela mensagem e pelo feedback. O objetivo é mesmo comportilhar conhecimento da forma mais didática possivel. Agradeço se comprartilhar o canal nas suas redes. Abraços.
Estou usando BI Pro, e não tem esta opção...será que é atualização?
Olá Denis. Por acaso você n"ao está usando a versão do PowerBi em inglês? Se sim, neste caso o recurso (ao invés de "previsão") será o Forecast: www.popautomation.com/post/how-to-forecast-in-power-bi
@@SQLCerebro O meu tbm não aparece, tbm está em ingles, kkk. Mas não tem a opção forecast
@@neo2geon Veja se até com a versão mais atualizada do Desktop
Qual a diferença desse data studio para uma ferramenta SGBD?
O Data Studio é um client, um App que acessa SGBDs, que por sua vez é um serviços de banco de dados. O Data Studio é equivamente ao Management Studio, client tradicional do SQL Server, porem bem mais leve e com foco nos serviços em nuvem.