Não trabalho na area mas tenho curiosidade em aprender essas ferramentas de integração / ingestão de dados ee stava justamente pesquisando sobre essa em questão haha! #evangelizandoSQL sempre presente
Bom dia, faria sentido eu usar Airbyte para substuir o AWS DMS, para cada registro que sofrer uma inclusão, alteração e exclusão no SQL Server OnPromise para dentro de um bucket S3 ?
Boa tarde, o DMS é para você fazer migração, você deve estar usando o DMS de forma errada, sendo que na verdade o Airbyte é o que sempre deveria ter sido usado para fazer ingestão de dados em um bucket S3. Estou interpretando dessa forma baseado no pouco que vc falou.
@@bifastsolutions obrigado pelo retorno, a duvida era se o Airbyte, tem a mesna funcionallidade do AWS DMS, mas na empresa, usamos o DMs de forma correta, para fazer migração dos dados do Onpremise para uma area de Landing Zone e depois fazemos o necessarios para colocar os dados na camada RAW Data. mais uma vez obrigado pelo retorno.
DMS não é para ingestão de dados ou cargas de dados em camadas de um dala lake, e sim para migar um banco de dados para o AWS RDS por exemplo, mesmo que de certo onde vc trabalha, talvez esteja desperdiçando recursos e dinheiro. Nesse caso o airbyte é a solução mais adequada e barata dentro do assunto que estamos falando.
@@bifastsolutions , usamos o AWS DMS para jogar para uma camada Landing Zone, onde o processo de baixa de parcela, acontece dentro do SQL Server no On Promise e com o uso de CDC, o AWS DMS pega essas informações do CDC e coloca essas informações dentro da Landing Zone e de tempos em tempos, existem processo que lê a Landing Zone e fazem tratamento e coloca os dados dentro da camda Raw Data. A duvida que eu tenho é se o Airbyte, podem fazer esse tipo de processamento, ou seja, o dado entra CDC e se existe alguna funcionalidade do AirByte, que a cada registro que chegue no CDC, o AirBye seja estimulado para fazer a ingestão do dado na Landing Zone, mas entendi o AirByte, faz uma função parecido com o Datastage, Power Center ou SSIS, ou seja, uma ferramenta de ETL>
Airbyte não é ferramenta de ETL, faz somente o EL, para ficar mais simples de entender, ele é uma ferramenta de ingestão de dados. Eu explico isso no vídeo. Então você pode usar o Airbyte com CDC, mas ele vai carregar o dado do jeito que veio da origem(fonte) no AWS S3 por exemplo.
![Megan Thee Stallion - Bigger In Texas [Official Video]](http://i.ytimg.com/vi/QxTkZTLWdo4/mqdefault.jpg)
Parabéns por passar conhecimento.
Obrigado!!
Top, umas das ferramentas que quero conhecer um pouco este ano, parabéns pelo vídeo.
Valeu Luciano!!
Bom demais!!! ferramenta muito top!!!
Valeu meu irmão!!!
Não trabalho na area mas tenho curiosidade em aprender essas ferramentas de integração / ingestão de dados ee stava justamente pesquisando sobre essa em questão haha! #evangelizandoSQL sempre presente
Show amigo, esse é so o primeiro vídeo de uma série que vou fazer aqui sobre o Airbyte. Abraço!!
Boa!!!
Bom dia, faria sentido eu usar Airbyte para substuir o AWS DMS, para cada registro que sofrer uma inclusão, alteração e exclusão no SQL Server OnPromise para dentro de um bucket S3 ?
Boa tarde, o DMS é para você fazer migração, você deve estar usando o DMS de forma errada, sendo que na verdade o Airbyte é o que sempre deveria ter sido usado para fazer ingestão de dados em um bucket S3. Estou interpretando dessa forma baseado no pouco que vc falou.
@@bifastsolutions obrigado pelo retorno, a duvida era se o Airbyte, tem a mesna funcionallidade do AWS DMS, mas na empresa, usamos o DMs de forma correta, para fazer migração dos dados do Onpremise para uma area de Landing Zone e depois fazemos o necessarios para colocar os dados na camada RAW Data. mais uma vez obrigado pelo retorno.
DMS não é para ingestão de dados ou cargas de dados em camadas de um dala lake, e sim para migar um banco de dados para o AWS RDS por exemplo, mesmo que de certo onde vc trabalha, talvez esteja desperdiçando recursos e dinheiro. Nesse caso o airbyte é a solução mais adequada e barata dentro do assunto que estamos falando.
@@bifastsolutions , usamos o AWS DMS para jogar para uma camada Landing Zone, onde o processo de baixa de parcela, acontece dentro do SQL Server no On Promise e com o uso de CDC, o AWS DMS pega essas informações do CDC e coloca essas informações dentro da Landing Zone e de tempos em tempos, existem processo que lê a Landing Zone e fazem tratamento e coloca os dados dentro da camda Raw Data.
A duvida que eu tenho é se o Airbyte, podem fazer esse tipo de processamento, ou seja, o dado entra CDC e se existe alguna funcionalidade do AirByte, que a cada registro que chegue no CDC, o AirBye seja estimulado para fazer a ingestão do dado na Landing Zone, mas entendi o AirByte, faz uma função parecido com o Datastage, Power Center ou SSIS, ou seja, uma ferramenta de ETL>
Airbyte não é ferramenta de ETL, faz somente o EL, para ficar mais simples de entender, ele é uma ferramenta de ingestão de dados. Eu explico isso no vídeo. Então você pode usar o Airbyte com CDC, mas ele vai carregar o dado do jeito que veio da origem(fonte) no AWS S3 por exemplo.