Wesley, poderia gravar falando sobre o uso do Stimzi Operator? para subir tanto clusters do Kafka como do Kafka connect? se der para falar do KSQLDB seria legal também.
Caramba, pensei mesma coisa, seria muito bom um conteúdo sobre o strimzi. Wesley, será que nem no curso pago seria possível um conteúdo completo usando o strimzi e ksql? Assinaria na hora, rs. Acho interessante esse assunto.
O meu levou quase 2h pra subir, contando download e nicialização dos contsiners. Não mexi em nd do docker-compose, só adicionei o host na minha máquina, conforme wesley disse e aumentei a memoria do docker, pra 9GB, nas configs do docker desktop no macOs.
Wesley, Estou no ubuntu e ao tentar acesso o mysql ele devolve essa mensagem: Error: No such container: kafka-connect_mysql_1 E quero agradecer seu conteúdo está de parabéns.
Wesley parabéns pelo vídeo, estava buscando por uma explicação assim há algum tempo. Muito obrigado. Uma dúvida... qual seria o parâmetro para especificar uma lista de tabelas para replicação? Vc mencionou mas não captei qual seria.
Poxa, meu Kibana não sobe!!! localhost:5601, tela em branco com a mensamgem: Kibana server is not ready yet Ja dei a permissao na pasta, ja aumentei memoria pro Java!! .... enfim se alguem ver e responder ....
Tive esse mesmo problema: Pesquisando, achei isso aqui: github.com/elastic/kibana/issues/25464 É um problema que acontece na indexação, resolvi da seguinte forma: 1: curl "localhost:9200/_cat/indices" 2: Pra cada indice que começar com ".kibana" , remove ele, ex: curl -XDELETE localhost:9200/.kibana_1 ou curl -XDELETE localhost:9200/.kibana_task_manager_1 Esses foram os dois qye apareceram no meu. Depois é só reiniciar o container do kibana e pronto.
O meu caso foi um pouco diferente do @Sostenes Gomes , tentei a solução que funcionou para ele, mas quando chamava o "localhost:9200/_cat/indices", continuava retornando a mensagem de que ainda não estava disponível. Para mim a solução abaixo resolveu: stackoverflow.com/questions/60182669/elastic-search-error-native-controller-process-has-stopped-no-new-native-pro Eu só tive que comentar no docker-compose as variáveis que tratavam de cluster, ficou assim a parte de environment do container do kibana: environment: - node.name=es01 #- cluster.name=es-docker-cluster #- cluster.initial_master_nodes=es01 - bootstrap.memory_lock=true - "ES_JAVA_OPTS=-Xms512m -Xmx512m" - discovery.type=single-node
Sou meio traumatizado com "*.properties" , "*.yml" , devido a legados e documentação, sugestão, quando usar arquivos de propriedade, "key:value" , poderia indicar a documentação que explica cada "Key:Value" que usou.
Meu Deus, em 2018 tinha uma gambiara que pegava dados de uma access jogava em um .csv, importava no SQLServe, buscava um import no erp para inserir no mesmo DB e criar um ponto de comparação de produto de coleção/vendas. e ainda ficava comparando com o BI do ERP que dava muito pau. Com essa colação de ferramentas chega ser sacanagem!
Qual a config de vocês? Meu note é um I5, 16 RAM, SSD 240. Tanto no Windows quanto no hackintosh o desempenho não foi tão bom. Estou pensando em instalar o debian.
Alguém pegou esse erro na hora que vai subir o sistema erro de criação da pasta já criei até manualmente mais da o mesmo erro. Alguém me ajuda? Recreating f34560f5d425_kafka-connect ... error Starting kafkaconnect-mysql-elasticsearch_control-center_1 ... ERROR: for f34560f5d425_kafka-connect Cannot start service kafka-connect: error while creating mount source path '/data': mkdir /data: read-o Starting kafkaconnect-mysql-elasticsearch_control-center_1 ... done ERROR: for kafka-connect Cannot start service kafka-connect: error while creating mount source path '/data': mkdir /data: read-only file system ERROR: Encountered errors while bringing up the project.
Wesley estou precisando fazer uma integração com sistemas .Net core com sqlserver em nosso data center com um sistema no aws .Net core com postgree , você sabe se Kafka faz isso?
Meu computador até caiu da mesa, de tanto valor que essa playlist entregou!
Wesley o kafta tem um porrada de coisas que ele consegue fazer, muito obrigado pela ajuda!
Animal!!! Vc apresentou um mundo novo pra mim!
Muito bom ! Obrigado por compartilhar esse conhecimento, Wesley
Wesley parabéns pelo video!!
Velho, gostei muito. Conseguir fazer, porem tive que divide o elasti do kafka, por algum motivo, nao estava subindo tudo junto. Mas foi maneiro,
Wesley, poderia gravar falando sobre o uso do Stimzi Operator? para subir tanto clusters do Kafka como do Kafka connect? se der para falar do KSQLDB seria legal também.
Caramba, pensei mesma coisa, seria muito bom um conteúdo sobre o strimzi. Wesley, será que nem no curso pago seria possível um conteúdo completo usando o strimzi e ksql? Assinaria na hora, rs. Acho interessante esse assunto.
Parabéns pelos conteúdos que você compatilha!!
O meu levou quase 2h pra subir, contando download e nicialização dos contsiners. Não mexi em nd do docker-compose, só adicionei o host na minha máquina, conforme wesley disse e aumentei a memoria do docker, pra 9GB, nas configs do docker desktop no macOs.
Wesley,
Estou no ubuntu e ao tentar acesso o mysql ele devolve essa mensagem: Error: No such container: kafka-connect_mysql_1
E quero agradecer seu conteúdo está de parabéns.
Os containers serão gerados a partir do nome da pasta. De um docker-compose ps e verifique o nome dado dinamicamente para o container no mysql
@@WesleyWillians cara agora eu consegui fazer tudo segui os videos na sequência executei tudo ficou Top parabéns.
Show Wesley!
Com kafka, geramos mais demanda de infra estrutura, alta disponibilidade do kafka e monitoramento, geralmente usando o zabbix
Tem algum tutorial explicando sobre esse Control Center que ele usa? Acho que não vou saber acompanhar sem ele.
Parabéns Wesley pelo conteúdo.. me diz uma coisa... vc que andou testando.. o que acontece se eu conectar em uma base que já está populada?
Já dei o like!
vocês conhecem uma forma do sqlserver pegar apenas a tabela que esta no include como topico e não varrer o banco todo?
Muito legal.
Parabéns!
Nossa, estava esperando uma aula assim há tempos. Vlw Wesley
Ola Wesley, cara estou tentando usar o sink para o elasticsearch e ele esta degraded o que fazer?
Sensacional. Parabéns!
Ola estou precisando de ajuda, como configuro um arquivo proprierties de source e de sink para postgresql
Show. Conteúdo muito bom. Tks!
Wesley é o cara, obrigado
Wesley parabéns pelo vídeo, estava buscando por uma explicação assim há algum tempo. Muito obrigado. Uma dúvida... qual seria o parâmetro para especificar uma lista de tabelas para replicação? Vc mencionou mas não captei qual seria.
Muito bom Wesley!
tem exemplo onde pego atributos espeficos para indexar no elasticsearch e depois fazer uma pesquisa fonetica
Poxa, meu Kibana não sobe!!!
localhost:5601, tela em branco com a mensamgem: Kibana server is not ready yet
Ja dei a permissao na pasta, ja aumentei memoria pro Java!! .... enfim se alguem ver e responder ....
Tive esse mesmo problema: Pesquisando, achei isso aqui: github.com/elastic/kibana/issues/25464
É um problema que acontece na indexação, resolvi da seguinte forma:
1: curl "localhost:9200/_cat/indices"
2: Pra cada indice que começar com ".kibana" , remove ele, ex:
curl -XDELETE localhost:9200/.kibana_1
ou curl -XDELETE localhost:9200/.kibana_task_manager_1
Esses foram os dois qye apareceram no meu.
Depois é só reiniciar o container do kibana e pronto.
O meu caso foi um pouco diferente do @Sostenes Gomes , tentei a solução que funcionou para ele, mas quando chamava o "localhost:9200/_cat/indices", continuava retornando a mensagem de que ainda não estava disponível. Para mim a solução abaixo resolveu:
stackoverflow.com/questions/60182669/elastic-search-error-native-controller-process-has-stopped-no-new-native-pro
Eu só tive que comentar no docker-compose as variáveis que tratavam de cluster, ficou assim a parte de environment do container do kibana:
environment:
- node.name=es01
#- cluster.name=es-docker-cluster
#- cluster.initial_master_nodes=es01
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
- discovery.type=single-node
Muito bom. Parabéns
Sou meio traumatizado com "*.properties" , "*.yml" , devido a legados e documentação, sugestão, quando usar arquivos de propriedade, "key:value" , poderia indicar a documentação que explica cada "Key:Value" que usou.
muito obrigado pelo conteúdo, amigo!
Muito bom cara
Meu Deus, em 2018 tinha uma gambiara que pegava dados de uma access jogava em um .csv, importava no SQLServe, buscava um import no erp para inserir no mesmo DB e criar um ponto de comparação de produto de coleção/vendas. e ainda ficava comparando com o BI do ERP que dava muito pau. Com essa colação de ferramentas
chega ser sacanagem!
Maravilha, Show. Agregou valor.
Wesley pq qdo vou criar o index pattern , aparece erro "Too Many Requests" , não faz sentido.
Sabe o q é ?
Qual a config de vocês? Meu note é um I5, 16 RAM, SSD 240. Tanto no Windows quanto no hackintosh o desempenho não foi tão bom. Estou pensando em instalar o debian.
Ao adicionar a config file do Elastic Search, mostrou no conect como "deprecated" e não conectou, idéias?
estou aqui a procurar pessoas que tenha mesmo erros
Minha parte do elastic dava failed o tempo todo, nao consegui descobrir a solução :(
por vezes tem a ver com um erro que ta relacionado com vm.max_count
que vc tem de alterar o valor para o que pede na consola
@@emanuelribeiro6369 amigo onde eu posso procura na ruta?
Alguém pegou esse erro na hora que vai subir o sistema erro de criação da pasta já criei até manualmente mais da o mesmo erro. Alguém me ajuda?
Recreating f34560f5d425_kafka-connect ... error
Starting kafkaconnect-mysql-elasticsearch_control-center_1 ...
ERROR: for f34560f5d425_kafka-connect Cannot start service kafka-connect: error while creating mount source path '/data': mkdir /data: read-o
Starting kafkaconnect-mysql-elasticsearch_control-center_1 ... done
ERROR: for kafka-connect Cannot start service kafka-connect: error while creating mount source path '/data': mkdir /data: read-only file system
ERROR: Encountered errors while bringing up the project.
Começa em 4:30
Please upload english subtitles
Wesley estou precisando fazer uma integração com sistemas .Net core com sqlserver em nosso data center com um sistema no aws .Net core com postgree , você sabe se Kafka faz isso?
Hj
Show Wesley!