Proxmox e Ceph - Cluster com Alta Disponibilidade e flexibilidade total
HTML-код
- Опубликовано: 9 фев 2025
- Se precisar de consultoria técnica, entre em contato: tecnoapp.com.b...
Video sobre instalação e configuração inicial do Ceph no Proxmox: • Configurando o Ceph no...
O Proxmox configurado com storage Ceph é uma poderosa ferramenta para hiper-convergência em um ambiente de fácil configuração, monitoramento e gerenciamento.
Mostramos as funcionalidades do Ceph no Proxmox, como snapshots e migração on-line.
Também mostramos como substituir discos defeituosos no cluster Ceph, com sincronia automática dos dados
Por fim, demonstramos alta disponibilidade no caso de falha de um nó, com a migração automática da maquina virtual sem perda de acesso ao storage.
Parabéns pelo Vídeo. Baseado nas suas explicações consegui colocar uma rede de um cliente em alta disponibilidade a qual esta funcionando maravilhosamente bem. Valeu mesmo!!!!!
Obrigado pelo retorno Vanderei. Se puder, envia um email para nós (contato@tecnoapp.com.br) falando o que esta achando da performance de acesso a disco das VMs com essa solução.
sabe muito! Chegaremos lá.
Valeu... mas temos muita coisa para aprender!!
Muito bacana. Sugestão pro próximo video é mostrar diferentes pools de discos no Cepch, um com SSDs e outro com HDDs.
Abraço!
muito obrigado pelo vídeo
ótimo trabalho, parabéns
abraço
Obrigado Alexandre!!
Que aula top, parabéns!!!!
como ficaria o cenário se um dos nó parassem, as maquinas iriam para outro nó?
Os servidores nesse caso precisam ser identicos? Se eu tiver com uma configuração e com unidades de discos diferentes o ceph vai funcionar com alta disponibilidade?
em caso de falha comentado em 43:54 como eu removeria as configuração de nó e tambem de ceph ?
Excelente. Gracias!
Material muito bom!! Fiquei com uma dúvida. Com a configuração do HA com CEPH, a VM sempre irá reiniciar?
Excelente
Excelente aula!
Algumas dúvidas: Caso eu tenha somente dois nós é possível fazer migração de VMs de um nó para outro? Acho útil para uma possível manutenção.
Consigo também usar o CEPH distribuído com quantidade de discos diferentes? Ex: Uma máquina com 6 discos (somente para storage) e outras com 1 ou 2 discos para o CEPH (com virtualização também).
Olá Marcelo, a Proxmox indica no mínimo o uso com 3 nós com o Ceph. Sobre a quantidade de discos dedicados ao Ceph poder ser diferente em cada servidor, acredito que funcione sem problemas, mas nunca testei.
Seus vídeos são muitos bons ...
Cara comentou que subiu todo esse ambiente dentro do GOOGLECLOUD poderia fazer um vídeo sobre isso em!!!
Valeuuu
Olá Tiago, poisé acabei não gravando um vídeo sobre isso, mas em geral você deve ativar a opção de nested virtualization das instâncias virtuais no google cloud. cloud.google.com/compute/docs/instances/enable-nested-virtualization-vm-instances. Na parte do Proxmox, você instala o Debian 10 e depois em cima dele instala o Proxmox, conforme esse link pve.proxmox.com/pve-docs/pve-admin-guide.html#_install_proxmox_ve_on_debian. O mais complicado para uso real e não de laboratório é a rede, que deve ser repassada por meio de NAT para as instâncias virtuais.
@@tecnoappsolucoes5561 eu consegui com esse material mesmo mesmo assim obrigado .
é percebi que nao consegue criar os NAT para acessar os serviores acho que uma solução seria criar um firewall no mesmo projeto dai sim conseguiria acessar os servidores vou tentar e ver se consigo obrigado e sucesso
@@taynara512 Verdade, criar um firewall para centralizar os encaminhamentos seria uma boa.
Bom Dia, esta estratégia de cluster funciona bem para SGBDs? Outra pergunta, como não tenho uma rede 10GB, uso apenas cat 5e pensei em usar 2 placas de rede roteado o tráfego dos CEPHs ponto a ponto diretamente na segunda placa de rede, acredita que daria certo?
Olá Rogério.
Acredito que a performance do Ceph não ficaria boa com agregação de placa de rede. Sobre o cluster (na verdade Alta disponibilidade) para a maquina virtual, em caso de falha de um nó, ela entende que foi desligada de forma abrupta, perdendo o conteúdo da memória. Esta não pode ser uma boa estratégia para SGBDs
Como vc faz para monitorar o seu ceph?
Olá Thiago, dá para usar o dashboard do próprio Proxmox, ali ele mostra as informações de acesso, saúde, etc
@@tecnoappsolucoes5561 sim sim! mas eu estava buscando algo para monitorar o ceph e gerar alarmes em caso de problemas, mas não tive sucesso com o zabbix.
@@thiagoc.marinho A entendi, não vou saber te responder
TOP!
Existe alguma ferramenta para administração (Painel do usuário)? Digamos que temos um setor de desenvolvimento web, e esse setor tem 2 VM's, uma para apache, e outra para mysql. Como entregar autonomia para a equipe? De forma q se eles precisarem rebotar, instalar novos sistemas, manutenção, etc... eles nao dependem da equipe de ADMINISTRACAO do cluster.
No Proxmox, você pode definir permissões específicas para usuários específicos, assim alguns usuários podem administrar recursos que você especificar.
Boa noite,
Estou montando um piloto de ceph com servidores antigos, que até então estão de lado, como 3 PowerEdge 1950, mas me deparei com um problema , ele possui uma controladora RAID, e não tem como desabilitar ela, se desabilito ele não acha os discos.
Montei os 2 discos do servidor com raid 0 para poder separar eles, mas o ceph não aceita RAID, são servidores teoricamente razoáveis para manter o cluster ceph , uma pena ter de descartar, não estou achando outro meio de fazer funcionar o ceph neles.
Olá Alan, Em alguns Dell você não desabilita a raid, mas dentro da configuração dela (da controladora), habilita uma função específica. Algo como 'passar direto' ou algo do tipo, talvez tente atualizar o firmware da controladora e veja se a opção aparece. Adiantando um pouco o assunto. Para piloto ok, mas perceba que o Ceph exige uma configuração robusta de hardware para o bom funcionamento, principalmente discos rápidos e rede de no mínimo 10gbits.
Top o vídeo!!! muito bem explicado.... é possível fazer inicialmente com 2 proxmox? deixar todas vms nesses 2 (com ceph), depois adicionar o 3 servidor e mudar o size (Ceph pool) para 3 ?;;;; outra duvida, futuramente se adicionar mais 1 disco em cada servidor, é so adicionar no OSD ? abraço
Parabéns pelo conteúdo! Estou procurando infinitamente como fazer um cluster no proxmox de load balancer (soma de recursos dos nodes) "como fazer um supercomputador com varios computadores fracos" se puder ajudar!! valeuuu
Como desligar e ligar um nó Ceph, no caso de precisar trocar uma placa de rede, ou adicionar mais memória RAM, ou coisa do gênero? E como desligar o Cluster inteiro em caso de manutenção na infraestrutura de energia elétrica por exemplo?
Opa, blza Adriano
Se você quer fazer manutenção em um nó de um cluster Proxmox com HA, eles indicam rodar um comando (mais detalhes aqui: pve.proxmox.com/wiki/High_Availability_Cluster#HA_Cluster_maintenance_.28node_reboots.29).
Mas eu faço de maneira manual mesmo, coloco as VMs nos outros nós e desligo. O Cluster vai mostrar que falta um nó, até ele retornar. Se você precisa fazer algo no cluster degradado, pode usar o comando pvecm expected.
Quanto ao Ceph, eu posso apenas desligar o nó. Quando eu religar ele, os dados vão ser ressincronizados, mas se você tiver utilizando as melhores práticas, o cluster ceph vai continuar operacional neste período.
Para desligar todo o cluster e ligar novamente, eu só desligo e ligo. Uso um ambiente na nuvem por exemplo e diariamente faço esse procedimento, não tive problemas até agora
Essa é a maneira que eu faço mas se alguém tiver experiência nesta questão, iria ser legal colocar aqui nos comentários.
@@tecnoappsolucoes5561 obrigado pela resposta. Quando você diz que apenas desliga e liga, você não dá nenhum comando especial? Apenas vai em cada nó e aperta o botão de desligar? Tem alguma ordem necessária entre os nós para desligar e depois ligar? Pode-se disparar um comando shutdown de uma única vez em todos os nós? Tenho medo de corromper os dados no Ceph...
@@mwadriano Geralmente desligamos pela interface gráfica mesmo, ou pelo comando poweroff.
Top sua aula, tenho uma duvida, consigo fazer HA, com apenas 2 servidores, e apenas um disco em cada um deles?
ps: a partição que restou do hd esta em zfs.
Olá! Você precisa de no mínimo 3 servidores e 1 disco por servidor. Para uma boa performance, o ceph exige rede rápida e discos SSD empresariais
Primeiramente parabéns pelo video, muito didático e esclarecedor.
Em um ambiente com um cluster com 4 Servidores, em 2 prédios diferentes, cada prédio com 2 servidores, interconectados com 10gb/s , caso ocorra um rompimento desta fibra, que interliga estes prédios, com o HA ativado, qual será o comportamento das VM ? ira iniciar uma instancia em cada prédio ? se sim, e após resolver este rompimento como serio o sincronismo ? ele manteria qual VM como oficial ?
Obrigado desde já.
Olá Alan, então
Em um Cluster de 4 nós, você precisa no mínimo de 3 nós funcionais (que é o chamado quorum), senão ocorre exatamente este problema que você trouxe, o 'cérebro dividido' e o cluster não sabe qual parte dele é a correta, se do prédio-01 ou do prédio-02. Em teoria, os dois lados vão entender que não são a parte ativa do cluster, você não vai conseguir fazer modificações e o ceph deve entrar em estado down. Se um dos prédios tiver mais nós que o outro, o lado com mais nós vai manter o funcionamento. Quando o outro prédio voltar a conexão, vai atualizar os dados. Até lá, o cluster do prédio com menos nós vai ficar indisponível.
@@tecnoappsolucoes5561 Muito Obrigado por me ajudar com a duvida, estou montando um projeto piloto com servidores antigos da empresa, mas estou me deparando com diversos desafios.
Ótimo video! mas ficou uma duvida, quando vc derruba o NO 03, a maquina que ali estava rodando, migrou para o NO 01. No video não aparece, mas a VM chega a ficar INDISPONIVEL? os serviços dessa VM sao INTERROMPIDOS? abraço
Olá Deliam, utilizando o Proxmox, se você migra uma VM, ela perde o acesso por alguns milésimos de segundos, mas permanece ligada e com os serviços disponíveis. Já em uma situação de H.A. onde o nó é perdido, a VM não é migrada, porque tecnicamente o conteúdo da memória RAM da VM é perdido, então a VM é iniciada no novo nó, com todo o procedimento de boot do sistema operacional.
@@tecnoappsolucoes5561 obrigado pelo retorno. Aqui usamos o XENSERVER, mas estamos empolgados com o PROXMOX. Existe alguma tecnologia que resolva este problema? Usando um STORAGE externo, e possível acabar com esse DOWNTIME de ter q REINICIAR a VM?
@@deliamfabio27 Realmente o Proxmox é uma ótima alternativa e a equipe de desenvolvimento sempre traz novidades. O problema todo deste downtime é a memória RAM da VM, que fica armazenada na RAM do servidor físico, o servidor que irá falhar. Quando o nó falha, o conteúdo da memória RAM é perdido e a VM tem que ser iniciada no novo nó. Uma alternativa, seria gravar a memória RAM, conforme vai sendo alterada, em um dispositivo de rede compartilhado, mas como você deve imaginar, ele traria efeitos colaterais como maior lentidão da VM e também precisa de uma rede rápida 40 ou 100gbit. O QEMU, ferramenta que faz efetivamente a virtualização, por trás do Proxmox tem suporte a isso. Se quer ir mais a fundo leia o link a seguir, eles chamam de COLO: wiki.qemu.org/Features/COLO Acredito que o conceito de alta disponibilidade comporte o tempo de downtime, e o que você esta buscando é uma ferramenta de tolerância a falhas, onde mesmo na queda de um nó, a vm segue praticamente sem downtime em outro equipamento. O Proxmox não tem esta funcionalidade implementada, a alternativa seria utilizar tolerância a falha direto na sua aplicação, claro que depende de cada caso, muitas vezes um balanceador de carga resolve isso.
Mais detalhes, também aqui: forum.proxmox.com/threads/pull-the-plug-ha-without-downtime.47689/
Espero ter ajudado!
Excelente conteúdo! Queria aproveitar pra fazer uma pergunta, você recomendaria usar o Ceph em cima de uma VM do Vmware ESXI ? Tenho um ambiente vmware e gostaria de usar o Ceph para um repositório centralizado de dados de aplicações e queria saber se é recomendável.
Olá Gustavo. Para laboratório funcionaria, mas o ceph exige um hardware muito bem otimizado para funcionar com a performance esperada. Dessa forma, não recomento a instalação dentro de um ambiente de maquinas virtuais.
@@tecnoappsolucoes5561 muito obrigado pela resposta. Estive lendo a documentação e não ficou muito claro para mim, pois não tem falando nada muito específico para ambientes virtualizados. Você recomendaria alguma outra solução para uma proposta de armazenamento distribuído em cima de máquinas virtuais com alta disponibilidade ?
@@gustavopiag Boa pergunta, não sei qual ferramenta usar, talvez algo bem descentralizado com ajuda do kubernetes, mas é só um palpite
Parabéns pelo vídeo! Eu preciso criar uma replica de uma VM, mais não posso usar ZFS, o que você sugere? Estou usando PROXMOX 6.3-2.
Olá Nicanor
A função de replicação de VMs no Proxmox exige o uso de ZFS como storage para armazenamento da VM. Dependendo qual a sua necessidade, talvez utilizar backups recorrentes possa resolver o teu problema. A Proxmox lançou o Proxmox Backup Server que faz cópias incrementais de backup diminuindo bastante o tempo de execução do backup. Sugiro olhar o nosso vídeo sobre Proxmox Backup Server (PBS) e ver se resolve o seu problema.