Databricks 0 a 100 [8] - Unity Catalog - Parte 3 - UCX - Migrando do Hive Metastore para o Unity

Поделиться
HTML-код
  • Опубликовано: 12 сен 2024
  • Nesse terceiro video sobre Unity Catalog conheceremos o UCX um framework Open Source para auxiliar na migração do seu ambiente Hive Metastore para o Unity Catalog.
    Vamos fazer um passo a passo, desde a instalação até o acompanhamento, os scripts usados estão disponibilizados no Github no link ao final.
    Os passos executados nesse vídeo:
    0 - Instalação do Databricks CLI
    1 - Instalação do UCX via databricks CLI
    1.1 - Arquivo de configurações
    1.2 - Navegando pelos comandos disponíveis
    1.3 - UCX Workflows
    1.4 - UCX Dashboards
    1.5 - Tabelas do sistema UCX
    2 - Configuração das permissões no Databricks CLI
    2.1 - Auth profiles
    3 - Assessment
    3.1 - Dashboard de migração
    4 - Criação de dependências
    4.0 - Criação e migração de grupos para o Account
    4.1 - Criação e atribuição de Metastore
    4.2 - Criação de Access Connector no Azure para Storage Credential
    4.3 - Criação de Storage Credential
    4.4 - Criação das External Locations
    5 - Criação dos Catalogos e Schemas
    6 - Criação do Table Mapping - CSV com a relação das tabelas e depara
    7 - Migração das tabelas External
    8 - Migração das tabelas Manageds e Tabelas no Mount
    9 - Reconciliação de dados
    10 - Acompanhamento no Dashboard de Migração
    11 - Avaliação e migração de código
    12 - Limpeza dos Objetos antigos
    Espero que ajude
    Fique bem e até a próxima.
    Links:
    Parte 1:
    www.datainacti...
    Parte 2:
    www.datainacti...
    Github:
    github.com/reg...
    Link do Blog post d referência:
    www.databricks...

Комментарии •