Databricks 0 a 100 [8] - Unity Catalog - Parte 3 - UCX - Migrando do Hive Metastore para o Unity
HTML-код
- Опубликовано: 12 сен 2024
- Nesse terceiro video sobre Unity Catalog conheceremos o UCX um framework Open Source para auxiliar na migração do seu ambiente Hive Metastore para o Unity Catalog.
Vamos fazer um passo a passo, desde a instalação até o acompanhamento, os scripts usados estão disponibilizados no Github no link ao final.
Os passos executados nesse vídeo:
0 - Instalação do Databricks CLI
1 - Instalação do UCX via databricks CLI
1.1 - Arquivo de configurações
1.2 - Navegando pelos comandos disponíveis
1.3 - UCX Workflows
1.4 - UCX Dashboards
1.5 - Tabelas do sistema UCX
2 - Configuração das permissões no Databricks CLI
2.1 - Auth profiles
3 - Assessment
3.1 - Dashboard de migração
4 - Criação de dependências
4.0 - Criação e migração de grupos para o Account
4.1 - Criação e atribuição de Metastore
4.2 - Criação de Access Connector no Azure para Storage Credential
4.3 - Criação de Storage Credential
4.4 - Criação das External Locations
5 - Criação dos Catalogos e Schemas
6 - Criação do Table Mapping - CSV com a relação das tabelas e depara
7 - Migração das tabelas External
8 - Migração das tabelas Manageds e Tabelas no Mount
9 - Reconciliação de dados
10 - Acompanhamento no Dashboard de Migração
11 - Avaliação e migração de código
12 - Limpeza dos Objetos antigos
Espero que ajude
Fique bem e até a próxima.
Links:
Parte 1:
www.datainacti...
Parte 2:
www.datainacti...
Github:
github.com/reg...
Link do Blog post d referência:
www.databricks...