Guia de início rápido: criar um lake
Nesta página, mostramos como começar a usar o Dataplex no Console do Google Cloud, orientando você na criação de um lake, como adicionar uma zona e anexando um recurso.
Antes de começar
- Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Verifique se a cobrança está ativada para o seu projeto do Google Cloud.
-
Enable the Dataplex, Dataproc, Metastore do Dataproc, Data Catalog, BigQuery e Cloud Storage APIs.
-
Make sure that you have the following role or roles on the project: roles/dataplex.admin, roles/dataplex.editor
Check for the roles
-
In the Google Cloud console, go to the IAM page.
Go to IAM - Select the project.
-
In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.
- For all rows that specify or include you, check the Role colunn to see whether the list of roles includes the required roles.
Grant the roles
-
In the Google Cloud console, go to the IAM page.
Acessar o IAM - Selecionar um projeto.
- Clique em CONCEDER ACESSO.
-
No campo Novos principais, insira seu identificador de usuário. Normalmente, é o endereço de e-mail de uma Conta do Google.
- Na lista Selecionar um papel, escolha um.
- Para conceder outros papéis, clique em Adicionar outro papel e adicione cada papel adicional.
- Clique em Salvar.
-
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Verifique se a cobrança está ativada para o seu projeto do Google Cloud.
-
Enable the Dataplex, Dataproc, Metastore do Dataproc, Data Catalog, BigQuery e Cloud Storage APIs.
-
Make sure that you have the following role or roles on the project: roles/dataplex.admin, roles/dataplex.editor
Check for the roles
-
In the Google Cloud console, go to the IAM page.
Go to IAM - Select the project.
-
In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.
- For all rows that specify or include you, check the Role colunn to see whether the list of roles includes the required roles.
Grant the roles
-
In the Google Cloud console, go to the IAM page.
Acessar o IAM - Selecionar um projeto.
- Clique em CONCEDER ACESSO.
-
No campo Novos principais, insira seu identificador de usuário. Normalmente, é o endereço de e-mail de uma Conta do Google.
- Na lista Selecionar um papel, escolha um.
- Para conceder outros papéis, clique em Adicionar outro papel e adicione cada papel adicional.
- Clique em Salvar.
-
- Crie um bucket do Cloud Storage:
- In the Google Cloud console, go to the Cloud Storage Buckets page.
- Click Create bucket.
- On the Create a bucket page, enter your bucket information. To go to the next
step, click Continue.
- For Name your bucket, enter a unique bucket name. Don't include sensitive information in the bucket name, because the bucket namespace is global and publicly visible.
-
For Choose where to store your data, do the following:
- Select a Location type option.
- Select a Location option.
- For Choose a default storage class for your data, select the following: Standard.
- For Choose how to control access to objects, select an Access control option.
- For Advanced settings (optional), specify an encryption method, a retention policy, or bucket labels.
- Click Create.
Criar um lake
As etapas a seguir mostram como criar um lake usando o console do Google Cloud.
Acesse o Dataplex no console do Google Cloud.
Navegue até a visualização Gerenciar.
Clique em
Criar.Digite um Nome de exibição.
O ID do lake é gerado automaticamente.
Especifique a Região em que o lake será criado.
Para lakes criados em uma determinada região (por exemplo,
us-central1
), os dados de uma única região (us-central1
) e os dados de várias regiões (us multi-region
) podem ser anexados, dependendo das configurações da zona.Clique em Criar.
Adicionar uma zona ao lake
Depois de criar um lake, é possível adicionar zonas a ele. As zonas são agrupamentos lógicos de dados estruturados e não estruturados.
Na visualização Gerenciar, clique no nome do lake você quer adicionar uma zona.
Clique em
Adicionar zona.Digite um Nome de exibição para a zona.
Clique na lista suspensa Tipo. Escolha Raw Zone ou Curated Zone. Saiba mais sobre os tipos de zona.
Em Locais dos dados, selecione Region ou Multirregional. O que você escolher não poderá ser alterado posteriormente. Os dados de região única e multirregião não podem ser combinados na mesma zona.
Clique em Criar.
A criação da zona pode levar alguns minutos.
Anexar um recurso
Os dados podem ser armazenados em buckets do Cloud Storage ou conjuntos de dados do BigQuery e anexados como recursos a zonas de dados em um lake do Dataplex.
Siga estas etapas para anexar o bucket do Cloud Storage criado anteriormente como um recurso.
Na visualização Gerenciar, clique no nome do lake a que você quer anexar um bucket do Cloud Storage.
Na guia Zonas, clique na zona para adicionar o recurso.
Na guia Assets, clique em
Add Assets.Clique em Adicionar um recurso.
Em Tipo, selecione Bucket de armazenamento.
Em Nome de exibição, insira um nome para o recurso.
No campo Bucket, clique em Procurar. Se você tiver um bucket do Cloud Storage, encontre-o e clique em Selecionar. Se você não tiver um bucket do Cloud Storage, crie um clicando no botão
.Insira um nome exclusivo para o bucket. Clique em Continuar.
Escolha um Tipo de local. Clique em Continuar.
Escolha uma classe de armazenamento padrão para seus dados. Clique em Continuar.
Escolha um nível de controle de acesso. Clique em Continuar.
Escolha uma opção de proteção de dados ou Nenhuma. Clique em Continuar.
Clique em Criar.
Clique em Selecionar.
Clique em Concluído.
Clique em Continuar.
Em Configurações de descoberta, selecione Herdar para herdar as configurações de descoberta do nível da zona.
Clique em Continuar.
Em Adicionar recursos, clique em Enviar.
Aguarde a conclusão da criação do recurso.
Limpar
Para evitar cobranças na sua conta do Google Cloud pelos recursos usados nesta página, siga estas etapas.
- In the Google Cloud console, go to the Manage resources page.
- If the project that you plan to delete is attached to an organization, expand the Organization list in the Name column.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
Se preferir, exclua os recursos usados neste tutorial. Os lakes não podem ser excluídos, a menos que todos os recursos de zona de dados abaixo deles tenham sido excluídos. Da mesma forma, as zonas de dados não podem ser excluídas a menos que todos os recursos de recursos delas tenham sido excluídos:
Remover o bucket de armazenamento
As etapas a seguir mostram como desanexar o recurso do Dataplex que você criou.
Acesse o Dataplex no console do Google Cloud.
Na visualização Gerenciar, clique no nome do lake que você criou.
Na guia Zonas, clique no nome da zona que você criou.
Na guia Recursos, selecione o recurso que será desanexado marcando a caixa à esquerda do nome do bucket.
Clique em Excluir recurso.
Clique em Excluir para confirmar a separação.
Excluir a zona
As etapas a seguir mostram como excluir a zona do Dataplex que você criou.
Acesse o Dataplex no console do Google Cloud.
Na visualização Gerenciar, clique no lake que você criou.
Na guia Zonas, selecione a zona a ser excluída marcando a caixa à esquerda do nome da zona de dados.
Clique em Delete Zone (Excluir zona).
Clique novamente em Excluir para confirmar a ação.
Excluir o lake
Veja nas etapas a seguir como excluir o lake do Dataplex que você criou.
Acesse o Dataplex no console do Google Cloud.
Na visualização Gerenciar, clique no lake que você criou.
Na parte superior da página, clique em Excluir.
Para confirmar a exclusão, digite "delete" na caixa de texto.
Clique em Excluir lake para confirmar a exclusão.
A seguir
Depois de criar lake, zonas e recursos, é possível:
- Organize seus dados em lakes e zonas.
- Proteja seu lake (link em inglês).
- Veja os metadados descobertos usando o console do Google Cloud.
- Veja os metadados descobertos usando a API.