View a markdown version of this page

Exemplos de Lake Formation usando AWS CLI - AWS Exemplos de código do SDK
Ações

Há mais exemplos de AWS SDK disponíveis no repositório AWS Doc SDK Examples GitHub .

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Exemplos de Lake Formation usando AWS CLI

Os exemplos de código a seguir mostram como realizar ações e implementar cenários comuns usando o AWS Command Line Interface with Lake Formation.

Ações são trechos de código de programas maiores e devem ser executadas em contexto. Embora as ações mostrem como chamar perfis de serviço individuais, você pode ver as ações no contexto em seus cenários relacionados.

Cada exemplo inclui um link para o código-fonte completo, em que você pode encontrar instruções sobre como configurar e executar o código.

Tópicos

Ações

O código de exemplo a seguir mostra como usar add-lf-tags-to-resource.

AWS CLI

Para anexar um ou mais LF-tags a um recurso existente

O add-lf-tags-to-resource exemplo a seguir é fornecido LF-tag ao recurso de tabela.

aws lakeformation add-lf-tags-to-resource \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "CatalogId": "123456789111",
    "Resource": {
        "Table": {
            "CatalogId": "123456789111",
            "DatabaseName": "tpc",
            "Name": "dl_tpc_promotion"
        }
    },
    "LFTags": [{
        "CatalogId": "123456789111",
        "TagKey": "usergroup",
        "TagValues": [
            "analyst"
        ]
    }]
}

Saída:

{
    "Failures": []
}

Para obter mais informações, consulte Atribuição LF-Tags aos recursos do Catálogo de Dados no Guia do Desenvolvedor do AWS Lake Formation.

O código de exemplo a seguir mostra como usar batch-grant-permissions.

AWS CLI

Como conceder permissões em massa sobre recursos às entidades principais

O exemplo batch-grant-permissions a seguir concede acesso em massa a recursos específicos para as entidades principais.

aws lakeformation batch-grant-permissions \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "CatalogId": "123456789111",
    "Entries": [{
            "Id": "1",
            "Principal": {
                "DataLakePrincipalIdentifier": "arn:aws:iam::123456789111:user/lf-developer"
            },
            "Resource": {
                "Table": {
                    "CatalogId": "123456789111",
                    "DatabaseName": "tpc",
                    "Name": "dl_tpc_promotion"
                }
            },
            "Permissions": [
                "ALL"
            ],
            "PermissionsWithGrantOption": [
                "ALL"
            ]
        },
        {
            "Id": "2",
            "Principal": {
                "DataLakePrincipalIdentifier": "arn:aws:iam::123456789111:user/lf-developer"
            },
            "Resource": {
                "Table": {
                    "CatalogId": "123456789111",
                    "DatabaseName": "tpc",
                    "Name": "dl_tpc_customer"
                }
            },
            "Permissions": [
                "ALL"
            ],
            "PermissionsWithGrantOption": [
                "ALL"
            ]
        },
        {
            "Id": "3",
            "Principal": {
                "DataLakePrincipalIdentifier": "arn:aws:iam::123456789111:user/lf-business-analyst"
            },
            "Resource": {
                "Table": {
                    "CatalogId": "123456789111",
                    "DatabaseName": "tpc",
                    "Name": "dl_tpc_promotion"
                }
            },
            "Permissions": [
                "ALL"
            ],
            "PermissionsWithGrantOption": [
                "ALL"
            ]
        },
        {
            "Id": "4",
            "Principal": {
                "DataLakePrincipalIdentifier": "arn:aws:iam::123456789111:user/lf-developer"
            },
            "Resource": {
                "DataCellsFilter": {
                    "TableCatalogId": "123456789111",
                    "DatabaseName": "tpc",
                    "TableName": "dl_tpc_item",
                    "Name": "developer_item"
                }
            },
            "Permissions": [
                "SELECT"
            ],
            "PermissionsWithGrantOption": []
        }
    ]
}

Saída:

{
    "Failures": []
}

Para obter mais informações, consulte Conceder e revogar permissões em recursos Data Catalog no Guia do desenvolvedor do AWS Lake Formation.

O código de exemplo a seguir mostra como usar batch-revoke-permissions.

AWS CLI

Como revogar permissões em massa sobre recursos às entidades principais

O exemplo batch-revoke-permissions a seguir revoga acesso em massa a recursos específicos para as entidades principais.

aws lakeformation batch-revoke-permissions \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "CatalogId": "123456789111",
    "Entries": [{
            "Id": "1",
            "Principal": {
                "DataLakePrincipalIdentifier": "arn:aws:iam::123456789111:user/lf-developer"
            },
            "Resource": {
                "Table": {
                    "CatalogId": "123456789111",
                    "DatabaseName": "tpc",
                    "Name": "dl_tpc_promotion"
                }
            },
            "Permissions": [
                "ALL"
            ],
            "PermissionsWithGrantOption": [
                "ALL"
            ]
        },
        {
            "Id": "2",
            "Principal": {
                "DataLakePrincipalIdentifier": "arn:aws:iam::123456789111:user/lf-business-analyst"
            },
            "Resource": {
                "Table": {
                    "CatalogId": "123456789111",
                    "DatabaseName": "tpc",
                    "Name": "dl_tpc_promotion"
                }
            },
            "Permissions": [
                "ALL"
            ],
            "PermissionsWithGrantOption": [
                "ALL"
            ]
        }
    ]
}

Saída:

{
    "Failures": []
}

Para obter mais informações, consulte Conceder e revogar permissões em recursos Data Catalog no Guia do desenvolvedor do AWS Lake Formation.

O código de exemplo a seguir mostra como usar cancel-transaction.

AWS CLI

Como cancelar uma transação

O exemplo cancel-transaction a seguir cancela uma transação.

aws lakeformation cancel-transaction \
    --transaction-id='b014d972ca8347b89825e33c5774aec4'

Este comando não produz saída.

Para obter mais informações, consulte Ler e gravar no data lake dentro das transações no Guia do desenvolvedor do AWS Lake Formation.

  • Para obter detalhes da API, consulte CancelTransactionna Referência de AWS CLI Comandos.

O código de exemplo a seguir mostra como usar commit-transaction.

AWS CLI

Como confirmar uma transação

O exemplo commit-transaction a seguir confirma uma transação.

aws lakeformation commit-transaction \
    --transaction-id='b014d972ca8347b89825e33c5774aec4'

Saída:

{
    "TransactionStatus": "committed"
}

Para obter mais informações, consulte Ler e gravar no data lake dentro das transações no Guia do desenvolvedor do AWS Lake Formation.

  • Para obter detalhes da API, consulte CommitTransactionna Referência de AWS CLI Comandos.

O código de exemplo a seguir mostra como usar create-data-cells-filter.

AWS CLI

Exemplo 1: criar um filtro de células de dados

O exemplo create-data-cells-filter a seguir cria um filtro de célula de dados para permitir que se conceda acesso a determinadas colunas com base na condição da linha.

aws lakeformation create-data-cells-filter \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "TableData": {
        "ColumnNames": ["p_channel_details", "p_start_date_sk", "p_promo_name"],
        "DatabaseName": "tpc",
        "Name": "developer_promotion",
        "RowFilter": {
            "FilterExpression": "p_promo_name='ese'"
        },
        "TableCatalogId": "123456789111",
        "TableName": "dl_tpc_promotion"
    }
}

Este comando não produz saída.

Para obter mais informações, consulte Filtrar dados e segurança de células no Lake Formation no Guia do desenvolvedor do AWS Lake Formation.

Exemplo 2: criar um filtro de coluna

O exemplo create-data-cells-filter a seguir cria um filtro de célula de dados para permitir que se conceda acesso a determinadas colunas.

aws lakeformation create-data-cells-filter \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "TableData": {
        "ColumnNames": ["p_channel_details", "p_start_date_sk", "p_promo_name"],
        "DatabaseName": "tpc",
        "Name": "developer_promotion_allrows",
        "RowFilter": {
            "AllRowsWildcard": {}
        },
        "TableCatalogId": "123456789111",
        "TableName": "dl_tpc_promotion"
    }
}

Este comando não produz saída.

Para obter mais informações, consulte Filtrar dados e segurança de células no Lake Formation no Guia do desenvolvedor do AWS Lake Formation.

Exemplo 3: criar um filtro de dados com colunas de exclusão

O exemplo create-data-cells-filter a seguir cria um filtro de célula de dados para permitir que se conceda acesso a todas as colunas, exceto as especificadas.

aws lakeformation create-data-cells-filter \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "TableData": {
        "ColumnWildcard": {
            "ExcludedColumnNames": ["p_channel_details", "p_start_date_sk"]
        },
        "DatabaseName": "tpc",
        "Name": "developer_promotion_excludecolumn",
        "RowFilter": {
            "AllRowsWildcard": {}
        },
        "TableCatalogId": "123456789111",
        "TableName": "dl_tpc_promotion"
    }
}

Este comando não produz saída.

Para obter mais informações, consulte Filtrar dados e segurança de células no Lake Formation no Guia do desenvolvedor do AWS Lake Formation.

O código de exemplo a seguir mostra como usar create-lf-tag.

AWS CLI

Para criar LF-Tag

O create-lf-tag exemplo a seguir cria um LF-Tag com o nome e os valores especificados.

aws lakeformation create-lf-tag \
    --catalog-id '123456789111' \
    --tag-key 'usergroup' \
    --tag-values '["developer","analyst","campaign"]'

Este comando não produz saída.

Para obter mais informações, consulte Gerenciamento do controle LF-Tags de acesso aos metadados no AWS Lake Formation Developer Guide.

  • Para obter detalhes da API, consulte CreateLfTagna Referência de AWS CLI Comandos.

O código de exemplo a seguir mostra como usar delete-data-cells-filter.

AWS CLI

Para excluir o filtro de células de dados

O exemplo delete-data-cells-filter a seguir exclui um determinado filtro de célula de dados.

aws lakeformation delete-data-cells-filter \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "TableCatalogId": "123456789111",
    "DatabaseName": "tpc",
    "TableName": "dl_tpc_promotion",
    "Name": "developer_promotion"
}

Este comando não produz saída.

Para obter mais informações, consulte Filtrar dados e segurança de células no Lake Formation no Guia do desenvolvedor do AWS Lake Formation.

O código de exemplo a seguir mostra como usar delete-lf-tag.

AWS CLI

Para excluir a LF-Tag definição

O delete-lf-tag exemplo a seguir exclui a LF-Tag definição.

aws lakeformation delete-lf-tag \
    --catalog-id '123456789111' \
    --tag-key 'usergroup'

Este comando não produz saída.

Para obter mais informações, consulte Gerenciamento do controle LF-Tags de acesso aos metadados no AWS Lake Formation Developer Guide.

  • Para obter detalhes da API, consulte DeleteLfTagna Referência de AWS CLI Comandos.

O código de exemplo a seguir mostra como usar delete-objects-on-cancel.

AWS CLI

Para excluir o objeto quando a transação é cancelada

O exemplo delete-objects-on-cancel a seguir exclui o objeto s3 listado quando a transação é cancelada.

aws lakeformation delete-objects-on-cancel \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "CatalogId": "012345678901",
    "DatabaseName": "tpc",
    "TableName": "dl_tpc_household_demographics_gov",
    "TransactionId": "1234d972ca8347b89825e33c5774aec4",
    "Objects": [{
        "Uri": "s3://lf-data-lake-012345678901/target/dl_tpc_household_demographics_gov/run-unnamed-1-part-block-0-r-00000-snappy-ff26b17504414fe88b302cd795eabd00.parquet",
        "ETag": "1234ab1fc50a316b149b4e1f21a73800"
    }]
}

Este comando não produz saída.

Para obter mais informações, consulte Ler e gravar no data lake dentro das transações no Guia do desenvolvedor do AWS Lake Formation.

O código de exemplo a seguir mostra como usar deregister-resource.

AWS CLI

Como cancelar o registro do armazenamento em data lake

O exemplo deregister-resource a seguir cancela o registro do recurso conforme gerenciado pelo Lake Formation.

aws lakeformation deregister-resource \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "ResourceArn": "arn:aws:s3:::lf-emr-athena-result-123"
}

Este comando não produz saída.

Para obter mais informações, consulte Adicionar uma localização do Amazon S3 ao seu data lake no Guia do desenvolvedor do AWS Lake Formation.

  • Para obter detalhes da API, consulte DeregisterResourcena Referência de AWS CLI Comandos.

O código de exemplo a seguir mostra como usar describe-transaction.

AWS CLI

Para recuperar os detalhes de uma transação

O exemplo describe-transaction a seguir retorna os detalhes de uma única transação.

aws lakeformation describe-transaction \
    --transaction-id='8cb4b1a7cc8d486fbaca9a64e7d9f5ce'

Saída:

{
    "TransactionDescription": {
        "TransactionId": "12345972ca8347b89825e33c5774aec4",
        "TransactionStatus": "committed",
        "TransactionStartTime": "2022-08-10T14:29:04.046000+00:00",
        "TransactionEndTime": "2022-08-10T14:29:09.681000+00:00"
    }
}

Para obter mais informações, consulte Ler e gravar no data lake dentro das transações no Guia do desenvolvedor do AWS Lake Formation.

O código de exemplo a seguir mostra como usar extend-transaction.

AWS CLI

Como estender uma transação

O exemplo extend-transaction a seguir estende uma transação.

aws lakeformation extend-transaction \
    --transaction-id='8cb4b1a7cc8d486fbaca9a64e7d9f5ce'

Este comando não produz saída.

Para obter mais informações, consulte Ler e gravar no data lake dentro das transações no Guia do desenvolvedor do AWS Lake Formation.

  • Para obter detalhes da API, consulte ExtendTransactionna Referência de AWS CLI Comandos.

O código de exemplo a seguir mostra como usar get-data-lake-settings.

AWS CLI

Para recuperar as configurações AWS do Lake Formation-managed data lake

O exemplo get-data-lake-settings a seguir recupera a lista de administradores de data lake e outras configurações de data lake.

aws lakeformation get-data-lake-settings \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "CatalogId": "123456789111"
}

Saída:

{
    "DataLakeSettings": {
        "DataLakeAdmins": [{
            "DataLakePrincipalIdentifier": "arn:aws:iam::123456789111:user/lf-admin"
        }],
        "CreateDatabaseDefaultPermissions": [],
        "CreateTableDefaultPermissions": [
                {
                        "Principal": {
                            "DataLakePrincipalIdentifier": "IAM_ALLOWED_PRINCIPALS"
                        },
                        "Permissions": [
                            "ALL"
                        ]
                }
        ],
        "TrustedResourceOwners": [],
        "AllowExternalDataFiltering": true,
        "ExternalDataFilteringAllowList": [{
            "DataLakePrincipalIdentifier": "123456789111"
        }],
        "AuthorizedSessionTagValueList": [
            "Amazon EMR"
        ]
    }
}

Para obter mais informações, consulte Alterando as configurações de segurança padrão do seu data lake no Guia do desenvolvedor do AWS Lake Formation.

O código de exemplo a seguir mostra como usar get-effective-permissions-for-path.

AWS CLI

Para recuperar permissões em recursos localizados em um caminho específico

O exemplo get-effective-permissions-for-path a seguir retorna as permissões do Lake Formation para uma tabela ou recurso de banco de dados especificado localizado em um caminho no Amazon S3.

aws lakeformation get-effective-permissions-for-path \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "CatalogId": "123456789111",
    "ResourceArn": "arn:aws:s3:::lf-data-lake-123456789111"
}

Saída:

{
    "Permissions": [{
            "Principal": {
                "DataLakePrincipalIdentifier": "arn:aws:iam::123456789111:user/lf-campaign-manager"
            },
            "Resource": {
                "Database": {
                    "Name": "tpc"
                }
            },
            "Permissions": [
                "DESCRIBE"
            ],
            "PermissionsWithGrantOption": []
        },
        {
            "Principal": {
                "DataLakePrincipalIdentifier": "arn:aws:iam::123456789111:role/EMR-RuntimeRole"
            },
            "Resource": {
                "Database": {
                    "Name": "tpc"
                }
            },
            "Permissions": [
                "ALL"
            ],
            "PermissionsWithGrantOption": []
        },
        {
            "Principal": {
                "DataLakePrincipalIdentifier": "arn:aws:iam::123456789111:saml-provider/oktaSAMLProvider:user/emr-developer"
            },
            "Resource": {
                "Database": {
                    "Name": "tpc"
                }
            },
            "Permissions": [
                "ALL",
                "DESCRIBE"
            ],
            "PermissionsWithGrantOption": []
        },
        {
            "Principal": {
                "DataLakePrincipalIdentifier": "arn:aws:iam::123456789111:user/lf-admin"
            },
            "Resource": {
                "Database": {
                    "Name": "tpc"
                }
            },
            "Permissions": [
                "ALL",
                "ALTER",
                "CREATE_TABLE",
                "DESCRIBE",
                "DROP"
            ],
            "PermissionsWithGrantOption": [
                "ALL",
                "ALTER",
                "CREATE_TABLE",
                "DESCRIBE",
                "DROP"
            ]
        },
        {
            "Principal": {
                "DataLakePrincipalIdentifier": "arn:aws:iam::123456789111:role/LF-GlueServiceRole"
            },
            "Resource": {
                "Database": {
                    "Name": "tpc"
                }
            },
            "Permissions": [
                "CREATE_TABLE"
            ],
            "PermissionsWithGrantOption": []
        }
    ],
    "NextToken": "E5SlJDSTZleUp6SWpvaU9UQTNORE0zTXpFeE5Ua3pJbjE5TENKbGVIQnBjbUYwYVc5dUlqcDdJbk5sWTI5dVpITWlPakUyTm=="
}

Para obter mais informações, consulte Gerenciar permissões do Lake Formation no Guia do desenvolvedor do AWS Lake Formation.

O código de exemplo a seguir mostra como usar get-lf-tag.

AWS CLI

Para recuperar LF-tag a definição

O get-lf-tag exemplo a seguir recupera a LF-tag definição.

aws lakeformation get-lf-tag \
    --catalog-id '123456789111' \
    --tag-key 'usergroup'

Saída:

{
    "CatalogId": "123456789111",
    "TagKey": "usergroup",
    "TagValues": [
        "analyst",
        "campaign",
        "developer"
    ]
}

Para obter mais informações, consulte Gerenciamento do controle LF-Tags de acesso aos metadados no AWS Lake Formation Developer Guide.

  • Para obter detalhes da API, consulte GetLfTagem Referência de AWS CLI Comandos.

O código de exemplo a seguir mostra como usar get-query-state.

AWS CLI

Para recuperar o estado de uma consulta enviada

O exemplo get-query-state a seguir retorna o estado de uma consulta enviada anteriormente.

aws lakeformation get-query-state \
    --query-id='1234273f-4a62-4cda-8d98-69615ee8be9b'

Saída:

{
    "State": "FINISHED"
}

Para obter mais informações, consulte Operações de dados transacionais no Guia do desenvolvedor do AWS Lake Formation.

  • Para obter detalhes da API, consulte GetQueryStateem Referência de AWS CLI Comandos.

O código de exemplo a seguir mostra como usar get-query-statistics.

AWS CLI

Para recuperar estatísticas de consulta

O exemplo get-query-statistics a seguir recupera estatísticas sobre o planejamento e a execução de uma consulta.

aws lakeformation get-query-statistics \
    --query-id='1234273f-4a62-4cda-8d98-69615ee8be9b'

Saída:

{
    "ExecutionStatistics": {
        "AverageExecutionTimeMillis": 0,
        "DataScannedBytes": 0,
        "WorkUnitsExecutedCount": 0
    },
    "PlanningStatistics": {
        "EstimatedDataToScanBytes": 43235,
        "PlanningTimeMillis": 2377,
        "QueueTimeMillis": 440,
        "WorkUnitsGeneratedCount": 1
    },
    "QuerySubmissionTime": "2022-08-11T02:14:38.641870+00:00"
}

Para obter mais informações, consulte Operações de dados transacionais no Guia do desenvolvedor do AWS Lake Formation.

  • Para obter detalhes da API, consulte GetQueryStatisticsem Referência de AWS CLI Comandos.

O código de exemplo a seguir mostra como usar get-table-objects.

AWS CLI

Para listar objetos da tabela controlada

O exemplo get-table-objects a seguir retorna o conjunto de objetos do Amazon S3 que compõem a tabela controlada especificada.

aws lakeformation get-table-objects \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "CatalogId": "012345678901",
    "DatabaseName": "tpc",
    "TableName": "dl_tpc_household_demographics_gov",
    "QueryAsOfTime": "2022-08-10T15:00:00"
}

Saída:

{
    "Objects": [{
        "PartitionValues": [],
        "Objects": [{
            "Uri": "s3://lf-data-lake-012345678901/target/dl_tpc_household_demographics_gov/run-unnamed-1-part-block-0-r-00000-snappy-ff26b17504414fe88b302cd795eabd00.parquet",
            "ETag": "12345b1fc50a316b149b4e1f21a73800",
            "Size": 43235
        }]
    }]
}

Para obter mais informações, consulte Ler e gravar no data lake dentro das transações no Guia do desenvolvedor do AWS Lake Formation.

  • Para obter detalhes da API, consulte GetTableObjectsem Referência de AWS CLI Comandos.

O código de exemplo a seguir mostra como usar get-work-unit-results.

AWS CLI

Para recuperar unidades de trabalho de uma determinada consulta

O exemplo get-work-unit-results a seguir retorna as unidades de trabalho resultantes da consulta.

aws lakeformation get-work-units \
    --query-id='1234273f-4a62-4cda-8d98-69615ee8be9b' \
    --work-unit-id '0' \
    --work-unit-token 'B2fMSdmQXe9umX8Ux8XCo4=' outfile

Saída:

outfile with Blob content.

Para obter mais informações, consulte Operações de dados transacionais no Guia do desenvolvedor do AWS Lake Formation.

  • Para obter detalhes da API, consulte GetWorkUnitResultsem Referência de AWS CLI Comandos.

O código de exemplo a seguir mostra como usar get-work-units.

AWS CLI

Para recuperar unidades de trabalho

O get-work-units exemplo a seguir recupera as unidades de trabalho geradas pela StartQueryPlanning operação.

aws lakeformation get-work-units \
    --query-id='1234273f-4a62-4cda-8d98-69615ee8be9b'

Saída:

{
    "WorkUnitRanges": [{
        "WorkUnitIdMax": 0,
        "WorkUnitIdMin": 0,
        "WorkUnitToken": "1234eMAk4kLO4umqEL4Z5WuxL04AXwABABVhd3MtY3J5cHRvLXB1YmxpYy1rZXkAREEwYm9QbkhINmFYTWphbmMxZW1PQmEyMGlUb0JFbXNlWmRYc0NmckRIR1dmQ0hjY2YzNFdMcmNXb2JGZmhEK0QvZz09AAEAB2F3cy1rbXMAS2Fybjphd3M6a21zOnVzLWVhc3QtMTo3MDkxNTAyNDkyNDk6a2V5L2VmYmI3NDUyLTY1MjYtNGJiOS1iNmZhLTEzYzJkMTM3MmU2OQC4AQIBAHg6eWNF2ZrQATTAuPDJVCEAQSyIF67vX+f88jzGrYq22gE6jkQlpOB+Oet2eqNUmFudAAAAfjB8BgkqhkiG9w0BBwagbzBtAgEAMGgGCSqGSIb3DQEHATAeBglghkgBZQMEAS4wEQQMCOEWRdafowek3RUmAgEQgDsYZZE84nnnbNmvsqCBPLh19nLQ10mUWOg9IfiaOwefEn6L920V0x1LpJACo7MtIBLXnbGcz2dFDZjFygIAAAAADAAAEAAAAAAAAAAAAAAAAAAQSQf8XDSI5pvR4Fx4JsrS/////wAAAAEAAAAAAAAAAAAAAAEAAACX3/w5h75QAPomfKH+cyEKYU1yccUmBl+VSojiGOtdsUk7vcjYXUUboYm3dvqRqX2s4gROMOn+Ij8R0/8jYmnHkpvyAFNVRPyETyIKg7k5Z9+5I1c2d3446Jw/moWGGxjH8AEG9h27ytmOhozxDOEi/F2ZoXz6wlGDfGUo/2WxCkYOhTyNaw6TM+7drTM7yrW4iNVLUM0LX0xnFjIAhLhooWJek6vjQZUAZzBlAjBH8okRtYP8R7AY2Wls/hqFBhG0V4l42AC0LxsuZbMQrE2SzWZUZ0E9Uew7/n0cyX4CMQDR79INyv4ysMByW9kKGGKyba+cCNklExMR+btBQBmMuB2fMSdmQXe9umX8Ux8XCo4="
    }],
    "QueryId": "1234273f-4a62-4cda-8d98-69615ee8be9b"
}

Para obter mais informações, consulte Operações de dados transacionais no Guia do desenvolvedor do AWS Lake Formation.

  • Para obter detalhes da API, consulte GetWorkUnitsem Referência de AWS CLI Comandos.

O código de exemplo a seguir mostra como usar grant-permissions.

AWS CLI

Exemplo 1: Para conceder permissões ao diretor sobre recursos usando LF-Tags

O grant-permissions exemplo a seguir concede TODAS as permissões ao principal no recurso de banco de dados que corresponde à LF-Tag política.

aws lakeformation grant-permissions \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "CatalogId": "123456789111",
    "Principal": {
        "DataLakePrincipalIdentifier": "arn:aws:iam::123456789111:user/lf-admin"
    },
    "Resource": {
        "LFTagPolicy": {
            "CatalogId": "123456789111",
            "ResourceType": "DATABASE",
            "Expression": [{
                "TagKey": "usergroup",
                "TagValues": [
                    "analyst",
                    "developer"
                ]
            }]
        }
    },
    "Permissions": [
        "ALL"
    ],
    "PermissionsWithGrantOption": [
        "ALL"
    ]
}

Este comando não produz saída.

Para obter mais informações, consulte Conceder e revogar permissões em recursos Data Catalog no Guia do desenvolvedor do AWS Lake Formation.

Exemplo 2: conceder permissões em nível de coluna à entidade principal

O exemplo grant-permissions a seguir concede à entidade principal permissão para selecionar uma coluna específica.

aws lakeformation grant-permissions \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "CatalogId": "123456789111",
    "Principal": {
        "DataLakePrincipalIdentifier": "arn:aws:iam::123456789111:user/lf-developer"
    },
    "Resource": {
        "TableWithColumns": {
            "CatalogId": "123456789111",
            "ColumnNames": ["p_end_date_sk"],
            "DatabaseName": "tpc",
            "Name": "dl_tpc_promotion"
        }
    },
    "Permissions": [
        "SELECT"
    ],
    "PermissionsWithGrantOption": []
}

Este comando não produz saída.

Para obter mais informações, consulte Conceder e revogar permissões em recursos Data Catalog no Guia do desenvolvedor do AWS Lake Formation.

Exemplo 3: conceder permissões de tabela à entidade principal

O exemplo grant-permissions a seguir concede à entidade principal permissão de seleção em todas as tabelas de um determinado banco de dados.

aws lakeformation grant-permissions \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "CatalogId": "123456789111",
    "Principal": {
        "DataLakePrincipalIdentifier": "arn:aws:iam::123456789111:user/lf-developer"
    },
    "Resource": {
        "Table": {
            "CatalogId": "123456789111",
            "DatabaseName": "tpc",
            "TableWildcard": {}
        }
    },
    "Permissions": [
        "SELECT"
    ],
    "PermissionsWithGrantOption": []
}

Este comando não produz saída.

Para obter mais informações, consulte Conceder e revogar permissões em recursos Data Catalog no Guia do desenvolvedor do AWS Lake Formation.

Exemplo 4: Para conceder permissões LF-Tags ao diretor

O grant-permissions exemplo a seguir concede permissão de associado LF-Tags ao diretor.

aws lakeformation grant-permissions \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "CatalogId": "123456789111",
    "Principal": {
        "DataLakePrincipalIdentifier": "arn:aws:iam::123456789111:user/lf-developer"
    },
    "Resource": {
        "LFTag": {
            "CatalogId": "123456789111",
            "TagKey": "category",
            "TagValues": [
                "private", "public"
            ]
        }

    },
    "Permissions": [
        "ASSOCIATE"
    ],
    "PermissionsWithGrantOption": []
}

Este comando não produz saída.

Para obter mais informações, consulte Conceder e revogar permissões em recursos Data Catalog no Guia do desenvolvedor do AWS Lake Formation.

Exemplo 5: conceder permissões de locais de dados à entidade principal

O exemplo grant-permissions a seguir concede à entidade principal permissões de localização de dados.

aws lakeformation grant-permissions \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "CatalogId": "123456789111",
    "Principal": {
        "DataLakePrincipalIdentifier": "arn:aws:iam::123456789111:user/lf-developer"
    },
    "Resource": {
        "DataLocation": {
            "CatalogId": "123456789111",
            "ResourceArn": "arn:aws:s3:::lf-data-lake-123456789111"
        }
    },
    "Permissions": [
        "DATA_LOCATION_ACCESS"
    ],
    "PermissionsWithGrantOption": []
}

Este comando não produz saída.

Para obter mais informações, consulte Conceder e revogar permissões em recursos Data Catalog no Guia do desenvolvedor do AWS Lake Formation.

  • Para obter detalhes da API, consulte GrantPermissionsem Referência de AWS CLI Comandos.

O código de exemplo a seguir mostra como usar list-data-cells-filter.

AWS CLI

Para listar filtros de células de dados

O exemplo list-data-cells-filter a seguir lista os filtros de dados para uma determinada tabela.

aws lakeformation list-data-cells-filter \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "MaxResults": 2,
    "Table": {
        "CatalogId": "123456789111",
        "DatabaseName": "tpc",
        "Name": "dl_tpc_promotion"
    }
}

Saída:

{
    "DataCellsFilters": [{
            "TableCatalogId": "123456789111",
            "DatabaseName": "tpc",
            "TableName": "dl_tpc_promotion",
            "Name": "developer_promotion",
            "RowFilter": {
                "FilterExpression": "p_promo_name='ese'"
            },
            "ColumnNames": [
                "p_channel_details",
                "p_start_date_sk",
                "p_purpose",
                "p_promo_id",
                "p_promo_name",
                "p_end_date_sk",
                "p_discount_active"
            ]
        },
        {
            "TableCatalogId": "123456789111",
            "DatabaseName": "tpc",
            "TableName": "dl_tpc_promotion",
            "Name": "developer_promotion_allrows",
            "RowFilter": {
                "FilterExpression": "TRUE",
                "AllRowsWildcard": {}
            },
            "ColumnNames": [
                "p_channel_details",
                "p_start_date_sk",
                "p_promo_name"
            ]
        }
    ],
    "NextToken": "2MDA2MTgwNiwibmFub3MiOjE0MDAwMDAwMH19"
}

Para obter mais informações, consulte Filtrar dados e segurança de células no Lake Formation no Guia do desenvolvedor do AWS Lake Formation.

O código de exemplo a seguir mostra como usar list-lf-tags.

AWS CLI

Para listar LF-tags

O list-lf-tags exemplo a seguir retorna uma lista do LF-tags que o solicitante tem permissão para visualizar.

aws lakeformation list-lf-tags \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "CatalogId": "123456789111",
    "ResourceShareType": "ALL",
    "MaxResults": 2
}

Saída:

{
"LFTags": [{
        "CatalogId": "123456789111",
        "TagKey": "category",
        "TagValues": [
            "private",
            "public"
        ]
    },
    {
        "CatalogId": "123456789111",
        "TagKey": "group",
        "TagValues": [
            "analyst",
            "campaign",
            "developer"
        ]
    }],
    "NextToken": "kIiwiZXhwaXJhdGlvbiI6eyJzZWNvbmRzIjoxNjYwMDY4dCI6ZmFsc2V9"
}

Para obter mais informações, consulte Gerenciamento do controle LF-Tags de acesso aos metadados no AWS Lake Formation Developer Guide.

  • Para obter detalhes da API, consulte ListLfTagsem Referência de AWS CLI Comandos.

O código de exemplo a seguir mostra como usar list-permissions.

AWS CLI

Exemplo 1: recuperar a lista das permissões da entidade principal ao recurso

O exemplo list-permissions a seguir retorna uma lista de permissões da entidade principal aos recursos de banco de dados.

aws lakeformation list-permissions \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "CatalogId": "123456789111",
    "ResourceType": "DATABASE",
    "MaxResults": 2
}

Saída:

{
    "PrincipalResourcePermissions": [{
        "Principal": {
            "DataLakePrincipalIdentifier": "arn:aws:iam::123456789111:user/lf-campaign-manager"
        },
        "Resource": {
            "Database": {
                "CatalogId": "123456789111",
                "Name": "tpc"
            }
        },
        "Permissions": [
            "DESCRIBE"
        ],
        "PermissionsWithGrantOption": []
    }],
    "NextToken": "E5SlJDSTZleUp6SWpvaU9UQTNORE0zTXpFeE5Ua3pJbjE5TENKbGVIQnBjbUYwYVc5dUlqcDdJbk5sWTI5dVpITWlPakUyTm"
}

Para obter mais informações, consulte Gerenciar permissões do Lake Formation no Guia do desenvolvedor do AWS Lake Formation.

Exemplo 2: recuperar a lista das permissões da entidade principal à tabela com filtros de dados

O exemplo list-permissions a seguir lista as permissões concedidas à entidade principal sobre a tabela com filtros de dados.

aws lakeformation list-permissions \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "CatalogId": "123456789111",
    "Resource": {
        "Table": {
            "CatalogId": "123456789111",
            "DatabaseName": "tpc",
            "Name": "dl_tpc_customer"
        }
    },
    "IncludeRelated": "TRUE",
    "MaxResults": 10
}

Saída:

{
    "PrincipalResourcePermissions": [{
            "Principal": {
                "DataLakePrincipalIdentifier": "arn:aws:iam::123456789111:role/Admin"
            },
            "Resource": {
                "Table": {
                    "CatalogId": "123456789111",
                    "DatabaseName": "customer",
                    "Name": "customer_invoice"
                }
            },
            "Permissions": [
                "ALL",
                "ALTER",
                "DELETE",
                "DESCRIBE",
                "DROP",
                "INSERT"
            ],
            "PermissionsWithGrantOption": [
                "ALL",
                "ALTER",
                "DELETE",
                "DESCRIBE",
                "DROP",
                "INSERT"
            ]
        },
        {
            "Principal": {
                "DataLakePrincipalIdentifier": "arn:aws:iam::123456789111:role/Admin"
            },
            "Resource": {
                "TableWithColumns": {
                    "CatalogId": "123456789111",
                    "DatabaseName": "customer",
                    "Name": "customer_invoice",
                    "ColumnWildcard": {}
                }
            },
            "Permissions": [
                "SELECT"
            ],
            "PermissionsWithGrantOption": [
                "SELECT"
            ]
        },
        {
            "Principal": {
                "DataLakePrincipalIdentifier": "arn:aws:iam::123456789111:role/Admin"
            },
            "Resource": {
                "DataCellsFilter": {
                    "TableCatalogId": "123456789111",
                    "DatabaseName": "customer",
                    "TableName": "customer_invoice",
                    "Name": "dl_us_customer"
                }
            },
            "Permissions": [
                "DESCRIBE",
                "SELECT",
                "DROP"
            ],
            "PermissionsWithGrantOption": []
        }
    ],
    "NextToken": "VyeUFjY291bnRQZXJtaXNzaW9ucyI6ZmFsc2V9"
}

Para obter mais informações, consulte Gerenciar permissões do Lake Formation no Guia do desenvolvedor do AWS Lake Formation.

Exemplo 3: Para recuperar a lista das principais permissões no LF-Tags

O list-permissions exemplo a seguir lista as permissões LF-Tags concedidas ao diretor.

aws lakeformation list-permissions \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "CatalogId": "123456789111",
    "Resource": {
        "LFTag": {
            "CatalogId": "123456789111",
            "TagKey": "category",
            "TagValues": [
                "private"
            ]
        }
    },
    "MaxResults": 10
}

Saída:

{
    "PrincipalResourcePermissions": [{
            "Principal": {
                "DataLakePrincipalIdentifier": "arn:aws:iam::123456789111:user/lf-admin"
            },
            "Resource": {
                "LFTag": {
                    "CatalogId": "123456789111",
                    "TagKey": "category",
                    "TagValues": [
                        "*"
                    ]
                }
            },
            "Permissions": [
                "DESCRIBE"
            ],
            "PermissionsWithGrantOption": [
                "DESCRIBE"
            ]
        },
        {
            "Principal": {
                "DataLakePrincipalIdentifier": "arn:aws:iam::123456789111:user/lf-admin"
            },
            "Resource": {
                "LFTag": {
                    "CatalogId": "123456789111",
                    "TagKey": "category",
                    "TagValues": [
                        "*"
                    ]
                }
            },
            "Permissions": [
                "ASSOCIATE"
            ],
            "PermissionsWithGrantOption": [
                "ASSOCIATE"
            ]
        }
    ],
    "NextToken": "EJwY21GMGFXOXVJanA3SW5Ocm1pc3Npb25zIjpmYWxzZX0="
}

Para obter mais informações, consulte Gerenciar permissões do Lake Formation no Guia do desenvolvedor do AWS Lake Formation.

  • Para obter detalhes da API, consulte ListPermissionsem Referência de AWS CLI Comandos.

O código de exemplo a seguir mostra como usar list-resources.

AWS CLI

Para listar os recursos gerenciados pelo Lake Formation

O exemplo list-resources a seguir lista os recursos que correspondem à condição gerenciada pelo Lake Formation.

aws lakeformation list-resources \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "FilterConditionList": [{
        "Field": "ROLE_ARN",
        "ComparisonOperator": "CONTAINS",
        "StringValueList": [
            "123456789111"
        ]
    }],
    "MaxResults": 10
}

Saída:

{
    "ResourceInfoList": [{
            "ResourceArn": "arn:aws:s3:::lf-data-lake-123456789111",
            "RoleArn": "arn:aws:iam::123456789111:role/LF-GlueServiceRole",
            "LastModified": "2022-07-21T02:12:46.669000+00:00"
        },
        {
            "ResourceArn": "arn:aws:s3:::lf-emr-test-123456789111",
            "RoleArn": "arn:aws:iam::123456789111:role/EMRLFS3Role",
            "LastModified": "2022-07-29T16:22:03.211000+00:00"
        }
    ]
}

Para obter mais informações, consulte Gerenciar permissões do Lake Formation no Guia do desenvolvedor do AWS Lake Formation.

  • Para obter detalhes da API, consulte ListResourcesem Referência de AWS CLI Comandos.

O código de exemplo a seguir mostra como usar list-transactions.

AWS CLI

Para listar todos os detalhes das transações

O exemplo list-transactions a seguir retorna metadados sobre transações e seu status.

aws lakeformation list-transactions \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "CatalogId": "123456789111",
    "StatusFilter": "ALL",
    "MaxResults": 3
}

Saída:

{
    "Transactions": [{
            "TransactionId": "1234569f08804cb790d950d4d0fe485e",
            "TransactionStatus": "committed",
            "TransactionStartTime": "2022-08-10T14:32:29.220000+00:00",
            "TransactionEndTime": "2022-08-10T14:32:33.751000+00:00"
        },
        {
            "TransactionId": "12345972ca8347b89825e33c5774aec4",
            "TransactionStatus": "committed",
            "TransactionStartTime": "2022-08-10T14:29:04.046000+00:00",
            "TransactionEndTime": "2022-08-10T14:29:09.681000+00:00"
        },
        {
            "TransactionId": "12345daf6cb047dbba8ad9b0414613b2",
            "TransactionStatus": "committed",
            "TransactionStartTime": "2022-08-10T13:56:51.261000+00:00",
            "TransactionEndTime": "2022-08-10T13:56:51.547000+00:00"
        }
    ],
    "NextToken": "77X1ebypsI7os+X2lhHsZLGNCDK3nNGpwRdFpicSOHgcX1/QMoniUAKcpR3kj3ts3PVdMA=="
}

Para obter mais informações, consulte Ler e gravar no data lake dentro das transações no Guia do desenvolvedor do AWS Lake Formation.

  • Para obter detalhes da API, consulte ListTransactionsem Referência de AWS CLI Comandos.

O código de exemplo a seguir mostra como usar put-data-lake-settings.

AWS CLI

Para definir as configurações do AWS Lake Formation-managed data lake

O exemplo put-data-lake-settings a seguir define a lista de administradores de data lake e outras configurações de data lake.

aws lakeformation put-data-lake-settings \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "DataLakeSettings": {
        "DataLakeAdmins": [{
                "DataLakePrincipalIdentifier": "arn:aws:iam::123456789111:user/lf-admin"
            }
        ],
        "CreateDatabaseDefaultPermissions": [],
        "CreateTableDefaultPermissions": [],
        "TrustedResourceOwners": [],
        "AllowExternalDataFiltering": true,
        "ExternalDataFilteringAllowList": [{
            "DataLakePrincipalIdentifier ": "123456789111"
        }],
        "AuthorizedSessionTagValueList": ["Amazon EMR"]
    }
}

Este comando não produz saída.

Para obter mais informações, consulte Alterando as configurações de segurança padrão do seu data lake no Guia do desenvolvedor do AWS Lake Formation.

O código de exemplo a seguir mostra como usar register-resource.

AWS CLI

Exemplo 1: registrar o armazenamento do data lake usando o Service Linked Role

O exemplo register-resource a seguir registra o recurso conforme gerenciado pelo Lake Formation usando o Service Linked Role.

aws lakeformation register-resource \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "ResourceArn": "arn:aws:s3:::lf-emr-athena-result-123",
    "UseServiceLinkedRole": true
}

Este comando não produz saída.

Para obter mais informações, consulte Adicionar uma localização do Amazon S3 ao seu data lake no Guia do desenvolvedor do AWS Lake Formation.

Exemplo 2: registrar o armazenamento do data lake usando um perfil personalizado

O exemplo register-resource a seguir registra o recurso conforme gerenciado pelo Lake Formation usando um perfil personalizado.

aws lakeformation register-resource \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "ResourceArn": "arn:aws:s3:::lf-emr-athena-result-123",
    "UseServiceLinkedRole": false,
    "RoleArn": "arn:aws:iam::123456789111:role/LF-GlueServiceRole"
}

Este comando não produz saída.

Para obter mais informações, consulte Adicionar uma localização do Amazon S3 ao seu data lake no Guia do desenvolvedor do AWS Lake Formation.

  • Para obter detalhes da API, consulte RegisterResourceem Referência de AWS CLI Comandos.

O código de exemplo a seguir mostra como usar remove-lf-tags-from-resource.

AWS CLI

Para remover LF-Tag de um recurso

O remove-lf-tags-from-resource exemplo a seguir remove a LF-Tag associação com o recurso de tabela.

aws lakeformation remove-lf-tags-from-resource \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "CatalogId": "123456789111",
    "Resource": {
        "Table": {
            "CatalogId": "123456789111",
            "DatabaseName": "tpc",
            "Name": "dl_tpc_promotion"
        }
    },
    "LFTags": [{
        "CatalogId": "123456789111",
        "TagKey": "usergroup",
        "TagValues": [
            "developer"
        ]
    }]
}

Saída:

{
    "Failures": []
}

Para obter mais informações, consulte Atribuição LF-Tags aos recursos do Catálogo de Dados no Guia do Desenvolvedor do AWS Lake Formation.

O código de exemplo a seguir mostra como usar revoke-permissions.

AWS CLI

Como revogar permissões da entidade principal a recursos

O exemplo revoke-permissions a seguir revoga o acesso da entidade principal à tabela específica de um determinado banco de dados.

aws lakeformation revoke-permissions \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "CatalogId": "123456789111",
    "Principal": {
        "DataLakePrincipalIdentifier": "arn:aws:iam::123456789111:user/lf-developer"
    },
    "Resource": {
        "Table": {
            "CatalogId": "123456789111",
            "DatabaseName": "tpc",
            "Name": "dl_tpc_promotion"
        }
    },
    "Permissions": [
        "ALL"
    ],
    "PermissionsWithGrantOption": []
}

Este comando não produz saída.

Para obter mais informações, consulte Conceder e revogar permissões em recursos Data Catalog no Guia do desenvolvedor do AWS Lake Formation.

  • Para obter detalhes da API, consulte RevokePermissionsem Referência de AWS CLI Comandos.

O código de exemplo a seguir mostra como usar search-databases-by-lf-tags.

AWS CLI

Como pesquisar recursos de banco de dados por tags do LF

O exemplo search-databases-by-lf-tags a seguir pesquisa recursos de banco de dados que correspondem à expressão da tag do LF.

aws lakeformation search-databases-by-lf-tags \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "MaxResults": 1,
    "CatalogId": "123456789111",
    "Expression": [{
        "TagKey": "usergroup",
        "TagValues": [
            "developer"
        ]
    }]
}

Saída:

{
    "DatabaseList": [{
        "Database": {
            "CatalogId": "123456789111",
            "Name": "tpc"
        },
        "LFTags": [{
            "CatalogId": "123456789111",
            "TagKey": "usergroup",
            "TagValues": [
                "developer"
            ]
        }]
    }]
}

Para obter mais informações, consulte Visualização dos recursos aos quais a LF-Tag está atribuído no Guia do Desenvolvedor do AWS Lake Formation.

O código de exemplo a seguir mostra como usar search-tables-by-lf-tags.

AWS CLI

Como pesquisar recursos de tabela por tags do LF

O exemplo search-tables-by-lf-tags a seguir pesquisa recursos de tabela que correspondem à expressão da tag do LF.

aws lakeformation search-tables-by-lf-tags \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "MaxResults": 2,
    "CatalogId": "123456789111",
    "Expression": [{
        "TagKey": "usergroup",
        "TagValues": [
            "developer"
        ]
    }]
}

Saída:

{
    "NextToken": "c2VhcmNoQWxsVGFnc0luVGFibGVzIjpmYWxzZX0=",
    "TableList": [{
        "Table": {
            "CatalogId": "123456789111",
            "DatabaseName": "tpc",
            "Name": "dl_tpc_item"
        },
        "LFTagOnDatabase": [{
            "CatalogId": "123456789111",
            "TagKey": "usergroup",
            "TagValues": [
                "developer"
            ]
        }],
        "LFTagsOnTable": [{
            "CatalogId": "123456789111",
            "TagKey": "usergroup",
            "TagValues": [
                "developer"
            ]
        }],
        "LFTagsOnColumns": [{
                "Name": "i_item_desc",
                "LFTags": [{
                    "CatalogId": "123456789111",
                    "TagKey": "usergroup",
                    "TagValues": [
                        "developer"
                    ]
                }]
            },
            {
                "Name": "i_container",
                "LFTags": [{
                    "CatalogId": "123456789111",
                    "TagKey": "usergroup",
                    "TagValues": [
                        "developer"
                    ]
                }]
            },
            {
                "Name": "i_wholesale_cost",
                "LFTags": [{
                    "CatalogId": "123456789111",
                    "TagKey": "usergroup",
                    "TagValues": [
                        "developer"
                    ]
                }]
            },
            {
                "Name": "i_manufact_id",
                "LFTags": [{
                    "CatalogId": "123456789111",
                    "TagKey": "usergroup",
                    "TagValues": [
                        "developer"
                    ]
                }]
            },
            {
                "Name": "i_brand_id",
                "LFTags": [{
                    "CatalogId": "123456789111",
                    "TagKey": "usergroup",
                    "TagValues": [
                        "developer"
                    ]
                }]
            },
            {
                "Name": "i_formulation",
                "LFTags": [{
                    "CatalogId": "123456789111",
                    "TagKey": "usergroup",
                    "TagValues": [
                        "developer"
                    ]
                }]
            },
            {
                "Name": "i_current_price",
                "LFTags": [{
                    "CatalogId": "123456789111",
                    "TagKey": "usergroup",
                    "TagValues": [
                        "developer"
                    ]
                }]
            },
            {
                "Name": "i_size",
                "LFTags": [{
                    "CatalogId": "123456789111",
                    "TagKey": "usergroup",
                    "TagValues": [
                        "developer"
                    ]
                }]
            },
            {
                "Name": "i_rec_start_date",
                "LFTags": [{
                    "CatalogId": "123456789111",
                    "TagKey": "usergroup",
                    "TagValues": [
                        "developer"
                    ]
                }]
            },
            {
                "Name": "i_manufact",
                "LFTags": [{
                    "CatalogId": "123456789111",
                    "TagKey": "usergroup",
                    "TagValues": [
                        "developer"
                    ]
                }]
            },
            {
                "Name": "i_item_sk",
                "LFTags": [{
                    "CatalogId": "123456789111",
                    "TagKey": "usergroup",
                    "TagValues": [
                        "developer"
                    ]
                }]
            },
            {
                "Name": "i_manager_id",
                "LFTags": [{
                    "CatalogId": "123456789111",
                    "TagKey": "usergroup",
                    "TagValues": [
                        "developer"
                    ]
                }]
            },
            {
                "Name": "i_item_id",
                "LFTags": [{
                    "CatalogId": "123456789111",
                    "TagKey": "usergroup",
                    "TagValues": [
                        "developer"
                    ]
                }]
            },
            {
                "Name": "i_class_id",
                "LFTags": [{
                    "CatalogId": "123456789111",
                    "TagKey": "usergroup",
                    "TagValues": [
                        "developer"
                    ]
                }]
            },
            {
                "Name": "i_class",
                "LFTags": [{
                    "CatalogId": "123456789111",
                    "TagKey": "usergroup",
                    "TagValues": [
                        "developer"
                    ]
                }]
            },
            {
                "Name": "i_category",
                "LFTags": [{
                    "CatalogId": "123456789111",
                    "TagKey": "usergroup",
                    "TagValues": [
                        "developer"
                    ]
                }]
            },
            {
                "Name": "i_category_id",
                "LFTags": [{
                    "CatalogId": "123456789111",
                    "TagKey": "usergroup",
                    "TagValues": [
                        "developer"
                    ]
                }]
            },
            {
                "Name": "i_brand",
                "LFTags": [{
                    "CatalogId": "123456789111",
                    "TagKey": "usergroup",
                    "TagValues": [
                        "developer"
                    ]
                }]
            },
            {
                "Name": "i_units",
                "LFTags": [{
                    "CatalogId": "123456789111",
                    "TagKey": "usergroup",
                    "TagValues": [
                        "developer"
                    ]
                }]
            },
            {
                "Name": "i_rec_end_date",
                "LFTags": [{
                    "CatalogId": "123456789111",
                    "TagKey": "usergroup",
                    "TagValues": [
                        "developer"
                    ]
                }]
            },
            {
                "Name": "i_color",
                "LFTags": [{
                    "CatalogId": "123456789111",
                    "TagKey": "usergroup",
                    "TagValues": [
                        "developer"
                    ]
                }]
            },
            {
                "Name": "i_product_name",
                "LFTags": [{
                    "CatalogId": "123456789111",
                    "TagKey": "usergroup",
                    "TagValues": [
                        "developer"
                    ]
                }]
            }
        ]
    }]
}

Para obter mais informações, consulte Visualização dos recursos aos quais a LF-Tag está atribuído no Guia do Desenvolvedor do AWS Lake Formation.

O código de exemplo a seguir mostra como usar start-query-planning.

AWS CLI

Como processar a declaração de consulta

O exemplo start-query-planning a seguir envia uma solicitação para processar uma declaração de consulta.

aws lakeformation start-query-planning \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "QueryPlanningContext": {
        "CatalogId": "012345678901",
        "DatabaseName": "tpc"
    },
    "QueryString": "select * from dl_tpc_household_demographics_gov where hd_income_band_sk=9"
}

Saída:

{
    "QueryId": "772a273f-4a62-4cda-8d98-69615ee8be9b"
}

Para obter mais informações, consulte Ler e gravar no data lake dentro das transações no Guia do desenvolvedor do AWS Lake Formation.

  • Para obter detalhes da API, consulte StartQueryPlanningem Referência de AWS CLI Comandos.

O código de exemplo a seguir mostra como usar start-transaction.

AWS CLI

Para iniciar uma nova transação

O exemplo start-transaction a seguir inicia uma nova transação e retorna seu ID de transação.

aws lakeformation start-transaction \
    --transaction-type = 'READ_AND_WRITE'

Saída:

{
    "TransactionId": "b014d972ca8347b89825e33c5774aec4"
}

Para obter mais informações, consulte Ler e gravar no data lake dentro das transações no Guia do desenvolvedor do AWS Lake Formation.

  • Para obter detalhes da API, consulte StartTransactionem Referência de AWS CLI Comandos.

O código de exemplo a seguir mostra como usar update-lf-tag.

AWS CLI

Para atualizar a LF-Tag definição

O update-lf-tag exemplo a seguir atualiza a LF-Tag definição.

aws lakeformation update-lf-tag \
    --catalog-id '123456789111' \
    --tag-key 'usergroup' \
    --tag-values-to-add '["admin"]'

Este comando não produz saída.

Para obter mais informações, consulte Gerenciamento do controle LF-Tags de acesso aos metadados no AWS Lake Formation Developer Guide.

  • Para obter detalhes da API, consulte UpdateLfTagem Referência de AWS CLI Comandos.

O código de exemplo a seguir mostra como usar update-table-objects.

AWS CLI

Para modificar objetos da tabela controlada

O exemplo update-table-objects a seguir adiciona objetos S3 fornecidos à tabela controlada especificada.

aws lakeformation update-table-objects \
    --cli-input-json file://input.json

Conteúdo de input.json:

{
    "CatalogId": "012345678901",
    "DatabaseName": "tpc",
    "TableName": "dl_tpc_household_demographics_gov",
    "TransactionId": "12347a9f75424b9b915f6ff201d2a190",
    "WriteOperations": [{
        "AddObject": {
            "Uri": "s3://lf-data-lake-012345678901/target/dl_tpc_household_demographics_gov/run-unnamed-1-part-block-0-r-00000-snappy-ff26b17504414fe88b302cd795eabd00.parquet",
            "ETag": "1234ab1fc50a316b149b4e1f21a73800",
            "Size": 42200
        }
    }]
}

Este comando não produz saída.

Para obter mais informações, consulte Ler e gravar no data lake dentro das transações no Guia do desenvolvedor do AWS Lake Formation.

  • Para obter detalhes da API, consulte UpdateTableObjectsem Referência de AWS CLI Comandos.