

# Usar o Apache Spark no Amazon Athena
<a name="notebooks-spark"></a>

O Amazon Athena facilita a execução interativa de data analytics e exploração de dados usando o Apache Spark, sem a necessidade de planejamento, configuração ou gerenciamento de recursos. Executar aplicações do Apache Spark no Athena significa enviar o código do Spark para processamento e receber os resultados diretamente sem a necessidade de uma configuração adicional. O Apache Spark no Amazon Athena corresponde a uma tecnologia sem servidor e oferece uma escalabilidade automática sob demanda que fornece computação instantânea para atender aos volumes de dados em constante mudança e aos requisitos de processamento.

Na versão de lançamento [Versão 3 do mecanismo PySpark](notebooks-spark-release-versions.md#notebooks-spark-release-versions-pyspark-3), você pode usar a experiência simplificada de cadernos no console do Amazon Athena para desenvolver aplicações do Apache Spark usando APIs de cadernos do Python ou do Athena.

Na versão de lançamento [Versão 3.5 do Apache Spark](notebooks-spark-release-versions.md#notebooks-spark-release-versions-spark-35), você pode executar o código Spark nos cadernos do Estúdio Unificado Amazon SageMaker ou em seus clientes Spark Connect compatíveis de preferência.

O Amazon Athena oferece os recursos a seguir:
+ **Uso do console**: envie suas aplicações do Spark usando o console do Amazon Athena (somente a versão 3 do mecanismo Pyspark).
+ **Criação de scripts**: crie e depure aplicações do Apache Spark de forma rápida e interativa em Python.
+ **Escalabilidade dinâmica**: o Amazon Athena determina automaticamente a memória e os recursos de computação necessários para executar um trabalho, além de escalar continuamente esses recursos de acordo com os máximos especificados. Essa escalabilidade dinâmica reduz os custos sem afetar a velocidade.
+ **Experiência de cadernos**: use os cadernos do Estúdio Unificado Amazon SageMaker AI para criar, editar e executar cálculos usando uma interface familiar. Na versão 3 do mecanismo Pyspark, você pode usar cadernos no console do Athena que sejam compatíveis com os cadernos Jupyter e que contenham uma lista de células que são executadas em ordem como cálculos. O conteúdo da célula pode incluir código, texto, Markdown, matemática, plotagens e mídia avançada.

Para obter informações adicionais, consulte [Run Spark SQL on Amazon Athena Spark](https://aws.amazon.com/blogs/big-data/run-spark-sql-on-amazon-athena-spark/) e [Explore your data lake using Amazon Athena for Apache Spark](https://aws.amazon.com/blogs/big-data/explore-your-data-lake-using-amazon-athena-for-apache-spark/) no *blog do AWS Big Data*. 

**Topics**
+ [Versões de liberação](notebooks-spark-release-versions.md)
+ [Considerações e limitações](notebooks-spark-considerations-and-limitations.md)
+ [Conceitos básicos](notebooks-spark-getting-started.md)
+ [Gerenciar arquivos de cadernos](notebooks-spark-managing.md)
+ [Editor de cadernos](notebooks-spark-editor.md)
+ [Usar formatos de tabela não Hive](notebooks-spark-table-formats.md)
+ [Suporte à biblioteca Python](notebooks-spark-python-library-support.md)
+ [Especificar uma configuração personalizada](notebooks-spark-custom-jar-cfg.md)
+ [Formatos de dados e de armazenamento compatíveis](notebooks-spark-data-and-storage-formats.md)
+ [Monitorar o Apache Spark](notebooks-spark-metrics.md)
+ [Atribuição de custos](notebooks-spark-cost-attribution.md)
+ [Registro em log e monitoramento](notebooks-spark-logging-monitoring.md)
+ [Acesso à interface do usuário do Spark](notebooks-spark-ui-access.md)
+ [Spark Connect](notebooks-spark-connect.md)
+ [Endpoints da VPC da sessão do Spark](athena-spark-vpc-endpoint.md)
+ [Habilitar buckets de pagamento pelo solicitante](notebooks-spark-requester-pays.md)
+ [Integração do Lake Formation](notebooks-spark-lakeformation.md)
+ [Habilitar a criptografia do Spark](notebooks-spark-encryption.md)
+ [Acesso ao catálogo entre contas](spark-notebooks-cross-account-glue.md)
+ [Cotas de serviço](notebooks-spark-quotas.md)
+ [APIs do Athena Spark](notebooks-spark-api-list.md)
+ [Solução de problemas](notebooks-spark-troubleshooting.md)