改进 Hive 性能 - Amazon EMR

改进 Hive 性能

Amazon EMR 提供一些功能,有助于优化使用 Hive 查询、读取和写入保存在 Amazon S3 中的数据的性能。

S3 Select 可通过将处理“向下推送”到 Amazon S3 来提高某些应用程序中 CSV 和 JSON 文件的查询性能。

EMRFS S3 优化提交程序是 OutputCommitter 类的替代,这消除了列表和重命名操作,从而提高使用 EMRFS 编写文件 Amazon S3 时的性能。