

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

# Amazon EMR リリース 5.4.1
emr-5.4.1

## 5.4.1 アプリケーションバージョン


このリリースには次のアプリケーションが含まれます: [https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/)、[https://zookeeper.apache.org](https://zookeeper.apache.org)。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。
+ [Amazon EMR 7.x リリースのアプリケーションバージョン](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x リリースのアプリケーションバージョン](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x リリースのアプリケーションバージョン](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x リリースのアプリケーションバージョン](emr-release-app-versions-4.x.md)


**アプリケーションバージョン情報**  

|  | emr-5.4.1 | emr-5.4.0 | emr-5.3.2 | emr-5.3.1 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 
| Python | 追跡されていません | 追跡されていません | 追跡されていません | 追跡されていません | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.2.0 | 1.2.0 | 1.1.4 | 1.1.4 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.3.0 | 1.3.0 | 1.2.3 | 1.2.3 | 
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 
| Hadoop | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 3.11.0 | 3.11.0 | 3.11.0 | 3.11.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy |  -  |  -  |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 
| Presto | 0.166 | 0.166 | 0.157.1 | 0.157.1 | 
| Spark | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.0 | 0.7.0 | 0.6.2 | 0.6.2 | 
| ZooKeeper | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 | 

## 5.4.1 リリースノート


これは、Amazon S3 へのリクエストの署名 AWS バージョン 4 認証を追加するためのパッチリリースです。アプリケーションとコンポーネントはすべて、以前の Amazon EMR リリースと同じです。

**重要**  
このリリースバージョンでは、Amazon EMR は AWS 署名バージョン 4 のみを使用して Amazon S3 へのリクエストを認証します。詳細については、「[新機能](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)」を参照してください。

## 5.4.1 コンポーネントバージョン


このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、`emr` または `aws` で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、`CommunityVersion-amzn-EmrVersion` の形式のバージョンラベルがあります。`EmrVersion` は 0 から始まります。例えば、バージョン 2.2 の `myapp-component` というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは `2.2-amzn-2` として表示されます。


| コンポーネント | バージョン | 説明 | 
| --- | --- | --- | 
| emr-ddb | 4.2.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 | 
| emr-goodies | 2.3.0 | Hadoop エコシステムに役立つ追加のライブラリ。 | 
| emr-kinesis | 3.2.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクタ。 | 
| emr-s3-dist-cp | 2.4.0 | Amazon S3 に最適化された分散コピーアプリケーション。 | 
| emrfs | 2.15.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 | 
| flink-client | 1.2.0 | Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。 | 
| ganglia-monitor | 3.7.2 | Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。 | 
| ganglia-metadata-collector | 3.7.2 | Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。 | 
| ganglia-web | 3.7.1 | Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。 | 
| hadoop-client | 2.7.3-amzn-1 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-1 | ブロックを保存する HDFS ノードレベルのサービス。 | 
| hadoop-hdfs-library | 2.7.3-amzn-1 | HDFS コマンドラインクライアントとライブラリ | 
| hadoop-hdfs-namenode | 2.7.3-amzn-1 | ファイル名を追跡し、場所をブロックする HDFS サービス。 | 
| hadoop-httpfs-server | 2.7.3-amzn-1 | HDFS オペレーションの HTTP エンドポイント。 | 
| hadoop-kms-server | 2.7.3-amzn-1 | Hadoop の KeyProvider API に基づく暗号キー管理サーバー。 | 
| hadoop-mapred | 2.7.3-amzn-1 | MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-1 | 個別のノードでコンテナを管理する YARN サービス。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-1 | クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-1 | YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。 | 
| hbase-hmaster | 1.3.0 | リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。 | 
| hbase-region-server | 1.3.0 | 1 つ以上の HBase リージョンに対応するサービス。 | 
| hbase-client | 1.3.0 | HBase コマンドラインクライアント。 | 
| hbase-rest-server | 1.3.0 | HBase の RESTful HTTP エンドポイントを提供するサービス。 | 
| hbase-thrift-server | 1.3.0 | HBase に Thrift エンドポイントを提供するサービス。 | 
| hcatalog-client | 2.1.1-amzn-0 | hcatalog-server を操作するための 'hcat' コマンドラインクライアント。 | 
| hcatalog-server | 2.1.1-amzn-0 | 分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。 | 
| hcatalog-webhcat-server | 2.1.1-amzn-0 | HCatalog に REST インターフェイスを提供する HTTP エンドポイント。 | 
| hive-client | 2.1.1-amzn-0 | Hive コマンドラインクライアント。 | 
| hive-hbase | 2.1.1-amzn-0 | Hive-hbase クライアント。 | 
| hive-metastore-server | 2.1.1-amzn-0 | Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。 | 
| hive-server2 | 2.1.1-amzn-0 | Hive クエリをウェブリクエストとして受け入れるサービス。 | 
| hue-server | 3.11.0 | Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション | 
| mahout-client | 0.12.2 | 機械学習用のライブラリ。 | 
| mysql-server | 5.5.54\$1 | MySQL データベースサーバー。 | 
| oozie-client | 4.3.0 | Oozie コマンドラインクライアント。 | 
| oozie-server | 4.3.0 | Oozie ワークフローリクエストを受け入れるサービス。 | 
| phoenix-library | 4.9.0-HBase-1.2 | サーバーとクライアントの Phoenix ライブラリ | 
| phoenix-query-server | 4.9.0-HBase-1.2 | JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー  | 
| presto-coordinator | 0.166 | presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 | 
| presto-worker | 0.166 | いくつかのクエリを実行するサービス。 | 
| pig-client | 0.16.0-amzn-0 | Pig コマンドラインクライアント。 | 
| spark-client | 2.1.0 | Spark コマンドラインクライアント。 | 
| spark-history-server | 2.1.0 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 | 
| spark-on-yarn | 2.1.0 | YARN のメモリ内実行エンジン。 | 
| spark-yarn-slave | 2.1.0 | YARN スレーブで必要な Apache Spark ライブラリ。 | 
| sqoop-client | 1.4.6 | Apache Sqoop コマンドラインクライアント。 | 
| tez-on-yarn | 0.8.4 | tez YARN アプリケーションおよびライブラリ。 | 
| webserver | 2.4.25\$1 | Apache HTTP サーバー。 | 
| zeppelin-server | 0.7.0 | インタラクティブなデータ分析を可能にするウェブベースのノートブック。 | 
| zookeeper-server | 3.4.9 | 設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。 | 
| zookeeper-client | 3.4.9 | ZooKeeper コマンドラインクライアント。 | 

## 5.4.1 設定分類


設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、`hive-site.xml` などのアプリケーションの構成 XML ファイルに対応します。詳細については、「[アプリケーションの設定](emr-configure-apps.md)」を参照してください。


**emr-5.4.1 の分類**  

| 分類 | 説明 | 
| --- | --- | 
| capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | 
| core-site | Hadoop の core-site.xml ファイルの値を変更します。 | 
| emrfs-site | EMRFS の設定を変更します。 | 
| flink-conf | flink-conf.yaml の設定を変更します。 | 
| flink-log4j | Flink log4j.properties の設定を変更します。 | 
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties の設定を変更します。 | 
| flink-log4j-cli | Flink log4j-cli.properties の設定を変更します。 | 
| hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | 
| hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | 
| hadoop-ssl-server | Hadoop ssl のサーバー設定を変更します。 | 
| hadoop-ssl-client | Hadoop ssl のクライアント設定を変更します。 | 
| hbase | Apache HBase 用の Amazon EMR-curated 設定。 | 
| hbase-env | HBase の環境の値を変更します。 | 
| hbase-log4j | HBase の hbase-log4j.properties ファイルの値を変更します。 | 
| hbase-metrics | HBase の hadoop-metrics2-hbaase.properties ファイルの値を変更します。 | 
| hbase-policy | HBase の hbase-policy.xml ファイルの値を変更します。 | 
| hbase-site | HBase の hbase-site.xml ファイルの値を変更します。 | 
| hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 | 
| hdfs-site | HDFS の hdfs-site.xml の値を変更します。 | 
| hcatalog-env | HCatalog 環境の値を変更します。 | 
| hcatalog-server-jndi | HCatalog の jndi.properties の値を変更します。 | 
| hcatalog-server-proto-hive-site | HCatalog の proto-hive-site.xml の値を変更します。 | 
| hcatalog-webhcat-env | HCatalog WebHCat 環境の値を変更します。 | 
| hcatalog-webhcat-log4j2 | HCatalog WebHCat の log4j2.properties の値を変更します。 | 
| hcatalog-webhcat-site | HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。 | 
| hive-beeline-log4j2 | Hive の beeline-log4j2.properties ファイルの値を変更します。 | 
| hive-parquet-logging | Hive の parquet-logging.properties ファイルの値を変更します。 | 
| hive-env | Hive 環境の値を変更します。 | 
| hive-exec-log4j2 | Hive の hive-exec-log4j2.properties ファイルの値を変更します。 | 
| hive-llap-daemon-log4j2 | Hive の llap-daemon-log4j2.properties ファイルの値を変更します。 | 
| hive-log4j2 | Hive の hive-log4j2.properties ファイルの値を変更します。 | 
| hive-site | Hive の hive-site.xml ファイルの値を変更します | 
| hiveserver2-site | Hive Server2 の hiveserver2-site.xml ファイルの値を変更します | 
| hue-ini | Hue の ini ファイルの値を変更します | 
| httpfs-env | HTTPFS 環境の値を変更します。 | 
| httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | 
| hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 | 
| hadoop-kms-env | Hadoop KMS 環境の値を変更します。 | 
| hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 | 
| hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 | 
| mapred-env | MapReduce アプリケーションの環境の値を変更します。 | 
| mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | 
| oozie-env | Oozie の環境の値を変更します。 | 
| oozie-log4j | Oozie の oozie-log4j.properties ファイルの値を変更します。 | 
| oozie-site | Oozie の oozie-site.xml ファイルの値を変更します。 | 
| phoenix-hbase-metrics | Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | 
| phoenix-hbase-site | Phoenix の hbase-site.xml ファイルの値を変更します。 | 
| phoenix-log4j | Phoenix の log4j.properties ファイルの値を変更します。 | 
| phoenix-metrics | Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。 | 
| pig-properties | Pig の pig.properties ファイルの値を変更します。 | 
| pig-log4j | Pig の log4j.properties ファイルの値を変更します。 | 
| presto-log | Presto の log.properties ファイルの値を変更します。 | 
| presto-config | Presto の config.properties ファイルの値を変更します。 | 
| presto-connector-blackhole | Presto の blackhole.properties ファイルの値を変更します。 | 
| presto-connector-cassandra | Presto の cassandra.properties ファイルの値を変更します。 | 
| presto-connector-hive | Presto の hive.properties ファイルの値を変更します。 | 
| presto-connector-jmx | Presto の jmx.properties ファイルの値を変更します。 | 
| presto-connector-kafka | Presto の kafka.properties ファイルの値を変更します。 | 
| presto-connector-localfile | Presto の localfile.properties ファイルの値を変更します。 | 
| presto-connector-mongodb | Presto の mongodb.properties ファイルの値を変更します。 | 
| presto-connector-mysql | Presto の musql.properties ファイルの値を変更します。 | 
| presto-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | 
| presto-connector-raptor | Presto の raptor.properties ファイルの値を変更します。 | 
| presto-connector-redis | Presto の redis.properties ファイルの値を変更します。 | 
| presto-connector-tpch | Presto の tpcj.properties ファイルの値を変更します。 | 
| spark | Apache Spark 用の Amazon EMR-curated 設定。 | 
| spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | 
| spark-env | Spark 環境の値を変更します。 | 
| spark-hive-site | Spark の hive-site.xml ファイルの値を変更します | 
| spark-log4j | Spark の log4j.properties ファイルの値を変更します。 | 
| spark-metrics | Spark の metrics.properties ファイルの値を変更します。 | 
| sqoop-env | Sqoop の環境の値を変更します。 | 
| sqoop-oraoop-site | Sqoop OraOop の oraoop-site.xml ファイルの値を変更します。 | 
| sqoop-site | Sqoop の sqoop-site.xml ファイルの値を変更します。 | 
| tez-site | Tez の tez-site.xml ファイルの値を変更します。 | 
| yarn-env | YARN 環境の値を変更します。 | 
| yarn-site | YARN の yarn-site.xml ファイルの値を変更します。 | 
| zeppelin-env | Zeppelin 環境の値を変更します。 | 
| zookeeper-config | ZooKeeper の zoo.cfg ファイルの値を変更します。 | 
| zookeeper-log4j | ZooKeeper の log4j.properties ファイルの値を変更します。 | 