アプリケーションが再起動している

FullRestarts 指標はゼロではない。このメトリクスは、アプリケーションを起動してからアプリケーションのジョブが再開された回数を表します。

Downtime 指標はゼロではない。このメトリクスは、アプリケーションが FAILING または RESTARTING のステータスにあるミリ秒数を表します。

アプリケーションログには、RESTARTING または FAILED へのステータス変更が含まれます。以下の CloudWatch Logs Insights のクエリを使用して、これらのステータス変更についてアプリケーションログをクエリできます: エラーの分析: アプリケーションタスク関連の障害。

オペレータが例外をスローしている: アプリケーション内のオペレータの例外が処理されない場合、アプリケーションは (オペレータがその失敗を処理できないと解釈して) フェイルオーバーします。「一度だけ」の処理セマンティクスを維持するため、アプリケーションは最新のチェックポイントから再起動します。そのため、この再起動中は Downtime は 0 ではありません。これを防ぐには、アプリケーションコード内の再試行可能な例外をすべて処理することをお勧めします。

この状態の原因は、アプリケーションの状態が RUNNING から FAILED に変更されていないかアプリケーションのログをクエリして調べることができます。詳細については、「エラーの分析: アプリケーションタスク関連の障害」を参照してください。

Kinesis Data Streams が適切にプロビジョニングされていない: アプリケーションのソースまたはシンクが Kinesis データストリームの場合は、ストリームの メトリクス に ReadProvisionedThroughputExceeded または WriteProvisionedThroughputExceeded エラーがないか確認してください。

これらのエラーが表示される場合は、ストリームのシャード数を増やすことで Kinesis ストリームの利用可能なスループットを増やすことができます。詳細については、「Kinesis データストリームで開いているシャードの数を変更するにはどうすればよいですか」を参照してください。

他のソースまたはシンクが適切にプロビジョニングされていないか、使用できない: アプリケーションがソースとシンクを正しくプロビジョニングしていることを確認してください。アプリケーションで使用されるすべてのソースまたはシンク (他の AWS サービス、外部のソースや宛先など) が適切にプロビジョニングされているか、読み取りまたは書き込みスロットリングが行われていないか、定期的に使用できないかを確認します。

依存するサービスでスループット関連の問題が発生している場合は、それらのサービスが利用できるリソースを増やすか、エラーや利用不能の原因を調査してください。

オペレータが適切にプロビジョニングされていない: アプリケーション内のいずれかのオペレータのスレッドのワークロードが正しく分散されていないと、オペレータが過負荷になり、アプリケーションがクラッシュする可能性があります。オペレータの並列処理のチューニングについては、「オペレータースケーリングの適切な管理」を参照してください。

アプリケーションが DaemonException で失敗する: 1.11 より前のバージョンの Apache Flink を使用している場合、このエラーはアプリケーションログに表示されます。0.14 以降の KPL バージョンを使用するには、Apache Flink の新しいバージョンへのアップグレードが必要な場合があります。

TimeoutException、FlinkException、または RemoteTransportException でアプリケーションが失敗する: これらのエラーは、タスクマネージャがクラッシュした場合にアプリケーションログに表示されることがあります。アプリケーションが過負荷になると、タスクマネージャーに CPU やメモリのリソースが圧迫され、タスクマネージャーが機能しなくなる可能性があります。

これらのエラーは次のようになります。

この問題のトラブルシューティングを行うには、以下を確認します。

JaxBanNotationModule Not Found エラーでアプリケーションが失敗する: このエラーは、アプリケーションが Apache Beam を使用しているが、正しい依存関係または依存バージョンがない場合に発生します。Apache Beam を使用する Apache Flink 用 Managed Serviceアプリケーションでは、以下のバージョンの依存関係を使用する必要があります。

<jackson.version>2.10.2</jackson.version>
...
<dependency>
    <groupId>com.fasterxml.jackson.module</groupId>
    <artifactId>jackson-module-jaxb-annotations</artifactId>
    <version>2.10.2</version>
</dependency>

jackson-module-jaxb-annotations の正しいバージョンを明示的な依存関係として指定しないと、アプリケーションはそれを環境の依存関係から読み込み、バージョンが一致しないため、実行時にアプリケーションがクラッシュします。

Apache Beam 向けの Apache Flink 用 Managed Service の使用に関する詳細については、CloudFormation を使用する を参照してください。

「アプリケーションが java.io.IOException: ネットワークバッファの数が不十分で失敗する」

アプリケーションに十分なメモリがネットワークバッファに割り当てられていない場合に発生します。ネットワークバッファはサブタスク間の通信を容易にします。ネットワーク経由で送信する前にレコードを保存したり、受信データをレコードに分解してサブタスクに渡す前に保存したりするために使用されます。必要なネットワークバッファの数は、ジョブグラフの並列処理と複雑さに直接影響します。この問題を軽減する方法はいくつかあります。