Amazon EKS ジョブが STARTING のステータスで停止した場合の AWS Batch

ポッドのスタートアップの問題が解決されるか、ジョブが終了するまでに、kubelet (pull、log、exec、attach) から長時間実行されているリクエストの ContainerCreating でポッドが PENDING の状態で停止した場合、ジョブのステータスが STARTING のままになることがあります。以下の対象となるシナリオにおいて、AWS Batch はユーザーの代わりにジョブを終了させます。そうでない場合、ジョブは TerminateJob API を使用して手動で終了する必要があります。

ジョブが STARTING で停止する原因を検証するには、チュートリアル: 実行中のジョブをポッドとノードにマップする を使用して podName を検索し、ポッドについて説明します。

% kubectl describe pod aws-batch.000c8190-87df-31e7-8819-176fe017a24a -n my-aws-batch-namespace
Name:             aws-batch.000c8190-87df-31e7-8819-176fe017a24a
Namespace:        my-aws-batch-namespace
...
Containers:
  default:
...
    State:          Waiting
      Reason:       ContainerCreating
    Ready:          False
...
Conditions:
  Type                        Status
  PodReadyToStartContainers   False 
  Initialized                 True 
  Ready                       False 
  ContainersReady             False 
  PodScheduled                True 
...
Events:
  Type     Reason       Age    From     Message
  ----     ------       ----   ----     -------
  Warning  FailedMount  2m32s  kubelet  Unable to attach or mount volumes: ...

完全な可視性を実現するために、コントロールプレーンログを CloudWatch Logs に送信するように EKS クラスターを設定することを検討してください。

シナリオ: 永続ボリュームクレームのアタッチまたはマウントの失敗

ボリュームのアタッチまたはマウントに失敗する永続ボリュームクレームを使用するジョブは、終了の対象となります。これは、ジョブ定義が正しく設定されていないことが原因である可能性があります。詳細については、「Amazon EKS リソースにシングルノードのジョブ定義を作成する」を参照してください。