View a markdown version of this page

ファーム、キュー、フリートを整理する - AWS Deadline クラウド

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

ファーム、キュー、フリートを整理する

1 つのキューと 1 つのフリートを含む 1 つのファームから開始できます。 AWS Deadline Cloud (Deadline Cloud) ファームのユーザー数とさまざまなワークロードが増えるにつれて、各チームまたはプロジェクトのキュー、各ハードウェアタイプのフリート、または分離された作業のための個別のファームなど、作業をより意図的に整理するのに役立ちます。

3 つの質問が設計を推進します。

  • どのジョブを表示、送信、管理できますか? キューは、アクセス許可と予算の自然な境界です。

  • どのハードウェアがどのジョブを実行しますか? フリートはワーカーを機能別にグループ化し、各ジョブのホスト要件はそれを実行できるフリートにルーティングします。

  • 残りの作業から厳密に分離する必要がありますか? 異なるクライアントでの作業など、混在してはならない作業については、ワークロードごとに個別のファームを作成します。個別のファームは厳格なセキュリティ境界です。

キュー、フリート、ファームが作業を分割する方法

キューとフリートにはmany-to-many関係があります。1 つのキューを複数のフリートに関連付け、1 つのフリートを複数のキューに関連付けることができます。フリートが複数のキューを処理すると、それらの間でワーカーが分割されます。詳細については、「キューとフリートを関連付ける」を参照してください。

キューに複数のフリートがある場合、各ジョブのホスト要件 (GPUs、vCPUs、メモリ、オペレーティングシステムなど) によって実行可能なフリートが決まります。GPU ジョブと CPU ジョブに個別のキューは必要ありません。1 つのキューを GPU フリートと CPU フリートに関連付け、GPU を必要とするレンダリングは GPU フリートにのみスケジュールされますが、GPU 要件のないジョブは CPU フリートで実行できます。Deadline Cloud 統合送信者にはホスト要件設定が含まれているため、アーティストはどのフリートが提供するかを知ることなく、ジョブに必要なハードウェアを記述できます。

キューは、アクセスと支出を制御する場所でもあります。ユーザーが別のキューのみを表示しながらジョブを 1 つのキューに送信できるように、キューごとにアクセスレベルを個別にユーザーに付与します。キューごとに予算を設定することもできます。詳細については、「Deadline Cloud でのユーザーの管理」および「予算によるコストの管理」を参照してください。

キューのアクセス許可は、ジョブを表示および管理できるユーザーを制御しますが、ジョブ自体を完全に分離するわけではありません。フリートを共有するさまざまなキューからのジョブは、同じワーカーホストで実行され、パッケージやファイルのキャッシュなどの一般的なリソースを共有できます。個別のファームは厳格なセキュリティ境界です。Amazon Simple Storage Service (Amazon S3) バケットなどの外部リソースを共有して境界を弱めない限り、ファームは互いに Deadline Cloud リソースを共有しません。詳細については、「ファーム、フリート、キューを使用してワークロードを分離する」を参照してください。

で分割する 分離に最適 考慮事項

[キュー]

独自のジョブリスト、アクセス許可、予算を必要とするチーム、ショー、または部門

同じワーカーホストで実行されるフリートを共有するキューからのジョブ

フリート

GPU ワーカー、CPU ワーカー、カスタマーマネージドフリートなどのハードウェアおよびソフトウェア環境

複数のキューを処理するフリートは、ワーカーをそれらの間で分割します。

ファーム

異なるベンダーやクライアントなど、ハードな分離境界を必要とするワークロード

ファームは何も共有しないため、各ファームには独自のキュー、フリート、ユーザー許可が必要です

一般的なパターン

次のレイアウトは、ほとんどの組織を対象としています。たとえば、独自のチームの共有ファームと、各ベンダーの個別のファームを組み合わせることができます。

チームごとに 1 つの共有ファーム、1 つのキュー

単一の組織内では、各チームまたはワークロード (スタジオでのショーや機械学習トレーニングパイプラインなど) のキューを持つ共有ファームが、通常、適切な開始レイアウトです。ファーム全体が 1 つのビューに表示されます。各チームに独自のキューの寄稿者レベルと他のビューワーレベルを付与することで、チームは互いのジョブを変更することなくすべての作業をフォローできます。予算は各キューの支出を追跡します。

キューを共有フリートに関連付けます。共有フリートは使用率が高く、ワーカーを温かく保ちます。1 つのチームのジョブを終了するワーカーは、新しいインスタンスが起動するのを待たずに別のチームのジョブを取得できるためです。トレードオフは、チームがワーカーホストを共有することです。これは通常、ある組織の信頼境界内で許容されます。キューを追加するには、「」を参照してくださいキューを作成する

各ベンダーまたはクライアントのファーム

外部ベンダーと連携する場合、または混在してはならない複数のクライアントに対して作業を実行する場合は、それぞれに個別のファームを作成します。1 つのファームへのアクセス権を付与されたユーザーは、他のファームを表示できず、1 つのファームのジョブを別のファームのフリートで実行したり、ジョブアタッチメントを読み取ったりすることはできません。境界はそのままにしておきます。ジョブアタッチメントの Amazon S3 バケット、フリート、またはその他のリソースをファーム間で共有しないでください。ファームを追加するには、「」を参照してくださいファームを作成する。セキュリティの詳細については、「」を参照してくださいファーム、フリート、キューを使用してワークロードを分離する。ベンダーをファームに持ち込むend-to-endの手順については、「」を参照してくださいファームにユーザーをオンボードする

機密コンテンツの制限付きフリート

専有ワーカーのセキュリティまたはプライバシー制限の下で作業を続けるには、その作業のキューとフリートを作成し、フリートをそのキューにのみ関連付けます。ジョブはキューに関連付けられたフリートにのみスケジュールされるため、関連付けによって他の作業が制限されたワーカーが中断されます。「キューとフリートを関連付ける」を参照してください。スタジオの他の部分と何も共有してはならない作業の場合は、代わりに別のファームを使用してください。

制限されたキューの境界を完了します。

これらの手順におけるセキュリティ上の考慮事項の詳細については、「」を参照してくださいファーム、フリート、キューを使用してワークロードを分離する

サービスマネージドフリートとカスタマーマネージドフリートのキューを分離する

ファームにサービスマネージドフリートとカスタマーマネージドフリートの両方がある場合、ほとんどの場合、フリートタイプごとに個別のキューを作成します。通常、2 つのフリートタイプ用に記述されたジョブは、異なる実行環境を想定します。サービスマネージドフリートのキューは通常、conda キュー環境を使用して各ジョブのアプリケーションをインストールしますが、カスタマーマネージドフリートのジョブでは、ワーカーホストにプリインストールしたソフトウェアが必要です。一方の環境に設定されたジョブは、もう一方の環境で失敗することがよくあります。キューを別々にしておくと、各キューの環境設定もシンプルになります。詳細については、「サービスマネージドフリートとカスタマーマネージドフリートのどちらかを選択する」および「デフォルトのcondaキュー環境」を参照してください。