Amazon FSx for Lustre の使用開始 - FSx for Lustre

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon FSx for Lustre の使用開始

次に、Amazon FSx for Lustre の使用方法を学びます。ステップでは、Amazon FSx for Lustre ファイルシステムを作成し、コンピューティングインスタンスからアクセスするステップを説明します。オプションで、Amazon FSx for Lustre ファイルシステムを使用して、ファイルベースのアプリケーションで Simple Storage Service (Amazon S3) バケット内のデータを処理する方法を説明します。

この入門演習では、次のステップが含まれます。

前提条件

この入門演習を実行するには、次のものが必要です。

  • Amazon FSx for Lustre ファイルシステムと Amazon EC2 インスタンスを作成するために必要なアクセス許可を持つ AWS アカウント。詳細については、「Amazon FSx for Lustre を設定する」を参照してください。

  • FSx for Lustre ファイルシステムに関連付ける Amazon VPC セキュリティグループを作成し、ファイルシステムの作成後に変更しないでください。詳細については、「Amazon FSx ファイルシステムのセキュリティグループを作成するには」を参照してください。

  • Amazon VPC サービスに基づいて、仮想プライベートクラウド (VPC) でサポートされている Linux リリースを実行する Amazon EC2 インスタンス。この入門演習では、Amazon Linux 2023 を使用することをお勧めします。この EC2 インスタンスに Lustre クライアントをインストールし、EC2 インスタンスに FSx for Lustre ファイルシステムをマウントします。EC2 インスタンスの作成の詳細については、Amazon EC2 ユーザーガイド」の「開始方法: インスタンスの起動」または「インスタンスの起動」を参照してください。

    Amazon Linux 2023 に加えて、 Lustreクライアントは Amazon Linux 2、Red Hat Enterprise Linux (RHEL)、CentOS、Rocky Linux、SUSE Linux Enterprise Server、Ubuntu オペレーティングシステムをサポートしています。詳細については、「Lustre ファイルシステムとクライアントカーネルの互換性」を参照してください。

  • この入門演習用に Amazon EC2 インスタンスを作成するときは、次の点に注意してください。

    • デフォルトの VPC でインスタンスを作成することをお勧めします。

    • EC2 インスタンスを作成する場合は、デフォルトのセキュリティグループを使用することをお勧めします。

  • スクラッチ または 永続的、どちらの Amazon FSx for Lustre ファイルシステムタイプを作成するか決定します 。詳細については、「FSx for Lustre ファイルシステムのデプロイおよびストレージクラスオプション」を参照してください。

  • 各 FSx for Lustre ファイルシステムには、各メタデータサーバー (MDS) 用に 1 つの IP アドレスと、各ストレージサーバー (OSS) 用に 1 つの IP アドレスが必要です。詳細については、「ファイルシステムの IP アドレス」を参照してください。

  • ワークロードが処理するデータを格納する Simple Storage Service (Amazon S3) バケット。S3 バケットは、FSx for Lustre ファイルシステムがリンクされた耐久性のあるデータリポジトリになります。

ステップ 1: FSx for Lustre ファイルシステムの作成

Amazon FSx コンソールでファイルシステムを作成します。すべての FSx for Lustre ファイルシステムは、Amazon FSx コンソールを使用して作成されたときにLustreバージョン 2.15 で構築されることに注意してください。

ファイルシステムを作成するには
  1. https://console.aws.amazon.com/fsx/ で Amazon FSx コンソールを開きます。

  2. ダッシュボードで [Create file system] (ファイルシステムの作成) を選択して、ファイルシステム作成ウィザードをスタートします。

  3. FSx for Lustre を選択し、[次へ] を選択して、[ファイルシステムの作成] ページを表示します。

    [File·system·details] (ファイルシステムの詳細) セクションで設定を開始します。

  4. ファイルシステム名-オプション で、ファイルシステム名を入力します。最大 256 文字の Unicode 文字、空白、数字、特殊文字 + - = . _ : / を使用できます。

  5. デプロイおよびストレージクラスで、次のいずれかのオプションを選択します。

    • 長期ストレージとレイテンシーの影響を受けやすいワークロードには、永続 SSD を選択します。SSD ストレージでは、プロビジョニングしたストレージの容量に対して課金されます。

      必要に応じて、EFA を有効にして を選択し、ファイルシステムの Elastic Fabric Adapter (EFA) サポートを有効にします。EFA の詳細については、「」を参照してくださいEFA 対応ファイルシステムの使用

    • 長期ストレージには、永続的な Intelligent-Tiering を選択します。Intelligent-Tiering ストレージクラスは、ほとんどのワークロードに適した完全に伸縮自在で費用対効果の高いストレージと、頻繁にアクセスされるデータの読み取りに SSD レイテンシーを提供するオプションの SSD 読み取りキャッシュを提供します。Intelligent-Tiering では、データセットのサイズに応じて、保存するデータに対して課金されるため、ファイルシステムのサイズを指定する必要はありません。

      必要に応じて、EFA を有効にして を選択し、ファイルシステムの Elastic Fabric Adapter (EFA) サポートを有効にします。

    • 一時ストレージとデータの短期処理には、スクラッチ、SSD デプロイを選択します。SSD ストレージでは、プロビジョニングしたストレージの容量に対して課金されます。

  6. ファイルシステムのスループットの量を選択します。プロビジョニングしたスループットに対して支払いが発生します。

    • 永続 SSD ストレージの場合は、ストレージ値の単位あたりのスループットを選択します。ストレージ単位あたりのスループットは、プロビジョニングされたストレージの 1 テビバイト (TiB) あたりの読み取りおよび書き込みスループットの量です。

    • スクラッチ SSD ストレージの場合は、ストレージ値の単位あたりのスループットを選択します。

    • Intelligent-Tiering ストレージの場合は、スループット容量の値を選択します。

  7. ストレージ容量 (SSD ストレージクラスのみ) の場合、ファイルシステムのストレージ容量を TB 単位で設定します。

    • 永続、SSD デプロイタイプの場合、これを 1.2 TiB、2.4 TiB、または 2.4 TiB の増分の値に設定します。

    • EFA 対応、永続、SSD デプロイタイプの場合、この値を 1000、500、250、125 MBps/TiB のスループット階層 TiB ごとに 4.8 TiB、9.6 TiB、19.2 TiB、38.4 TiB の増分で設定します。

    ファイルシステムを作成した後、必要に応じてストレージ容量を増やすことができます。詳細については、「ストレージ容量の管理」を参照してください。

  8. メタデータ設定では、次のいずれかのオプションを選択して、ファイルシステムのメタデータ IOPS の数をプロビジョニングします。

    • Amazon FSx for Lustre でファイルシステムのストレージ容量に基づいてファイルシステムのメタデータ IOPS を自動的にプロビジョニングおよびスケーリングする場合は、自動 (SSD ストレージクラスのみ) を選択します。

    • SSD または Intelligent-Tiering ストレージクラスを使用してファイルシステムにプロビジョニングするメタデータ IOPS の数を指定する場合は、ユーザープロビジョニングを選択します。有効な値は次のとおりです。

      • SSD ファイルシステムの場合、有効な値は 1500、、3000600012000、および12000最大 の倍数です192000

      • Intelligent-Tiering ファイルシステムの場合、有効な値は 6000と です12000

    メタデータ IOPS の詳細については、「Lustre メタデータパフォーマンス設定」を参照してください。

  9. SSD 読み取りキャッシュ (インテリジェント階層化のみ) の場合は、自動 (スループット容量に比例) またはカスタム (ユーザープロビジョニング) を選択します。自動オプションを使用すると、Amazon FSx for Lustre はプロビジョニングされたスループットに基づいて読み取りキャッシュサイズを自動的に選択します。アクティブな作業データセットのおおよそのサイズがわかっている場合は、カスタム を選択して SSD 読み取りキャッシュのサイズをカスタマイズできます。詳細については、「プロビジョニングされた SSD 読み取りキャッシュの管理」を参照してください。

  10. データ圧縮タイプ で、[NONE] (なし) を選択してデータ圧縮をオフにするか、LZ4 を選択して LZ4 アルゴリズムでデータ圧縮をオンにします。詳細については、「Lustre データ圧縮」を参照してください。

  11. [Network & security] (ネットワークとセキュリティ) セクションで、次のネットワークおよびセキュリティグループ情報を入力します。

    • [Virtual Private Cloud (VPC)] (仮想プライベートクラウド (VPC)) で、ファイルシステムに関連付ける VPC を選択します。この入門演習では、Amazon EC2 インスタンスと同じ VPC を選択します。

    • VPC セキュリティグループ の場合は、VPC のデフォルトのセキュリティグループの ID がすでに追加されている必要があります。

      デフォルトのセキュリティグループを使用していない場合は、この入門演習で使用するセキュリティグループに次のインバウンドルールが追加されていることを確認してください。

      タイプ プロトコル ポート範囲 ソース 説明
      すべての TCP TCP 0〜65535 カスタム the_ID_of_this_security_group インバウンド Lustre トラフィックルール
      重要
      • 使用しているセキュリティグループが、「Amazon VPC を使用したファイルシステムアクセスコントロール」に記載の設定手順に従っていることを確認します。セキュリティグループを設定して、ポート 988 および 1018~1023 で、セキュリティグループ自体またはフルサブネット CIDR からのインバウンドトラフィックを許可する必要があります。これは、ファイルシステムホストが相互に通信できるようにするために必要です。

      • EFA 対応ファイルシステムを作成する場合は、EFA 対応セキュリティグループを必ず指定してください。

    • [Subnet] (サブネット) に関して、使用可能なサブネットのリストから任意の値を選択します。

  12. [Encryption] (暗号化) セクションで使用できるオプションは、作成するファイルシステムの種類によって異なります。

    • 永続的なファイルシステムの場合は、 AWS Key Management Service (AWS KMS) 暗号化キーを選択して、保管中のファイルシステム上のデータを暗号化できます。

    • スクラッチファイルシステムの場合、保管中のデータは が管理するキーを使用して暗号化されます AWS。

    • スクラッチ 2 および永続的ファイルシステムでは、サポートされている Amazon EC2 インスタンスタイプからファイルシステムにアクセスすると、転送中のデータが自動的に暗号化されます。詳細については、「Encrypting data in transit」を参照してください。

  13. データリポジトリのインポート/エクスポートオプションセクションでは、ファイルシステムを Amazon S3 データリポジトリにリンクすることはデフォルトで無効になっています。このオプションを有効にして、既存の S3 バケットへのデータリポジトリアソシエーションを作成する方法については、「ファイルシステムの作成中に S3 バケットをリンクするには (コンソール)」を参照してください。

    重要
    • このオプションを選択すると、バックアップが無効になり、ファイルシステムの作成中にバックアップを有効にできなくなります。

    • 1 つ以上の Amazon FSx for Lustre ファイルシステムを Simple Storage Service (Amazon S3) バケットにリンクする場合は、リンクされているすべてのファイルシステムが削除されるまで Simple Storage Service (Amazon S3) バケットを削除しないでください。

    • Intelligent-Tiering ファイルシステムは、Amazon S3 データリポジトリへのリンクをサポートしていません。

  14. ロギングオプションの場合、ロギングはデフォルトで有効になっています。有効にすると、ファイルシステムのデータリポジトリアクティビティの障害と警告が Amazon CloudWatch Logs にログ記録されます。ログの設定の詳細については、「ロギングを管理する」を参照してください。

  15. バックアップとメンテナンスのオプションでは、以下を実行できます。

    • 毎日の自動バックアップ を無効にします。このオプションは、データリポジトリのインポート/エクスポートを有効にしていない限り、デフォルトで有効になっています。

    • 毎日の自動バックアップウィンドウ の開始時刻を設定します。

    • 自動バックアップ保持期間 を 1~35 日に設定します。

    • 毎週のメンテナンス期間 のスタート時刻を設定するか、デフォルトの [No preference] (設定なし) に設定したままにします。

    詳細については、「バックアップでデータを保護する。」および「Amazon FSx for Lustre メンテナンスウィンドウ」を参照してください。

  16. ルートスカッシュオプションの場合、ルートスカッシュはデフォルトで無効になっています。ルートスカッシュの有効化と設定の詳細については、「ファイルシステムの作成時にルートスカッシュを有効にするには (コンソール)」を参照してください。

  17. ファイルシステムに適用するタグを作成します。

  18. [Next] (次へ) を選択して、ファイルシステムの概要を作成する ページを表示します。

  19. Amazon FSx for Lustreファイルシステムの設定を確認し、[Create file system] (ファイルシステムの作成) を選択します。

ファイルシステムが作成されたので、後のステップのために完全修飾ドメイン名とマウント名をメモします。ファイルシステムの完全修飾ドメイン名とマウント名を確認するには、ファイルシステムダッシュボードでファイルシステムの名前を選択し、Attach を選択します。

ステップ 2: Lustre クライアントをインストールおよび設定する

Amazon EC2 インスタンスから Amazon FSx for Lustre ファイルシステムにアクセスする前に、以下を実行する必要があります。

  • EC2 インスタンスが最小カーネル要件を満たしていることを確認します。

  • 必要に応じてカーネルを更新します。

  • Lustre クライアントのダウンロードとインストール

カーネルバージョンを確認して Lustre クライアントをダウンロードするには
  1. EC2 インスタンスでターミナルウィンドウを開きます。

  2. 次のコマンドを実行して、コンピューティングインスタンスで現在実行されているカーネルを特定します。

    uname -r
  3. 次のいずれかを実行します。

    • x86 ベースの EC2 インスタンスにコマンドが 6.1.79-99.167.amzn2023.x86_64 を返した場合、または Graviton2 ベースの EC2 インスタンスに 6.1.79-99.167.amzn2023.aarch64 またはそれ以上を返した場合は、次のコマンドを使用して Lustre クライアントをダウンロードしてインストールします。

      sudo dnf install -y lustre-client
    • コマンドが x86 ベースの EC2 インスタンスの場合は 6.1.79-99.167.amzn2023.x86_64 未満、Graviton2 ベースの EC2 インスタンスの場合は 6.1.79-99.167.amzn2023.aarch64 未満の結果を返す場合は、次のコマンドを実行してカーネルを更新し、Amazon EC2 インスタンスを再起動します。

      sudo dnf -y update kernel && sudo reboot

      uname -r コマンドを使用して、カーネルが更新されていることを確認します。次に、上記の説明に従って Lustre クライアントをダウンロードしてインストールします。

    他の Linux ディストリビューションに Lustre クライアントをインストールする方法については、「Lustre クライアントのインストール」を参照してください。

ステップ 3: ファイルシステムをマウントする

ファイルシステムをマウントするには、マウントディレクトリまたはマウントポイントを作成し、ファイルシステムをクライアントにマウントし、クライアントがファイルシステムにアクセスできることを確認します。

ファイルシステムをマウントするには
  1. 次のコマンドを使用して、マウントポイントのディレクトリを作成します。

    sudo mkdir -p /mnt/fsx
  2. 作成したディレクトリに Amazon FSx for Lustre ファイルシステムをマウントします。次のコマンドを使用して、次のアイテムを置き換えます。

    • 実際のファイルシステムのドメインネームシステム (DNS) 名で file_system_dns_name を置き換えます。

    • を、 describe-file-systems AWS CLI コマンドまたは DescribeFileSystems API オペレーションを実行することで取得できるファイルシステムのマウント名mountnameに置き換えます。

    sudo mount -t lustre -o relatime,flock file_system_dns_name@tcp:/mountname /mnt/fsx

    このコマンドは、-o relatimeflock の 2 つのオプションでファイルシステムをマウントします。

    • relatime — atime オプションでは、ファイルがアクセスされるたびに atime (inode アクセス時間) のデータが保持されるのに対し、relatime オプションでも atime のデータが保持されますが、ファイルがアクセスされるたびに保持されるわけではありません。relatime オプションを有効にすると、atime のデータが最後に更新されてからファイルが変更された場合 (mtime)、またはファイルが一定時間以上 (デフォルトでは 6 時間) 前に最後にアクセスされた場合にのみ、atime のデータがディスクに書き込まれます。relatime または atime のオプションを使用すると、ファイルのリリース プロセスが最適化されます。

      注記

      ワークロードに正確なアクセス時間の精度が必要な場合は、atime マウントオプションを使用してマウントできます。ただし、これを行うと、正確なアクセス時間値を維持するために必要なネットワークトラフィックが増加し、ワークロードのパフォーマンスに影響する可能性があります。

      ワークロードにメタデータのアクセス時間が必要ない場合は、noatime マウントオプションを使用してアクセス時間の更新を無効にすると、パフォーマンスが向上する可能性があります。ファイルのリリースやデータの有効性のリリースなど、atime に焦点を絞ったプロセスでは、リリース時に不正確さが生じることに注意してください。

    • flock - ファイルシステムのファイルロックを有効にします。ファイルロックを有効にしたくない場合は、flock なしで mount コマンドを使用します。

  3. 次のコマンドを使用して、ファイルシステム /mnt/fsx をマウントしたディレクトリの内容を一覧表示し、マウントコマンドが成功したことを確認します。

    ls /mnt/fsx import-path lustre $

    以下の df コマンドを使用することもできます。

    df Filesystem 1K-blocks Used Available Use% Mounted on devtmpf 1001808 0 1001808 0% /dev tmpfs 1019760 0 1019760 0% /dev/shm tmpfs 1019760 392 1019368 1% /run tmpfs 1019760 0 1019760 0% /sys/fs/cgroup /dev/xvda1 8376300 1263180 7113120 16% / 123.456.789.0@tcp:/mountname 3547698816 13824 3547678848 1% /mnt/fsx tmpfs 203956 0 203956 0% /run/user/1000

    結果は、/mnt/fsx にマウントされている Amazon FSx ファイルシステムを示しています。

ステップ 4: ワークフローを実行する

ファイルシステムが作成され、コンピューティングインスタンスにマウントされたので、それを使用して高パフォーマンスのコンピューティングワークロードを実行できます。

データリポジトリの関連付けを作成して、ファイルシステムを Simple Storage Service (Amazon S3) データリポジトリにリンクできます。詳細については、「Amazon S3 バケットにファイルシステムにリンクする」を参照してください。

ファイルシステムを Simple Storage Service (Amazon S3) データリポジトリにリンクしたら、ファイルシステムに書き込んだデータを Simple Storage Service (Amazon S3) バケットにいつでもエクスポートできます。コンピューティングインスタンスのいずれかのターミナルから、次のコマンドを実行して Simple Storage Service (Amazon S3) バケットにファイルをエクスポートします。

sudo lfs hsm_archive file_name

フォルダまたはファイルの大規模なコレクションでこのコマンドをすばやく実行する方法の詳細については、「HSM コマンドを使用したファイルのエクスポート」を参照してください。

ステップ 5: のリソースをクリーンアップする

この演習を完了したら、以下の手順に従ってリソースをクリーンアップし、 AWS アカウントを保護する必要があります。

リソースをクリーンアップするには
  1. 最終的なエクスポートを行うには、次のコマンドを実行します。

    nohup find /mnt/fsx -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &
  2. Amazon EC2 コンソールで、インスタンスを終了します。詳細については、「Amazon EC2 ユーザーガイド」の「インスタンスの終了」を参照してください。

  3. Amazon FSx for Lustre コンソールで、次の手順でファイルシステムを削除します。

    1. ナビゲーションペインで、[File systems] (ファイルシステム) を選択します。

    2. ダッシュボードのファイルシステムのリストから削除するファイルシステムを選択します。

    3. [Actions] (アクション) で、[Delete file system] (ファイルシステムの削除) を選択します。

    4. 表示されるダイアログボックスで、ファイルシステムの最終バックアップを作成するかどうかを選択します。次に、削除を確定するために、ファイルシステム ID を入力します。[Delete file system] (ファイルシステムの削除) を選択します。

  4. この演習用に Simple Storage Service (Amazon S3) バケットを作成して、エクスポートしたデータを保持したくない場合は、これで削除できます。詳細については、「Amazon Simple Storage Service ユーザーガイド」の「バケットの削除」を参照してください。