Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

# Konfigurasikan saluran input data untuk menggunakan Amazon FSx untuk Lustre
<a name="model-access-training-data-fsx"></a>

Pelajari cara menggunakan Amazon FSx for Lustre sebagai sumber data Anda untuk throughput yang lebih tinggi dan pelatihan yang lebih cepat dengan mengurangi waktu pemuatan data.

**catatan**  
Saat Anda menggunakan instance berkemampuan EFA seperti P4d dan P3dn, pastikan Anda menetapkan aturan masuk dan output yang sesuai di grup keamanan. Khususnya, membuka port ini diperlukan bagi SageMaker AI untuk mengakses sistem FSx file Amazon dalam pekerjaan pelatihan. Untuk mempelajari selengkapnya, lihat [Kontrol Akses Sistem File dengan Amazon VPC](https://docs.aws.amazon.com/fsx/latest/LustreGuide/limit-access-security-groups.html).

## Sinkronkan Amazon S3 dan Amazon FSx untuk Lustre
<a name="model-access-training-data-fsx-sync-s3"></a>

Untuk menautkan Amazon S3 Anda ke Amazon FSx untuk Lustre dan mengunggah kumpulan data pelatihan Anda, lakukan hal berikut.

1. Siapkan kumpulan data Anda dan unggah ke bucket Amazon S3. Misalnya, asumsikan bahwa jalur Amazon S3 untuk kumpulan data kereta api dan kumpulan data pengujian dalam format berikut.

   ```
   s3://amzn-s3-demo-bucket/data/train
   s3://amzn-s3-demo-bucket/data/test
   ```

1.  FSx *Untuk membuat sistem file Lustre yang ditautkan dengan bucket Amazon S3 dengan data pelatihan, ikuti langkah-langkah [di Menautkan sistem file Anda ke bucket Amazon S3 di Panduan Pengguna Amazon](https://docs.aws.amazon.com/fsx/latest/LustreGuide/create-dra-linked-data-repo.html) for Lustre. FSx * Pastikan Anda menambahkan titik akhir ke VPC yang memungkinkan akses Amazon S3. Untuk informasi selengkapnya, lihat [Buat Endpoint VPC Amazon S3](train-vpc.md#train-vpc-s3). Saat Anda menentukan **jalur repositori Data**, berikan URI bucket Amazon S3 dari folder yang berisi kumpulan data Anda. Misalnya, berdasarkan contoh jalur S3 di langkah 1, jalur repositori data harus sebagai berikut.

   ```
   s3://amzn-s3-demo-bucket/data
   ```

1. Setelah sistem file FSx for Lustre dibuat, periksa informasi konfigurasi dengan menjalankan perintah berikut.

   ```
   aws fsx describe-file-systems && \
   aws fsx describe-data-repository-association
   ```

   Perintah-perintah ini kembali `FileSystemId``MountName`,`FileSystemPath`,, dan`DataRepositoryPath`. Misalnya, outputnya akan terlihat seperti berikut ini.

   ```
   # Output of aws fsx describe-file-systems
   "FileSystemId": "fs-0123456789abcdef0"
   "MountName": "1234abcd"
   
   # Output of aws fsx describe-data-repository-association
   "FileSystemPath": "/ns1",
   "DataRepositoryPath": "s3://amzn-s3-demo-bucket/data/"
   ```

   Setelah sinkronisasi antara Amazon S3 dan Amazon FSx selesai, kumpulan data Anda disimpan di Amazon FSx di direktori berikut.

   ```
   /ns1/train  # synced with s3://amzn-s3-demo-bucket/data/train
   /ns1/test   # synced with s3://amzn-s3-demo-bucket/data/test
   ```

## Atur jalur sistem FSx file Amazon sebagai saluran input data untuk SageMaker pelatihan
<a name="model-access-training-data-fsx-set-as-input-channel"></a>

Prosedur berikut memandu Anda melalui proses pengaturan sistem FSx file Amazon sebagai sumber data untuk pekerjaan SageMaker pelatihan.

------
#### [ Using the SageMaker Python SDK ]

Untuk mengatur sistem FSx file Amazon dengan benar sebagai sumber data, konfigurasikan kelas estimator SageMaker AI dan `FileSystemInput` gunakan instruksi berikut.

1. Konfigurasikan objek FileSystemInput kelas.

   ```
   from sagemaker.inputs import FileSystemInput
   
   train_fs = FileSystemInput(
       file_system_id="fs-0123456789abcdef0",
       file_system_type="FSxLustre",
       directory_path="/1234abcd/ns1/",
       file_system_access_mode="ro",
   )
   ```
**Tip**  
Saat Anda menentukan`directory_path`, pastikan Anda menyediakan jalur sistem FSx file Amazon yang dimulai dengan`MountName`.

1. Konfigurasikan estimator SageMaker AI dengan konfigurasi VPC yang digunakan untuk sistem file FSx Amazon.

   ```
   from sagemaker.estimator import Estimator
   
   estimator = Estimator(
       ...
       role="your-iam-role-with-access-to-your-fsx",
       subnets=["subnet-id"],  # Should be the same as the subnet used for Amazon FSx
       security_group_ids="security-group-id"
   )
   ```

   Pastikan bahwa peran IAM untuk pekerjaan SageMaker pelatihan memiliki izin untuk mengakses dan membaca dari Amazon. FSx

1. Luncurkan pekerjaan pelatihan dengan menjalankan metode estimator.fit dengan sistem file Amazon FSx.

   ```
   estimator.fit(train_fs)
   ```

Untuk menemukan lebih banyak contoh kode, lihat [Menggunakan Sistem File sebagai Input Pelatihan](https://sagemaker.readthedocs.io/en/stable/overview.html#use-file-systems-as-training-inputs) dalam dokumentasi *SageMaker Python SDK*.

------
#### [ Using the SageMaker AI CreateTrainingJob API ]

Sebagai bagian dari [CreateTrainingJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTrainingJob.html)permintaan JSON, konfigurasikan `InputDataConfig` sebagai berikut.

```
"InputDataConfig": [ 
    { 
        "ChannelName": "string",
        "DataSource": { 
            "FileSystemDataSource": { 
                "DirectoryPath": "/1234abcd/ns1/",
                "FileSystemAccessMode": "ro",
                "FileSystemId": "fs-0123456789abcdef0",
                "FileSystemType": "FSxLustre"
            }
        }
    }
],
```

**Tip**  
Saat Anda menentukan`DirectoryPath`, pastikan Anda menyediakan jalur sistem FSx file Amazon yang dimulai dengan`MountName`.

------