Opzioni di implementazione e classe di archiviazione FSx per i file system Lustre - FSx per Lustre

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Opzioni di implementazione e classe di archiviazione FSx per i file system Lustre

Amazon FSx for Lustre offre due opzioni di implementazione del file system: persistente e scratch. Fornisce tre classi di archiviazione: SSD (unità a stato solido), Intelligent-Tiering e HDD (unità disco rigido).

Scegli il tipo di distribuzione del file system e la classe di storage quando crei un nuovo file system Console di gestione AWS, utilizzando l'API, the AWS Command Line Interface (AWS CLI) o Amazon FSx for Lustre. Per ulteriori informazioni, consulta Passaggio 1: crea il tuo FSx file system for Lustre e CreateFileSystemnell'Amazon FSx API Reference.

File system persistenti

I file system persistenti sono progettati per lo storage e i carichi di lavoro a lungo termine e i file server offrono un'elevata disponibilità. Per i file system basati su SSD e HDD, i dati vengono replicati automaticamente all'interno della stessa zona di disponibilità in cui si trova il file system. Per i file system Intelligent-Tiering, i dati vengono replicati su più zone di disponibilità. I volumi di dati collegati ai file server vengono replicati indipendentemente dai file server a cui sono collegati.

Amazon monitora FSx continuamente i file system persistenti per individuare eventuali guasti hardware e sostituisce automaticamente i componenti dell'infrastruttura in caso di guasto. Su un file system persistente, se un file server non è disponibile, viene sostituito automaticamente entro pochi minuti dall'errore. Durante questo periodo, le richieste di dati dei client su quel server riprovano in modo trasparente e alla fine hanno esito positivo dopo la sostituzione del file server. I dati sui file system persistenti vengono replicati su dischi e tutti i dischi guasti vengono sostituiti automaticamente in modo trasparente.

Utilizza file system persistenti per lo storage a lungo termine e per carichi di lavoro incentrati sulla velocità effettiva che vengono eseguiti per periodi prolungati o indefinitamente e che potrebbero essere sensibili alle interruzioni della disponibilità.

I tipi di distribuzione persistenti crittografano automaticamente i dati in transito quando vi si accede da EC2 istanze Amazon che supportano la crittografia in transito.

Amazon FSx for Lustre supporta due tipi di distribuzione persistente: Persistent 1 e Persistent 2.

Tipo di distribuzione Persistent 2

Persistent 2 è il tipo di distribuzione Persistent di ultima generazione ed è più adatto per i casi d'uso che richiedono storage a lungo termine e che richiedono i massimi livelli di IOPS e throughput. I file system Persistent 2 supportano le classi di storage SSD e Intelligent-Tiering.

Puoi creare file system Persistent 2 con una configurazione di metadati e EFA abilitati utilizzando la FSx console Amazon e AWS Command Line Interface l'API Amazon FSx .

Tipo di distribuzione persistente 1

Il tipo di distribuzione Persistent 1 è ideale per i casi d'uso che richiedono uno storage a lungo termine. I tipi di distribuzione Persistent 1 supportano le classi di archiviazione SSD (unità a stato solido) e HDD (unità disco rigido).

Puoi creare tipi di distribuzione Persistent 1 solo utilizzando AWS CLI e l' FSx API Amazon.

File system Scratch

I file system Scratch sono progettati per l'archiviazione temporanea e l'elaborazione a breve termine dei dati. I dati non vengono replicati e non persistono in caso di guasto di un file server. I file system Scratch offrono un throughput di burst elevato fino a sei volte il throughput di base di 200 per MBps TiB di capacità di storage. Per ulteriori informazioni, consulta Caratteristiche prestazionali delle classi di storage SSD e HDD.

Utilizza i file system scratch quando hai bisogno di uno storage ottimizzato in termini di costi per carichi di lavoro a breve termine e con elevati livelli di elaborazione.

In un file system scratch, i file server non vengono sostituiti in caso di guasto e i dati non vengono replicati. Se un file server o un disco di archiviazione non è disponibile su un file system di memoria virtuale, i file archiviati su altri server sono ancora accessibili. Se i client tentano di accedere ai dati presenti sul server o sul disco non disponibile, viene visualizzato un I/O errore immediato.

La tabella seguente illustra la disponibilità o la durabilità per cui sono progettati i file system Scratch di dimensioni esemplificative, nel corso di un giorno e di una settimana. Poiché i file system più grandi dispongono di più file server e più dischi, le probabilità di errore aumentano.

Dimensioni del file system (TiB) Numero di file server Disponibilità/durata nell'arco di un giorno Disponibilità/durata per una settimana

1.2

2

99,9%

99,4%

2.4

2

99,9%

99,4%

4,8

3

99,8%

99,2%

9,6

5

99,8%

98,6%

50,4

22

99,1%

93,9%

Indirizzi IP per file system

Ogni file system FSx for Lustre richiede un indirizzo IP per ogni server di metadati (MDS) e un indirizzo IP per ogni server di storage (OSS).

File system che utilizzano una classe di archiviazione SSD o HDD
Tipo di file system Produttività, /TiB MBps Archiviazione per sistema operativo
Persistente 2 EFA* 125 38,4 TiB/OSS
250 19,2 TiB per sistema operativo
500 9,6 TiB per sistema operativo
1000 4,8 TiB per sistema operativo
Persistente 2 non EFA* 125, 250, 500, 1000 2,4 TiB per sistema operativo
1 SSD persistente 50, 100, 200 2,4 TiB per sistema operativo
HDD persistente 12 6 TiB per sistema operativo
40 1,8 TiB per sistema operativo
Scratch 2 200 2,4 TiB per sistema operativo
Scratch 1 200 3,6 TiB per sistema operativo
File system che utilizzano la classe di storage Intelligent-Tiering
Tipo di file system Velocità effettiva per OSS
Suddivisione in più livelli intelligente*

4000 per sistema operativo MBps

Nota

* Amazon fornisce un FSx server di metadati per ogni 12.000 IOPS di metadati su file system SSD Persistent 2 e Intelligent-Tiering configurati con la configurazione dei metadati.

I file system Amazon FSx for Lustre Intelligent-Tiering supportano un massimo di 512 TiB di storage per sistema operativo.

FSx per le classi di storage Lustre

Amazon FSx for Lustre offre classi di storage per unità a stato solido (SSD), Intelligent-Tiering e unità disco rigido (HDD) ottimizzate per diversi requisiti di elaborazione dei dati:

  • La classe di archiviazione SSD offre un accesso a bassa latenza (inferiore al millisecondo) all'intero set di dati. La classe di storage SSD viene fornita, il che significa che si specifica una dimensione del file system e si pagano i costi di storage per la quantità di storage fornita. Utilizza la classe di storage SSD per carichi di lavoro sensibili alla latenza che richiedono le prestazioni dello storage all-flash su tutti i dati.

    I file system Persistent 2 con storage SSD supportano livelli più elevati di throughput per unità di storage (ovvero 250, 500 o 1000 per MBps TIB) rispetto ai file system Persistent 1. Per un file system Persistent 1 con storage SSD, il throughput per unità di storage è di 50, 100 o 200 per MBps TiB. Per un file system Scratch con storage SSD, il throughput per unità di storage è di 200 per MBps TiB.

  • La classe di storage Intelligent-Tiering offre uno storage completamente elastico e intelligente su più livelli. Elasticità significa che si paga per la quantità di dati archiviati e non è necessario specificare la dimensione del file system. Il tiering intelligente significa che paghi automaticamente meno per archiviare dati a cui non hai avuto accesso di recente. Questa classe di storage ottimizza automaticamente i costi suddividendo i dati «cold» su livelli di storage più economici. È possibile fornire una cache di lettura SSD opzionale per l'accesso a bassa latenza (inferiore al millisecondo) ai dati a cui si accede di frequente. La classe di storage Intelligent-Tiering offre il miglior equilibrio tra prezzo e prestazioni per la maggior parte dei carichi di lavoro. Utilizza la classe di storage Intelligent-Tiering per carichi di lavoro compatibili con la cache e che non richiedono le prestazioni dello storage all-flash su tutti i dati. I file system Intelligent-Tiering supportano capacità di throughput con incrementi di 4000. MBps

  • La classe di storage HDD può essere utilizzata con carichi di lavoro che richiedono una latenza ms costante a una cifra per tutti i dati. È possibile fornire una cache di lettura SSD opzionale con dimensioni pari al 20% della capacità di archiviazione dell'HDD per fornire un accesso a bassa latenza ai dati a cui si accede di frequente. Con lo storage su HDD, è possibile specificare la dimensione del file system e pagare per la quantità di storage fornita. Per un file system Persistent 1 con storage su HDD, il throughput per unità di storage è di 12 o 40 per MBps TiB.

Per ulteriori informazioni sulle prestazioni di queste classi di archiviazione, vedere e. Caratteristiche prestazionali delle classi di storage SSD e HDD Caratteristiche prestazionali della classe di storage Intelligent-Tiering

In che modo la classe di storage Intelligent-Tiering suddivide i dati su più livelli

La classe di storage Amazon FSx Intelligent-Tiering archivia automaticamente i dati in tre livelli di accesso. È progettata per ottimizzare i costi di storage spostando automaticamente i dati sul livello di accesso più conveniente, senza impatto sulle prestazioni o costi operativi. La classe di storage Intelligent-Tiering suddivide automaticamente i dati in base all'ora dell'ultimo accesso, ottimizzando così automaticamente i costi per i dati meno attivi:

  • I dati a cui si accede negli ultimi 30 giorni vengono archiviati nel livello Frequent Access.

  • I dati a cui non è stato effettuato l'accesso per 30 giorni consecutivi passano automaticamente al livello Accesso infrequente e costano meno dei dati nel livello Accesso frequente.

  • I dati a cui non è stato effettuato l'accesso per 90 giorni consecutivi passano automaticamente al livello Archive Instant Access e costano meno dei dati nel livello Infrequent Access.

Quando si accede ai dati nei livelli Infrequent Access o Archive Instant Access, i dati tornano automaticamente al livello Frequent Access. Tutti gli accessi ai dati non memorizzati nella cache hanno le stesse caratteristiche prestazionali, indipendentemente dal livello dei dati, e non vi sono costi di IOPS, recupero o transizione aggiuntivi oltre ai normali costi operativi. read/write

Disponibilità del tipo di implementazione

I tipi di distribuzione Scratch 2, Persistent 1 e Persistent 2 sono disponibili nei seguenti casi Regioni AWS:

Regione AWS Persistente 2 Persistente 1 Scratch 2

Stati Uniti orientali (Ohio)

Stati Uniti orientali (Virginia settentrionale)

Zona locale degli Stati Uniti orientali (Atlanta)

✓ *

Zona locale degli Stati Uniti orientali (Dallas)

✓ *

Stati Uniti occidentali (California settentrionale)

Zona locale degli Stati Uniti occidentali (Los Angeles)

US West (Oregon)

Zona locale degli Stati Uniti occidentali (Phoenix)

✓ *

Africa (Città del Capo)

Asia Pacifico (Hong Kong)

Asia Pacific (Hyderabad)

Asia Pacifico (Giacarta)

Asia Pacifico (Malesia)

✓ *

Asia Pacifico (Melbourne)

Asia Pacifico (Mumbai)

Asia Pacific (Osaka)

Asia Pacific (Seul)

Asia Pacifico (Singapore)

Asia Pacifico (Sydney)

Asia Pacifico (Taipei)

✓ *

Asia Pacifico (Tailandia)

✓ *

Asia Pacifico (Tokyo)

Canada (Centrale)

Canada occidentale (Calgary)

✓ *

Europa (Francoforte)

Europa (Irlanda)

Europa (Londra)

Europa (Milano)

Europa (Parigi)

Europa (Spagna)

Europa (Stoccolma)

Europa (Zurigo)

Israele (Tel Aviv)

✓ *

Messico (centrale)

✓ *

Medio Oriente (Bahrein)

Medio Oriente (EAU)

Sud America (San Paolo)

AWS GovCloud (Stati Uniti orientali)

AWS GovCloud (Stati Uniti occidentali)

Nota

* Questi Regioni AWS supportano i file system Persistent-125 e Persistent-250 con classe di archiviazione SSD senza EFA.