Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà. # Utilizzo di Elimina duplicati La trasformazione Elimina duplicati offre due opzioni per rimuovere le righe dall'origine dati. È possibile scegliere di rimuovere le righe duplicate interamente uguali oppure selezionare alcuni campi e rimuovere le righe corrispondenti solo in base ai campi scelti. Ad esempio, in questo set di dati sono presenti righe duplicate in cui tutti i valori in alcune righe sono esattamente gli stessi di un'altra riga mentre altri sono uguali o diversi. | Riga | Name | Email | Età | Stato | Nota | | --- | --- | --- | --- | --- | --- | | 1 | Joy | joy@gmail | 33 | NY | | | 2 | Tim | tim@gmail | 45 | OH | | | 3 | Rose | rose@gmail | 23 | NJ | | | 4 | Tim | tim@gmail | 42 | OH | | | 5 | Rose | rose@gmail | 23 | NJ | | | 6 | Tim | tim@gmail | 42 | OH | Questa è una riga duplicata e corrisponde completamente in tutti i valori alla riga n. 4 | | 7 | Rose | rose@gmail | 23 | NJ | Questa è una riga duplicata e corrisponde completamente in tutti i valori alla riga n. 5 | Se scegli di abbinare righe intere, le righe 6 e 7 verranno rimosse dal set di dati. Il set di dati ora è: | Riga | Name | Email | Età | Stato | | --- | --- | --- | --- | --- | | 1 | Joy | joy@gmail | 33 | NY | | 2 | Tim | tim@gmail | 45 | OH | | 3 | Rose | rose@gmail | 23 | NJ | | 4 | Tim | tim@gmail | 42 | OH | | 5 | Rose | rose@gmail | 23 | NJ | Se hai scelto di specificare le chiavi, puoi scegliere di rimuovere le righe che corrispondono a "nome" ed "e-mail". In questo modo puoi esercitare un maggiore controllo su che cosa si intende per "riga duplicata" per il tuo set di dati. Specificando "nome" ed "e-mail", il set di dati ora è: | Riga | Name | Email | Età | Stato | | --- | --- | --- | --- | --- | | 1 | Joy | joy@gmail | 33 | NY | | 2 | Tim | tim@gmail | 45 | OH | | 3 | Rose | rose@gmail | 23 | NJ | Alcune cose da tenere a mente: + Affinché le righe vengano riconosciute come duplicate, i valori fanno distinzione tra maiuscole e minuscole. Tutti i valori nelle righe devono avere la stessa successione di maiuscole e minuscole. Questo vale per entrambe le opzioni scelte (Abbina righe intere o Specifica le chiavi). + Tutti i valori vengono letti come stringhe. + La trasformazione **Elimina duplicati** utilizza il comando dropDuplicates di Spark. + Quando si utilizza la trasformazione **Elimina duplicati**, la prima riga viene mantenuta e le altre righe vengono eliminate. + La trasformazione **Elimina duplicati** non modifica lo schema del dataframe. Se scegli di specificare le chiavi, tutti i campi vengono conservati nel dataframe risultante.