Menerapkan SHA1 hashing untuk data PII saat bermigrasi dari SQL Server ke PostgreSQL

Tinjau kode SQL Server.

Untuk meninjau kode SQL Server yang menghasilkan SHA1 hash, lakukan hal berikut:

Dokumentasikan algoritma hashing dan transformasi data.

Untuk mendokumentasikan algoritma hashing dan transformasi data yang tepat, lakukan hal berikut:

Buat pgcrypto ekstensi.

Untuk membuat pgcrypto ekstensi, gunakan pgAdmin/psql untuk menjalankan perintah berikut:

CREATE EXTENSION pgcrypto;

Menerapkan fungsi PostgreSQL.

Menerapkan fungsi PostgreSQL berikut untuk mereplikasi logika hashing SQL Server. Pada tingkat tinggi, fungsi ini menggunakan langkah-langkah berikut:

CREATE OR REPLACE FUNCTION utility.hex_to_bigint ( 
     par_val character varying, 
     par_upper character varying DEFAULT 'lower'::character varying) 
RETURNS bigint 
LANGUAGE 'plpgsql' 
AS $BODY$ 
DECLARE 
    retnumber bigint; 
    digest_bytes bytea;
BEGIN 
    if lower(par_upper) = 'upper' 
    then 
        digest_bytes := digest(upper(par_val), 'sha1');
    else 
        digest_bytes := digest((par_val), 'sha1');
    end if; 
    retnumber := ('x' || encode(substring(digest_bytes, length(digest_bytes)-10+1), 'hex'))::bit(64)::bigint; 
    RETURN retnumber; 
END; 
$BODY$;

Uji fungsinya.

Untuk menguji fungsi, gunakan data sampel dari SQL Server untuk memverifikasi nilai hash yang cocok. Jalankan perintah berikut:

select 'alejandro_rosalez@example.com' as Email, utility.hex_to_bigint('alejandro_rosalez@example.com','upper') as HashValue;

--OUTPUT
/*
email 	        hashvalue
"alejandro_rosalez@example.com"	451397011176045063
*/

Buat pemicu pada tabel yang relevan.

Untuk membuat pemicu pada tabel yang relevan untuk secara otomatis menghasilkan nilai hash pada insert atau update, jalankan perintah berikut:

CREATE OR REPLACE FUNCTION update_email_hash() 
RETURNS TRIGGER 
AS $$ 
BEGIN 
    NEW.email_hash = utility.hex_to_bigint(NEW.email, 'upper'); 
    RETURN NEW; 
END; 
$$ LANGUAGE plpgsql;

CREATE TRIGGER email_hash_trigger BEFORE INSERT OR UPDATE ON users FOR EACH ROW EXECUTE FUNCTION update_email_hash();

Kembangkan skrip migrasi atau gunakan AWS DMS.

Kembangkan skrip migrasi atau gunakan AWS DMS untuk mengisi nilai hash untuk data yang ada (termasuk nilai hash yang disimpan seperti BIGINT dalam sistem sumber.) Lakukan hal-hal berikut:

Gunakan fungsi hashing PostgreSQL yang baru.

Untuk menggunakan fungsi hashing PostgreSQL baru untuk memastikan konsistensi, lakukan hal berikut:

Identifikasi kueri aplikasi.

Untuk mengidentifikasi kueri aplikasi yang menggunakan nilai hash, lakukan hal berikut:

Ubah kueri.

Jika perlu, ubah kueri untuk menggunakan fungsi hashing PostgreSQL yang baru. Lakukan hal-hal berikut:

Lakukan pengujian.

Untuk melakukan pengujian menyeluruh dengan subset data produksi, lakukan hal berikut:

Validasi bahwa nilai hash cocok.

Untuk memvalidasi bahwa nilai hash cocok antara SQL Server dan PostgreSQL, lakukan hal berikut:

Verifikasi fungsionalitas aplikasi.

Untuk memverifikasi fungsionalitas aplikasi dengan menggunakan data yang dimigrasi dan implementasi hashing baru, lakukan hal berikut: