Implemente SHA1 el hash para los datos de PII al migrar de SQL Server a PostgreSQL

Revisar el código de SQL Server.

Para revisar el código de SQL Server que genera SHA1 hashes, haga lo siguiente:

Documentar el algoritmo de hash y las transformaciones de los datos.

Para documentar el algoritmo de hash exacto y las transformaciones de los datos, haga lo siguiente:

Crear la extensión pgcrypto.

Para crear la extensión pgcrypto, use pgAdmin/psql para ejecutar el siguiente comando:

CREATE EXTENSION pgcrypto;

Implementar una función de PostgreSQL.

Implemente la siguiente función de PostgreSQL para replicar la lógica de hash de SQL Server. En líneas generales, esta función utiliza los pasos siguientes:

CREATE OR REPLACE FUNCTION utility.hex_to_bigint ( 
     par_val character varying, 
     par_upper character varying DEFAULT 'lower'::character varying) 
RETURNS bigint 
LANGUAGE 'plpgsql' 
AS $BODY$ 
DECLARE 
    retnumber bigint; 
    digest_bytes bytea;
BEGIN 
    if lower(par_upper) = 'upper' 
    then 
        digest_bytes := digest(upper(par_val), 'sha1');
    else 
        digest_bytes := digest((par_val), 'sha1');
    end if; 
    retnumber := ('x' || encode(substring(digest_bytes, length(digest_bytes)-10+1), 'hex'))::bit(64)::bigint; 
    RETURN retnumber; 
END; 
$BODY$;

Pruebe la función.

Para probar la función, utilice datos de ejemplo de SQL Server para comprobar que los valores de hash coincidan. Use el siguiente comando:

select 'alejandro_rosalez@example.com' as Email, utility.hex_to_bigint('alejandro_rosalez@example.com','upper') as HashValue;

--OUTPUT
/*
email 	        hashvalue
"alejandro_rosalez@example.com"	451397011176045063
*/

Crear desencadenadores en las tablas pertinentes.

Para crear desencadenadores en las tablas pertinentes para generar automáticamente valores de hash al insertar o actualizar, ejecute el siguiente comando:

CREATE OR REPLACE FUNCTION update_email_hash() 
RETURNS TRIGGER 
AS $$ 
BEGIN 
    NEW.email_hash = utility.hex_to_bigint(NEW.email, 'upper'); 
    RETURN NEW; 
END; 
$$ LANGUAGE plpgsql;

CREATE TRIGGER email_hash_trigger BEFORE INSERT OR UPDATE ON users FOR EACH ROW EXECUTE FUNCTION update_email_hash();

Desarrolle o utilice un script de migración AWS DMS.

Desarrolle un script de migración o AWS DMS utilícelo para rellenar los valores hash de los datos existentes (incluidos los valores hash almacenados BIGINT en el sistema de origen). Realice los siguientes pasos:

Utilizar la nueva función de hash de PostgreSQL.

Para utilizar la nueva función de hash de PostgreSQL y garantizar la coherencia, haga lo siguiente:

Identificar las consultas de aplicaciones.

Para identificar las consultas de la aplicación que utilizan valores de hash, haga lo siguiente:

Modificar consultas.

Si es necesario, modifique las consultas para usar la nueva función de hash de PostgreSQL. Haga lo siguiente:

Hacer pruebas.

Para llevar a cabo pruebas exhaustivas con un subconjunto de datos de producción, haga lo siguiente:

Validar que los valores de hash coincidan.

Para validar que los valores de hash coincidan entre SQL Server y PostgreSQL, haga lo siguiente:

Verificar la funcionalidad de la aplicación.

Para verificar la funcionalidad de la aplicación mediante los datos migrados y la nueva implementación de hash, haga lo siguiente: