La comunidad de Apache Iceberg ha implementado recientemente un cambio en la especificación del catálogo REST, introduciendo un estándar para la gestión neutral de motores en el manejo de enmascaramiento de columnas y filtrado de filas. Este avance aborda una carencia estructural en los formatos de tablas abiertas en relación con la gobernanza de datos.
En las bases de datos tradicionales, el control de acceso es directo porque existe un único servidor que controla las solicitudes. Apache Iceberg, diseñado para ser rápido e interoperable, almacena los datos en archivos Parquet en almacenamiento de objetos. Esto permite que cualquier motor lea esos archivos directamente, convirtiendo la accesibilidad total en un desafío al no poder establecer controles detallados de acceso, como el enmascaramiento de columnas específicas o el filtrado por filas basadas en criterios particulares.
Con la introducción del campo «read-restrictions» en la especificación del catálogo REST, se pretende estandarizar este vocabulario, permitiendo a un motor obtener una respuesta que ahora incluye un objeto opcional con restricciones de lectura, como el filtrado de filas y proyecciones de columnas. Estas modificaciones garantizan un control más detallado sin necesidad de medidas adicionales o proxies de proveedores específicos, reforzando la apertura del sistema a cualquier motor.
Para los lectores confiables, las restricciones de lectura se expresan a través de un conjunto cerrado de acciones de enmascaramiento. Estas acciones, pensadas para generar consistencia entre diferentes motores como Spark, Trino y PyIceberg, incluyen métodos para preservar la estructura original, ocultar valores o reducir la precisión de la información. Destacan acciones como el enmascaramiento alfanumérico, mostrador de los primeros o últimos cuatro dígitos, reemplazo por valores fijos, truncamiento a fechas anuales o mensuales, y funciones hash deterministas para asegurar consistencia interna sin revelar datos sensibles.
Un aspecto crítico de la especificación es su diseño «fail-closed». Si un lector confiable no puede aplicar alguna de las restricciones devueltas, está obligado a fallar la consulta, garantizando que ningún dato se retorne en estado bruto, parcial o vacío sin las debidas transformaciones. Esta norma asegura que futuras versiones puedan ampliar el vocabulario sin riesgo de dejar vulnerabilidades.
Aún existen áreas por desarrollar, como una implementación completa de expresiones Iceberg para expandir el vocabulario de acciones y una definición estandarizada de políticas de acceso. Sin embargo, este cambio representa un paso esencial para mejorar el control de acceso detallado en entornos abiertos, promoviendo una mayor interoperabilidad entre diversos motores y plataformas.
Este avance en la especificación ha sido bien recibido en la comunidad de Apache Iceberg, con un fuerte respaldo que refleja el consenso entre múltiples compañías y comunidades de código abierto involucradas en el proyecto. La implementación en los motores y catálogos existentes está en marcha, consolidando un anhelo largamente esperado por el ecosistema: la aplicación consistente e independiente del motor de políticas detalladas.
vÃa: Google Blog Open Source
