En la evolución del almacenamiento de datos empresariales, el concepto original de los «data lakes» prometía un único hogar universal para todos los datos de una organización, sin importar si eran bases de datos estructuradas, documentos de texto sin procesar, grabaciones de audio o imágenes de alta resolución. Todo tenía un lugar en el almacenamiento de objetos. Sin embargo, a medida que estos lagos de datos crecieron desmesuradamente, perdiendo garantías transaccionales y consistencia, surgió la necesidad de evolucionar hacia el concepto de «lakehouse».
Con la aparición de formatos de tabla abiertos como Apache Iceberg, que introdujeron el rigor de los almacenes de datos con transacciones ACID, aislamiento de instantáneas y evolución de particiones, el desorden se organizó. Sin embargo, en nuestro afán colectivo por construir la «casa», dejamos atrás al «lago».
El interés por procesar datos no estructurados directamente en el lakehouse ha crecido con rapidez, en gran parte debido al auge de los modelos de lenguaje multimodal (LLM). Estos modelos permiten que almacenes de datos y lakehouses modernos analicen entradas no estructuradas, como imágenes sin procesar, audio y documentos, de manera similar a como se maneja la información estructurada, sin la necesidad de complejas canalizaciones de aprendizaje automático.
Tradicionalmente, las plataformas referenciaban activos no estructurados externos almacenando simples rutas de cadena de texto en columnas tabulares. Este método, aunque sencillo, presentaba desafíos operacionales, como la falta de metadatos de archivos en la tabla, el comportamiento inconsistente de los motores y la incapacidad para detectar cambios.
La comunidad de Apache Iceberg ha dado un paso significativo hacia la reunificación de los mundos estructurados y no estructurados al integrar el nuevo tipo de datos FILE en su especificación. Este tipo FILE, que se espera que forme parte de Iceberg v4, aborda los cuellos de botella operativos al almacenar metadatos esenciales del archivo junto con la referencia en cada valor.
El FILE tipo resuelve estos desafíos al almacenar una referencia estructurada que contiene atributos estándar como uri, offset, size, content_type, checksum y cargas útiles en línea. Esto permite que los motores de consulta manejen de manera consistente los desafíos comunes de gestión de archivos, optimizando los costos de obtención de metadatos y detectando cambios con comprobaciones de integridad.
Un ejemplo práctico del FILE tipo es su aplicación en el procesamiento de inteligencia artificial multimodal. Anteriormente, las tablas apuntaban a archivos no estructurados con rutas de cadena simples, y toda la información necesaria sobre un archivo estaba dispersa en diferentes tablas o únicamente en el almacenamiento de objetos. Gracias a este nuevo enfoque, se integra toda la información necesaria dentro de la misma tabla transaccional, transformando la inteligencia artificial multimodal de un problema de coordinación de múltiples sistemas en una consulta analítica estándar.
La integración del tipo FILE en la especificación de Apache Iceberg representa un avance crucial para las arquitecturas de «lakehouse» abiertas. En lugar de forzar a las organizaciones a depender de envolturas propietarias o sistemas de almacenamiento fragmentados, Iceberg establece un estándar abierto y portátil. Mientras la inteligencia artificial multimodal se convierte en parte integral de las flujos de trabajo empresariales, la estandarización del tipo FILE garantiza que el «lakehouse» abierto siga siendo la base definitiva, neutra en cuanto a proveedores, para los datos estructurados y no estructurados por igual.
vÃa: Google Blog Open Source








