Fundamental para la conservación de productos de datos, las nuevas capacidades de metadatos y esquemas reducen el tiempo de descubrimiento de horas a segundos.
En AWS re:Invent, Starburst, la compañía de análisis en cualquier lugar, ha anunciado el lanzamiento de las capacidades fundamentales de Productos de Datos para su servicio gestionado, Starburst Galaxy. Las nuevas capacidades de descubrimiento de datos y esquemas y los privilegios de datos simplifican y agilizan el proceso tradicional de Extracción, Transformación y Carga (ETL) para la curación de Productos de Datos, acelerando la consulta de datos, el acceso y la analítica en toda la organización. Las funciones básicas de los productos de datos ya están disponibles en vista previa pública.
Los volúmenes de datos y su uso se están disparando en todos los sectores. Se espera que los dispositivos IoT conectados generen casi 80B zettabytes (ZB) de datos para 2025 y las organizaciones están heredando datos a través de las fusiones y adquisiciones y de las nuevas aplicaciones desarrolladas a un ritmo rápido. Independientemente de la intención, casi todas las empresas modernas son o serán multi-nube como resultado.
Aunque los lagos de datos y los almacenes de datos han sido eficaces para resolver muchos retos de gestión de datos, la multi-nube se está convirtiendo en la realidad de todos y el uso de los datos sigue explotando. A su vez, estos lagos y almacenes de datos pueden convertirse rápidamente en pantanos de datos - turbios o desordenados con datos desorganizados que presentan desafíos significativos en torno a la accesibilidad y la capacidad de aprovechar los datos para obtener información procesable. Estas nuevas funciones de descubrimiento, que se ofrecen como un servicio gestionado a través de Starburst Galaxy, abordan estos retos, reduciendo el tiempo de descubrimiento de horas a segundos y sentando las bases para la curación de productos de datos de autoservicio, independientemente de los conocimientos técnicos. Las nuevas funciones son las siguientes:
- El explorador de catálogos permite a los usuarios de datos buscar y comprender fácilmente qué datos tienen, dónde viven y de dónde proceden. Los metadatos se rellenan automáticamente con el historial de consultas y el contexto, proporcionando información clave sobre el uso de los datos.
- El descubrimiento de esquemas va un paso más allá al permitir el descubrimiento no sólo de los conjuntos de datos existentes en las fuentes y nubes, sino también de los nuevos conjuntos de datos netos, independientemente de su forma. Esto elimina la "Transformación" de la "ELT", apoyando un proceso más simplificado en el que los ingenieros de datos que cargan datos no necesitan considerar los esquemas de antemano.
- El control de acceso granular permite a los administradores de datos ver y comprender claramente quién tiene acceso a qué datos, y cómo se están utilizando, en el contexto de los propios datos. Esto significa que los administradores de datos pueden supervisar y cambiar los permisos a través de la política como código para garantizar la seguridad y la reducción de riesgos dentro de una tubería de integración continua / entrega continua / despliegue continuo (CI/CD).
"Los volúmenes de datos están creciendo exponencialmente y, al mismo tiempo, se están distribuyendo más, lo que hace que la búsqueda, gestión y conservación de conjuntos de datos sea un proceso que consume mucho tiempo y recursos", dijo Justin Borgman, Presidente y CEO de Starburst. "Las nuevas capacidades de descubrimiento en Starburst Galaxy permiten a las organizaciones encontrar y comprender los datos antes de consultarlos, sentando las bases para la curación de productos de datos al agilizar el descubrimiento de datos y acelerar los procesos de ELT. Al permitir que las organizaciones descubran de forma más eficiente los conjuntos de datos adecuados, Starburst Galaxy está ayudando a reducir los costes a la vez que obtiene más valor de sus datos."
Esta actualización de Data Products para Starburst Galaxy llega poco después de que Starburst anunciara la mejora de la funcionalidad de Data Products para su producto estrella, Starburst Enterprise. También llega tras un gran año para el producto SaaS de Starburst, en el que ha mejorado sus capacidades de análisis de datos distribuidos y, menos de un año después de su introducción, ha cerrado su primer acuerdo con un cliente de siete cifras. Aunque permitir a los productores y consumidores de datos crear, publicar, descubrir y gestionar productos de datos curados es fundamental para el emergente paradigma de la malla de datos, centrado en la descentralización y el autoservicio, Starburst se mantiene firme en su compromiso de hacer realidad la visión de la malla de datos.
(Starburst)
