Databricks impulsa la ingestión de datos IoT en tiempo real con Zerobus y lanza Lakeflow Designer sin código

La plataforma refuerza su propuesta para ingeniería de datos con herramientas visuales asistidas por IA y soporte para eventos IoT, telemetría y flujos masivos de datos.

Databricks, la empresa especializada en datos e inteligencia artificial, ha anunciado el próximo lanzamiento en fase de vista previa de Lakeflow Designer, una nueva funcionalidad sin código para la creación de pipelines ETL. Esta herramienta está pensada para usuarios no técnicos, que podrán diseñar flujos de datos de producción mediante una interfaz visual de arrastrar y soltar, asistida por un sistema de IA generativa en lenguaje natural.

Lakeflow Designer se apoya en Lakeflow, la solución unificada para ingeniería de datos que ya se encuentra disponible de forma general. Esta plataforma permite crear flujos de datos fiables a gran escala, integrando capacidades de ingestión, transformación y orquestación.

Según Ali Ghodsi, cofundador y CEO de Databricks, “las organizaciones enfrentan una gran presión para escalar sus esfuerzos en inteligencia artificial. Obtener datos de calidad en los lugares correctos acelera la construcción de aplicaciones inteligentes. Lakeflow Designer permite que más personas dentro de una organización puedan generar pipelines de producción, acortando el camino de la idea al impacto”.

Democratización del desarrollo de pipelines

Con Lakeflow Designer, los analistas de negocio ganan autonomía para construir pipelines ETL sin necesidad de programar. La herramienta ofrece una experiencia visual que garantiza la misma escalabilidad, gobernanza y mantenibilidad que los flujos desarrollados por equipos de ingeniería de datos. Esta unificación elimina la tradicional división entre herramientas sin código y aquellas basadas en código, reduciendo la complejidad en entornos empresariales.

La nueva solución se integra con Unity Catalog, el catálogo unificado de gobernanza de datos, y con Databricks Assistant, el asistente conversacional basado en IA, lo que refuerza su capacidad para guiar a los usuarios en la preparación de datos con lenguaje natural.

Novedades clave del ecosistema Lakeflow

Además del anuncio de Lakeflow Designer, Databricks ha comunicado varias actualizaciones en su ecosistema de ingeniería de datos:

- Disponibilidad general de Lakeflow: la solución unificada para ingeniería de datos permite a los ingenieros construir pipelines de producción de extremo a extremo en SQL o Python, sin necesidad de gestionar infraestructura.

- Nuevo entorno de desarrollo integrado (IDE): ofrece una experiencia optimizada para la codificación, depuración y validación de flujos, asistida por IA, que mejora la eficiencia del desarrollo.

- Conectores de ingestión ampliados: se incorporan nuevos conectores de uso sencillo para fuentes como Google Analytics, ServiceNow, SQL Server, SharePoint, PostgreSQL y SFTP, que se suman a los ya disponibles para Salesforce y Workday.

- Zerobus para escritura directa en Unity Catalog: permite transmitir grandes volúmenes de datos de eventos con baja latencia directamente al lakehouse, sin necesidad de infraestructura intermedia. Es ideal para aplicaciones IoT, clickstream, telemetría y casos de uso basados en eventos.

Testimonios de clientes

Empresas como Rolls-Royce, Porsche Holding Salzburg y Joby Aviation ya están utilizando Lakeflow para mejorar su eficiencia operativa y acelerar la obtención de valor a partir de los datos.

Chris Sharratt, ingeniero de datos en Rolls-Royce, destacó que “el nuevo editor reúne todo en un solo lugar: código, gráfico del pipeline, resultados, configuración y resolución de errores. El desarrollo se siente más enfocado y eficiente”.

Por su parte, Lucas Salzburger, de Porsche Holding, señaló que “el conector para Salesforce nos permite cerrar una brecha clave desde el lado del negocio, y crear una nueva experiencia de cliente unificada que refuerza la relación con la marca”.

En el ámbito industrial, Dominik Müller, de Joby Aviation, subrayó que el uso de Zerobus les permite “transmitir gigabytes de datos por minuto desde sus agentes de fabricación al lakehouse, acelerando el tiempo hasta obtener insights”.

Disponibilidad

Durante el evento Data + AI Summit, Databricks ha anunciado la disponibilidad general de Lakeflow y el inicio de la fase de vista previa pública para su nuevo IDE. Los nuevos conectores de ingestión estarán disponibles en distintas fases de lanzamiento, mientras que Zerobus entra en fase de vista previa privada. Lakeflow Designer se incorporará próximamente a esta última etapa. (Databricks)