Hace unas semanas, un nuevo destino fue puesto a disposición por Fivetran para los datos extraídos: estamos hablando de Microsoft OneLake. Se trata del segundo destino para Microsoft, después de que el pasado mes de septiembre se anunciara Delta Lake en Azure Data Lake Storage (ADLS Gen2). Gracias a la extracción de datos automatizada, la limpieza, el cumplimiento y la conversión de datos al formato Delta Lake que proporciona Fivetran, los usuarios podrán avanzar más rápido mientras construyen la base para iniciativas empresariales como proyectos de inteligencia artificial (IA) o aprendizaje automático (ML). Los datos estructurados, gobernados y listos para consulta son esenciales para que los analistas y científicos de datos realicen análisis de alto valor.
Pero, ¿qué es Microsoft OneLake?
Microsoft OneLake es un data lake, es decir, un repositorio de datos que permite almacenar grandes cantidades de información en una ubicación centralizada para toda la empresa. Al igual que OneDrive, OneLake viene automáticamente con cada tenant de Microsoft Fabric y está diseñado para ser la ubicación única de todos los datos de análisis. Se puede crear cualquier número de espacios de trabajo dentro de un tenant; los espacios de trabajo permiten a los distintos equipos de la organización distribuir la propiedad y las políticas de acceso.
Microsoft OneLake admite múltiples motores analíticos (por ejemplo, T-SQL, Spark, Analysis Services) y cualquier tipo de archivo, estructurado o no estructurado. Todos los elementos de datos en Fabric, por ejemplo, data warehouse y lakehouse, almacenan automáticamente los datos en OneLake en formato Delta Parquet. Así, si un ingeniero de datos carga datos en un lakehouse utilizando Spark o un desarrollador SQL utiliza T-SQL para cargar datos en un almacén de datos totalmente transaccional, ambos contribuirán al mismo data lake.
¿Por qué es tan importante el nuevo destino Microsoft OneLake de Fivetran?
OneLake es una solución que no requiere aprovisionamiento ni configuración y ofrece a los clientes un fácil acceso a sus datos a través de un explorador de archivos, similar a Microsoft OneDrive para archivos. Con Fivetran, los clientes pueden transferir datos directamente a su espacio de trabajo OneLake desde cualquier fuente de Fivetran sin necesidad de comandos SQL ni configuración personalizada. Una vez que los datos están en OneLake, las organizaciones pueden definir áreas filtradas para que los usuarios definan y controlen el acceso. Las organizaciones orientadas a los datos se enfrentan a retos cuando necesitan consolidar datos de distintas fuentes. Cada fuente requiere un pipeline para aterrizar los datos en el destino elegido. Crear y mantener estas canalizaciones es un proceso que lleva mucho tiempo, ya que muchas fuentes tienen requisitos únicos asociados a actualizaciones de API y esquemas en evolución que a menudo rompen la conexión. Al utilizar Fivetran para ingerir datos en OneLake o Delta Lake en Azure Data Lake, esta carga se reduce y se proporciona una estructura de lago que permite el análisis tan pronto como los datos aterrizan.
La clave de este proceso es la conversión automática al formato Delta Lake. Independientemente del formato inicial de los datos, Delta Lake ofrece una mayor fiabilidad, escalabilidad y rendimiento para el lago. Los equipos de analistas pueden consultar y manipular los datos de forma eficaz con Python o SQL. La conversión de Fivetran al formato Delta Lake ofrece una solución llave en mano que permite a los clientes avanzar lo más rápido posible para explotar el valor de sus datos a través del análisis y la IA.
Conclusión
Fivetran proporciona la flexibilidad y la escalabilidad necesarias para que las organizaciones creen la base lakehouse necesaria para obtener el máximo valor de los datos generados a partir de fuentes locales o basadas en la nube o de terceros. Tanto si una organización tiene un entorno híbrido o multicloud, Fivetran permite la entrega de grandes volúmenes de información con alta fiabilidad y prácticas de cifrado de datos estándar del sector, con cumplimiento de GDPR, ISO 27001 y SOC 2 Tipo II. Con la integración de más de 400 conectores y la conversión automática al formato Delta Lake, Fivetran permite obtener el máximo valor en la adopción de una arquitectura basada en un data lake.
Lee todos nuestros artículos sobre Tableau
¿Quieres conocer las últimas novedades o profundizar en algunas características para convertirte en un experto?
Visualitics Team
Este artículo ha sido escrito y editado por uno de nuestros consultores
Compártelo ahora en tus redes sociales o por correo electrónico:
