Snowflake annonce la disponibilité de connecteurs pour Apache Kafka et Azure Data Factory
novembre 2019 par Patrick LEBRETON
Ces connecteurs facilitent l’acquisition des données et la mise en place de data pipeline depuis Apache Kafka et Azure Data Factory de Microsoft.
Snowflake annonce la disponibilité de connecteurs pour les services d’intégration de données Apache Kafka et Microsoft Azure Data Factory (ADF). Ces connecteurs facilitent l’intégration de données depuis plusieurs sources. Voici les avantages que représentent ces deux connecteurs :
Kafka Connector — La disponibilité du connecteur Apache Kafka pour la solution de datawarehouse dans le cloud de Snowflake facilite la mise en place de data pipeline pour la collecte, la transmission et l’acheminement de données vers Snowflake via Kafka. Disponible depuis le repository Maven et peut être installé sur un cluster Kafka Connect. Les instances du connecteur peuvent être créées par le biais d’une simple configuration JSON ou via Confluent. Une fois configuré pour un ensemble de sujets, le connecteur crée et gère automatiquement le staging, les pipelines et les fichiers pour ingérer de façon fiable les données dans Snowflake.
Microsoft Azure Data Factory Connector — Ce connecteur est une fonction Azure qui permet au service d’ETL d’Azure de se connecter à Snowflake de manière flexible. Il apporte des fonctionnalités de procédure système SQL avec des paramètres dynamiques et des valeurs de retour. En utilisant le connecteur ADF, les entreprises peuvent construire une solution complète d’entrepôt de données de bout en bout dans Snowflake tout en suivant les best practices Microsoft et Azure concernant la portabilité et la sécurité. Le connecteur Snowflake pour ADF ainsi que sa documentation sont disponibles depuis le repository GitHub.
Ces deux nouveaux connecteurs viennent renforcer les capacités d’intégration de données de Snowflake ainsi que son intéropérabilité. Ils donnent aux entreprises les capacités de puiser plus facilement dans diverses sources de données.