Les entreprises peuvent prendre des décisions plus vite grâce aux possibilités de partage rapide des données de grande qualité entre leurs équipes, avec leurs clients et leurs partenaires. Mais cela reste une gageure pour les organisations disposant d’une infrastructure open source hautement distribuée, à l’image de Apache Kafka. Selon la récente étude 2023 Data Streaming Report de Confluent, 72% des responsables informatiques pointent l’usage disparate des méthodes d’intégration et des normes comme une difficulté ou un obstacle majeur pour leur infrastructure de streaming de données. Justement, l’annonce de ce jour répond directement à ces problématiques grâce à un lot de fonctionnalités inédites.

La fonctionnalité Data Quality Rules renforce la suite de gouvernance de Confluent afin d’optimiser la fiabilité des données
Les Data contracts sont des accords formels entre des composants situés en amont (upstream) et en aval (downstream) autour de la structure et de la sémantique des données en mouvement. Les règles ou politiques constituent un composant critique permettant d’appliquer les contrats de données ; les flux de données sont ainsi toujours de grande qualité, consommables et capables de s’adapter à l’évolution ultérieure des schémas.
Afin de répondre au besoin de contrats de données plus exhaustifs, Data Quality Rules de Confluent, nouvelle fonctionnalité de Stream Governance, permet aux organisations de fournir des flux de données fiables et de grande qualité. Comment ? A l’aide de règles personnalisables qui garantissent l’intégrité et la compatibilité des données. Grâce à Data Quality Rules, les schémas conservés dans le registre dédié (Schema Registry) peuvent désormais être enrichis de plusieurs types de règles, permettant ainsi aux équipes d’y gagner puisqu’elles peuvent :
• Assurer un niveau d’intégrité des données élevé en validant et en limitant les valeurs de champs individuels au sein d’un flux de données.
• Résoudre rapidement les problèmes de qualité des données à l’aide d’actions de suivi concernant les messages incompatibles.
• Simplifier l’évolution des schémas à l’aide de règles de migration afin de transformer le format de données des messages.

Les Custom Connectors permettent aux connecteurs Kafka de fonctionner avec Confluent Cloud sans gestion de l’infrastructure
Un grand nombre d’organisations disposent d’architectures de données uniques qui leur imposent de concevoir des connecteurs sur mesure afin d’intégrer à Apache Kafka leurs systèmes de données maison et leurs applications personnalisées. Or ces connecteurs sur mesure doivent ensuite être gérés par leurs soins, ce qui nécessite diverses opérations manuelles – provisionnement, mise à niveau et supervision – toutes très chronophages. Autant de temps et de ressources perdues au détriment d’activités bien plus critiques. En étoffant l’écosystème de connecteurs Confluent, les Custom Connectors offrent aux équipes les atouts suivants :
• Capacités de connexion rapide avec tout système de données à l’aide des plug-in Kafka Connect personnels de l’entreprise, sans nécessiter de modification du code.
• Disponibilité et performances élevées grâce aux journaux (logs) et aux métriques permettant de surveiller l’état des connecteurs de l’équipe.
• Allègement de la pénibilité induite par le provisionnement et la gestion permanente d’une infrastructure de connecteurs de faible niveau.

Les nouveaux Custom Connectors de Confluent sont accessibles via AWS (leur disponibilité varie d’une région du monde à l’autre). La prise en charge dans les autres régions et par d’autres plateformes sera par la suite étendue.
Stream Sharing facilite le partage de données avec une sécurité de niveau entreprise
Aucune organisation ne fonctionne sans interaction avec l’extérieur. Dans le cas des acteurs spécialisés dans la gestion des stocks, les livraisons et les transactions financières, l’échange de données en temps réel est permanent, tant en interne qu’en externe : les données circulent via leur écosystème pour prendre des décisions éclairées, offrir des expériences fluides à leurs clients et améliorer leurs processus. Aujourd’hui, un grand nombre d’organisations s’appuient toujours sur la transmission de fichiers plats ou sur l’interrogation d’interfaces de programmation (API) pour l’échange de données. Cela se traduit par des retards au niveau des données, des risques pour la sécurité et une complexité accrue en termes d’intégration. La fonctionnalité Stream Sharing de Confluent représente la meilleure solution – et la plus sûre – pour partager des données. Grâce à elle, les équipes y gagnent là encore :
• Echange facilité de données en temps réel sans retard directement entre Confluent et tout client Kafka.
• Partage sécurisé et protection des données à l’aide de processus d’authentification robustes, de gestion des accès et de chiffrement à plusieurs facteurs.
• Garantie de la qualité et de la compatibilité des données partagées en appliquant des schémas homogènes au sein des utilisateurs, équipes et organisations.