Selon le rapport Worldwide Global DataSphere IoT Device and Data Forecast, 2021–2025 d’IDC, les volumes de données en mouvement (data-in-motion) devraient connaître une croissance exponentielle, jusqu’à 79 ZB, dans tous les secteurs. De nombreuses entreprises exploitent déjà Apache NiFi pour capturer et traiter des données dans des architectures cloud hybride en concevant visuellement des flux de données sans code. Si le cloud offre un moyen facile de traiter ou de stocker des volumes massifs, de nombreux défis doivent être relevés. Le déploiement de dizaines de flux de données sophistiqués dans un seul cluster peut entraîner des difficultés opérationnelles et de surveillance. En effet, lorsque plusieurs flux NiFi se disputent les mêmes ressources, cela peut entraîner des problèmes de performance. Les responsables IT ont donc tendance à choisir de plus grandes infrastructures par prudence, ce qui entraîne une sous-utilisation et des coûts élevés. Enfin, les entreprises souhaitent un modèle “pay-as-you-go” pour éviter de payer pour des ressources non utilisées.

CDF pour le cloud public est un puissant service cloud-natif pour NiFi sur Kubernetes qui offre des fonctionnalités opérationnelles et de contrôle clés, répondant aux problématiques mentionnées ci-dessus. Ces fonctionnalités, rarement disponibles dans les services de flux de données de base, incluent :

• Catalogue de flux central pour la gestion, la découverte et le contrôle de version.
• Tableau de bord central pour la surveillance, le dépannage et le réglage des performances des flux de données sur plusieurs clusters de cloud.
• Assistant de déploiement simple et API robustes pour la scalabilité automatique des flux sur Kubernetes géré par CDP.
• Flux préconstruits appelés "ReadyFlows" pour certains des cas d’utilisation courants du streaming.

– Disponibilité
Cloudera DataFlow pour le cloud public est désormais disponible sur AWS.