Apache Spark peut être utilisé dans diverses applications de traitement de données, notamment l’analyse prédictive, l’entreposage de données, la préparation des données d’apprentissage automatique et l’ETL (extract-transform-load).
Charmed Spark est la première version de la future suite Canonical Data Fabric de solutions de traitement de données pour tous types de données. Les clients achètent un support d’entreprise 24 heures sur 24, 7 jours sur 7 ou en semaine, par nœud, dans le cadre du plan Ubuntu Pro + Support, qui couvre toutes les applications de la suite ainsi que les solutions supplémentaires pour l’IA proposées par Canonical, notamment Charmed Kubeflow et Charmed MLFlow.

Charmed Spark est conçu pour exécuter Spark sur Kubernetes, ce qui apporte une portabilité cloud native à travers les clouds et les centres de données sur site. Charmed Spark prend en charge Apache Spark 3 avec son intégration Python améliorée et un ensemble de fonctionnalités Spark-SQL encore plus riche.

Le SDK Python spark8t et l’outil de ligne de commande inclus simplifient le travail avec Spark sur Kubernetes, et peuvent être installés de manière pratique via le Snap spark-client fourni ou en tant que package Python. L’image de conteneur Spark, Spark container image, construite sur Ubuntu 22.04 LTS, offre un runtime prêt à l’emploi pour créer des applications Spark qui s’exécutent sur des clusters Kubernetes.

L’opérateur spark-history-server-k8s permet aux administrateurs de déployer, configurer et exploiter rapidement le serveur Spark History sur un cluster Kubernetes à l’aide de Juju - le moteur d’orchestration open source de Canonical - directement ou avec Terraform.
L’image Charmed Spark OCI, disponible sur Github, est incluse dans la solution. L’ensemble de la solution est soutenu par le support Ubuntu Pro entreprise et l’abonnement à la maintenance de sécurité, avec jusqu’à 10 ans de support disponible pour la version.