Mistral 7B est un modèle à 7,3 milliards de paramètres qui affiche des résultats impressionnants lors des évaluations des performances. Le modèle :
• Obtient de meilleurs résultats que Llama 2 13B dans toutes les évaluations
• Obtient de meilleurs résultats que Llama 1 34B dans toutes les évaluations,
• Parvient à des performances presque identiques à celles de CodeLlama 7B en ce qui concerne le code, tout en restant performant dans les tâches liées à l’anglais et la version plus avancée du chat que nous avons déployée donne de meilleurs résultats que celui de Llama 2 13B dans les évaluations fournies par Mistral.

Mistral met à profit l’attention par requête groupée pour accélérer l’inférence. Cette technique récemment développée améliore la vitesse d’inférence sans compromettre la qualité du résultat. Pour des modèles à 7 milliards de paramètres, il est possible de générer près de quatre fois plus de jetons par seconde avec Mistral qu’avec Llama, grâce à l’attention par requête groupée.

S’agissant d’un des premiers grands modèles de langage à exploiter l’attention par requête groupée et à la combiner avec l’attention à fenêtre coulissante, Mistral semble avoir atteint un idéal : un modèle à faible latence, avec un haut débit et qui obtient un très bon classement dans les évaluations comparatives, même en face de modèles plus importants.

Qu’est-ce que Workers AI de Cloudflare ?
Workers AI est la plateforme d’inférence IA as a service permettant aux développeurs d’exécuter des modèles d’IA en seulement quelques lignes de code. Publique, accessible et serverless, cette solution axée sur la confidentialité présente l’avantage de fonctionner à proximité des utilisateurs, bénéficie d’une facturation à l’utilisation et a été conçue dès le départ pour proposer la meilleure expérience qui soit aux développeurs.

Mistral-7B sur Workers AI, peut être testé dès aujourd’hui ai.cloudflare.com.