News
Elasticsearch permet la recherche de 4 To de données de logs par semaine à 400 Ingénieurs Criteo
juin 2016 par Coline Magne
Elastic, société à l’origine d’Elasticsearch, le moteur de recherche distribué en temps réel, a annoncé que Criteo a développé un nouvel outil interne de gestion des logs à l’aide de la suite Elastic (Elastic Stack), permettant ainsi à Criteo d’analyser entre 1 et 8 milliards de logs d’événements chaque semaine et de diagnostiquer les éventuels problèmes avant qu’ils ne surgissent, et ainsi maintenir une efficacité optimale au sein des datacenters.
Les logs d’événements sont des fichiers qui enregistrent les incidents survenant dans les serveurs ou au sein des applications. Pour chaque incident qui se produit, un log d’événement est créé afin de permettre aux administrateurs de résoudre les problèmes. La croissance ultra rapide de Criteo a mis en évidence un besoin de disposer d’un nouvel outil capable de prendre en charge des gros volumes de données et de déceler rapidement les problèmes de logs d’événements.
Elasticsearch a été choisi pour ses capacités de scalabilité horizontale sur des volumes de données colossaux, sa simplicité d’utilisation et de configuration pour les développeurs ainsi que sa compatibilité automatique avec Kibana pour des analyses en temps réel. Tout cela permet aux 400 ingénieurs de Criteo d’identifier les problèmes et erreurs du système pour les corriger sans délai.
