Один из наших клиентов занимается обслуживанием большой компьютерной сети. Для обеспечения работоспособности инфраструктуры необходимо осуществлять наблюдение текущих и прогнозируемых тенденций сетевой активности, анализировать потоки данных и предсказывать возможные проблемы.
Однако, даже при использовании стандартных статистических методов sFlow, информация, содержащаяся в первичном потоке данных, трудно идентифицируется и не может быть использована для анализа без предварительной обработки.
Перед нами была поставлена задача разработать масштабируемую систему для агрегации, обогащения и анализа больших потоков сетевых данных.