Я расскажу, как построить такой технологический стек, используя открытые технологии: Kafka, Hadoop, Storm/Samza и Druid; какие технологии можно рассмотреть в качестве альтернативы; с какими трудностями пришлось столкнуться и какие планируются направления дальнейшего развития.
Доклад покроет темы:
- Lambda-архитектура: обработка одних и тех же данных в потоковом и пакетном режимах;
- метрики производительности и их анализ;
- multitenancy и изоляция различных задач;
- восстановление после сбоев;
- автоскейлинг и тонкая настройка;
- быстрые запросы к хранилищу данных.
Презентация доклада:
Запись выступления: