2010 2011 2012 2013 2014 2015 2016 2017 2018 2019
Генеральный
партнёр


Все на CodeFest X →

Десятый. Юбилейный. 30–31 марта 2019

Аналитика над петабайтами в реальном времени

С ростом объема данных на важное место выходит способность быстро делать выводы по наиболее поздним событиям и глубоко исследовать исторические. Наша компания предоставляет клиентам возможность присылать петабайты данных в месяц, модифицировать (фильтровать, дополнять, джойнить) в реальном времени и строить к сохраненным данным сложные произвольные запросы, подавляющая часть которых исполняется в пределах секунд. Все это — экономически эффективным образом.

Я расскажу, как построить такой технологический стек, используя открытые технологии: Kafka, Hadoop, Storm/Samza и Druid; какие технологии можно рассмотреть в качестве альтернативы; с какими трудностями пришлось столкнуться и какие планируются направления дальнейшего развития.

Доклад покроет темы:
  • Lambda-архитектура: обработка одних и тех же данных в потоковом и пакетном режимах;
  • метрики производительности и их анализ;
  • multitenancy и изоляция различных задач;
  • восстановление после сбоев;
  • автоскейлинг и тонкая настройка;
  • быстрые запросы к хранилищу данных.


Презентация доклада:

 

Запись выступления:



Партнёры