Elasticsearch: второй шанс на метриках

Про Elasticsearch как поисковый движок можно долго спорить. А вот с метриками всё оказалось неожиданно интереснее.

В докладе я расскажу о нашем опыте использования TimeSeries DataStreams (TSDS) под нагрузкой более миллиона документов в секунду на вставку.

Разберем, как устроены TSDS, что Elasticsearch сегодня предлагает для хранения и поиска метрик и где под капотом появляется Apache Lucene.

Основная часть — про практику: проблемы и ограничения, которые проявились на реальных объемах, способы их обхода и доработки самого Elasticsearch.

Отдельно поговорим про downsampling. Штатная реализация оказалась слишком медленной для наших данных, поэтому пришлось спуститься до Lucene API и существенно ее переработать. Часть изменений в итоге попала в upstream Elasticsearch и уже вышла в релизе 9.5.0.

А в конце попробуем понять, насколько Elasticsearch действительно хорош как хранилище метрик и что в нем всё еще можно было бы сделать лучше.