ClickHouse

Технология для хранилищ данных.

Колоночная аналитическая NOSQL СУБД с открытым кодом, позволяющая выполнять аналитические запросы (OLAP) в режиме реального времени на структурированных больших данных Big Data.

Критерии выбора.

Зачем

• аналитическая отчетность по большим данным в режиме реального времени
• real time мониторинг бизнес-метрик
• Визуализация
  • Cloud
    • Yandex DataLens
  • On Premise
    • Grafana Plugin

Функции

• Управление CLICKHOUSE KEEPER
• GUI Интерфейсы для написания запросов
  • DBeaver
  • Grafana
  • DataGrip
• Сжатие и опции партиционирования данных

Плюсы-минусы

Плюсы:

• Мало места под хранение (сжатие)
• РФ
• Горизонтальное масштабирование и репликация из коробки, хоть это и требует больше усилий по сравнению с Elasticsearch
• Улучшенное планирование запросов и более высокая общая производительность
• Поддержка диалекта SQL
• Поддержка поиска регулярных выражений Regex вместо поиска полного текста
• авто очистка (retention) данных по TTL

Минусы:

• Сложность транзакций
• Под OLAP нагрузку - аналитическая БД, есть проблемы с UPDATE, DELETE
• нужно думать о структуре хранимых типов данных
• Всего один разреженный индекс на таблицу
• ClickHouse плохо справляется с частыми INSERT в него
• Документация
• Соединения таблиц ограничены оперативной памятью сервера