ClickHouse

Колоночная аналитическая NOSQL СУБД с открытым кодом, позволяющая выполнять аналитические запросы (OLAP) в режиме реального времени на структурированных больших данных Big Data.

Технология для хранилищ данных.

Зачем

• аналитическая отчетность по большим данным в режиме реального времени
• real time мониторинг бизнес-метрик
• Визуализация
  • Cloud
    • Yandex DataLens
  • On Premise
    • Grafana Plugin

Функции

• Управление CLICKHOUSE KEEPER
• GUI Интерфейсы для написания запросов
  • DBeaver
  • Grafana
  • DataGrip
• Сжатие и опции партиционирования данных

Плюсы-минусы

Плюсы:

• Мало места под хранение (сжатие)
• РФ
• Горизонтальное масштабирование и репликация из коробки, хоть это и требует больше усилий по сравнению с Elasticsearch
• Улучшенное планирование запросов и более высокая общая производительность
• Поддержка диалекта SQL
• Поддержка поиска регулярных выражений Regex вместо поиска полного текста
• авто очистка данных по TTL

Минусы:

• Сложность транзакций
• Под OLAP нагрузка - аналитическая БД, есть проблемы с UPDATE, DELETE
• В процессе работы нам сильнее всего мешала жесткая схема данных, те нам нужно думать о структуре хранимых типов данных.
• Всего один разреженный индекс на таблицу.
• ClickHouse плохо справляется с частыми INSERT в него
• Документация
• Соединения таблиц ограничены оперативной памятью сервера

Compare

• Clickhouse vs ELK vs Google Big Query и Amazon RedShift vs TimescaleDB