База знаний Антона Сидорова

База знаний по аналитике, ИТ архитектуре, API. Документирование. Тесты инструментов.

---

Project maintained by daemon110282 Hosted on GitHub Pages — Theme by mattgraham

RabbitMQ

• RabbitMQ
  • Зачем
  • Плюсы и минусы
  • Функции
    • Exchange Обменник
    • Режимы доставки сообщений
  • Паттерны
    • Queue
    • Connection
    • Persistence
    • Версионирование типов сообщений
  • Security
  • Observability
  • Performance
  • Технологии

Зачем

Реализация паттерна интеграции Message Broker в Event Driven Architecture (EDA).

Критерии выбора Kafka vs RMQ.

Плюсы и минусы

Плюсы:

• «Продажа» Производительность
• RabbitMQ дает гарантии одноразовой доставки и хотя бы одной доставки, но не ровно одной доставки
• Управление временем обработки сообщений (контроль истечения срока действия сообщения TTL или задержки сообщения)
• Расширенные возможности обработки ошибок в случаях, когда потребители с большей вероятностью не смогут обработать сообщения (временно или навсегда).
• Расширенные и гибкие правила маршрутизации
• Упрощенная реализация потребителей Consumer
• Приоритет сообщений

Минусы:

• Агрегации сообщений в пачки batch нет в RabbitMQ (vs Kafka)
• Нет параметра Expire для обменников (только для очередей)
• Производительность ниже чем Kafka
• Отказоустойчивость ниже, нет шардирования чем в kafka (есть topic-несколько partition, есть несколько инстансов где очереди размещены)

Функции

Exchange Обменник

• Типы
  • Headers
    • Message is sent to the queues which match the headers.
    • Routing key should not be set. Но если установлены, то можно биндить очередь и по RK.
    • Match type should indicate if ALL (логичекое И) or ANY (логичекое ИЛИ) header must match
  • Direct - message is sent to a named exchange, routing key is specified so information only reaches the queues matching the pattern
  • Topic - Routing key is a string separated by dots and wildcards. E.g.: “ro.alexandrugris.*”
  • Fanout
• Exchange-to-Exchange (E2E)

Режимы доставки сообщений

• Basic.get (Pull) - Доставка единичного сообщения по запросу
• Basic.Consume (Push) - Подписка на очередь (постоянный мониторинг очереди с доставкой всех сообщений)
• QoS(prefetchCount) Get vs consume
• http://onreader.mdl.ru/RabbitMQInDepth/content/Ch05.html

Паттерны

• VHosts
• Failure
• Очереди с приоритетом
• RabbitMQ Delayed Message Plugin
• Scheduling messages using Quartz.Net
• Паттерны интеграции
• MTA MQ

Queue

• Keep your queue short (if possible)
• Limit queue size with TTL or max-length

Connection

• 1 Соединение connection на процесс-поток
• Х каналов channel на каждый поток (не шарить каналы между потоками)
• На 1 канале channel может быть несколько получателей Consumer из очередей
• Отдельные соединения для publisher\consumer

Persistence

• По умолчанию при остановке или падении сервера RabbitMQ все очереди и сообщения теряются, но это поведение можно изменить. Для того чтобы сообщения оставались в очереди после перезапуска сервера, необходимо:
  • сделать как очереди durable
  • так и сообщенния устойчивыми delivery_mode=2
• TTL Очереди

Версионирование типов сообщений

• по message type serialize, deserialize с отдельными очередями?
  • masstransit
    • message versioning
  • EasyNetQ
  • NServiceBus

Security

Security mechanism in RabbitMQ:

• Access control
  • Vhosts
  • each user should be permissioned to only read and write to their own queue based on the queue’s unique name.
• SASL authentication
  • supports multiple SASL authentication mechanisms. There are three such mechanisms built into the server: PLAIN, AMQPLAIN, and RABBIT-CR-DEMO, and one — EXTERNAL — available as a plugin.
• SSL support

Observability

• Мониторинг кол-ва сообщений в очереди через API и CLI в Zabbix
  • Расширенный
• мониторинг кластера, нод, обменников, очередей через Prometheus + Grafana

Performance

• RabbitMQ sharding
• Top metric
• Docker perf test
• Журнал трассировки сообщений
• Perf Test

Технологии

• MassTransit (RabbitMQ) в ASP.NET Core
• EasyNetQ
• NServiceBus