О сервисе
Сервис управления очередями сообщений (услуга 1.10) - программный брокер сообщений на основе Apache Kafka v2.7.2, представляющий собой распределенную, реплицированную и масштабируемую систему передачи сообщений, работающую по принципу «публикация-доставка».
Высокая пропускная способность Сервиса обеспечивается как со стороны производителей, так и для систем подписчиков.
Подписчики могут объединяться в группы. Сообщения могут временно храниться для последующей пакетной обработки. Все сообщения Сервис хранит на диске.
Сервис основан на свободно распространяемом ПО Apache Kafka: брокере сообщений, реализованном на языке Scala, и по сути является standalone-приложением, работающим на JVM.
Увеличить
Основные функции:
- публикация (запись) и чтение (подписка) на события, включая постоянный обмен данными с другими системами;
- надежное хранение сообщений;
- обработка сообщений при их появлении, либо задним числом.
Ключевые функциональные особенности:
-
запись сообщения в топик (адресное пространство);
-
чтение сообщений из топика;
-
доступность данных при потере одного узла;
-
сохранность данных при аварийной остановке всех узлов кластера;
-
возможность перераспределить нагрузку между узлами;
-
отправка информации в платформенный компонент аудита, в частности:
- создание топика;
- удаление топика;
- создание ACL-листов;
- удаление ACL-листов;
- получение списка ACL-листов;
- получение параметров конфигурации топика/динамической конфигурации кластера;
- изменение параметров конфигурации топика/динамической конфигурации кластера;
- перераспределение партиций;
- создание consumer-группы;
- удаление смещений (offsets) consumer-группы;
- удаление consumer-группы;
- изменение квотирования;
- просмотр информации об используемом Authorizer.
-
предоставление событий мониторинга по протоколу JMX;
-
подготовка инструментов администрирования для:
- создания/удаления топика;
- создания/удаления ACL;
- распределения нагрузки между узлами кластера;
- изменения конфигурации топиков;
- увеличения фактора репликации топиков;
- сохранения/восстановления конфигурации ACL;
- получения информации по смещению топиков.
Минимальная конфигурация Сервиса обеспечивает:
- размещение объема событий 75 Гб, что составляет 1/2 объема дискового пространства, выделенного для хранения данных Потребителя, за счет использования кластерной конфигурация, необходимой для обеспечения эксплуатационных показателей назначения;
- глубина хранения событий в топике (параметр
log.retention.hours) — 168 часов; - фактор репликации данных (параметр
replication factor) — 2; - максимальный размер сообщения (параметр
message.max.bytes) — 104857600.