Компонент хранения больших объемов неструктурированных данных «Платформа по работе с данными Сбера SberData Platform»
Увеличить
Сервис разворачивается в следующих подсетях:
- обособленных Компонентов Платформы Потребителя услуг;
- инфраструктурных сервисов.
Подсеть обособленных Компонентов Платформы для Потребителя услуг
Компоненты Сервиса разворачиваются в подсети (ExtNet) обособленных компонентов платформы «ГосТех» Потребителя услуг.
На виртуальных машинах разворачиваются следующие элементы:
- Ambari Server ‒ один узел. UI для управления работой и мониторинга работы кластера.
- Виртуальные машины для кластера SDP Hadoop. Для обеспечения непрерывности обслуживания Сервис разворачивается в виде отказоустойчивого кластера, на каждом узле кластера разворачиваются компоненты СУБД HBase:
- SDP Hadoop Master – два узла;
- SDP Hadoop Data – четыре узла.
- Кластер СУБД для метаданных сервисов:
- Platform V Pangolin (master + replica) – два узла;
- Platform V Pangolin etcd арбитр (3-я нода etcd) – один узел.
Подсеть инфраструктурных сервисов
Развёртывание экземпляров Сервиса проводится при помощи приложения SDP Cloud Control – один узел.
Используется один экземпляр SDP Cloud Control для всех контуров технологической площадки размещения.
Увеличить
В решении с доступностью 99,9 % все единицы развертывания разворачиваются в двойном объеме (основной и резервный ЦОД).
Для обеспечения синхронности данных используются географически распределенные кластеры СУБД.
Репликация данных для HDFS не предусмотрена, при необходимости копирование данных осуществляется средствами ГИС Потребителя услуг.