О сервисе
Сервис СУБД аналитических витрин хранилища данных (услуга 1.6) представляет собой колоночную СУБД с возможностью построения аналитики в реальном времени и основан на open-source решении ClickHouse.
Сервис предназначен для хранения и обработки больших объемов (петабайты) структурированных данных с поддержкой расширенного синтаксиса SQL-запросов, но без поддержки транзакций.
Основные операции, выполняемые Сервисом СУБД хранения неструктурированных данных:
- операции с наборами: объединение, пересечение, различие;
- выбор подмножества записей согласно определенным критериям;
- проецирование – выбор подмножества атрибутов / колонок таблицы;
- сцепление;
- операции для создания, модификации и удаления схем таблиц;
- операции для управления транзакциями и управления Пользователями;
- резервное копирование базы данных.
Сервис СУБД аналитических витрин хранилища данных включает в себя Компонент Arenadata QuickMarts (ADQM).
Компонент Arenadata QuickMarts (ADQM) — это колоночная СУБД корпоративного уровня.
ADQM обеспечивает реализацию следующих функций:
- создание новых баз данных с идентичной логической структурой данных (деление по темам);
- запись, хранение, поиск, редактирование и считывание данных;
- модификация базы данных;
- ввод основной массы данных посредством считывания (записи) массива данных;
- контроль достоверности вводимых данных в каждом поле таблиц базы данных (обязательное поле, умолчание, шаблон и т.д.);
- поиск слов, выделение, просмотр и редактирование таблиц базы данных с удобным графическим интерфейсом;
- резервное копирование всех данных кластера базы данных автоматически и с заданной регулярностью.
ADQM обладает следующими преимуществами:
- Хранение данных по столбцам. Данные считываются только из нужных колонок, и однотипная информация эффективно сжимается.
- Отказоустойчивость и репликация. Используется асинхронная multimaster репликация. После записи на любую доступную реплику, данные распространяются на все остальные реплики в фоне.
- Распределённая обработка запроса на многих серверах. В ADQM данные могут быть расположены на разных шардах. Каждый шард может представлять собой группу реплик, которые используются для отказоустойчивости. Запрос будет выполнен на всех шардах параллельно. Это происходит прозрачно для пользователя.
- Скорость работы. ADQM гораздо быстрее традиционных систем управления баз данных. Она способна масштабироваться до десятков триллионов записей с совокупным объёмом данных в несколько петабайт.
- Простота развёртывания. Компонент устанавливается с помощью специализированного инструмента - оркестратора Arenadata Cluster Manager (далее - ADCM).
- Наличие мониторинга. Мониторинг в компоненте разработан на базе инструмента для анализа данных и Grafana версии 7.0 и выше, которые помогают администраторам держать под контролем всё, что происходит с кластером.
- Поддержка Kerberos. Компонент поддерживает интеграцию с Kerberos Hadoop и Kerberos-авторизацию для Компонента «Обмен сообщениями Platform V Kafka Sber Edition».
Минимальная конфигурация Сервиса обеспечивает:
- размещение пользовательской базы данных размером в 280 Гб. С учетом накладных расходов размер дисковой подсистемы должен быть 720 ГБ на worker-нодах;
- при создании кластера используется конфигурация из двух worker-нод, образующих один шард;
- при создании кластера количество реплик в рамках одного шарда равно двум.