О сервисе
Сервис Key-value СУБД (in-memory) (услуга 1.3) – это горизонтально масштабируемая, отказоустойчивая платформа с открытым исходным кодом на базе для хранения и обработки больших объемов данных в оперативной памяти кластера.
Сервис Key-value СУБД (in-memory):
- обеспечивает Пользователю возможность создавать новые базы данных с идентичной логической структурой данных (деление по темам);
- позволяет записывать, хранить, находить, редактировать и считывать данные;
- обеспечивает модификацию базы данных;
- позволяет осуществлять ввод основной массы данных посредством считывания (записи) массива данных;
- обеспечивает контроль достоверности вводимых данных в каждом поле таблиц базы данных (обязательное поле, умолчание, шаблон и т.д.);
- обеспечивает нахождение слов, выделение, просмотр и редактирование таблиц базы данных с удобным графическим интерфейсом;
- обеспечивает резервное копирование всех данных кластера базы данных автоматически и с заданной регулярностью.
Основные операции, выполняемые Сервисом Key-value СУБД (in-memory):
- операции с наборами: объединение, пересечение, различие;
- выбор подмножества записей согласно определенным критериям;
- проецирование – выбор подмножества атрибутов / колонок таблицы;
- сцепление;
- операции для создания, модификации и удаления схем таблиц;
- операции для управления транзакциями и управления Пользователями;
- резервное копирование базы данных.
Сервис Key-value СУБД (in-memory) Платформы «ГосТех» соответствует следующим основным требованиям:
- программное обеспечение, использованное для реализации Сервиса, включено в Реестр отечественного ПО и/или имеет действующий сертификат ФСТЭК России;
- работает на сертифицированной ОС;
- поддерживает протокол подключения JDBC или REST API;
- обеспечивает не менее 20000 запросов в секунду;
- поддерживает базовый SQL (в рамках одного экземпляра);
- обеспечивает ведение синхронного журнала предзаписи;
- обеспечивает возможность организации синхронной реплики для экземпляра;
- обеспечивает возможность заказа аренды с асинхронной репликации в удалённый ЦОД (катастрофоустойчивость);
- обладает свойствами: персистентности, транзакционности ACID;
- поддерживает ANSI-99 SQL;
- использует модель ACL для разграничения доступа;
- позволяет хранение всех данных в оперативной памяти, с дисковыми снимками данных и логом транзакций;
- поддерживает индексы: TREE;
- поддерживает различные форматы хранения и протоколы передачи данных;
- поддерживает кооперативную многозадачность для одновременного выполнения кода;
- обеспечивает возможность интеграции с NoSQL СУБД, Hadoop, Kafka;
- поддерживает горизонтальную масштабируемость без остановки работы Сервиса;
- имеет встроенные механизмы отказоустойчивости данных;
- имеет встроенный механизм репликации (как минимум, асинхронного типа);
- поддерживает алгоритмы шифрования при передаче данных ГОСТ 34.12 2018;
- имеет средства захвата изменений Change Data Capture (CDC);
- имеет скриптовые средства выполнения логики над данными внутри СУБД;
- имеет средства администрирования с пользовательскими интерфейсами.
«Сервис Key-value СУБД (in-memory) (услуга 1.3)» включает в себя Компонент «Распределенное хранение и обработка данных в памяти Platform V Ignite Sber Edition» (Цифровой продукт Тип 2). Компонент представляет из себя доработанное решение на основе open-source-решения Apache Ignite и является горизонтально масштабируемой, отказоустойчивой платформой.
Компонент «Распределенное хранение и обработка данных в памяти Platform V Ignite Sber Edition» (Цифровой продукт Тип 2) может использоваться для решения следующих задач:
- хранение любых данных в формате «ключ-значение»;
- создание индексов по данным и использование SQL;
- хранение данных одновременно в оперативной памяти и, при необходимости, на диске (native persistence);
- выполнение быстрых распределенных вычислений (map reduce);
- использование Компонента как in-memory слоя (интеграция с реляционными СУБД и No-SQL БД «из коробки»);
- хранение веб-сессий при использовании микросервисной архитектуры;
- обработка больших объемов данных онлайн в параллельных процессах (OLAP).
Компонент обладает следующей функциональностью:
- возможность сохранения данных на диск;
- распределенное хранилище «ключ-значение»;
- резервное копирование;
- прозрачное шифрование хранимых данных;
- поддержка требований ACID к транзакциям;
- распределенный SQL-кластер;
- возможность кеширования данных из реляционных СУБД;
- распределенные вычисления над большим объемом данных;
- параллельная обработка массивов данных (MPP);
- отслеживание изменений данных в кеше;
- разработка функциональности на заказ под нужды клиента;
- распределенная инфраструктура для микросервисных приложений.
Для работы Компонента используется операционная система Альт Сервер. Используемый язык программирования – Java. Категория критичности – 1.
Показатели назначения
Минимальная конфигурация Сервиса обеспечивает:
-
полезный объем памяти для хранения данных Потребителя в минимальной конфигурации - 34 % от объема памяти, выделенного Потребителю;
-
объем диска, требуемый в режиме persistence, равен объему памяти + 20 % на overhead;
-
поддержку стратегий кэширования:
- Cache-aside;
- Read-through;
- Write-through;
- Write behind.