О сервисе
Сервис Типовое тиражируемое программное обеспечение витрин данных («Витрина НСУД») (услуга 1.18) — сервис для загрузки публикуемых данных в отдельную БД на стороне поставщика данных, а также для формирования отдельной БД в соответствии с результатами выполнения запросов на предоставление или репликации данных со стороны получателя данных. Сервис используется для формирования и/или получения данных с использованием среды взаимодействия НСУД. Сервис представляет собой типовое программное обеспечение, устанавливаемое на стороне поставщиков/потребителей данных.
Сервис обеспечивает выполнение следующих функций:
- описание логической модели данных;
- загрузка и хранение данных;
- извлечение данных из внешних систем (внешних ИС по отношению к Витрине данных НСУД);
- поддержка языка SQL;
- поддержка протокола коммуникации агента ПОДД;
- подключение к СМЭВ3 как информационной системы участника взаимодействия;
- обработка запросов с использованием стандарта JDBC;
- публикация конечных точек API для обработки запросов с использованием спецификации OpenAPI версии 3;
- восстановление данных в непротиворечивое состояние после сбоев;
- журналирование событий функциональных блоков;
- мониторинг информации о работоспособности экземпляра Сервиса.
Сервис включает в себя Компонент «Витрина данных», входящий в состав Федеральной государственной информационной системы «Единая информационная платформа Национальной системы управления данными».
Компонент «Витрина данных» является частью НСУД и предназначен для загрузки публикуемых данных в отдельную БД на стороне поставщика данных, а также для формирования отдельной БД в соответствии с результатами выполнения запросов на предоставление или репликации данных со стороны получателя данных. Сервис используется для формирования и (или) для получения данных с использованием среды взаимодействия НСУД. Сервис представляет собой типовое программное обеспечение, устанавливаемое на стороне Поставщиков/Потребителей данных.
Компонент выполняет следующие функции:
- загрузка логической модели данных из ПОДД СМЭВ;
- загрузка данных из внешних систем посредством интеграционных Сервисов;
- загрузка данных из БД, размещенных на Платформе «ГосТех», с использованием Сервисов работы с данными;
- загрузка данных из структурированного файла CSV, XLS, WebForm;
- обработка регламентированных запросов, написанных с использованием расширенного синтаксиса языка SQL;
- обработка запросов с использованием стандарта JDBC;
- выполнение распределённых регламентированных запросов;
- выполнение проверки полномочий потребителя данных перед выполнением регламентированного запроса;
- поддержка горизонтальной масштабируемости;
- обеспечение восстановления данных в непротиворечивое состояние после сбоев;
- логирование событий в шлюзе СМЭВ с использованием служебных технологических Сервисов: журналирование, мониторинг, аудит.
Основной цикл работы «Витрина данных» отображен на схеме:
Увеличить
После развертывания ПО Витрины данных Администратором Сервиса она не содержит никакой логической модели данных.
Необходимо создать в Витрине данных логическую модель данных для хранения данных в качестве Поставщика данных. При работе с ПОДД структура таблиц настраивается в ЕИП НСУД и передаются в Витрину данных через ПОДД. При работе со СМЭВ 3-ю логическую модель необходимо создавать самостоятельно через JDBC-драйвер с использованием DDL.
После того, как логическая модель данных в Витрине данных настроена можно:
- загружать данные в Витрину (средствами сервиса загрузки данных (ETL) или самостоятельно через JDBC-драйвер с использованием EDDL/EDML);
- посылать запросы для получения данных из Витрины (через ПОДД, СМЭВ3, REST или JDBC-драйвер);
- подписываться (в качестве Потребителя данных) на репликацию данных из другой Витрины (ПОДД пришлет метаданные для создания логических таблиц для хранения реплики и первоначальный снапшот текущих данных из Витрины Поставщика);
- обрабатывать (в качестве Поставщика данных) подписки других Витрин на репликацию данных этой Витрины (передавать им метаданные для создания логической структуры для хранения реплики и снапшот текущих данных);
- при загрузке данных в Витрину, если есть подписчики на репликацию данных, им отправляется дельта с обновленными данными;
- если эта Витрина подписана на репликацию данных из другой Витрины, то при изменении данных в Витрине-Поставщике ПОДД доставит дельту с обновленными данными.
Сервис заказывается и предоставляется отдельно или совместно со следующими параметрами заказа услуги 1.18:
- «Сервис оркестрации», в составе ПО «Программа оркестрации компонентов витрин данных Datamart Studio» Реестровая запись №13423 от 29.04.2022, правообладатель: Общество с ограниченной ответственностью «ДАТАМАРТ»;
- «ПОДД СМЭВ», в составе ПО «Программное обеспечение Агента Подсистемы обеспечения доступа к данным Единой системы межведомственного электронного взаимодействия», правообладатель: Министерство цифрового развития, связи и массовых коммуникаций Российской Федерации.
Компонент «Витрина данных» не включает в себя сервисы хранения данных витрины (СУБД) и сервисы потоковой передачи данных между компонентами Витрины данных. Функции хранения и потоковой передачи данных обеспечиваются дополнительными сервисами, заказываемыми отдельно или совместно, в виде параметров с услугой 1.18.
При заказе параметра «Сервис оркестрации» обеспечиваются средства контроля за управлением настройками, составом ПО Компонента и загрузкой данных в СУБД Витрины, необходимые Заказчику/Потребителю для реализации требований SLA к Компоненту и проведения аттестации ГИС. В состав параметра «Сервис оркестрации» включается дополнительное ПО, в том числе:
- программа оркестрации компонентов Витрин данных Datamart Studio;
- СУБД Platform V Pangolin для витрин данных НСУД объемом до 1ТБ варианты конфигурации СУБД Platform V Pangolin могут предоставляться на усмотрение исполнителя.
- средства потоковой обработки данных на технологии Kafka Обмен сообщениями Platform V Kafka Sber Edition.
При заказе параметра «ПОДД СМЭВ» в поставку включается комплект ПО необходимый для взаимодействия с ПОДД СМЭВ: агент ПОДД для взаимодействия с ПОДД СМЭВ.
Минимальная конфигурация Сервиса обеспечивает:
- количество выполняемых запросов RPS — 250 запросов в секунду;
- поиск одной записи по предопределенному критерию поиска (предполагается предварительная индексация) — не более 0,6 секунд в 95 % запросов;
- время от отправки одной записи до появления данных в результатах запросах — не более 5 секунд для 95 % записей.