Работа с модулем «REST-Uploader»

• идентификатор генерируется по стандарту UUID;
• метаданные от сервера витрины кешируются и проверяются на соответствие по количеству и по типам полей (при несоответствии загружаемых данных метаданным целевой таблицы сервис для передачи / загрузки данных возвращает статус запроса с ошибкой, без размещения данных в очереди на загрузку);
• загруженные данные размещаются вместе с UUID в очереди с именем «queue»;
• формируется запись с ключом «status.[UUID запроса]» и статусом 0 в очереди;
• пользователю, отправившему запрос, возвращается успешный статус запроса вместе с UUID;
• в логе приложения формироваться запись события получения запроса на загрузку с указанием идентификатора запроса, идентификатора внешнего источника, времени обработки и размера загруженных данных.

Установка модуля

1. Настроить конфигурацию модуля.
2. Создать на сервере директорию для загрузки файлов модуля.
3. Загрузить файлы модуля в созданную директорию.
4. Запустить модуль.
5. Проверить установку модуля.

Команды модуля

Проверка форматно-логического контроля (ФЛК)

Синхронные проверки

• выполняются вне зависимости от настроек модуля REST-Uploader;
• являются блокирующими;
• ошибки синхронных проверок возвращаются в теле ответа по REST-API.

• проверка соответствия инфосхеме:
  • проверка соответствия имен и количества полей в заголовках;
  • проверка типа данных;
  • проверка экранирования данных: проверка соответствия числа столбцов по каждой строке;
• проверка соответствия файла кодировке UTF-8, отсутствие bom (при наличии при загрузке удаляются начальные байты ef bb bf);
• проверка размера файла и наличия данных:
  • проверка предельного размера загружаемого файла (512 Мб);
  • проверка наличия данных в файле.

Асинхронные проверки

• выполняются в зависимости от настроек модуля;
• проверки не являются блокирующими (поведение при их наличии определяется конфигурацией модуля);
• список проверок уникален для каждой таблицы и хранится в Zookeeper в виде отдельного yaml-файла.

• проверка уникальности полей:
  • по сочетанию атрибутов (для комплексных ключей);
  • по заданному атрибуту;
• сравнение значения с константой;
• соответствие регулярному выражению.

Проверка уникальности по одному или по сочетанию полей

• в рамках группы файлов, если заданы headers - для проверки в рамках группы обязательно заполнения всех полей:
  • group_id;
  • group_file_num;
  • group_file_count;
• при проверке в рамках группы значения ключей для проверки уникальности в рамках группы хранится в redis;
• по всем файлам в рамках группы при наличии групповых атрибутов;
• по одному файлу, при отсутствии групповых атрибутов.

--проверка по сочетанию полей
fields:
 id: 
   uniq: true
   uniq-with: [type,region] 
--проверка уникальности по одному полю
   snils:
    match: "/^[-\s\d]{11}$/" 
    uniq: true 

Проверка соответствия заданному значению

• Проверка соответствия заданному значению проводится для каждого файла вне зависимости от наличия group_id;
• Проверка осуществляется для значений каждого поля в соответствии с заданным правилом;
• Проверка соответствия заданному значению включает в себя:
  • проверку сравнения с константой (>, <, > =, <=, =, != ).

Поведение в случае таймаута валидации

• проверить регулярные выражения, по которым происходит проверка, так как неверно заданное регулярное выражение кратно увеличивает скорость проверки;
• увеличить значение validation-timeout и повторить загрузку данных.

Хранение настроек в Zookeeper

• именам полей – в yaml-файле присутствует проверка с именем поля, которого нет в списке полей Prostore;
• применимости – например, заданs проверки >, <, > =, <= для текстового поля.

• "имя /имя поля/ не соответствует таблице"
• "проверка /проверка/ недопустима для поля /имя поля/

Раскрыть type=rest
---example1 
fields:
  id: 
    match: "/^\d+$/"
    uniq: true
    uniq-with: [type,region]
  type: 
    in: ["1","2","3"]   
  snils:
    match: "/^[-\s\d]{11}$/" 
    uniq: true
  e-mail: 
    match: "/^[A-Z0-9._%+-]+@[A-Z0-9-]+.+.[A-Z]{2,4}$/i"
  age: 
    “>”: 6
    “<”: 19     
---example2
fields:
  id:
   uniq: true
  subject: 
   '=': math
  mark:
    “!=”: null
  year:
    “in”: [2022, 2023] #или

Раскрыть type=rest

fields:
  id: 
    match: "/^\d+$/"
    uniq: true
    uniq-with: [type,region]
    uniq-with: [type,snils]  #две проверки одного типа, в zookeeper будет записано последнее правило:  uniq-with: [type,snils] 
  snils:
    match: "/^[-\s\d]{11}$/"    
    uniq: false
    uniq: true #взаимоисключающие проверки, записано в zookeeper будет последнее правило uniq: true
  e-mail: 
    match: "/^[A-Z0-9._%+-]+@[A-Z0-9-]+.+.[A-Z]{2,4}$/i"
    match:  "/^[-\s\d]{11}$/"    #две проверки одного типа,  записано в zookeeper будет последнее правило match:  "/^[-\s\d]{11}$/" 
  age: 
    “>”: 6
    “>”: 19   #две проверки одного типа, записано в zookeeper будет последнее правило: '>': 19
  subject: 
   “>”: math #несоответствие применимости типа проверки текстовому полю

• путь хранения: /adapter/[env]/REST-Uploader/ids;
• формат хранения:
  • .yaml-файл;
  • вид: ids: ['a111','b222'].

Хранение отчетов

Отчет проверки ФЛК в случае ошибок

• line – номер строки, в которой зафиксирована ошибка, для проверок по файлу в строке в данном поле указываем file;
• field – наименование поля, в котором зафиксирована ошибка, если поле невозможно определить, оставляем пустую строку;
• err_code – код ошибки;
• value – значение поля, если поле невозможно определить, оставляем пустую строку;
• text – кириллическое описание ошибки в соответствии с классификатором.

line, field, err_code, value, text

25, email, nonMatchRegex, pisem@net, значение не соответствует регулярному выражению "/^\S+@\S+\.\S+$/"

25, id, nonUniq, 132, значение не отвечает требованиям уникальности

Отчет по группе файлов

request_id, group_file_num, group_file_count, validation
2e8c8ab2-44db-4dcb-8ae5-2365121b4e14, 3, 3, done
dcf43fc7-e152-459b-8af5-48d91d4b6a21, 1, 3, done
b4503fc7-e152-459b-8af5-48d91d4b6a21, 2, 3, timeout

Загрузка файлов в рамках группы

1. общее число файлов в группе (group_file_count);
2. request_id каждого полученного модулем файла и его номер в рамках группы (group_file_num);
3. статус валидации файла:

• Done – в случае, если валидация выполнена успешно;
• Timeout – в случае, если процесс валидации не успел завершиться за указанный в настройках период validation-timeout.