Одновременная запись и чтение через vmauth в VictoriaMetrics
Проводится тест максимальной производительности операций чтения и записи в VictoriaMetrics с авторизацией пользователя через сервис VmAuth.
При тестировании происходит пошаговое увеличение нагрузки с нуля до предельной (с шагом 20% от плановой). Пошаговое увеличение происходит до тех пор, пока не нарушится критерий успешности по количеству ошибок и/или времени отклика (что наступит раньше). Время работы теста на каждом шаге (ступени) после стабилизации нагрузки (этап стабилизации нагрузки равен 5 минутам) составляет 10 мин. По результатам устанавливается уровень нагрузки L0 (последняя ступень нагрузки, на которой не были нарушены критерии успешности) и уровень нагрузки Llim (предельный уровень нагрузки при котором не был нарушен критерий по количеству ошибок) и CPUlim (утилизация CPU на уровне нагрузки Llim).
Полученный результат
Подаваемая нагрузка:
При интенсивности комбинированной нагрузки выше 60 TPS для записи, 26 TPS для чтения начинает нарушаться критерий успешности по утилизации системных ресурсов.
Поиск максимума. TPS
Увеличить
Увеличить
Увеличить
Увеличить
Увеличить
Поиск максимума. Утилизация CPU
proxy host:
_1s.png)
Увеличить
victoria host 1:
_2s.png)
Увеличить
vmauth host:
_3s.png)
Увеличить
victoria host 2:
_4s.png)
Увеличить
Поиск максимума. Утилизация RAM
proxy host:
_1s.png)
Увеличить
victoria host 1:
_2s.png)
Увеличить
vmauth host:
_3s.png)
Увеличить
victoria host 2:
_4s.png)
Увеличить
Поиск максимума. Утилизация дискового пространства
proxy host:
_1s.png)
Увеличить
victoria host 1:
_2s.png)
Увеличить
vmauth host:
_3s.png)
Увеличить
victoria host 2:
_4s.png)
Увеличить
proxy host:
_5s.png)
Увеличить
victoria host 1:
_6s.png)
Увеличить
vmauth host:
_7s.png)
Увеличить
victoria host 2:
_8s.png)
Увеличить
Поиск максимума. Подключение к сети интернет
proxy host:
_1s.png)
Увеличить
victoria host 1:
_2s.png)
Увеличить
vmauth host:
_3s.png)
Увеличить
victoria host 2:
_4s.png)
Увеличить
Тест проводится на ступени нагрузки, предшествующей L0 (или на уровне нагрузки 100% от L0). Длительность стабильной нагрузки не менее 1 часа. Если в процессе тестирования система оказалась недогружена или перегружена, то значение нагрузки корректируется и второй тест проводится повторно. В случае увеличения нагрузки новый уровень может быть рассчитан на основе данных об утилизации ресурсов. Результатом тестирования является максимальный достигнутый уровень нагрузки (обозначается Lmax).
Полученный результат
Подаваемая нагрузка:
В ходе теста не были нарушены критерии успешности (см. раздел Результаты нагрузочного тестирования).
Выводы:
- При уровне нагрузки в 86 TPS выполняются критерии успешности.
- Пик утилизации CPU районе 15:41 совпадает по времени с повышенной активностью передачи данных в сети, но в данный момент невозможно определить конкретную причину всплеска активности.
- В районе 16:00 на графиках виден спад TPS, повышение Response Time, также в это время были замечены ошибки SSL Handshake. Вероятнее всего данные проблемы связаны с кратким инфраструктурным сбоем, так как показатели быстро пришли в норму через минуту после начала отклонений.
Подтверждение максимума. TPS
Увеличить
Увеличить
Увеличить
Увеличить
Увеличить
Подтверждение максимума. Утилизация CPU
proxy host:
_1.png)
Увеличить
victoria host 1:
_2.png)
Увеличить
vmauth host:
_3.png)
Увеличить
victoria host 2:
_4.png)
Увеличить
Подтверждение максимума. Утилизация RAM
proxy host:
_1.png)
Увеличить
victoria host 1:
_2.png)
Увеличить
vmauth host:
_3.png)
Увеличить
victoria host 2:
_4.png)
Увеличить
Подтверждение максимума. Утилизация дискового пространства
proxy host:
_1.png)
Увеличить
victoria host 1:
_2.png)
Увеличить
vmauth host:
_3.png)
Увеличить
victoria host 2:
_4.png)
Увеличить
proxy host:
_5.png)
Увеличить
victoria host 1:
_6.png)
Увеличить
vmauth host:
_7.png)
Увеличить
victoria host 2:
_8.png)
Увеличить
Подтверждение максимума. Подключение к сети интернет
proxy host:
_1.png)
Увеличить
victoria host 1:
_2.png)
Увеличить
vmauth host:
_3.png)
Увеличить
victoria host 2:
_4.png)
Увеличить
Тест проводится на уровне нагрузки Lstab = 70% от Lmax. Длительность стабильной нагрузки не менее 24 часов. В ходе теста фиксируются все отклонения от "нормального" поведения системы, в том числе деградация производительности, утечки.
Полученный результат
Подаваемая нагрузка:
Выводы:
- При уровне нагрузки в 60 TPS выполняются критерии успешности.
- Значительный спад TPS в районе 03:11 совпадает по времени с пиком утилизации ресурсов CPU и пиками на графике I/O Utilization на хосте балансировщика (routingproxy-mtrx-01.uat), что свидетельствует о том, что система медленнее обрабатывала запросы из-за низкой производительности дисков и высокой активности операций ввода-вывода в данный момент времени.
- Менее выделяющиеся спады TPS происходили по той же причине (корреляция с пиками на графике I/O Utilization свидетельствует о том, что во время всплеска активности операций ввода-вывода система начинает медленнее обрабатывать запросы из-за низкой производительности дисков).
Тест надежности. TPS
Увеличить
Увеличить
Увеличить
Увеличить
Увеличить
Тест надежности. Утилизация CPU
proxy host:
_1r.png)
Увеличить
victoria host 1:
_2r.png)
Увеличить
vmauth host:
_3r.png)
Увеличить
victoria host 2:
_4r.png)
Увеличить
Тест надежности. Утилизация RAM
proxy host:
_1r.png)
Увеличить
victoria host 1:
_2r.png)
Увеличить
vmauth host:
_3r.png)
Увеличить
victoria host 2:
_4r.png)
Увеличить
Тест надежности. Утилизация дискового пространства
proxy host:
_1r.png)
Увеличить
victoria host 1:
_2r.png)
Увеличить
vmauth host:
_3r.png)
Увеличить
victoria host 2:
_4r.png)
Увеличить
proxy host:
_5r.png)
Увеличить
victoria host 1:
_6r.png)
Увеличить
vmauth host:
_7r.png)
Увеличить
victoria host 2:
_8r.png)
Увеличить
Тест надежности. Подключение к сети интернет
proxy host:
_1r.png)
Увеличить
victoria host 1:
_2r.png)
Увеличить
vmauth host:
_3r.png)
Увеличить
victoria host 2:
_4r.png)
Увеличить
В демопримерах реализованы стандартные сценарии, демонстрирующие работу отдельных сервисов Платформы ГосТех. Отправка тестовых запросов в демопримерах позволит вам ознакомиться с функциями того или иного сервиса. Доступные демопримеры и описания реализованной в них функциональности представлены ниже.
Мониторинг
Генерация метрик, их получение и просмотр в Grafana