Ощущения сотрудников к делу не подошьёшь, поэтому производительность переводят в число. В мире 1С прижилась методика APDEX, открытый стандарт, появившийся в 2004 году благодаря альянсу Apdex во главе с Питером Севчиком.
Логика такая. Для каждой ключевой операции задаётся целевое время T: сколько она должна занимать, чтобы человек не испытывал дискомфорта. Замеры делятся на три группы. Уложились в T, это «удовлетворён». От T до 4T, это «терпимо», такие замеры учитываются наполовину. Дольше 4T, это «неудовлетворён», вклад нулевой. Итог считается как доля от единицы: 0,94 и выше означает отличную работу, от 0,85 хорошую, ниже 0,7 систему пора чинить.
Ценность подхода в том, что он не даёт спрятаться за средним значением. Средняя скорость проведения документа может выглядеть прилично, даже если каждый десятый пользователь ждёт по минуте. APDEX это сразу показывает.
Отдельно про целевое время. Его назначает не отдел ИТ, а бизнес: это вопрос работы, а не техники, сколько кассир может держать очередь и за сколько менеджер обязан ответить клиенту. У продавца и у годового отчёта нормативы отличаются в разы, и одинаковое число для всех обесценивает метрику.
Что нужно подготовить до запуска теста:
- Список ключевых операций: десять или пятнадцать действий, из которых состоит рабочий день, с целевым временем.
- Копия рабочей базы реального объёма: на демобазе тест не покажет ничего.
- Стенд, повторяющий продуктив по железу, СУБД и настройкам: иначе результаты не переносятся.
- Профиль нагрузки: кто, что и как часто делает за день, включая пики вроде закрытия месяца.
- Критерий приёмки, зафиксированный до начала: какое значение APDEX и на какой нагрузке считается успехом.
- План сбора данных: технологический журнал платформы и счётчики СУБД включаются заранее.