Работая в организации и управляя командами инженеров разной направленности, я измеряю эффективность процессов, а не людей. Если я вижу, что процессы неоптимальны, то улучшаю их, используя методологию «ОСА».
После появления у меня команд ИИ-агентов, состоящих из архитекторов, разработчиков, инженеров по безопасности, тестировщиков, DevOps-инженеров и тимлидов, я задался вопросами: «Эффективны ли процессы у этих команд? Что можно улучшить для повышения их эффективности?» После этого я начал прорабатывать инструмент, который сейчас позволяет мне снимать метрики с процессов. На их основании я делаю определённые выводы и при необходимости принимаю меры по оптимизации.
Ранее, без этого инструмента, я полагался лишь на свои ощущения. Сейчас я опираюсь на конкретные цифры и перешёл из разряда «гадалок» в категорию управленцев, принимающих решения на основе данных.
Например, раньше код-ревьюер неоправданно много времени тратил на ревью кода. Анализ всех инструкций и стандартов показал, что в его роль были заложены дублирующие или несвойственные ему задачи. К слову, нечёткие формулировки в инструкциях часто приводят к избыточной инициативе агентов — они начинают выполнять много лишней работы. В моём случае код-ревьюер прогонял полные наборы тестов, хотя это зона ответственности тестировщика.
В последнее время по метрикам я вижу тенденцию к увеличению времени работы тестировщика — теперь на некоторых проектах он тратит больше времени, чем разработчик. Уже понятно, что причина в росте числа постоянно запускаемых тестов, а значит, пора проводить очередную оптимизацию. Мы (команда) не будем отказываться от тестов, а перейдём в режим целенаправленного тестирования в рамках конкретной задачи и полного регресса после выполнения блока задач.
Решение, о котором я говорю, получает данные из базы данных среды, в которой работают агенты. Скорее всего, любая такая среда имеет собственную базу данных и хранит в ней всю историю работы агентов, поэтому вы можете создать аналогичное решение и для своих процессов. Моё решение адаптировано под процессы моих команд ИИ-агентов.
Графики
График, отображающий среднее и медианное время, затраченное на разработку задач:
График, отображающий среднее время затрачиваемое на задачи каждой ролью (агентом / субагентом):
График, отображающий сколько каждая роль затратила на свою работу в рамках конкретной задачи:
Суммарное время работы разработчика и субагентов отображается в колонке «Итого» первым числом. Вторым числом указано общее время с учётом простоев — обычно самые длительные паузы возникают в ожидании ответа от пользователя (человека), например, когда ему задали вопрос, а он спит.
График, отображающий сколько раз в рамках конкретной задачи вызывалась определённая роль:











