Общее время прогона тестового набора — от запуска до получения финального результата. Длительные тесты замедляют CI-пайплайн и увеличивают цикл обратной связи для разработчиков. Параллелизация, выборочный запуск затронутых тестов и оптимизация самых медленных кейсов — основные рычаги для улучшения этой метрики.
Время работы тестов от начала до конца. Основное бутылочное горлышко CI.
КРИТИЧЕСКИ УСИЛИВАЕТСЯ: Без селективного тестирования прогоняется весь набор тестов репы на каждое изменение. Умный выбор тестов (только затронутые проекты) обязателен. Google запускает только тесты, в чей транзитивный граф зависимостей входят изменённые файлы.
Без селективного тестирования полный набор запускается при каждом изменении.
Выполнение тестов — это 50–80% времени пайплайна.
Дорогие прогоны стимулируют батчинг.
Большие тесты: 14% flaky vs маленькие: 0.5%.
30+ мин циклы тестов не дают итерироваться.
Выполнение тестов часто является bottleneck CI. Длинные test suite ограничивают скорость итераций.
Медленные тесты стимулируют внедрение AI для более быстрой генерации тестов.
Более крупный набор тестов растет пропорционально.
Запускаются только тесты затронутых проектов. Google: тесты запускаются только если граф транзитивных зависимостей включает измененные файлы.
Изменения общей библиотеки запускают тестирование всех потребителей. Больше затронутых проектов = дольше выполнение тестов.