Какво научихме от вчерашните проблеми с CI/CD

На 12 октомври 2026 г. нашият конвейер за непрекъсната интеграция срещна сериозни трудности. Основният клон беше по-често червен, отколкото зелен: от 22 завършени изпълнения на портала за качество 10 бяха зелени и 12 червени, а други 36 бяха отменени като заменени от по-нови подавания. Обратната връзка отнемаше между 47 и 61 минути на подаване, а внедряването на уеб интерфейса в dev и prd спря за около два часа. Повечето червени изпълнения бяха причинени от нестабилни тестове и надпревари между процеси, а не от дефекти в продукта.
Когато основният клон се счупи, всяка активна линия във флота страда. Подаването на промени върху червен клон пречи на разработчиците и умножава грешките. Собственикът на проекта реши да спре новите функционалности и предварителното преструктуриране, докато интеграцията не стане стабилна и бърза. Това беше съзнателен избор: по-бавен ден за сметка на много по-бързи и сигурни дни напред.
Съсредоточихме се върху реалните тесни места. Първо, преминаването към хоствани машини от GitHub съкрати времето за пълно изпълнение от около 50 минути до медиана от 30.4 минути (n=12), като опашките паднаха от 19 минути под 0.1 минути. Второ, порталът за качество беше обновен да изпълнява само частите, които дадено подаване засяга, съпоставени с последното успешно изпълнение на всяка задача, вместо сляпо повторение. Трето, евтините локални проверки преди подаване хващат прости дефекти за секунди. След смяната на машините последваха насочени кръгове на рефакторинг (от r8 до r14), които свалиха минути от бавните тестове, например намалявайки браузърен тест от 164 секунди на 63 секунди (n=3). Променихме и отчитането: броенето на грешки по задачи, а не по изпълнения, показа, че 42 червени изпълнения често произлизат от едва шест основни причини.
Този опит затвърди ключови добри практики за непрекъсната интеграция:
- Първо измервайте: засечете реалното чакане и пребройте операциите преди оптимизация.
- Доказвайте всяко ускорение с броящ тест и контрола, която се проваля при старото поведение.
- Изпълнявайте евтини проверки локално преди подаване, за да пазите клона чист.
- Дръжте умишлените тестови провали и контроли във временни клонове, никога в master.
- Третирайте нестабилните тестове като реални дефекти с непосредствен приоритет.
- Рефакторирайте непрекъснато в малки, измерени кръгове с посочен размер на извадката.
- Назначавайте всяка счупена задача на един отговорен изпълнител веднага.
Стабилната интеграция пряко ускорява доставката на нови функционалности. По-кратката обратна връзка и надеждният зелен клон означават по-бързо и уверено разработване.