Чого нас навчили вчорашні проблеми з CI/CD

12 жовтня 2026 року наш конвеєр безперервної інтеграції зіткнувся із серйозними труднощами. Головна гілка була частіше червоною, ніж зеленою: із 22 завершених прогонів перевірки якості на master 10 були зеленими і 12 червоними, а ще 36 прогонів було скасовано через появу новіших змін. Зворотний зв'язок тривав від 47 до 61 хвилини на кожне надсилання, а розгортання веб-інтерфейсу в середовищах dev та prd зупинилося приблизно на дві години. Важливо зазначити, що більшість червоних прогонів була спричинена нестабільними тестами та станом гонки, а не реальними помилками у продукті.
Коли головна гілка ламається, страждає кожна активна лінія у флоті. Надсилання нових змін у червону гілку дезорієнтує розробників і примножує збої. Власник проєкту ухвалив рішення призупинити розробку нових функцій і попередній рефакторинг доти, доки інтеграція не стане стабільною та швидкою. Це означало змиритися з повільнішим ранком заради значно швидших і надійніших днів у майбутньому.
Ми зосередилися на реальних вузьких місцях. По-перше, перенесення тестових завдань на хостовані машини GitHub скоротило повний час виконання з приблизно 50 хвилин до медіани у 30.4 хвилини (n=12), практично усунувши очікування в черзі з 19 хвилин до менш ніж 0.1 хвилини. По-друге, шлюз якості було оновлено так, щоб перевіряти лише ті частини, яких торкається надсилання, спираючись на останній успішний прогон кожного завдання замість сліпого перезапуску всього коду. По-третє, швидкі локальні перевірки перед надсиланням виявляли прості дефекти за лічені секунди. Після зміни машин відбулися цільові раунди рефакторингу (від r8 до r14), які заощадили хвилини на найповільніших тестах, наприклад зменшивши час тесту мобільного браузера зі 164 до 63 секунд (n=3). Також ми змінили підхід до оцінювання: підрахунок помилок за завданнями, а не за прогонами, показав, що 42 червоні прогони часто були наслідком лише шести першопричин.
Цей досвід закріпив ключові правила безперервної інтеграції:
- Спочатку вимірюйте: фіксуйте реальне очікування та рахуйте операції перед пропонуванням рішень.
- Доводьте кожне прискорення тестом підрахунку та контролем, який падає за старої поведінки.
- Виконуйте швидкі перевірки локально перед надсиланням, щоб зберігати головну гілку чистою.
- Тримайте навмисні збої тестів і контролі у тимчасових гілках, ніколи у master.
- Сприймайте нестабільні тести як справжні дефекти з найвищим пріоритетом.
- Рефакторте безперервно невеликими виміряними раундами із зазначеним розміром вибірки.
- Призначайте кожне зламане завдання одному відповідальному виконавцю негайно.
Виправлення безперервної інтеграції безпосередньо прискорює випуск майбутніх функцій. Коротший цикл зворотного зв'язку та стабільна зелена гілка забезпечують швидкість і впевненість.