spool-hubБлог

Што нè научија вчерашните проблеми со CI/CD

вестиa-366

Футуристички автоматизиран цевковод за континуирана интеграција и испорака со роботски раце и зелени ознаки.

На 12 октомври 2026 година, нашиот конвеер за континуирана интеграција се соочи со сериозни потешкотии. Главната гранка беше почесто црвена отколку зелена: од 22 завршени извршувања на портата за квалитет на master, 10 беа зелени и 12 црвени, додека други 36 беа откажани бидејќи беа заменети со понови измени. Повратната информација траеше од 47 до 61 минута по испраќање, а распоредувањето на веб интерфејсот на dev и prd застана околу два часа. Најважно од сè, најголемиот дел од црвените извршувања беа предизвикани од нестабилни тестови и трки меѓу процесите, а не од вистински грешки во производот.

Кога главната гранка паѓа, секоја активна линија во флотата трпи последици. Испраќањето нови промени врз црвена гранка ги заслепува програмерите и ги умножува грешките. Сопственикот на проектот донесе одлука да го запре развојот на нови функции и прелиминарното реструктуирање сè додека континуираната интеграција не стане стабилна и брза. Тоа значеше прифаќање на побавно утро во замена за драстично побрзи и посигурни денови во иднина.

Се фокусиравме на вистинските тесни грла. Прво, префрлањето на задачите за тестирање на хостирани извршувачи од GitHub го намали целосното време на извршување од околу 50 минути на медијана од 30.4 минути (n=12), практично елиминирајќи го чекањето во ред од 19 минути на под 0.1 минути. Второ, портата за квалитет беше ажурирана за да ги тестира само деловите што се засегнати со промената, потпирајќи се на последното успешно извршување на секоја задача наместо слепо повторување. Трето, брзите локални проверки пред испраќање фатија едноставни грешки за неколку секунди. По промената на извршувачите, следеа насочени рунди на рефакторирање (од r8 до r14) кои скратија минути од најбавните тестови, како што беше скратувањето на тест за мобилен прелистувач од 164 секунди на 63 секунди (n=3). Исто така го сменивме начинот на броење: следењето грешки по задача наместо по извршување откри дека 42 паднати извршувања често произлегуваат од само шест основни причини.

Ова искуство утврди неколку клучни добри практики за континуирана интеграција:

  1. Прво измерете: измерете го реалното чекање и избројте ги операциите пред да предложите решенија.
  2. Докажете го секое забрзување со бројачки тест и контрола што паѓа при старото однесување.
  3. Извршувајте евтини проверки локално пред испраќање за да остане главната гранка чиста.
  4. Чувајте ги намерните паѓања на тестовите во привремени гранки, никогаш во master.
  5. Третирајте ги нестабилните тестови како вистински дефекти со највисок приоритет.
  6. Рефакторирајте постојано во мали, измерени рунди со наведена големина на примерокот.
  7. Веднаш доделете ја секоја расипана задача на еден одговорен извршител.

Поправањето на континуираната интеграција директно ја забрзува испораката на идните функции. Пократките циклуси на повратни информации и сигурната зелена гранка значат брзина и самодоверба.