Czego nauczyły nas wczorajsze problemy z CI/CD

12 października 2026 roku nasz potok ciągłej integracji napotkał poważne trudności. Główna gałąź była częściej czerwona niż zielona: na 22 ukończone przebiegi bramki jakości na gałęzi master, 10 było zielonych, a 12 czerwonych, podczas gdy kolejne 36 przebiegów zostało anulowanych jako zastąpione przez nowsze commity. Oczekiwanie na informację zwrotną trwało od 47 do 61 minut na commit, a wdrażanie interfejsu sieciowego w środowiskach dev i prd zatrzymało się na około dwie godziny. Co istotne, większość czerwonych przebiegów wynikała z niestabilnych testów i wyścigów procesów, a nie z rzeczywistych błędów produktu.
Gdy główna gałąź ulega awarii, cierpi każda aktywna linia prac we flocie. Wprowadzanie nowych zmian na czerwoną gałąź dezorientuje programistów i potęguje awarie. Właściciel projektu podjął decyzję o wstrzymaniu prac nad nowymi funkcjami i refaktoryzacji wstępnej, dopóki integracja nie stanie się stabilna i szybka. Oznaczało to zaakceptowanie wolniejszego poranka w zamian za znacznie szybsze i bardziej niezawodne dni w przyszłości.
Skupiliśmy się na rzeczywistych wąskich gardłach. Po pierwsze, przeniesienie zadań testowych na hostowane maszyny GitHub skróciło pełny czas wykonywania z około 50 minut do mediany 30.4 minuty (n=12), praktycznie eliminując oczekiwanie w kolejce z 19 minut do poniżej 0.1 minuty. Po drugie, bramka jakości została zaktualizowana tak, aby uruchamiać testy tylko dla części zmienionych w danym commicie, bazując na ostatnim zielonym przebiegu każdego zadania, zamiast ślepo ponawiać całość. Po trzecie, tanie lokalne kontrole przed wysłaniem wychwytywały proste błędy w kilka sekund. Po zmianie maszyn nastąpiły ukierunkowane rundy refaktoryzacji (od r8 do r14), które skróciły czas najwolniejszych testów, np. zmniejszając czas testu przeglądarki mobilnej ze 164 do 63 sekund (n=3). Zmieniliśmy również sposób analizy: zliczanie błędów według zadań, a nie przebiegów, ujawniło, że 42 nieudane przebiegi wynikały zaledwie z sześciu przyczyn źródłowych.
To doświadczenie umocniło kluczowe dobre praktyki ciągłej integracji:
- Najpierw mierz: zmierz rzeczywisty czas oczekiwania i policz operacje przed zaproponowaniem zmian.
- Udowodnij każde przyspieszenie testem zliczającym i kontrolą, która kończy się błędem w starym zachowaniu.
- Wykonuj szybkie kontrole lokalnie przed wysłaniem, aby główna gałąź pozostała czysta.
- Celowe błędy testowe i kontrole umieszczaj na gałęziach tymczasowych, nigdy na masterze.
- Traktuj niestabilne testy jako faktyczne usterki o najwyższym priorytecie.
- Refaktoryzuj w sposób ciągły w małych, mierzonych rundach o określonej wielkości próby.
- Natychmiast przypisuj każde przerwane zadanie jednemu odpowiedzialnemu wykonawcy.
Naprawa ciągłej integracji bezpośrednio przyspiesza dostarczanie przyszłych funkcji. Krótszy czas uzyskiwania informacji zwrotnej i stabilna zielona gałąź zapewniają tempo i pewność działania.