מה לימדו אותנו תקלות ה-CI/CD של אתמול

ב-12 באוקטובר 2026, תהליך האינטגרציה הרציפה שלנו נתקל בקשיים משמעותיים. הענף הראשי היה אדום בתדירות גבוהה יותר מאשר ירוק: מתוך 22 הרצות מלאות של בקרת האיכות בענף הראשי, 10 היו ירוקות ו-12 אדומות, כאשר 36 הרצות נוספות בוטלו עקב דחיפות קוד חדשות יותר. קבלת משוב נמשכה בין 47 ל-61 דקות לכל דחיפה, ועדכוני ממשק המשתמש בסביבות הפיתוח והייצור נעצרו למשך כשעתיים. ראוי לציין כי מרבית ההרצות האדומות נבעו מבדיקות לא יציבות ומתקלות תזמון, ולא מפגמים מהותיים במוצר עצמו.
כאשר הענף המרכזי נשבר, כל מסלולי העבודה בצי מושפעים מכך ישירות. דחיפת שינויים חדשים לענף אדום פוגעת בראיית המפתחים ומעצימה תקלות. בעל הפרויקט קיבל החלטה לעצור את פיתוח התכונות החדשות ואת סבבי השכתוב הניסיוניים עד שהמערכת תחזור להיות יציבה ומהירה. משמעות הדבר הייתה לוותר על בוקר אחד של עבודה תמורת ימים מהירים ואמינים בהרבה בהמשך.
התמקדנו בצווארי הבקבוק האמיתיים. ראשית, העברת משימות הבדיקה לשרתים המנוהלים של GitHub קיצרה את זמן הריצה המלא מכ-50 דקות לחציון של 30.4 דקות (n=12), וביטלה כמעט לחלוטין את זמני ההמתנה בתור מ-19 דקות לפחות מ-0.1 דקות. שנית, שער האיכות עודכן כך שיבדוק אך ורק את החלקים ששונו בכל דחיפה, תוך הסתמכות על ההרצה הירוקה האחרונה של כל משימה במקום הרצה עיוורת של כלל המערכת. שלישית, בדיקות מקומיות ומהירות לפני דחיפה תפסו שגיאות פשוטות בתוך שניות. בעקבות המעבר לשרתים החדשים, סבבי שיפור ממוקדים (מ-r8 עד r14) קיצצו דקות שלמות מהבדיקות האיטיות, כגון קיצור בדיקת דפדפן נייד מ-164 שניות ל-63 שניות (n=3). בנוסף, שינינו את אופן המדידה: ספירת תקלות לפי משימה ולא לפי הרצה גילתה כי 42 הרצות אדומות נבעו לעיתים קרובות משישה גורמי שורש בלבד.
הניסיון הזה חידד עקרונות עבודה מרכזיים באינטגרציה רציפה:
- למדוד תחילה: לתזמן את ההמתנה האמיתית ולספור פעולות לפני שמציעים פתרונות.
- להוכיח כל שיפור באמצעות בדיקת ספירה ובדיקת בקרה שנכשלת בהתנהגות הקודמת.
- להריץ בדיקות מהירות באופן מקומי לפני הדחיפה כדי לשמור על ענף ראשי נקי.
- להשאיר כשלים מכוונים ובדיקות בקרה בענפים זמניים, לעולם לא בענף הראשי.
- להתייחס לבדיקות לא יציבות כאל תקלות אמיתיות בעדיפות עליונה.
- לשכתב קוד באופן רציף בסבבים מדודים עם גודל מדגם מוגדר.
- להקצות כל משימה שנכשלה לאחראי יחיד באופן מיידי.
ייעול תהליך האינטגרציה מקדם ומאיץ ישירות את פיתוח המוצר בעתיד. זמני משוב קצרים וענף ראשי ירוק ויציב מאפשרים לשחרר תכונות במהירות ובביטחון מלא.