Βελτιστοποίηση αγωγών σε Linux: από τους αγωγούς σε προηγμένο CI/CD

Informatec Digital » Πόροι » Βελτιστοποίηση αγωγών σε Linux: Από αγωγούς σε προηγμένο CI/CD

Βελτιστοποίηση αγωγών σε Linux Δεν πρόκειται μόνο για την αλυσιδωτή σύνδεση εντολών με το σύμβολο |Πίσω από όλα αυτά κρύβεται ένας ολόκληρος κόσμος βελτιστοποίηση απόδοσηςΟ σχεδιασμός της ροής εργασίας, το CI/CD, η ασφάλεια και η ρύθμιση του λειτουργικού συστήματος κάνουν τη διαφορά μεταξύ ενός αργού, ασταθούς αγωγού και ενός που λειτουργεί γρήγορα, είναι αξιόπιστος και οικονομικός στη συντήρηση. Εάν εργάζεστε με διακομιστές Linux, είτε αυτοματοποιείτε εργασίες στο τερματικό είτε εκτελείτε συνεχείς αγωγούς ολοκλήρωσης, η κατανόηση αυτών των λεπτομερειών σας εξοικονομεί πολύ χρόνο και πονοκεφάλους.

Σε αυτό το άρθρο θα συνδυάσουμε δύο συμπληρωματικές προοπτικές: αφενός, την Κλασική χρήση σωλήνων στη γραμμή εντολών του Linux (αγωγοί, ανακατευθύνσεις, εντολές όπως tee, xargs o cpio) από την άλλη, το Βελτιστοποίηση αγωγού CI/CD σε διακομιστές LinuxΑυτό περιλαμβάνει προσωρινή αποθήκευση, παραλληλοποίηση δοκιμών, ρύθμιση Docker, ασφάλεια εφοδιαστικής αλυσίδας και προηγμένες μετρήσεις ροής εργασίας. Όλα εξηγούνται στα Ισπανικά (από την Ισπανία), με σαφή παραδείγματα και μια πολύ πρακτική προσέγγιση.

Τι είναι ένας αγωγός και πώς εντάσσονται οι αγωγοί στο Linux;

Ο όρος αγωγός προέρχεται από την ιδέα ενός αγωγού : μιας ροής δεδομένων που ταξιδεύει από το ένα σημείο στο άλλο. Στην πληροφορική, και συγκεκριμένα στο Linux, ένας αγωγός είναι ένας μηχανισμός που επιτρέπει στην τυπική έξοδο μιας διεργασίας να γίνει η τυπική είσοδος μιας άλλης. Με άλλα λόγια, η έξοδος μιας εντολής τροφοδοτείται αυτόματα στην επόμενη χωρίς να διέρχεται από ενδιάμεσα αρχεία.

Σε συστήματα τύπου Unix, υπάρχουν δύο κύριοι τύποι αγωγών . Αφενός, υπάρχουν οι ανώνυμοι ή ανώνυμοι αγωγοί , οι οποίοι μπορούν να χρησιμοποιηθούν μόνο μεταξύ στενά συνδεδεμένων διεργασιών (για παράδειγμα, γονικού και θυγατρικού). Αφετέρου, υπάρχουν οι επώνυμοι αγωγοί , επίσης γνωστοί ως FIFO (First In – First Out), οι οποίοι επιτρέπουν την επικοινωνία μεταξύ διεργασιών που δεν σχετίζονται άμεσα και μπορεί ακόμη και να βρίσκονται σε διαφορετικά μηχανήματα συνδεδεμένα σε ένα δίκτυο.

Οι ανώνυμοι αγωγοί συνήθως παρέχουν μονοκατευθυντική επικοινωνία : η μία διεργασία γράφει και η άλλη διαβάζει. Αντίθετα, οι ονομασμένοι αγωγοί επιτρέπουν την αμφίδρομη επικοινωνία εάν έχουν σχεδιαστεί με αυτόν τον τρόπο, για παράδειγμα, ανοίγοντας το FIFO σε λειτουργία ανάγνωσης/εγγραφής και από τα δύο άκρα. Χρησιμοποιούνται ευρέως για τον συντονισμό διεργασιών daemon, σεναρίων ή υπηρεσιών που πρέπει να μεταδίδουν δεδομένα η μία στην άλλη χωρίς να μπλοκάρουν.

Σε επίπεδο υλοποίησης, η υποστήριξη για τους αγωγούς βρίσκεται στο πυρήνας linuxόχι στο κέλυφος. Ο διερμηνέας εντολών (bash, zsh, κ.λπ.) απλώς δημιουργεί τον αγωγό μέσω κλήσεων συστήματος όπως pipe() y fork()Ανακατευθύνετε τους περιγραφείς αρχείων και στη συνέχεια εκκινήστε κάθε πρόγραμμα. Η πραγματική μαγεία του πώς μπλοκάρονται οι διεργασίες, πώς διαχειρίζεται το buffer και πώς διαδίδονται τα δεδομένα μεταξύ παραγωγού και καταναλωτή χειρίζεται ο πυρήνας του συστήματος.

Κατανόηση του stdin, του stdout και της ροής δεδομένων

Για να εργαστείτε αποτελεσματικά με αγωγούς, είναι σημαντικό να κατανοήσετε τι είναι τα stdin, stdout και stderr . Αυτές δεν είναι αφηρημένες έννοιες: κάθε διεργασία στο Linux ξεκινά με τρεις περιγραφείς ανοιχτών αρχείων, οι οποίοι υποδεικνύουν συγκεκριμένους πόρους που διαχειρίζεται ο πυρήνας.

Τα stdin (περιγραφέας 0) και stdout (περιγραφέας 1) μπορούν να θεωρηθούν ως ροές byte συνδεδεμένες με κάτι: θα μπορούσε να είναι ένα τερματικό, ένα αρχείο, μια υποδοχή δικτύου ή ένας αγωγός. Δεν είναι απλώς buffers (ενδιάμεσοι αποθηκευτικοί χώροι). Είναι αναφορές σε αντικείμενα πυρήνα ( δομές τύπου αρχείου ) που με τη σειρά τους σχετίζονται με inodes, sockets ή εσωτερικές δομές αγωγών.

Κάθε διεργασία έχει τους δικούς της περιγραφείς, έτσι ώστε κάθε εντολή σε μια σωλήνωση Βλέπει το stdin και το stdout του ανεξάρτητα. Σε μια γραμμή όπως ls | grep txt | wc -l, Η ls γράφω σε έναν σωλήνα, grep Διαβάζει από έναν σωλήνα και γράφει σε έναν άλλο, και wc Ανάγνωση από το τελευταίο. Στον χρήστη εμφανίζεται ως μία μόνο συμβολοσειρά, αλλά εσωτερικά είναι πολλαπλά συνενωμένα buffer πυρήναμε κάθε διεργασία να μπλοκάρει και να συνεχίζει ανάλογα με τον διαθέσιμο χώρο ή τα δεδομένα.

Όταν η πρώτη διεργασία παράγει δεδομένα ταχύτερα από ό,τι τα καταναλώνει η δεύτερη, το buffer του pipe γεμίζει. Σε αυτό το σημείο, οι επόμενες εγγραφές επιστρέφουν, μπλοκάροντας τη διεργασία αποστολής μέχρι η διεργασία κατανάλωσης... διαβάστε αρκετές πληροφορίες και ελευθερώνει χώρο. Αυτό αποτρέπει την ανεξέλεγκτη διασπορά της μνήμης. Τα δεδομένα δεν συσσωρεύονται επ' αόριστον, εκτός εάν χρησιμοποιείτε μη μπλοκαρισμένα σήματα εισόδου/εξόδου ή ειδικά σήματα. Για παράδειγμα, σε μια περίπτωση όπως dd if=/dev/sda | gzip -9και gzip συμπιέζεται πιο αργά, dd είναι αναγκασμένος να περιμένει.

Αυτός ο μηχανισμός αντίθλιψης καθιστά τους αγωγούς αρκετά σταθερούς ακόμη και όταν υπάρχουν ανισορροπίες στην απόδοση μεταξύ των σταδίων, κάτι που αντικατοπτρίζεται και στο σχεδιασμό των αγωγών CI/CD , όπου τα αργά στάδια γίνονται το σημείο συμφόρησης που πρέπει να μετρηθεί και να βελτιστοποιηθεί.

Πρακτική χρήση των σωλήνων στο τερματικό Linux

Στην καθημερινή χρήση, οι διοχετεύσεις χρησιμοποιούνται για την αλυσιδωτή σύνδεση εντολών σε μία μόνο γραμμή και τον μετασχηματισμό δεδομένων βήμα προς βήμα. Αντί να εκτελείτε μια εντολή, να βλέπετε την έξοδο, να την αντιγράφετε, να την επικολλάτε σε μια άλλη εντολή, μπορείτε να δημιουργήσετε μικρά, εξαιρετικά ευέλικτα "εργοστάσια δεδομένων" σε απλό κείμενο.

Ένα τυπικό παράδειγμα σε περιβάλλοντα Unix είναι ο συνδυασμός της εντολής fortune, το οποίο εμφανίζει τυχαία εισαγωγικά, με cowsayτο οποίο τυπώνει μια αγελάδα που «μιλεί». Χρησιμοποιώντας έναν σωλήνα, Η αναχώρηση της Φόρτσουν γίνεται το μήνυμα του Κάουζεϊόλα σε μία μόνο εντολή. Είναι ένα παιχνιδιάρικο παράδειγμα, αλλά απεικονίζει τέλεια την ιδέα της σύνδεσης απλών εργαλείων για πιο σύνθετες εργασίες.

Ένα άλλο κλασικό είναι να στείλετε το αποτέλεσμα του ls a wc για να μετρήσω γραμμές, λέξεις και χαρακτήρες. Κάτι σαν ls | wc Σας επιτρέπει να δείτε γρήγορα πόσα στοιχεία αναφέρονται. Το ωραίο είναι ότι δεν χρειάζεστε ένα μόνο πρόγραμμα για να κάνετε τα πάντα, αλλά μάλλον... Δημιουργείτε λύσεις με μικρά, καλοσχεδιασμένα βοηθητικά προγράμματα..

Είναι επίσης πολύ συνηθισμένο να συνδυάζονται αλυσίδες cat, sort y more (ή άλλο pager) για να ταξινομήσετε ένα αρχείο κειμένου και στη συνέχεια να περιηγηθείτε σε αυτό σελίδα προς σελίδα. Με μια διοχέτευση, το περιεχόμενο μεταβαίνει από τη μία εντολή στην επόμενη χωρίς να αποθηκεύεται σε συγκεκριμένα προσωρινά αρχεία, γεγονός που απλοποιεί σημαντικά τις εργασίες δημιουργίας σεναρίων και διαχείρισης.

Σε πρακτικές περιπτώσεις, όπως η επεξεργασία λιστών φοιτητών και βαθμών σε ξεχωριστά αρχεία, μπορείτε να χρησιμοποιήσετε paste για να συγχωνεύσετε στήλες, cut για να επιλέξετε μόνο τα πεδία που σας ενδιαφέρουν και αλυσιδωτές διοχετεύσεις για να φιλτράρετε, να ταξινομήσετε ή να μετασχηματίσετε τα πάντα σε μία μόνο γραμμή σεναρίου κελύφους. Αυτό το μοτίβο να αναλύσει ένα μεγάλο πρόβλημα σε απλές εντολές σε συνδυασμό με σωλήνες Είναι η ουσία της φιλοσοφίας του Unix.

Προηγμένες εντολές για να αξιοποιήσετε στο έπακρο τους αγωγούς: tee, xargs και cpio

Όταν αρχίζετε να αυτοματοποιείτε πραγματικά τα πράγματα στο Linux, οι σωλήνες γίνονται ακόμη πιο ισχυροί χάρη σε ορισμένα βασικά εργαλεία. Μεταξύ αυτών είναι: tee, xargs y cpioτα οποία συμπληρώνουν πολύ καλά την τυπική ροή δεδομένων.

Η εντολή tee Λειτουργεί σαν ένα "Τ" σε έναν αγωγό νερού: διαβάζει από το stdin, γράφει στο stdout και επίσης αντιγράφει την ίδια έξοδο σε ένα ή περισσότερα αρχεία. Είναι ιδανικό όταν θέλετε δείτε την έξοδο στην οθόνη και, ταυτόχρονα, αποθηκεύστε την να το εξετάσετε αργότερα ή να το επεξεργαστείτε σε άλλο στάδιο. Με την επιλογή -a Προσθέτει δεδομένα στο τέλος του αρχείου αντί να το αντικαθιστά.

Για παράδειγμα, μπορείτε να ταξινομήσετε μια λίστα με sortστείλτε το αποτέλεσμα σε tee να το αποθηκεύσετε σε ένα αρχείο καταγραφής και, ταυτόχρονα, να το μεταβιβάσετε σε more για να το σελιδοποιήσετε. Με αυτόν τον τρόπο, σε μια ενιαία σωλήνωση, έχετε ταξινόμηση, αποθήκευση σε δίσκο και εύκολη προβολή χωρίς να επαναλάβετε τη διαδικασία ταξινόμησης.

Η εντολή xargs Είναι ένα άλλο θεμελιώδες κομμάτι όσον αφορά τους σωλήνες. Η λειτουργία του είναι να λαμβάνει ό,τι φτάνει μέσω stdin (συνήθως μια λίστα στοιχείων) και να το μετατρέπει σε ορίσματα για μια άλλη εντολή. Είναι ιδιαίτερα χρήσιμο όταν ένα πρόγραμμα καταρρέει επειδή λαμβάνει πάρα πολλές παραμέτρους ταυτόχρονα ή όταν θέλετε να χωρίστε την εργασία σε παρτίδες με επιλογή -n, το οποίο περιορίζει τον αριθμό των ορισμάτων που διαβιβάζονται ανά εκτέλεση.

Για παράδειγμα, με ls | xargs -n 4 Χωρίζετε τη λίστα αρχείων σε ομάδες των τεσσάρων, εκτελώντας την εντολή target (από προεπιλογή echo(ή αυτό που καθορίζετε) αρκετές φορές. Με αυτόν τον τρόπο μπορείτε να δημιουργήσετε αγωγούς όπως "προεπισκόπηση αυτού που θα διαγράψω" συνδυάζοντας ls, xargs y echo rm πριν από την έναρξη της πραγματικής διαγραφής.

Να είστε προσεκτικοί με σύνθετες εισόδους: διαδρομές με κενά ή ειδικούς χαρακτήρες μπορεί να διασπάσει την προεπιλεγμένη συμπεριφορά του xargsΣε αυτές τις περιπτώσεις, συνήθως χρησιμοποιείται σε συνδυασμό με find και την επιλογή -print0, το οποίο διαχωρίζει τα στοιχεία με έναν χαρακτήρα null, μαζί με xargs -0 έτσι ώστε και τα δύο άκρα να χρησιμοποιούν τον ίδιο ισχυρό οριοθέτη.

Τέλος, cpio Είναι μια λιγότερο γνωστή εντολή από tarΑλλά είναι απίστευτα ευέλικτο για εργασία με ροές αρχείων μέσω pipes. Σε αντίθεση με το tar, έχει σχεδιαστεί από την αρχή για να λειτουργεί με ανακατευθύνσεις και διοχετεύσεις: λαμβάνει μια λίστα αρχείων μέσω stdin (συνήθως δημιουργείται με find) και παράγει ή καταναλώνει αρχεία τύπου "πακέτου" χωρίς δική τους συμπίεση, τα οποία στη συνέχεια μπορείτε να συμπιέσετε με gzip ή παρόμοιο.

Οι κύριες λειτουργίες cpio επιτρέπει τη δημιουργία αρχείων (-o), αντιγραφή δέντρων καταλόγων (-p) ή εξαγωγή περιεχομένου (-i(συχνά αναφέρεται ως «αντιγραφή»). Επιλογές όπως -u να αντικαταστήσω, -m για τη διατήρηση χρονικών σημάνσεων ή -d η αναδημιουργία της δομής καταλόγου καθιστά δυνατή να ελέγχει λεπτομερώς τι αντιγράφεται και πώς, ιδιαίτερα χρήσιμο σε σύνθετα σενάρια όπου tar υστερεί.

Σχεδιασμός και βελτιστοποίηση αγωγών CI/CD σε διακομιστές Linux

Πέρα από την παραδοσιακή γραμμή εντολών, η έννοια του αγωγού έχει γίνει θεμελιώδης στον κόσμο της Συνεχούς Ενσωμάτωσης και της Συνεχούς Παράδοσης (CI/CD) . Σε έναν διακομιστή Linux, ένας αγωγός CI/CD είναι μια αυτοματοποιημένη ακολουθία βημάτων: ανάκτηση κώδικα, εγκατάσταση εξαρτήσεων, μεταγλώττιση, εκτέλεση δοκιμών, συσκευασία αντικειμένων και ανάπτυξη.

Το Linux είναι ιδιαίτερα κατάλληλο για αυτό, επειδή ξεχωρίζει για την ταχύτητα, τη σταθερότητα και το οικοσύστημα εργαλείων αυτοματισμού . Πλατφόρμες όπως οι Jenkins, GitHub Actions και GitLab CI βασίζονται σε εκτελεστές Linux (φυσικές μηχανές, εικονικές μηχανές ή κοντέινερ) για την ομαλή εκτέλεση των αγωγών.

Η βελτιστοποίηση αυτών των αγωγών σημαίνει όχι μόνο να τις κάνουμε να «λειτουργούν», αλλά και να λειτουργούν με όσο το δυνατόν λιγότερες τριβές. Αυτό σημαίνει μείωση των χρόνων ολοκλήρωσης ελέγχου, ελαχιστοποίηση επαναλαμβανόμενων εγκαταστάσεων εξαρτήσεων, βελτιστοποίηση εικόνων Docker για την αποφυγή περιττών ανακατασκευών, επαναχρησιμοποίηση ήδη δημιουργημένων αντικειμένων και διατήρηση του περιβάλλοντος ασφαλούς και παρατηρήσιμου.

Μια βασική καλή πρακτική είναι η δομή του αγωγού σε σαφώς καθορισμένα στάδια: δημιουργία, δοκιμή και ανάπτυξη . Ιδανικά, θα πρέπει να μεταγλωττίσετε μόνο μία φορά, να δημιουργήσετε ένα τεχνούργημα (δυαδικό αρχείο, πακέτο, εικόνα Docker) που δοκιμάζεται παράλληλα σε διαφορετικές παραλλαγές (για παράδειγμα, διάφορες εκδόσεις γλώσσας) και, στη συνέχεια, να αναπτύξετε το ίδιο τεχνούργημα σε περιβάλλοντα σταδιοποίησης και παραγωγής χωρίς επαναμεταγλώττιση.

Η εργασία με αμετάβλητα αντικείμενα που είναι αποθηκευμένα σε αποθετήρια (S3, Nexus, Artifactory, μητρώα κοντέινερ ή πακέτα ενσωματωμένα στο GitLab/GitHub) απλοποιεί τον έλεγχο, επιτρέπει γρήγορες επαναφορές εκδόσεων και μειώνει την πιθανότητα "λειτουργεί στον υπολογιστή μου αλλά όχι στην παραγωγή".

Προαπαιτούμενα: διανομή, χρήστης CI και θέρμανση διακομιστή

Πριν ασχοληθείτε με τη βελτιστοποίηση χιλιοστών του δευτερολέπτου πού και πού, είναι σημαντικό να δημιουργήσετε μια σταθερή βάση στον διακομιστή Linux που θα λειτουργεί ως εκτελεστής CI/CD. Αυτό ξεκινά με την επιλογή της διανομής και της ελάχιστης διαμόρφωσης ασφαλείας.

Η πιο λογική προσέγγιση είναι συνήθως η τυποποίηση σε μια LTS ή σε μια σταθερή διανομή με την οποία είναι εξοικειωμένη η ομάδα: Ubuntu LTS, Debian Stable ή εναλλακτικές λύσεις για επιχειρήσεις όπως το AlmaLinux ή το Rocky Linux. Η ύπαρξη όλων των εκτελεστών στην ίδια έκδοση αποτρέπει την απροσδόκητη συμπεριφορά που προκαλείται από διαφορετικές βιβλιοθήκες ή πυρήνες μεταξύ των εργασιών.

Μια άλλη σύσταση είναι να διαμορφώσετε ένα αποκλειστικός χρήστης για CI, χωρίς δικαιώματα root, με το sudo πολύ περιορισμένο μόνο στις απαραίτητες εντολές (για παράδειγμα, systemctl o docker (αν είναι πραγματικά απαραίτητο). Αυτός ο χρήστης πρέπει να πιστοποιηθεί χρησιμοποιώντας κλειδιά SSH, τόσο για να έχει πρόσβαση στον διακομιστή όσο και για να αλληλεπιδρά με αποθετήρια Git ή άλλα απομακρυσμένα μηχανήματα.

Σε επίπεδο συστήματος, συνιστάται η συντήρηση του διακομιστή ανανεωμένο και ελάχιστα ενισχυμένοΑυτό περιλαμβάνει την εφαρμογή ενημερώσεων ασφαλείας, τη διαμόρφωση ενός περιοριστικού τείχους προστασίας (για παράδειγμα, με το UFW: άρνηση όλης της εισερχόμενης κίνησης εκτός από ό,τι είναι απαραίτητο και δυνατότητα εξερχόμενης κίνησης) και την ενεργοποίηση εργαλείων όπως fail2ban για να σταματήσετε τις επιθέσεις βίας στο SSH και να προσαρμόσετε ορισμένες παραμέτρους δικτύου και πυρήνα μέσω sysctl για τη βελτίωση της αξιοπιστίας και της απόδοσης.

Για παράδειγμα, είναι σύνηθες να αυξάνεται το όριο κοινοποιώ για να αποτρέψετε την εξάντληση των πόρων των συστημάτων δημιουργίας που παρακολουθούν πολλά αρχεία και να προσαρμόσετε την παράμετρο vm.swappiness για να γίνει ο πυρήνας πιο συντηρητικός κατά τη χρήση swap, κάτι ιδιαίτερα σημαντικό όταν οι εργασίες CI καταναλώνουν πολλή μνήμη κάθε φορά.

Caches, Docker και παραλληλοποίηση: οι μοχλοί απόδοσης στο CI/CD

Αν κοιτάξετε πού περνάει στην πραγματικότητα ο χρόνος σε μια μέση διαδικασία, θα δείτε ότι ένα τεράστιο μέρος χάνεται κατά την εγκατάσταση εξαρτήσεων και την ανακατασκευή εικόνων Docker . Η αντιμετώπιση αυτού του προβλήματος είναι συνήθως πιο αποτελεσματική από τη βελτιστοποίηση του κώδικα δοκιμών κατά λίγα χιλιοστά του δευτερολέπτου.

Το πρώτο μοχλό είναι η προσωρινή αποθήκευση εξαρτήσεων . Σχεδόν όλοι οι διαχειριστές εξαρτήσεων (pip, npm, Maven, Gradle, Go modules, κ.λπ.) χρησιμοποιούν τοπικούς καταλόγους προσωρινής μνήμης. Σε έναν μόνιμο διακομιστή Linux, μπορείτε να κάνετε κοινή χρήση αυτών των καταλόγων μεταξύ εργασιών ή να τους προσαρτήσετε σε έναν μόνιμο τόμο. Με αυτόν τον τρόπο, κάθε εκτέλεση δεν χρειάζεται να κατεβάσει ξανά το μισό διαδίκτυο.

Για το Docker, ενεργοποιήστε BuildKit και να δομήσει καλά το Dockerfile Αυτό σηματοδοτεί ένα σημείο καμπής. Η τοποθέτηση της εγκατάστασης εξαρτήσεων αμέσως μετά την αντιγραφή του αρχείου απαιτήσεων και πριν από τον υπόλοιπο κώδικα, διασφαλίζει ότι τα επίπεδα θα επαναχρησιμοποιηθούν εφόσον οι εκδόσεις αυτών των εξαρτήσεων παραμένουν αμετάβλητες. Επιπλέον, μπορούν να ρυθμιστούν συγκεκριμένες προσωρινές μνήμες για pip, npm κ.λπ. μέσα στην ίδια την έκδοση.

Ο δεύτερος σημαντικός μοχλός είναι η παράλληλη εκτέλεση δοκιμήςΠολλά πλαίσια υποστηρίζουν εγγενώς την ταυτόχρονη λειτουργία: pytest με -n autoΕργαλεία Java όπως Surefire, Jest σε JavaScript με --maxWorkersκ.λπ. Η διαίρεση της σουίτας ανά ενότητες, φακέλους ή ακόμα και ανά εκτιμώμενο χρόνο και η εξισορρόπησή της μεταξύ πολλών εργαζομένων επιτρέπει μειώσεις από 2 έως 5 φορές στη διάρκεια της φάσης δοκιμών χωρίς να αλλάξει ούτε μία επιχειρηματική γραμμή.

Τέλος, υπάρχει το ζήτημα των τεχνουργημάτων και της ανάπτυξης . Αντί να αναμεταγλωττίζεται η ίδια εικόνα για προετοιμασία, προπαραγωγή και παραγωγή, η αποτελεσματική προσέγγιση είναι η δημιουργία μία φορά, η αποθήκευση του αποτελέσματος σε ένα αποθετήριο και η προσθήκη ετικετών σύμφωνα με το περιβάλλον ανάπτυξης. Αυτό μειώνει τη χρήση της CPU, αποφεύγει τις ασυνέπειες και επιταχύνει σημαντικά τις μεγάλες διοχετεύσεις.

Βελτιστοποίηση Jenkins, GitHub Actions και GitLab Runner σε Linux

Κάθε σύστημα CI έχει τις δικές του ιδιαιτερότητες, αλλά όλα επωφελούνται από τις ίδιες βασικές ιδέες όταν εκτελούνται σε Linux. Το κλειδί είναι συνήθως η χρήση εφήμερων και καθαρών εκτελεστών , η διατήρηση μιας μόνιμης προσωρινής μνήμης με καλό μέγεθος και ο έλεγχος της ταυτόχρονης λειτουργίας.

Στο Jenkins, μια κοινή πρακτική είναι η χρήση ελαφρών, προσωρινών πρακτόρων (όπως κοντέινερ Docker ή pods σε Kubernetes ή άλλες λύσεις ενορχήστρωσης κοντέινερ ) για την εκτέλεση εργασιών, διατηρώντας παράλληλα τον κύριο κόμβο όσο το δυνατόν πιο απλό. Αυτοί οι πράκτορες μπορούν να διαμορφωθούν ως συστημικές υπηρεσίες σε διακομιστές Linux, να εγγραφούν στον ελεγκτή και να ξεκινήσουν αυτόματα κατά την εκκίνηση του μηχανήματος.

Για τις Ενέργειες GitHub με αυτο-φιλοξενούμενους εκτελεστές, συνιστάται η ανάπτυξή τους σε Εικονικές μηχανές Linux με γρήγορους SSDΓια να δημιουργήσετε έναν μεγάλο κατάλογο προσωρινής μνήμης αφιερωμένο σε ενέργειες (εξαρτήσεις γλώσσας, προσωρινές μνήμες δημιουργίας κ.λπ.), περιορίστε τον αριθμό των ταυτόχρονων εργασιών για να αποφύγετε την υπερφόρτωση της CPU και του δίσκου. Επωφεληθείτε από την επίσημη ενέργεια προσωρινής αποθήκευσης με διαδρομές όπως ~/.cache/pip, ~/.npm o ~/.m2 Κάνει τεράστια διαφορά στον χρόνο.

Στο GitLab Runner, η επιλογή μεταξύ του εκτελέστη κελύφους και του Docker εξαρτάται από την ισορροπία μεταξύ απόδοσης και απομόνωσης που χρειάζεστε. Ο εκτελέστης κελύφους είναι ταχύτερος επειδή εκτελείται απευθείας στον κεντρικό υπολογιστή, αλλά ο εκτελέστης Docker προσφέρει καθαρά και αναπαραγώγιμα περιβάλλοντα. Μπορείτε επίσης να διαμορφώσετε την κοινόχρηστη προσωρινή αποθήκευση (τοπική ή σε S3) και να προσαρμόσετε τον μέγιστο αριθμό ταυτόχρονων εργασιών για να αξιοποιήσετε το υλικό χωρίς να το υπερφορτώσετε.

Σε όλες αυτές τις περιπτώσεις, η ύπαρξη κοινόχρηστων τόμων για την προσωρινή αποθήκευση εξαρτήσεων, αποτρέποντας παράλληλα την υπερφόρτωση των χώρων εργασίας μεταξύ των builds, είναι ζωτικής σημασίας. Οι εφήμεροι μηχανισμοί ή τα κοντέινερ, τα οποία δημιουργούνται και καταστρέφονται με κάθε pipeline ή ομάδα pipeline, μειώνουν σημαντικά τα προβλήματα τύπου "λειτούργησε χθες, αλλά δεν λειτουργεί σήμερα" που προκαλούνται από υπολείμματα προηγούμενων builds.

Απόδοση διακομιστή Linux: CPU, μνήμη, I/O και Docker

Ανεξάρτητα από το πόσο βελτιστοποιημένα είναι τα σενάρια σας, εάν ο διακομιστής Linux που εκτελεί τον αγωγό δεν έχει το σωστό μέγεθος, θα αντιμετωπίσετε ατελείωτες ουρές και αργές εργασίες. Μια τυπική, λογική διαμόρφωση για ένα μηχάνημα μεσαίας κατηγορίας είναι 4-8 vCPU και 8-16 GB μνήμης RAM , με χώρο αποθήκευσης SSD (ιδανικά NVMe) και κάποιο χώρο swap (2-4 GB) για τη διαχείριση των αιχμών φορτίου χωρίς να τερματίζονται επιθετικά οι διεργασίες.

Το σύστημα αρχείων έχει επίσης σημασία. Χρησιμοποιήστε ext4 ή XFS με την επιλογή noatime Στους τόμους όπου μεταγλωττίζετε ή γράφετε αρχεία καταγραφής, μειώστε τις περιττές εισόδους/εξόδους. Επιπλέον, η τοποθέτηση ενός tmpfs για προσωρινά αρχεία ή βραχύβια αντικείμενα (για παράδειγμα, /mnt/ci-tmp) επιταχύνει τις εντατικές λειτουργίες και αποτρέπει το γέμισμα του δίσκου με υπολειπόμενα αρχεία μεταξύ των εργασιών.

Όσον αφορά το Docker, η υγιεινή των daemon είναι το κλειδί. Η ασφαλής και τακτική αφαίρεση αχρησιμοποίητων εικόνων και τόμων, διατηρώντας παράλληλα τις εικόνες hot base, βοηθά στην έλεγχος χώρου στο δίσκο και χρόνων εκκίνησης. Εντολές όπως docker system prune Με τα κατάλληλα χρονικά φίλτρα, επιτρέπουν τον καθαρισμό χωρίς να υπερφορτώνουν τους πρόσφατα χρησιμοποιημένους πόρους.

Εάν το CI σας χρησιμοποιεί πολλά κοντέινερ, μπορείτε επίσης να χρησιμοποιήσετε κατοπτρισμένα μητρώα για να αποφύγετε τη συνεχή λήψη από το διαδίκτυο, να χρησιμοποιήσετε το BuildKit για ταυτόχρονη αποθήκευση και αποθήκευση επιπέδων στην προσωρινή μνήμη, ακόμη και να διαμορφώσετε συνάφειες CPU (σύνολα CPU) ή αποκλειστικούς κόμβους για τους πιο απαιτητικούς εκτελεστές, αποτρέποντας τις παρεμβολές μεταξύ γειτονικών φόρτων εργασίας. Επιπλέον, η κατανόηση της μικροαρχιτεκτονικής της CPU σάς βοηθά να διαστασιολογήσετε καλύτερα τους πόρους για εντατικά φόρτα εργασίας CI.

Ασφάλεια σε εξέλιξη (DevSecOps) και αναπτύξεις σε Linux

Ένας γρήγορος αλλά μη ασφαλής αγωγός είναι μια ωρολογιακή βόμβα. Η ενσωμάτωση της ασφάλειας στον ίδιο τον αγωγό και η ασφάλεια των κοντέινερ Docker είναι πλέον στάνταρ σε οποιαδήποτε στρατηγική DevSecOps και το Linux προσφέρει πολλά εργαλεία για αυτό.

Το πρώτο πράγμα που πρέπει να κάνετε είναι να χειρίζεστε τα μυστικά και τα διαπιστευτήρια με τη μέγιστη προσοχή . Δεν πρέπει ποτέ να βρίσκονται στον κώδικα ή σε αρχεία διαμόρφωσης με εκδοχές. Αντίθετα, αποθηκεύονται σε μυστικούς διαχειριστές (μεταβλητές με μάσκα GitLab, κρυπτογραφημένα μυστικά GitHub, HashiCorp Vault, κ.λπ.) και εισάγονται μόνο κατά την εκτέλεση της εργασίας που τα χρειάζεται, χρησιμοποιώντας βραχύβια διακριτικά όποτε είναι δυνατόν.

Ένα άλλο σημαντικό επίπεδο είναι η δημιουργία SBOM (Software Bill of Materials - Λίστα Υλικών Λογισμικού) και η υπογραφή τεχνουργημάτων. Εργαλεία όπως το Syft ή το CycloneDX σάς επιτρέπουν να απαριθμήσετε όλα τα στοιχεία που αποτελούν μια εικόνα ή ένα δυαδικό αρχείο, ενώ το Cosign ή άλλες επαληθεύσιμες λύσεις υπογραφής διασφαλίζουν ότι αναπτύσσονται μόνο τα τεχνουργήματα που έχουν περάσει από τη διαδικασία επεξεργασίας και έχουν επικυρωθεί.

Όσον αφορά το δίκτυο και την πρόσβαση, συνιστάται η τμηματοποίηση των δικτύων CI και παραγωγής , η εφαρμογή αυστηρών τείχους προστασίας, ο έλεγχος των αρχείων καταγραφής εκτέλεσης και η τακτική εναλλαγή των διαπιστευτηρίων. Όπου χρησιμοποιείται SSH, είναι καλύτερο να χρησιμοποιούνται πιστοποιητικά ή κλειδιά με ημερομηνίες λήξης αντί για στατικούς κωδικούς πρόσβασης.

Κατά την ανάπτυξη σε Linux, στρατηγικές όπως οι Blue/Green, rolling και canary μειώνουν σημαντικά τον αντίκτυπο των σφαλμάτων ανάπτυξης. Η εκτέλεση της εφαρμογής ως υπηρεσία systemd, η τοποθέτηση ενός Nginx ή HAProxy μπροστά της και ο έλεγχος της κυκλοφορίας μεταξύ των εκδόσεων με ελέγχους εύρυθμης λειτουργίας σάς επιτρέπουν να επιτύχετε ουσιαστικά μηδενικό χρόνο διακοπής λειτουργίας κατά τη διάρκεια των ενημερώσεων.

Για παράδειγμα, κατά την επαναφόρτωση του Nginx και την επανεκκίνηση υπηρεσιών με το systemd χρησιμοποιώντας σήματα soft stop (όπως SIGTERMΜε λογικούς χρόνους αναμονής, μπορείτε να εξαντλήσετε τις ενεργές συνδέσεις πριν σταματήσει η διαδικασία, διατηρώντας την εμπειρία χρήστη ανέπαφη ενώ αλλάζετε εκδόσεις στο παρασκήνιο.

Παρατηρησιμότητα, μετρήσεις και κόστος σε αγωγούς Linux

Μόλις οι αγωγοί σας τεθούν σε λειτουργία, το επόμενο βήμα είναι να τους μετρήσετε και να κατανοήσετε πού δαπανάται ο χρόνος και οι πόροι . Δεν αρκεί να γνωρίζετε αν μια ροή εργασίας είναι επιτυχής ή αποτυχημένη. Πρέπει να παρακολουθείτε τη διάρκεια κάθε σταδίου, τον χρόνο ουράς, το ποσοστό επιτυχίας, τη συχνότητα ανάπτυξης, το ποσοστό επιτυχίας στην προσωρινή μνήμη και ούτω καθεξής.

Είναι σύνηθες να εξάγετε μετρήσεις συστήματος χρησιμοποιώντας node_exporterΣυγκεντρώστε τα αρχεία καταγραφής με λύσεις όπως το ELK ή το Loki και οπτικοποιήστε τα πάντα σε πίνακες ελέγχου Grafana. Με αυτόν τον τρόπο, μπορείτε να εντοπίσετε, για παράδειγμα, εάν η φάση δοκιμών έχει αυξηθεί σε διάρκεια κατά 30% την τελευταία εβδομάδα ή εάν οι εργασίες αφιερώνουν πολύ χρόνο περιμένοντας έναν διαθέσιμο εκτελεστή. παρακολούθηση της κυκλοφορίας δικτύου Τα εργαλεία ανοιχτού κώδικα συμπληρώνουν αυτήν την ορατότητα.

Είναι επίσης δυνατό να οργανωθεί η ίδια η διοχέτευση, για παράδειγμα στο GitHub Actions ή στο GitLab CI, για να για να μετρηθεί μέσω προγραμματισμού πόσες εκτελέσεις ήταν επιτυχημένες, πόσο διήρκεσε κάθε εκτέλεση και ποια είναι η συνολική κατάστασηΈνα σενάριο που καλεί το API του παρόχου, υπολογίζει τον συνολικό αριθμό εκτελέσεων, τον αριθμό των επιτυχημένων εκτελέσεων, τον αριθμό των αποτυχημένων εκτελέσεων, το ποσοστό επιτυχίας και τη μέση διάρκεια και αποθηκεύει τα πάντα σε ένα αρχείο JSON (όπως pipeline-metrics.json) σας επιτρέπει να ενσωματώσετε αυτές τις μετρήσεις σε αναφορές ή πίνακες ελέγχου.

Με αυτές τις πληροφορίες, μπορείτε να λάβετε αποφάσεις σχετικά με το μέγεθος και τον αριθμό των runners : μερικές φορές είναι καλύτερο να έχετε περισσότερους μικρούς runners παρά λίγους πολύ μεγάλους για να μειώσετε τους χρόνους αναμονής. Η αυτόματη κλιμάκωση - για παράδειγμα, η αυτόματη κλιμάκωση στο cloud ή οι δυναμικές ομάδες κόμβων Kubernetes - βοηθά στην απορρόφηση της μέγιστης δραστηριότητας κατά τη διάρκεια της ημέρας και στην ελαχιστοποίηση των υποχρησιμοποιούμενων πόρων τη νύχτα.

Αυτές οι πρακτικές όχι μόνο βελτιώνουν την εμπειρία της ομάδας, αλλά βοηθούν επίσης στην προσαρμογή του κόστους υποδομής ελέγχοντας την κατανάλωση CPU, μνήμης και ιδιαίτερα αποθήκευσης, η οποία τείνει να εκτοξεύεται με εικόνες και προσωρινές μνήμες εάν δεν καθαρίζονται τακτικά και σε προγραμματισμένη βάση.

Η εξοικείωση τόσο με τους κλασικούς αγωγούς γραμμής εντολών όσο και με τους σύγχρονους αγωγούς CI/CD στο Linux προσφέρει έναν ισχυρό συνδυασμό: μπορείτε να αυτοματοποιήσετε τα πάντα, από απλές εργασίες φιλτραρίσματος κειμένου έως σύνθετους, συντηρήσιμους, ασφαλείς και γρήγορους αγωγούς δημιουργίας, δοκιμής και ανάπτυξης. Η κατανόηση του τρόπου με τον οποίο οι πληροφορίες ρέουν μεταξύ των διεργασιών, του τρόπου με τον οποίο αποθηκεύονται στην προσωρινή μνήμη οι εξαρτήσεις, του τρόπου με τον οποίο ρυθμίζονται οι διακομιστές και του τρόπου με τον οποίο ενσωματώνονται οι μετρήσεις και η ασφάλεια, σάς επιτρέπει να δημιουργείτε ροές εργασίας που κλιμακώνονται με την ομάδα και τα έργα σας χωρίς να αποτελούν συνεχές σημείο συμφόρησης.