Linux'ta işlem hattı optimizasyonu: Pipe'lardan gelişmiş CI/CD'ye

Informatec Dijital » Ücretsiz Destekler » Linux'ta işlem hattı optimizasyonu: Pipe'lardan gelişmiş CI/CD'ye

Linux'ta işlem hatlarının optimizasyonu Mesele sadece sembolle komutları zincirlemek değil. |Bütün bunların ardında koca bir dünya yatıyor. verim iyileştirmesiİş akışı tasarımı, CI/CD, güvenlik ve işletim sistemi ayarlamaları, yavaş ve istikrarsız bir işlem hattı ile hızlı, güvenilir ve bakımı ucuz bir işlem hattı arasındaki farkı yaratır. Linux sunucularıyla çalışıyorsanız, ister terminalde görevleri otomatikleştiriyor olun ister sürekli entegrasyon işlem hatları çalıştırıyor olun, bu ayrıntıları anlamak size çok zaman ve baş ağrısından tasarruf sağlar.

Bu yazıda iki tamamlayıcı bakış açısını birleştireceğiz: bir yandan, Linux komut satırında boruların klasik kullanımı (boru hatları, yönlendirmeler, komutlar gibi) tee, xargs o cpio); diğer yandan, Linux sunucularında CI/CD işlem hattı optimizasyonuBu, önbellekleme, test paralelleştirme, Docker optimizasyonu, tedarik zinciri güvenliği ve gelişmiş iş akışı metriklerini içerir. Tüm bunlar İspanyolca (İspanya'dan) olarak, net örnekler ve çok pratik bir yaklaşımla açıklanmıştır.

Pipeline nedir ve pipe'lar Linux'ta nasıl bir rol oynar?

"Pipe" terimi , bir noktadan diğerine giden veri akışı olan "boru" fikrinden gelir . Bilgisayar biliminde ve özellikle Linux'ta, boru, bir işlemin standart çıktısının başka bir işlemin standart girdisi haline gelmesini sağlayan bir mekanizmadır. Başka bir deyişle, bir komutun çıktısı, ara dosyalardan geçmeden otomatik olarak bir sonrakine aktarılır.

Unix benzeri sistemlerde iki ana boru türü vardır . Bir yandan, yalnızca yakından ilişkili süreçler (örneğin, ana süreç ve alt süreç) arasında kullanılabilen isimsiz veya isimsiz borular bulunur. Diğer yandan, doğrudan ilişkili olmayan ve hatta bir ağa bağlı farklı makinelerde bile olabilen süreçler arasında iletişime olanak sağlayan , FIFO (İlk Giren İlk Çıkar) olarak da bilinen isimli borular vardır.

Anonim borular genellikle tek yönlü iletişim sağlar : bir işlem yazar, diğeri okur. Buna karşılık, adlandırılmış borular, örneğin FIFO'yu her iki uçtan da okuma/yazma modunda açarak, bu şekilde tasarlandıkları takdirde çift yönlü iletişime olanak tanır . Bunlar, birbirlerine engellemeden veri aktarması gereken arka plan işlemlerini, komut dosyalarını veya hizmetleri koordine etmek için yaygın olarak kullanılır.

Uygulama düzeyinde, işlem hatlarına yönelik destek şu şekildedir: Linux çekirdeğiKabukta değil. Komut yorumlayıcısı (bash, zsh, vb.) işlem hattını aşağıdaki gibi sistem çağrıları aracılığıyla oluşturur. pipe() y fork()Dosya tanımlayıcılarını yeniden yönlendirin ve ardından her programı başlatın. İşlemlerin nasıl engellendiği, arabelleğin nasıl yönetildiği ve üretici ile tüketici arasında verilerin nasıl yayıldığıyla ilgili asıl sihir, sistem çekirdeği tarafından ele alınır.

stdin, stdout ve veri akışını anlamak

İşlem hatlarıyla etkili bir şekilde çalışmak için stdin, stdout ve stderr'in ne olduğunu anlamak çok önemlidir . Bunlar soyut kavramlar değildir: Linux'taki her işlem, çekirdek tarafından yönetilen belirli kaynaklara işaret eden üç açık dosya tanımlayıcısıyla başlar.

stdin (tanımlayıcı 0) ve stdout (tanımlayıcı 1), bir şeye bağlı bayt akışları olarak düşünülebilir: bu bir terminal, bir dosya, bir ağ soketi veya bir boru olabilir. Bunlar sadece tamponlar değildir; sırasıyla inode'lar, soketler veya dahili boru yapılarıyla ilişkilendirilen çekirdek nesnelerine ( dosya tipi yapılar) referanslardır.

Her sürecin kendine özgü tanımlayıcıları vardır, bu nedenle bir işlem hattındaki her komut Standart giriş ve çıkışlarını birbirinden bağımsız olarak ele alır. Örneğin, şu satırda: ls | grep txt | wc -l, ls bir boruya yaz, grep Bir borudan okur, diğerine yazar ve wc Sonuncusundan okuyun. Kullanıcıya tek bir dize olarak görünür, ancak dahili olarak bunlar farklıdır. birden fazla birleştirilmiş çekirdek arabellekleriHer işlem, mevcut alan veya verilere bağlı olarak bloke olur ve yeniden başlatılır.

Birinci işlem veriyi ikinci işlemden daha hızlı ürettiğinde, boru tamponu dolar. Bu noktada, sonraki yazma işlemleri geri döner ve gönderen işlemi, tüketen işlem tamamlanana kadar bloke eder... yeterince bilgi okuyun ve yer açar. Bu, belleğin kontrolden çıkmasını önler; engellemeyen G/Ç veya özel sinyaller kullanmadığınız sürece veriler süresiz olarak birikmez. Örneğin, aşağıdaki gibi bir durumda: dd if=/dev/sda | gzip -9ve gzip daha yavaş sıkıştırır, dd Beklemek zorunda kalıyor.

Bu geri basınç mekanizması, aşamalar arasında performans dengesizlikleri olsa bile işlem hatlarını oldukça istikrarlı hale getirir; bu durum , yavaş aşamaların ölçülmesi ve optimize edilmesi gereken darboğaz haline geldiği CI/CD işlem hatlarının tasarımına da yansır .

Linux terminalinde boruların pratik kullanımı

Günlük kullanımda, borular (pipes) , komutları tek bir satırda zincirlemek ve verileri adım adım dönüştürmek için kullanılır . Bir komutu çalıştırmak, çıktıyı incelemek, kopyalamak ve başka bir komuta yapıştırmak yerine, düz metinde küçük, son derece esnek "veri fabrikaları" oluşturabilirsiniz.

Unix ortamlarında tipik bir örnek, komutların birleştirilmesidir. fortuneRastgele alıntıları gösteren, cowsayBu, "konuşan" bir inek yazdırır. Boru kullanıldığında, Fortune'un ayrılışı Cowsay'in mesajı haline geliyor.Hepsi tek bir komutla. Eğlenceli bir örnek ama daha karmaşık görevler için basit araçları bir araya getirme fikrini mükemmel bir şekilde gösteriyor.

Bir diğer klasik yöntem ise sonucu göndermektir. ls a wc Satırları, kelimeleri ve karakterleri saymak. Örneğin şöyle bir şey: ls | wc Listelenen ürün sayısını hızlıca görmenizi sağlar. İşin güzel yanı, her şeyi yapmak için tek bir programa ihtiyacınız olmaması, bunun yerine... Küçük, iyi tasarlanmış yardımcı programlarla çözümler üretiyorsunuz..

Birbirine zincirleme şeklinde bağlamak da çok yaygındır. cat, sort y more (veya başka bir sayfalama programı) kullanarak bir metin dosyasını sıralayabilir ve ardından sayfa sayfa inceleyebilirsiniz. Boru hattı ile içerik, açık geçici dosyalara kaydedilmeden bir komuttan diğerine aktarılır; bu da komut dosyası oluşturmayı ve yönetimsel görevleri büyük ölçüde basitleştirir.

Öğrenci listelerini ve notlarını ayrı dosyalarda işlemek gibi pratik durumlarda, şunu kullanabilirsiniz: paste Sütunları birleştirmek için, cut Yalnızca ilgilendiğiniz alanları seçmek ve tek bir shell betiği satırında her şeyi filtrelemek, sıralamak veya dönüştürmek için zincirleme borular kullanmak. Bu kalıp Büyük bir problemi, borularla birleştirilmiş basit komutlara ayırmak Bu, Unix felsefesinin özüdür.

Pipe'lardan en iyi şekilde yararlanmak için gelişmiş komutlar: tee, xargs ve cpio

Linux'ta işleri gerçekten otomatikleştirmeye başladığınızda, bazı önemli araçlar sayesinde borular (pipes) daha da güçlü hale gelir. Bunlardan bazıları şunlardır: tee, xargs y cpioBu durum, standart veri akışını çok iyi tamamlar.

Komut tee Su borusundaki "T" harfi gibi davranır: standart girişten okur, standart çıkışa yazar ve aynı çıktıyı bir veya daha fazla dosyaya kopyalar. İstediğiniz zaman idealdir. Ekrandaki çıktıyı görüntüleyin ve aynı anda kaydedin. Daha sonra incelemek veya başka bir aşamada işlemek için. Bu seçenekle -a Dosyadaki verilerin üzerine yazmak yerine, dosyanın sonuna veri ekler.

Örneğin, bir listeyi şu şekilde sıralayabilirsiniz: sortSonucu şuraya gönder tee Bunu bir günlüğe kaydetmek ve aynı zamanda ona iletmek more Sayfalara ayırmak için. Bu şekilde, tek bir işlem hattında sıralama, diske kaydetme ve sıralama işlemini tekrarlamadan rahat görüntüleme imkanına sahip olursunuz.

Komut xargs Borular söz konusu olduğunda bir diğer temel unsurdur. İşlevi, standart girişten (genellikle bir eleman listesi) gelen veriyi alıp başka bir komut için argümanlara dönüştürmektir. Özellikle bir program aynı anda çok fazla parametre aldığı için çöktüğünde veya başka bir komut için argümanlara dönüştürmek istediğinizde kullanışlıdır. işi gruplara ayırın seçenek ile -nBu, her çalıştırmada geçirilen argüman sayısını sınırlar.

Örneğin, ls | xargs -n 4 Dosya listesini dörderli gruplara ayırarak hedef komutu (varsayılan olarak) yürütüyorsunuz. echo(veya belirttiğiniz) işlemi birkaç kez tekrarlayın. Bu şekilde, "silmek istediğim şeyleri önizle" gibi işlem hatları oluşturmak için bunları birleştirebilirsiniz. ls, xargs y echo rm Asıl silme işlemine başlamadan önce.

Karmaşık girdilerle çalışırken dikkatli olun: boşluklu veya özel karakterli yollar varsayılan davranışı bozabilir xargsBu durumlarda genellikle şunlarla birlikte kullanılır: find ve seçenek -print0Öğeleri boş karakterle ayıran, bununla birlikte xargs -0 Böylece her iki uç da aynı sağlam ayırıcıyı kullanır.

Son olarak, cpio Bu, daha az bilinen bir komuttur. tarAncak, borular aracılığıyla dosya akışlarıyla çalışmak için inanılmaz derecede esnektir. Tar'ın aksine, baştan sona bu şekilde çalışmak üzere tasarlanmıştır. yönlendirmeler ve borular: Standart girişten (genellikle şu şekilde oluşturulur) dosya listesi alır. find) ve kendi sıkıştırmaları olmadan "paket" türünde dosyalar üretir veya tüketir; bu dosyaları daha sonra siz sıkıştırabilirsiniz. gzip veya benzeri.

Başlıca modları cpio Dosya oluşturmaya izin ver (-o), dizin ağaçlarını kopyala (-p) veya içeriği çıkarın (-i(genellikle "kopyala-içeri" olarak adlandırılır). Seçenekler şunlardır: -u üzerine yazmak için, -m zaman damgalarını korumak için veya -d Dizin yapısını yeniden oluşturmak mümkün kılar Kopyalanan şeylerin ve kopyalanma şeklinin ayrıntılı kontrolünü sağlamak.özellikle karmaşık senaryolarda kullanışlıdır. tar yetersiz kalıyor.

Linux sunucularında CI/CD işlem hatlarının tasarımı ve optimizasyonu

Geleneksel komut satırının ötesinde, işlem hattı kavramı Sürekli Entegrasyon ve Sürekli Dağıtım (CI/CD) dünyasında temel bir unsur haline gelmiştir . Bir Linux sunucusunda, bir CI/CD işlem hattı, otomatikleştirilmiş bir dizi adımdan oluşur: kodu getirme, bağımlılıkları yükleme, derleme, testleri çalıştırma, yapıtları paketleme ve dağıtma.

Linux, hızı, kararlılığı ve otomasyon araçları ekosistemiyle öne çıktığı için bu amaç için özellikle uygundur . Jenkins, GitHub Actions ve GitLab CI gibi platformlar, işlem hatlarını tutarlı bir şekilde çalıştırmak için Linux yürütücülerine (fiziksel makineler, sanal makineler veya konteynerler) güvenir.

Bu işlem hatlarını optimize etmek, yalnızca "çalışmasını" sağlamak değil, aynı zamanda mümkün olduğunca az sürtünmeyle çalışmasını sağlamak anlamına gelir. Bu, dosya indirme sürelerini kısaltmak, tekrarlayan bağımlılık kurulumlarını en aza indirmek, gereksiz yeniden derlemeleri önlemek için Docker imajlarını optimize etmek , önceden oluşturulmuş yapıtları yeniden kullanmak ve ortamı güvenli ve gözlemlenebilir tutmak demektir.

Temel iyi uygulama, işlem hattını iyi tanımlanmış aşamalara ayırmaktır: derleme, test ve dağıtım . İdeal olarak, yalnızca bir kez derleme yapmalı, farklı varyantlarda (örneğin, çeşitli dil sürümlerinde) paralel olarak test edilen bir yapıt (ikili dosya, paket, Docker imajı) oluşturmalı ve ardından aynı yapıtı yeniden derleme yapmadan hazırlık ve üretim ortamlarına dağıtmalısınız.

Depolarda (S3, Nexus, Artifactory, konteyner kayıt defterleri veya GitLab/GitHub'a gömülü paketler) saklanan değiştirilemez yapıtlarla çalışmak, denetimi basitleştirir, hızlı sürüm geri alma işlemlerine olanak tanır ve "benim makinemde çalışıyor ama üretimde çalışmıyor" olasılığını azaltır.

Önkoşullar: dağıtım, CI kullanıcısı ve sunucu güvenliğinin güçlendirilmesi

Milisaniyelik optimizasyonlarla uğraşmadan önce, CI/CD yürütücüsü olarak görev yapacak Linux sunucusunda istikrarlı bir temel oluşturmak önemlidir . Bu, dağıtımı ve minimum güvenlik yapılandırmasını seçmekle başlar.

En mantıklı yaklaşım genellikle ekibin aşina olduğu bir LTS veya kararlı dağıtım üzerinde standartlaşmaktır : Ubuntu LTS, Debian Stable veya AlmaLinux veya Rocky Linux gibi kurumsal alternatifler. Tüm çalıştırıcıların aynı sürümde olması, işler arasında farklı kütüphaneler veya çekirdeklerden kaynaklanan beklenmedik davranışları önler.

Bir diğer öneri ise şunu yapılandırmaktır: CI için özel kullanıcıKök ayrıcalıkları olmadan, sudo'yu yalnızca temel komutlarla sınırlandırarak (örneğin, systemctl o docker (Gerçekten gerekliyse). Bu kullanıcının hem sunucuya erişmek hem de Git depoları veya diğer uzak makinelerle etkileşim kurmak için SSH anahtarları kullanarak kimlik doğrulaması yapması gerekir.

Sistem düzeyinde sunucunun bakımının yapılması tavsiye edilir. güncellendi ve minimum düzeyde güçlendirildiBu, güvenlik güncellemelerinin uygulanmasını, kısıtlayıcı bir güvenlik duvarının yapılandırılmasını (örneğin, UFW ile: gerekli olanlar dışında tüm gelen trafiği reddetmek ve giden trafiğe izin vermek) ve aşağıdakiler gibi araçların etkinleştirilmesini içerir: fail2ban SSH üzerindeki kaba kuvvet saldırılarını durdurmak ve bazı ağ ve çekirdek parametrelerini ayarlamak için sysctl Güvenilirliği ve performansı artırmak için.

Örneğin, limiti yükseltmek yaygın bir uygulamadır. not etmek Çok sayıda dosyayı izleyen derleme sistemlerinin kaynaklarının tükenmesini önlemek ve parametreyi ayarlamak için vm.swappiness Çekirdeğin takas belleği kullanırken daha tutumlu davranmasını sağlamak, özellikle CI işlerinin aynı anda çok fazla bellek tükettiği durumlarda önemlidir.

Önbellekler, Docker ve paralelleştirme: CI/CD'de performansı artıran unsurlar

Ortalama bir işlem hattında zamanın gerçekte nereye gittiğine bakarsanız, büyük bir kısmının bağımlılıkların yüklenmesi ve Docker imajlarının yeniden oluşturulmasıyla kaybedildiğini göreceksiniz . Bunu ele almak, test kodunu birkaç milisaniye optimize etmekten genellikle daha etkilidir.

İlk kaldıraç bağımlılık önbelleklemesidir . Hemen hemen tüm bağımlılık yöneticileri (pip, npm, Maven, Gradle, Go modülleri vb.) yerel önbellek dizinleri kullanır. Kalıcı bir Linux sunucusunda, bu dizinleri işler arasında paylaşabilir veya kalıcı bir birime bağlayabilirsiniz. Bu şekilde, her çalıştırma internetin yarısını yeniden indirmek zorunda kalmaz.

Docker için etkinleştirin. Yapı Kiti ve iyi yapılandırın Dockerfile Bu bir dönüm noktasıdır. Bağımlılık kurulumunu, gereksinimler dosyasını kopyaladıktan hemen sonra ve kodun geri kalanından önce yerleştirmek, bu bağımlılıkların sürümleri değişmediği sürece katmanların yeniden kullanılmasını sağlar. Ayrıca, pip, npm vb. için özel önbellekler, derleme işleminin içinde kurulabilir.

İkinci önemli kaldıraç şudur: paralel test yürütmeBirçok framework, eşzamanlılığı doğal olarak destekler: pytest ile -n autoSurefire, Jest gibi Java araçlarını JavaScript'te kullanmak --maxWorkersÖrneğin, test paketini modüllere, klasörlere veya tahmini süreye göre bölmek ve bunu birkaç çalışan arasında dengelemek, iş süreçlerinde herhangi bir değişiklik yapmadan test aşamasının süresini 2 ila 5 kat azaltmaya olanak tanır.

Son olarak, yapıtlar ve dağıtım sorunu var . Hazırlık, ön üretim ve üretim için aynı imajı yeniden derlemek yerine, verimli yaklaşım bir kez derlemek, sonucu bir depoya kaydetmek ve dağıtım ortamına göre etiketlemektir. Bu, CPU kullanımını azaltır, tutarsızlıkları önler ve uzun işlem hatlarını önemli ölçüde hızlandırır.

Linux'ta Jenkins, GitHub Actions ve GitLab Runner'ı Optimize Etme

Her CI sisteminin kendine özgü özellikleri vardır, ancak Linux üzerinde çalışırken hepsi aynı temel fikirlerden faydalanır. Genellikle kilit nokta, geçici ve temiz yürütücüler kullanmak , yeterli büyüklükte kalıcı bir önbellek bulundurmak ve eşzamanlılığı kontrol etmektir.

Jenkins'te yaygın bir uygulama, ana düğümü olabildiğince basit tutarken, işleri çalıştırmak için hafif, geçici aracıları (Docker konteynerleri veya Kubernetes veya diğer konteyner düzenleme çözümlerindeki pod'lar gibi ) kullanmaktır . Bu aracılar, Linux sunucularında systemd servisleri olarak yapılandırılabilir, denetleyiciye kaydolabilir ve makine başlatıldığında otomatik olarak başlayabilir.

Kendi sunucunuzda barındırdığınız çalıştırıcılarla GitHub Actions için, bunları şu şekilde dağıtmanız önerilir: Hızlı SSD'lere sahip Linux sanal makineleriİşlemlere (dil bağımlılıkları, derleme önbellekleri vb.) ayrılmış büyük bir önbellek dizini oluşturmak için, CPU ve diskin aşırı yüklenmesini önlemek amacıyla eşzamanlı iş sayısını sınırlayın. Aşağıdaki gibi yollarla resmi önbellekleme işleminden yararlanın: ~/.cache/pip, ~/.npm o ~/.m2 Zaman açısından çok büyük fark yaratıyor.

GitLab Runner'da, shell yürütücüsü ile Docker arasında seçim yapmak , ihtiyaç duyduğunuz performans ve izolasyon arasındaki dengeye bağlıdır. Shell yürütücüsü doğrudan ana bilgisayarda çalıştığı için daha hızlıdır, ancak Docker yürütücüsü temiz ve tekrarlanabilir ortamlar sunar. Ayrıca, donanımı aşırı yüklemeden kullanmak için paylaşımlı önbellekleme (yerel veya S3 üzerinde) yapılandırabilir ve eşzamanlı iş sayısını ayarlayabilirsiniz.

Tüm bu durumlarda, bağımlılık önbelleklemesi için paylaşılan birimlere sahip olmak ve derlemeler arasında çalışma alanlarının karmaşık hale gelmesini önlemek çok önemlidir. Her işlem hattı veya işlem hattı grubuyla oluşturulan ve yok edilen geçici makineler veya konteynerler, önceki derlemelerin kalıntılarından kaynaklanan "dün çalışıyordu, bugün çalışmıyor" sorunlarını büyük ölçüde azaltır.

Linux sunucu performansı: CPU, bellek, G/Ç ve Docker

Komut dosyalarınız ne kadar optimize edilmiş olursa olsun, işlem hattını çalıştıran Linux sunucusu uygun boyutta değilse, sonsuz kuyruklar ve yavaş ilerleyen işlerle karşılaşacaksınız. Orta seviye bir makine için tipik ve makul bir yapılandırma, 4-8 sanal işlemci (vCPU) ve 8-16 GB RAM , SSD depolama (ideal olarak NVMe) ve yoğun yükleri agresif bir şekilde işlemleri sonlandırmadan karşılamak için bir miktar takas alanı (2-4 GB) içerir.

Dosya sistemi de önemlidir. Kullanın ext4 veya XFS seçeneğiyle noatime Derleme veya günlük yazma işlemlerinin yapıldığı birimlerde gereksiz G/Ç işlemlerini azaltın. Ek olarak, bir diski bağlamak tmpfs geçici dosyalar veya kısa ömürlü öğeler için (örneğin, /mnt/ci-tmpYoğun işlemleri hızlandırır ve işler arasında disk alanının artık dosyalarla dolmasını önler.

Docker söz konusu olduğunda, arka plan servisinin hijyeni çok önemlidir. Kullanılmayan imajları ve birimleri güvenli ve düzenli bir şekilde kaldırırken, sık kullanılan temel imajları korumak, aşağıdaki hususlara yardımcı olur: disk alanını ve önyükleme sürelerini kontrol etme. gibi komutlar docker system prune Uygun zaman filtreleri sayesinde, yakın zamanda kullanılan kaynakları aşırı yüklemeden temizlik yapılmasına olanak tanırlar.

Eğer CI (Sürekli Entegrasyon) süreciniz yoğun konteyner tabanlıysa, internetten sürekli indirme yapmaktan kaçınmak için aynalı kayıt defterlerini kullanabilir , eşzamanlılık ve katman önbellekleme için BuildKit'i kullanabilir ve hatta en zorlu yürütücüler için CPU yakınlıklarını (CPU kümeleri) veya özel düğümleri yapılandırarak komşu iş yükleri arasındaki etkileşimi önleyebilirsiniz. Ayrıca, CPU mikro mimarisini anlamak , yoğun CI iş yükleri için kaynakları daha iyi boyutlandırmanıza yardımcı olur.

Linux üzerinde geliştirme süreçlerinde ve dağıtımlarda güvenlik (DevSecOps)

Hızlı ama güvensiz bir işlem hattı, zaman ayarlı bir bomba gibidir. Güvenliği işlem hattının kendisine ve Docker konteyner güvenliğine entegre etmek , artık herhangi bir DevSecOps stratejisinde standart hale gelmiştir ve Linux bunun için birçok araç sunmaktadır.

Öncelikle gizli bilgilere ve kimlik bilgilerine azami özen gösterilmelidir . Bunlar asla kodda veya sürümlü yapılandırma dosyalarında bulunmamalıdır. Bunun yerine, gizli bilgi yöneticilerinde (GitLab maskelenmiş değişkenler, GitHub şifrelenmiş gizli bilgiler, HashiCorp Vault vb.) saklanmalı ve mümkün olduğunca kısa ömürlü belirteçler kullanılarak yalnızca ihtiyaç duyulan işin yürütülmesi sırasında enjekte edilmelidir.

Bir diğer önemli aşama ise Yazılım Malzeme Listelerinin (SBOM) oluşturulması ve yapıtların imzalanmasıdır. Syft veya CycloneDX gibi araçlar, bir imajı veya ikili dosyayı oluşturan tüm bileşenleri listelemenize olanak tanırken, Cosign veya diğer doğrulanabilir imzalama çözümleri, yalnızca işlem hattından geçen ve doğrulanan yapıtların dağıtılmasını sağlar.

Ağ ve erişim açısından, CI ve üretim ağlarını ayırmak, sıkı güvenlik duvarları uygulamak, yürütme günlüklerini denetlemek ve kimlik bilgilerini düzenli olarak değiştirmek önerilir . SSH kullanılıyorsa, statik parolalar yerine son kullanma tarihi olan sertifikalar veya anahtarlar kullanmak daha iyidir.

Linux'ta dağıtım yaparken, Mavi/Yeşil, kademeli ve canary gibi stratejiler dağıtım hatalarının etkisini büyük ölçüde azaltır. Uygulamayı systemd servisi olarak çalıştırmak, önüne bir Nginx veya HAProxy yerleştirmek ve sürümler arasındaki trafiği sağlık kontrolleriyle yönetmek, güncellemeler sırasında neredeyse sıfır kesinti süresi elde etmenizi sağlar.

Örneğin, Nginx'i yeniden yüklerken ve systemd ile hizmetleri yeniden başlatırken, yazılımsal durdurma sinyalleri (örneğin) kullanıldığında... SIGTERMMakul bekleme süreleriyle, işlem durmadan önce aktif bağlantıları boşaltabilir ve arka planda sürümler arasında geçiş yaparken kullanıcı deneyimini koruyabilirsiniz.

Linux işlem hatlarında gözlemlenebilirlik, ölçümler ve maliyetler

İşlem hatlarınız çalışmaya başladıktan sonraki adım, bunları ölçmek ve zamanın ve kaynakların nereye gittiğini anlamaktır . Bir iş akışının başarılı olup olmadığını bilmek yeterli değildir; her aşamanın süresini, bekleme süresini, başarı oranını, dağıtım sıklığını, önbellek isabet oranını vb. izlemeniz gerekir.

Sistem metriklerini dışa aktarmak için yaygın olarak kullanılan bir yöntemdir. node_exporterELK veya Loki gibi çözümlerle logları merkezileştirin ve her şeyi Grafana panolarında görselleştirin. Bu sayede, örneğin, test aşamasının süresinin geçen hafta %30 artıp artmadığını veya işlerin kullanılabilir bir yürütücü beklemek için çok fazla zaman harcayıp harcamadığını tespit edebilirsiniz; ağ trafiği izleme Açık kaynak kodlu araçlar bu görünürlüğü tamamlıyor.

Örneğin GitHub Actions veya GitLab CI'da, işlem hattının kendisini de izlemek mümkündür. Programatik olarak kaç çalıştırmanın başarılı olduğunu, her çalıştırmanın ne kadar sürdüğünü ve genel durumun ne olduğunu ölçmek.Sağlayıcının API'sini çağıran, toplam çalıştırma sayısını, başarılı çalıştırma sayısını, başarısız çalıştırma sayısını, başarı oranını ve ortalama süreyi hesaplayan ve her şeyi bir JSON dosyasına kaydeden bir komut dosyası (örneğin). pipeline-metrics.jsonBu özellik, bu ölçümleri raporlara veya gösterge panellerine entegre etmenizi sağlar.

Bu bilgilerle, çalıştırıcıların boyutu ve sayısı hakkında kararlar verebilirsiniz : bazen bekleme sürelerini azaltmak için birkaç çok büyük çalıştırıcı yerine daha fazla sayıda küçük çalıştırıcıya sahip olmak daha iyidir. Otomatik ölçeklenebilirlik (örneğin, bulut otomatik ölçeklendirme veya dinamik Kubernetes düğüm havuzları), gün içindeki en yüksek aktiviteyi absorbe etmeye ve gece boyunca az kullanılan kaynakları en aza indirmeye yardımcı olur.

Bu uygulamalar yalnızca ekibin deneyimini iyileştirmekle kalmaz, aynı zamanda düzenli ve planlı bir şekilde temizlenmediği takdirde görüntü dosyaları ve önbelleklerle birlikte hızla artma eğiliminde olan CPU, bellek ve özellikle depolama tüketimini kontrol ederek altyapı maliyetlerinin ayarlanmasına da yardımcı olur.

Linux'ta hem klasik komut satırı borularını hem de modern CI/CD işlem hatlarını ustaca kullanmak güçlü bir kombinasyon sunar: Basit metin filtreleme görevlerinden karmaşık, sürdürülebilir, güvenli ve hızlı derleme, test ve dağıtım işlem hatlarına kadar her şeyi otomatikleştirebilirsiniz . İşlemler arasında bilgi akışının nasıl gerçekleştiğini, bağımlılıkların nasıl önbelleğe alındığını, sunucuların nasıl ayarlandığını ve ölçümlerin ve güvenliğin nasıl entegre edildiğini anlamak, sürekli bir darboğaz haline gelmeden ekibiniz ve projelerinizle birlikte ölçeklenebilen iş akışları oluşturmanıza olanak tanır.