DevOps με AI και LLMOps: από τον αγωγό σε μοντέλο που μιλάει

Informatec Digital » Πόροι » DevOps με AI και LLMOps: από τον αγωγό σε μοντέλο που μιλάει

Η άφιξη της γενετικής τεχνητής νοημοσύνης (generative AI) και των μεγάλων γλωσσικών μοντέλων έχει αλλάξει εντελώς τον τρόπο με τον οποίο κατασκευάζεται, αναπτύσσεται και λειτουργεί το λογισμικό. Το να έχεις καλά πράγματα δεν είναι πλέον αρκετό. Αγωγοί DevOps ούτε εφαρμόζοντας κλασικά MLOpsΌταν εισάγετε ένα LLM στην εξίσωση, μπαίνετε σε ένα πεδίο όπου το μοντέλο μιλάει, συλλογίζεται, αυτοσχεδιάζει και μερικές φορές συμπεριφέρεται με απρόβλεπτους τρόπους.

Σε αυτό το νέο σενάριο, Οι ομάδες πρέπει να συνδυάζουν DevOps, AI και LLMOps για να διέπουν ολόκληρο τον κύκλο ζωής των εφαρμογών που βασίζονται σε LLM.Από τον πειραματισμό και την άμεση μηχανική έως την ανάπτυξη, την παρακολούθηση, την ασφάλεια και τη βελτιστοποίηση κόστους, αυτό το άρθρο φέρνει όλο αυτόν τον θόρυβο στη γη και σας καθοδηγεί, βήμα προς βήμα, στο πώς να ενσωματώσετε ChatOps, DevOps, MLOps, GenAIOps και LLMOps σε μια σύγχρονη λειτουργία.

Από DevOps και MLOps σε LLMOps: γιατί το μοντέλο δεν είναι πλέον στατικό

Για χρόνια, η προτεραιότητα των ομάδων μηχανικών ήταν αυτοματοποίηση της παράδοσης λογισμικού και να μειωθούν οι τριβές μεταξύ ανάπτυξης και υποδομώνΈτσι γεννήθηκε το DevOps: συνεχής ενσωμάτωση, συνεχής ανάπτυξη, υποδομή ως κώδικας, παρατηρησιμότητα και μια κουλτούρα συνεργασίας που εξάλειψε τις ατελείωτες μεταβιβάσεις μεταξύ των τμημάτων.

Όταν τα δεδομένα έγιναν μέρος του προϊόντος, αναδύθηκε MLOps ως απάντηση στην ανάγκη για αναπαραγωγιμότητα και ιχνηλασιμότητα των μοντέλων μηχανικής μάθησηςΤυποποιήθηκαν πρακτικές όπως η δημιουργία εκδόσεων συνόλου δεδομένων, η ενορχήστρωση αγωγών εκπαίδευσης, η ανίχνευση μετατόπισης και η συνεχής αξιολόγηση προγνωστικών μοντέλων.

Το πρόβλημα είναι αυτό Τα LLM παραβιάζουν πολλές από τις υποθέσεις που υπονοούνται στα DevOps και MLOpsΔεν είναι στατικά API ή απλές συναρτήσεις που επιστρέφουν έναν ντετερμινιστικό αριθμό: ανταποκρίνονται σε φυσική γλώσσα, συνδυάζουν περιβάλλοντα, οδηγίες, εργαλεία και δεδομένα σε πραγματικό χρόνο και μπορούν να παράγουν δύο διαφορετικές εξόδους για την ίδια είσοδο.

Αυτό σημαίνει ότι Δεν αρκεί απλώς να αλλάξετε το μοντέλο και τα βάρη τουΕίναι επίσης απαραίτητο να ελέγχονται οι προτροπές, τα πρότυπα, οι πολιτικές σημασιολογικής ασφάλειας, οι περιορισμοί, τα συνδεδεμένα εργαλεία, το εισαγόμενο περιβάλλον, ακόμη και οι επιχειρηματικοί κανόνες που καθορίζουν τη συμπεριφορά του συστήματος.

Τι είναι το LLMOps και τι πραγματικά λύνει;

Μπορούμε να δούμε τα LLMOps ως το λειτουργικό πλαίσιο που επιτρέπει την ασφαλή, ελεγχόμενη και βιώσιμη ανάπτυξη, συντήρηση και κλιμάκωση εφαρμογών που βασίζονται σε LLMΕίναι μια ομπρέλα κάτω από την οποία συνυπάρχουν οι πρακτικές DevOps, τα MLOps και οι νέες δυνατότητες που αφορούν ειδικά τα γενετικά μοντέλα.

Στην ουσία, Το LLMOps επικεντρώνεται λιγότερο στην «εκπαίδευση του τέλειου μοντέλου» και περισσότερο στη διαχείριση της συμπεριφοράς του στην παραγωγή.Περιλαμβάνει τον τρόπο σχεδιασμού και έκδοσης των ροών προτροπών, τον τρόπο σύνδεσης των LLM με εσωτερικές πηγές δεδομένων, τον τρόπο παρακολούθησης του κόστους των tokens και της καθυστέρησης και τον τρόπο διαχείρισης του σημασιολογικού κινδύνου (παραισθήσεις, διαρροές πληροφοριών, προκαταλήψεις, τοξικές αντιδράσεις κ.λπ.).

Οι ανάγκες που καλύπτουν τα LLMOps και που δεν καλύπτουν από μόνα τους τα DevOps/MLOps περιλαμβάνουν: πτυχές τόσο ποικίλες όσο η ιχνηλασιμότητα συνομιλίας, η αυτόματη αξιολόγηση της ποιότητας απόκρισης ή η σύγκριση A/B παραλλαγών συμπεριφοράςΔεν μιλάμε μόνο για κλασική ακρίβεια, αλλά και για συνέπεια, ευθυγράμμιση με την επιχείρηση και ασφάλεια.

Επιπλέον, Το κόστος δεν περιορίζεται πλέον στην εκπαίδευση και τη φιλοξενία του μοντέλουΚάθε προτροπή, κάθε εκτεταμένο πλαίσιο και κάθε ταυτόχρονη κλήση ενεργοποιεί την κατανάλωση GPU ή token σε εμπορικά API. Χωρίς ένα επίπεδο LLMOps για να καταστήσει ορατή αυτήν την κατανάλωση και να τη συνδέσει με εξοπλισμό, υπηρεσίες και περιπτώσεις χρήσης, ο λογαριασμός αυξάνεται απρόβλεπτα.

ChatOps + LLMOps + DevOps: οι λειτουργίες γίνονται συνομιλιακές

Μία από τις πιο ισχυρές τάσεις είναι η ενσωμάτωση των ChatOps και LLMOps στην κουλτούρα DevOpsΑντί να περιορίζονται σε πίνακες ελέγχου, σενάρια και αγωγούς, οι ομάδες αρχίζουν να λειτουργούν ένα μεγάλο μέρος του συστήματος από κανάλια συνομιλίας όπως το Slack, το Microsoft Teams ή το Discord.

Το ChatOps προτείνει οι καθημερινές λειτουργίες (αναπτύξεις, ερωτήματα καταγραφής, επανεκκινήσεις, αλλαγές διαμόρφωσης) εκτελούνται από bots εντός του ίδιου του καναλιού επικοινωνίας, με διαφάνεια σε ολόκληρη την ομάδα. Κάθε εντολή, ενέργεια και αποτέλεσμα καταγράφεται στη συνομιλία.

Όταν ένα LLM προστίθεται σε αυτήν την προσέγγιση, αναδύεται ένα νέο επίπεδο νοημοσύνης: Chatbots που κατανοούν τη φυσική γλώσσα, ερμηνεύουν προθέσεις και μπορούν να εκτελούν σύνθετες εντολές ή να αναλύουν καταστάσεις χωρίς ο χειριστής να χρειάζεται να θυμάται κάθε ακριβές σενάριο ή σημαία.

Τυπικά παραδείγματα αυτής της σύγκλισης περιλαμβάνουν ότι Ένα bot, που υποστηρίζεται από ένα LLM, διαβάζει μετρήσεις του Prometheus και αρχεία καταγραφής Loki Όταν κάποιος γράφει «η υπηρεσία της ομάδας Χ είναι αργή» και προτείνει ενέργειες όπως κλιμάκωση αντιγράφων, επαναφορά ή έναρξη συγκεκριμένων δοκιμών, όλα εξηγούμενα σε φυσική γλώσσα.

Σε πολιτιστικό και επιχειρησιακό επίπεδο, αυτό μεταφράζεται σε Ταχύτερες αποφάσεις, λιγότερη χειροκίνητη παρέμβαση σε επαναλαμβανόμενες εργασίες και μια πιο ομαλή εμπειρία για τις ομάδες DevOps, οι οποίοι από το να σβήνουν συνεχώς πυρκαγιές στο να εργάζονται για στρατηγικές βελτιώσεις.

Βασικές αρχές του κύκλου ζωής ενός LLM στην παραγωγή

Η διεξαγωγή ενός σοβαρού LLM δεν είναι ένα μεμονωμένο έργο, είναι ένας κύκλος που επαναλαμβάνεται και στον οποίο κάθε αλλαγή μπορεί να αλλάξει τη συμπεριφορά του συστήματοςΠαρόλο που κάθε οργανισμός το προσαρμόζει στη δική του πραγματικότητα, συνήθως υπάρχουν έξι κύρια στάδια που αλληλοεπηρεάζονται.

Το πρώτο είναι η φάση εκπαίδευσης ή προσαρμογής του μοντέλουΑυτό μπορεί να κυμαίνεται από τη χρήση ενός βασικού μοντέλου ως έχει έως την εφαρμογή τεχνικών βελτιστοποίησης, LoRa ή άλλων τεχνικών ρύθμισης με τα δικά σας δεδομένα. Το σημαντικό εδώ δεν είναι μόνο η απόδοση, αλλά και η διατήρηση ενός πλήρους αρχείου: σύνολα δεδομένων, εφαρμοσμένα φίλτρα, υπερπαράμετροι, εκδόσεις tokenizer, δοκιμασμένες αρχιτεκτονικές κ.λπ.

Αν αυτή η φάση είναι αυτοσχέδια και δεν καταγράφεται, το μοντέλο γεννιέται χωρίς διακυβέρνησηΣτη συνέχεια, θα είναι σχεδόν αδύνατο να εξηγήσουμε γιατί ανταποκρίνεται με αυτόν τον τρόπο ή να επαναλάβουμε ένα συγκεκριμένο αποτέλεσμα όταν χρειάζεται σε έναν έλεγχο.

Το δεύτερο στάδιο είναι η ανάπτυξη, όπου το μοντέλο εγκαταλείπει το εργαστήριο και εισέρχεται στην παραγωγή. Στο LLMOps, δεν πρόκειται απλώς για την «τοποθέτησή του σε ένα κοντέινερ»: Πρέπει να αποφασίσουμε ποιο υλικό να χρησιμοποιήσωΠώς να διαχειριστείτε τη μνήμη για μακροχρόνια περιβάλλοντα, ποια τοπολογία συμπλέγματος να εφαρμόσετε και πώς να κλιμακώσετε με βάση την κίνηση χωρίς η καθυστέρηση να εκτοξευθεί στα ύψη ή το κόστος να γίνει δυσβάσταχτο.

Εκεί είναι που παίζουν ρόλο τα πράγματα συνεχής παρακολούθηση προσανατολισμένη στη συμπεριφοράΔεν αρκεί να εξετάζουμε την CPU και τη RAM. Είναι απαραίτητο να παρακολουθούμε τη σημασιολογική ποιότητα των απαντήσεων, τη σταθερότητα του στυλ, το ποσοστό σφάλματος, την εξέλιξη του κόστους ανά διακριτικό, την εμφάνιση επικίνδυνων ή ασυνάρτητων απαντήσεων και τις αλλαγές στους χρόνους απόκρισης υπό διαφορετικά πρότυπα χρήσης.

Σε μεταγενέστερες φάσεις, εκτελούνται εργασίες βελτιστοποίησης και βελτίωσης: αγγίξτε προτροπές, προσαρμόστε το RAG, δοκιμάστε παραλλαγές μοντέλου, κβαντίστε, κάντε δοκιμές A/B, αλλάξτε πολιτικές σημασιολογικής ασφάλειας ή βελτιώστε τους επιχειρηματικούς κανόνεςΕίναι μια σχεδόν χειροποίητη διαδικασία, όπου τα δεδομένα, η μηχανική και οι επιχειρήσεις κάθονται μαζί για να αποφασίσουν σε τι θα δώσουν προτεραιότητα.

Τελικά, όλα αυτά εμπίπτουν επίπεδα ασφάλειας και διακυβέρνησης (έλεγχος πρόσβασης, έλεγχος, πρόληψη διαρροών, όρια χρήσης, συμμόρφωση με τους κανονισμούς) και σε μια λογική συνεχούς ενημέρωσης, όπου το μοντέλο και το οικοσύστημά του προσαρμόζονται στις αλλαγές στα δεδομένα, τους κανονισμούς και τις εσωτερικές ανάγκες.

GenAIOps και η προσέγγιση ροής ειδοποιήσεων στο Azure

Μέσα στο σύμπαν των LLMOps, υπάρχουν πολύ συγκεκριμένες προτάσεις για τη δομή αυτού του κύκλου ζωής. Μία από τις πιο προηγμένες στο εταιρικό περιβάλλον είναι η GenAIOps με άμεση ροή στο Azure Machine Learning ενσωματωμένο με το Azure DevOps, το οποίο προτείνει μια πολύ συστηματική προσέγγιση για την κατασκευή εφαρμογών που βασίζονται σε LLM.

Η ροή προτροπών δεν είναι απλώς ένας επεξεργαστής προτροπών. είναι μια ολοκληρωμένη πλατφόρμα για σχεδιασμό, δοκιμή, διαχείριση εκδόσεων και ανάπτυξη ροών αλληλεπίδρασης LLM, από απλές περιπτώσεις (μία μόνο προτροπή) έως σύνθετες ενορχηστρώσεις με πολλαπλούς κόμβους, εξωτερικά εργαλεία, ελέγχους και αυτόματες αξιολογήσεις.

Ένα κρίσιμο χαρακτηριστικό είναι το κεντρικό αποθετήριο ροώνη οποία λειτουργεί ως εταιρική βιβλιοθήκη. Αντί κάθε ομάδα να έχει τις προτροπές της σε ξεχωριστά έγγραφα ή στα δικά της αποθετήρια, αυτές ενοποιούνται σε ένα ενιαίο διαχειριζόμενο αποθετήριο, με σαφείς κλάδους, αναθεωρήσεις και ιστορικά.

Επιπλέον, η πλατφόρμα προσθέτει δυνατότητες πειραματισμού με παραλλαγές και υπερπαραμέτρους: Είναι δυνατό να δοκιμάσετε διαφορετικούς συνδυασμούς προτροπών, μοντέλων, ρυθμίσεων θερμοκρασίας ή πολιτικών ασφαλείας. σε πολλαπλούς κόμβους της ροής και συγκρίνετε τα αποτελέσματα με σαφείς μετρήσεις.

Όσον αφορά την ανάπτυξη, GenAIOps με ροή ειδοποιήσεων Δημιουργεί εικόνες Docker που ενσωματώνουν τόσο τη ροή εργασίας όσο και την περίοδο λειτουργίας της διεργασίας.Αυτά είναι έτοιμα για εκτέλεση σε περιβάλλοντα όπως οι Υπηρεσίες Εφαρμογών Azure, το Kubernetes ή οι διαχειριζόμενες διεργασίες. Από αυτή τη βάση, οι αναπτύξεις A/B είναι ενεργοποιημένες για τη σύγκριση εκδόσεων ροής σε πραγματικά περιβάλλοντα.

Ένα άλλο δυνατό σημείο είναι η διαχείριση των σχέσεων μεταξύ συνόλων δεδομένων και ροών. Κάθε ροή αξιολόγησης μπορεί να λειτουργήσει με πολλαπλά σύνολα τυπικών και δοκιμαστικών δεδομένωνΑυτό επιτρέπει την επικύρωση συμπεριφορών σε διαφορετικά σενάρια προτού τεθεί κάτι στα χέρια των τελικών χρηστών.

Η πλατφόρμα καταγράφει επίσης αυτόματα νέες εκδόσεις συνόλων δεδομένων και ροών μόνο όταν υπάρχουν πραγματικές αλλαγές, και Παράγει ολοκληρωμένες αναφορές σε μορφές όπως CSV και HTML. να υποστηρίξουν αποφάσεις που βασίζονται σε δεδομένα και όχι στη διαίσθηση.

Οι τέσσερις φάσεις του GenAIOps με ροή ειδοποιήσεων

Η προσέγγιση GenAIOps αναλύει τον κύκλο ζωής σε τέσσερα σαφώς διαφοροποιημένα στάδια, τα οποία βοηθούν στην αποφυγή του τυπικού χάους του τύπου «δοκιμάζουμε πράγματα με την Τεχνητή Νοημοσύνη και βλέπουμε τι θα συμβεί».

Η πρώτη φάση, η αρχικοποίηση, επικεντρώνεται στην Ορίστε με ακρίβεια τον επιχειρηματικό στόχο και συγκεντρώστε αντιπροσωπευτικά παραδείγματα δεδομένωνΕδώ σκιαγραφείται η βασική δομή της ροής προτροπών και σχεδιάζεται η αρχιτεκτονική, η οποία στη συνέχεια θα βελτιωθεί.

Στη φάση του πειραματισμού, η ροή εφαρμόζεται σε αυτό το δείγμα δεδομένων και Αξιολογούνται διαφορετικές παραλλαγές των προτροπών, των μοντέλων και των διαμορφώσεων.Η διαδικασία επαναλαμβάνεται αδιάκοπα μέχρι να βρεθεί ένας αποδεκτός συνδυασμός που να πληροί τα ελάχιστα πρότυπα ποιότητας και συνέπειας.

Στη συνέχεια ακολουθεί η φάση αξιολόγησης και βελτίωσης, όπου Μεγαλύτερα και πιο ποικίλα σύνολα δεδομένων χρησιμοποιούνται για τη διεξαγωγή αυστηρών συγκριτικών δοκιμών.Μόνο όταν η ροή επιδεικνύει συνεπή απόδοση ευθυγραμμισμένη με τα καθορισμένα πρότυπα, θεωρείται έτοιμη για το επόμενο βήμα.

Τέλος, στη φάση υλοποίησης, η ροή βελτιστοποιείται ώστε να είναι αποτελεσματική και να αναπτύσσεται στην παραγωγή. συμπεριλαμβανομένων επιλογών ανάπτυξης A/B, παρακολούθησης, συλλογής σχολίων χρηστών και κύκλων συνεχούς βελτίωσηςΤίποτα δεν είναι σίγουρο: η ροή συνεχίζει να προσαρμόζεται με βάση τα όσα παρατηρούνται σε πραγματική χρήση.

Αυτή η μεθοδολογία είναι συσκευασμένη σε ένα πρότυπο αποθετηρίου GenAIOps, με προκατασκευασμένους αγωγούς με προτεραιότητα στον κώδικα και Τοπικά και cloud-based εργαλεία εκτέλεσης για την ανάπτυξη, αξιολόγηση και ανάπτυξη εφαρμογών που βασίζονται σε LLM χωρίς να επανεφεύρουμε τον τροχό σε κάθε έργο.

Ενσωμάτωση με το Azure DevOps: αποθετήρια, αγωγοί και έλεγχος ταυτότητας

Για να μεταφερθεί το GenAIOps από τη θεωρία σε έναν πραγματικό οργανισμό, η ενσωμάτωσή του με το Azure DevOps είναι το κλειδί. Το τυπικό πρότυπο ξεκινά με ένα αποθετήριο στο Azure Repos με δύο κύριους κλάδους, τον κύριο και τον αναπτυξιακό, τα οποία αντικατοπτρίζουν διαφορετικά περιβάλλοντα και στρατηγικές προώθησης κώδικα.

Το αποθετήριο δειγμάτων κλωνοποιείται από το GitHub, σχετίζεται με τα Azure Repos και Συνήθως εργαζόμαστε δημιουργώντας κλάδους χαρακτηριστικών από την ανάπτυξη.Οι αλλαγές αποστέλλονται μέσω αιτημάτων έλξης, τα οποία ενεργοποιούν αυτόματα τις διοχετεύσεις επικύρωσης και πειραματισμού.

Προκειμένου το Azure DevOps να αλληλεπιδρά με το Azure Machine Learning και άλλες υπηρεσίες, έχει ρυθμιστεί μια οντότητα υπηρεσίας στο Azure ως τεχνική ταυτότηταΑυτή η ταυτότητα χρησιμοποιείται σε μια σύνδεση υπηρεσίας Azure DevOps, επομένως οι αγωγοί ελέγχονται χωρίς να εκτίθενται κλειδιά σε απλό κείμενο.

Συνήθως, αυτή η οντότητα έχει δικαιώματα κατόχου στη συνδρομή ML ή στον πόρο εργασίας, έτσι ώστε Οι αγωγοί μπορούν να παρέχουν τελικά σημεία, να καταχωρούν μοντέλα και να ενημερώνουν πολιτικές σε βασικά καταστήματα.Εάν θέλετε να ενισχύσετε την ασφάλεια, μπορείτε να προσαρμόσετε τον ρόλο σε Contributor προσαρμόζοντας τα βήματα YAML που χειρίζονται τα δικαιώματα.

Επιπλέον, δημιουργείται μια ομάδα μεταβλητών στο Azure DevOps που Αποθηκεύει ευαίσθητα δεδομένα, όπως το όνομα σύνδεσης υπηρεσίας ή τα αναγνωριστικά πόρων.Αυτές οι μεταβλητές εκτίθενται ως περιβάλλον στους αγωγούς, αποφεύγοντας την κωδικοποίηση κρίσιμων πληροφοριών στον κώδικα.

Η διαμόρφωση τοπικών και απομακρυσμένων αποθετηρίων σάς επιτρέπει να Ο κλάδος ανάπτυξης προστατεύεται από πολιτικές κλάδου που απαιτούν την εκτέλεση ενός αγωγού αιτήματος έλξης πριν επιτραπεί η συγχώνευση. Αυτός ο αγωγός χειρίζεται τις επικυρώσεις κατασκευής και τις ροές πειραματισμού, αποτρέποντας την εισαγωγή κατεστραμμένων αλλαγών.

Μόλις ο κώδικας εισέλθει στην ανάπτυξη, ενεργοποιείται μια διαδικασία ανάπτυξης που Περιλαμβάνει πλήρεις φάσεις CI και CD: εκτέλεση πειραμάτων και αξιολογήσεων, καταγραφή ροών στο μητρώο μοντέλων Azure ML, ανάπτυξη τελικών σημείων και δοκιμών καπνού και ενσωμάτωση σε νεοδημιουργημένα τελικά σημεία.

Το ίδιο μοτίβο αναπαράγεται σε μια έκδοση ή έναν κλάδο κυκλοφορίας, που συνδέεται με περιβάλλοντα παραγωγής. Εκεί, Οι αγωγοί CI/CD για παραγωγή επαναλαμβάνουν τον κύκλο πειραματισμού, αξιολόγησης και ανάπτυξηςαλλά σε δεδομένα σε επίπεδο υποδομής και παραγωγής, με μεγαλύτερο έλεγχο και πρόσθετες χειροκίνητες αναθεωρήσεις εάν είναι απαραίτητο.

Μια βασική λεπτομέρεια είναι η «αναθεώρηση ανθρώπινου βρόχου» που περιλαμβάνεται σε αυτούς τους αγωγούς: Μετά τη φάση CI, το CD παραμένει κλειδωμένο μέχρι να το εγκρίνει χειροκίνητα ένα άτομο. Η συνέχεια προέρχεται από τη διεπαφή Azure Pipelines. Εάν δεν εγκριθεί εντός συγκεκριμένου χρονικού διαστήματος (για παράδειγμα, 60 λεπτά), η εκτέλεση απορρίπτεται.

Τοπική εφαρμογή και σύνδεση με παρόχους LLM

Δεν περιστρέφονται όλα γύρω από τους αγωγούς: Το GenAIOps υποστηρίζει επίσης τοπική εκτέλεση για γρήγορο πειραματισμόΜπορείτε να κλωνοποιήσετε το αποθετήριο προτύπων, να δημιουργήσετε ένα αρχείο .env στον ριζικό κατάλογο και να ορίσετε τις συνδέσεις με το Azure OpenAI ή άλλα συμβατά τελικά σημεία μέσα σε αυτό.

Αυτές οι συνδέσεις περιλαμβάνουν παραμέτρους όπως api_key, api_base, api_type και api_version, και Αναφέρονται ονομαστικά μέσα στις ροές (για παράδειγμα, μια σύνδεση που ονομάζεται "aoai" με μια συγκεκριμένη έκδοση API). Με αυτόν τον τρόπο, η ίδια ροή μπορεί να εκτελεστεί τοπικά και στο cloud χωρίς αλλαγές στον κώδικα.

Για να χρησιμοποιήσετε αυτήν τη λειτουργία, απλώς δημιουργήστε ένα εικονικό περιβάλλον ή conda και εγκαταστήστε τις απαραίτητες εξαρτήσεις (promptflow, promptflow-tools, promptflow-sdk, openai, jinja2, python-dotenv, κ.λπ.). Από εκεί, μπορείτε να γράψετε σενάρια δοκιμών σε έναν τοπικό φάκελο εκτέλεσης και να εκτελέσετε πειράματα στις καθορισμένες ροές.

Αυτή η δυαδικότητα cloud/on-premises συνδυάζεται πολύ καλά με μια ώριμη νοοτροπία DevOps: Δοκιμάζεται σε μικρή κλίμακα τοπικά, επικυρώνεται επίσημα σε αγωγούς και στη συνέχεια προωθείται σε περιβάλλοντα υψηλότερου επιπέδου με ελέγχους και λογιστικό έλεγχο.Όλα τα στοιχεία είναι εκδομένα στο Git και συνδεδεμένα με το Azure DevOps.

Τυπικά εργαλεία σε ένα οικοσύστημα DevOps με AI και LLMOps

Πέρα από την συγκεκριμένη προσφορά του Azure, ένα σύγχρονο οικοσύστημα DevOps με AI και LLMOps συνήθως βασίζεται σε ένα σύνολο εργαλείων που καλύπτουν το ChatOps, την ενορχήστρωση μοντέλων, την παρακολούθηση και την παρατηρησιμότητα.

Στο επίπεδο ChatOps, είναι σύνηθες να συνδυάζονται Χαλαρώστε με bots όπως το HubotΗ Microsoft συνεργάζεται με πράκτορες που βασίζονται σε Power Virtual Agents ή Discord μαζί με frameworks όπως Botpress ή Rasa για τη δημιουργία προσαρμοσμένων βοηθών που συνδέονται με αγωγούς, συστήματα παρακολούθησης και εσωτερικές υπηρεσίες.

Στο επίπεδο LLMOps/MLops, είναι συχνά πλατφόρμες όπως το Kubeflow και το MLflow για τη διαχείριση αγωγών, αρχείων μοντέλων και πειραμάτων, καθώς και συγκεκριμένων εργαλείων όπως τα Βάρη & Μεροληψίες (W&B) για προηγμένη παρακολούθηση μετρήσεων, συγκρίσεις εκτελέσεων ή εις βάθος οπτικοποιήσεις.

Για την κατασκευή εφαρμογών σε LLM, είναι σύνηθες να χρησιμοποιείται πλαίσια όπως LangChain ή βιβλιοθήκες τύπου OpenLLMΑυτές οι λύσεις διευκολύνουν τη συναρμολόγηση αλυσίδων προτροπών, συνδέσμων με εξωτερικά δεδομένα, εργαλείων και πρακτόρων πολλαπλών βημάτων. Ταυτόχρονα, αναδύονται λύσεις για την παρατηρησιμότητα ειδικά για το LLM, επιτρέποντας την παρακολούθηση των προτροπών, των απαντήσεων, του κόστους και της ποιότητας.

Σε ενσωμάτωση με τα κλασικά DevOps, εργαλεία όπως το Jenkins ή το GitLab CI παραμένουν σχετικά για το τμήμα CI/CD, Kubernetes και ArgoCD για συνεχή ανάπτυξη cloud-nativeκαι στοίβες παρατηρησιμότητας όπως το Prometheus, το Grafana και το Loki για μετρήσεις, πίνακες ελέγχου και αρχεία καταγραφής.

Προκλήσεις, περιορισμοί και σταδιακή υιοθέτηση

Όλη αυτή η ανάπτυξη πρακτικών και εργαλείων δεν έρχεται δωρεάν. Η πολυπλοκότητα της διαχείρισης προτροπών, εκδόσεων μοντέλων και παραλλαγών ροής είναι σημαντική, ειδικά όταν πολλές ομάδες εργάζονται ταυτόχρονα —ένα σενάριο όπου είναι σκόπιμο να εφαρμοστεί στρατηγικές όπως το GitOps για τον συντονισμό αλλαγών και αναπτύξεων.

Επιπλέον, τα bots ChatOps και οι ίδιοι οι LLM με την ικανότητα δράσης Εγκυμονούν σημαντικούς κινδύνους ασφαλείας εάν έχουν υπερβολικά δικαιώματα σε περιβάλλοντα παραγωγής ή εάν οι επιφάνειες έκθεσης δεδομένων δεν ελέγχονται σωστά.

Σε αυτό προστίθεται το εξάρτηση από μοντέλα ανοιχτού κώδικα με ευαίσθητες άδειες χρήσης ή εμπορικά API η οποία μπορεί να αλλάξει τις συνθήκες, τις τιμές ή τα όρια. Και, για να γίνουν τα πράγματα χειρότερα, η ισχυρή αξιολόγηση των LLM στην παραγωγή παραμένει ένα ανοιχτό πεδίο, με πολλά ερωτήματα να παραμένουν αναπάντητα.

Επομένως, είναι λογικό να αντιμετωπιστεί η υιοθέτηση των LLMOps και ChatOps εντός των DevOps. με προοδευτικό και ελεγχόμενο τρόπο, ξεκινώντας με την αυτοματοποίηση επαναλαμβανόμενων εργασιών με απλά bots (επανεκκινήσεις, ερωτήματα καταγραφής, προσθήκη ετικετών έκδοσης, κ.λπ.).

Αργότερα, μπορούν να εισαχθούν LLM για εργασίες υποστήριξης, ταξινόμηση περιστατικών ή βοήθεια για τον εντοπισμό σφαλμάτωνΓια παράδειγμα, εξηγώντας σφάλματα με βάση αρχεία καταγραφής ή προτείνοντας μετριασμούς με βάση εσωτερική τεκμηρίωση.

Μόλις σταθεροποιηθεί η κλασική λειτουργία ML, ήρθε η ώρα να αντιμετώπιση LLMOps με εξειδικευμένα γλωσσικά μοντέλα για τομείς όπως η εξυπηρέτηση πελατών, το DevSecOps ή το QA, αξιοποιώντας όλα όσα μάθαμε σε προηγούμενες φάσεις.

Ο ορίζοντας προς τον οποίο δείχνουν όλες αυτές οι πρακτικές είναι ένα περιβάλλον μηχανικής που βασίζεται στην επικοινωνία, την πρόβλεψη και την ολοένα και πιο αυτόνομηόπου μεγάλο μέρος της ανάπτυξης και της λειτουργίας εκφράζεται σε φυσική γλώσσα και η Τεχνητή Νοημοσύνη βοηθά στη λήψη προληπτικών αποφάσεων σχετικά με την ανάπτυξη, την κλιμάκωση ή την επαναφορά προγραμμάτων.

Με αυτό το παζλ στη θέση του—DevOps, ChatOps, MLOps, GenAIOps και LLMOps—οι οργανισμοί έχουν ένα στέρεο πλαίσιο για την κατασκευή και τη διατήρηση συστημάτων που βασίζονται σε LLM και τα οποία πραγματικά προσφέρουν αξίαΔιατήρηση του ελέγχου της ποιότητας, του κόστους, της ασφάλειας και της ευθυγράμμισης με την επιχείρηση, αντί να παραμένουμε σε απλά πρωτότυπα ή μεμονωμένες δοκιμές που καταρρέουν μόλις φτάσουν στην παραγωγή.