Ιστολόγιο Microsoft Fabric: Οδηγός για προχωρημένους σε νέες δυνατότητες και χρήσεις

Informatec Digital » Πόροι » Ιστολόγιο Microsoft Fabric: Οδηγός για προχωρημένους σε νέες δυνατότητες και χρήσεις

Αν εργάζεστε εδώ και καιρό με δεδομένα στο οικοσύστημα της Microsoft, θα έχετε διαπιστώσει ότι το Microsoft Fabric έχει γίνει ο κεντρικός κόμβος για τη σύγχρονη ανάλυση , ενοποιώντας όλα όσα ήταν προηγουμένως διαδεδομένα στο Power BI, το Azure Synapse, το Data Factory και άλλες υπηρεσίες σε μια ενιαία πλατφόρμα. Σε αυτό το άρθρο, θα εξετάσουμε διεξοδικά και λεπτομερώς τις πιο πρόσφατες δυνατότητες, τον οδικό χάρτη και τις πρακτικές επιπτώσεις του Fabric για την ανάλυση, τη διακυβέρνηση, την Τεχνητή Νοημοσύνη και την ανάλυση σε πραγματικό χρόνο.

Η ιδέα είναι ότι, όταν ολοκληρώσετε την ανάγνωση, θα έχετε μια σαφή εικόνα για το τι προσφέρει η Microsoft Fabric σήμερα, πού πηγαίνει και πώς επηρεάζει την αρχιτεκτονική δεδομένων του οργανισμού σας: δυνατότητες διακυβέρνησης με το Purview, αυτοματοποίηση με API και Git, νέες λειτουργίες τεχνητής νοημοσύνης, ευφυΐα σε πραγματικό χρόνο, ασφάλεια στο OneLake, μετεγκαταστάσεις, απόδοση και πολλά άλλα.

Το Microsoft Fabric και το Πλαίσιο Υιοθέτησης Cloud: διακυβέρνηση, κόστος και αυτοματοποίηση

Στο πλαίσιο της υιοθέτησης του cloud Framework (CAF), η Microsoft δημοσιεύει μια σειρά οδηγών για την ευθυγράμμιση του σχεδιασμού του Microsoft Fabric με τους πυλώνες σχεδιασμού των ζωνών προορισμού . Το τελευταίο μέρος αυτής της σειράς ασχολείται με τρεις βασικούς τομείς: τη διακυβέρνηση, τη βελτιστοποίηση της χωρητικότητας και τον αυτοματισμό/DevOps.

Από την πλευρά της διακυβέρνησης, το κόστος χωρητικότητας Fabric εκτίθεται μέσω της Διαχείρισης Κόστους Azure . Αυτό επιτρέπει την εγγενή ενσωμάτωση της κατανάλωσης χωρητικότητας F (και άλλων SKU) σε πίνακες ελέγχου κόστους, ειδοποιήσεις και αναλύσεις δαπανών Azure. Δεν πρόκειται μόνο για την προβολή του λογαριασμού: μπορείτε να διασταυρώσετε αυτές τις πληροφορίες με ετικέτες, συνδρομές ή ομάδες πόρων για να κατανοήσετε ποιος ξοδεύει τι και γιατί.

Η τεχνική αρχιτεκτονική και το επιχειρηματικό μοντέλο της Fabric επιτρέπουν στους πελάτες να ελέγχουν με ακρίβεια την κατανάλωση δυναμικότητας για τη βελτιστοποίηση του λειτουργικού κόστους . Στην πράξη, αυτό μεταφράζεται σε διάφορους μοχλούς:

• Κλιμάκωση δυνατοτήτων F: αύξηση ή μείωση της χωρητικότητας με βάση προβλέψιμες αιχμές, όπως καμπάνιες πωλήσεων, προθεσμίες λογιστικής ή μεγάλα φορτία δεδομένων.
• Δυνατότητες παύσης και συνέχισηςΟι διαχειριστές fabric μπορούν να θέσουν σε παύση μια χωρητικότητα F όταν δεν είναι απαραίτητη (για παράδειγμα, κατά τη διάρκεια της νύχτας ή τα Σαββατοκύριακα σε μη κρίσιμα περιβάλλοντα) για να μειώσουν το κόστος υπολογιστικής επεξεργασίας.
• Προστασία από υπερτάσειςΔύο παράμετροι επιπέδου χωρητικότητας ελέγχουν τον τρόπο διαχείρισης των εργασιών παρασκηνίου για να αποτρέψουν τον κορεσμό του περιβάλλοντος: Το όριο απόρριψης παρασκηνίου και το όριο ανάκτησης παρασκηνίου.
• Κρατήσεις χωρητικότηταςΕίναι δυνατή η δέσμευση χωρητικότητας για καθορισμένες περιόδους για την απόκτηση εκπτώσεων, υπό την προϋπόθεση ότι η αναμενόμενη κατανάλωση έχει σχεδιαστεί αυστηρά.

Στον τομέα της διακυβέρνησης δεδομένων, το Fabric βασίζεται στο Microsoft Purview ως κεντρικό στοιχείο για την καταλογογράφηση, την καταγωγή και την ταξινόμηση . Το Purview επιτρέπει στους χρήστες να εφαρμόζουν ετικέτες ευαισθησίας, να βλέπουν την καταγωγή σε διάφορες πηγές, μετασχηματισμούς και κατανάλωση, να πιστοποιούν στοιχεία δεδομένων και να προωθούν καμπάνιες ποιότητας δεδομένων, ενώ παράλληλα ενσωματώνουν στοιχεία Fabric (Lakehouse, Warehouse, KQL, Power BI, κ.λπ.).

Το στοιχείο "Platform Automation and DevOps" εστιάζει κυρίως στην ενσωμάτωση Git, στους αγωγούς ανάπτυξης και στα REST API . Οι χώροι εργασίας fabric μπορούν να συνδεθούν με αποθετήρια Git, επιτρέποντας σε πολλούς προγραμματιστές να συνεργάζονται στο ίδιο έργο μηχανικής δεδομένων, επιστήμης δεδομένων ή ανάλυσης σε πραγματικό χρόνο χωρίς επικάλυψη εργασιών.

Τα Git και Deployment Pipelines επιτρέπουν την ενορχήστρωση των κύκλων ζωής ανάπτυξης, δοκιμών και παραγωγής με ελεγχόμενο τρόπο : προώθηση περιεχομένου, παρακολούθηση αλλαγών, συγχρονισμός τεχνουργημάτων και διαχείριση εκδόσεων. Από τον Μάρτιο του 2025, αυτά τα pipelines υποστηρίζουν (σε γενική κατάσταση ή σε κατάσταση προεπισκόπησης) ένα ευρύ φάσμα τύπων στοιχείων, όπως εναύσματα, πίνακες ελέγχου, ροές δεδομένων, pipeline δεδομένων, datamarts, lakehouses, αποθήκες δεδομένων, KQL, σημειωματάρια, σελιδοποιημένες αναφορές, οργανωτικές εφαρμογές και άλλα.

Παράλληλα, το Fabric διαθέτει ένα πολύ ευρύ σύνολο REST APIs με τα οποία μπορεί να αυτοματοποιηθεί σχεδόν οποιαδήποτε διοικητική εργασία ή εργασία ανάπτυξης: δημιουργία χώρων εργασίας και φακέλων, μαζική μετεγκατάσταση στοιχείων, διαχείριση συνδέσεων και πυλών, εξαγωγή ορισμών, ενεργοποίηση αγωγών ή σημειωματάριων, μεταξύ άλλων.

Βασικές ενημερώσεις στην ανάλυση, την Τεχνητή Νοημοσύνη και τη διακυβέρνηση για το Microsoft Fabric

Η εξέλιξη του Fabric χαρακτηρίζεται από έναν τεράστιο αριθμό χαρακτηριστικών προεπισκόπησης και νέων δυνατοτήτων που αγγίζουν σχεδόν κάθε περιοχή της πλατφόρμας . Αυτές ομαδοποιούνται και συζητούνται παρακάτω με δομημένο τρόπο για να δείξουν το πλήρες εύρος τους.

Λειτουργίες Τεχνητής Νοημοσύνης σε Αποθήκη Δεδομένων και πολυτροπικές λειτουργίες

Στον τομέα των σχεσιακών δεδομένων, το Fabric Data Warehouse ενσωματώνει λειτουργίες AI απευθείας στην T-SQL (προεπισκόπηση). Αυτό επιτρέπει:

• Ταξινόμηση ή κατηγοριοποίηση κειμένου.
• Αναλύστε το συναίσθημα.
• Εξαγωγή δομημένων πληροφοριών από ελεύθερο κείμενο.
• Μεταφράστε κείμενο μεταξύ γλωσσών.
• Σωστή γραμματική.

Στόχος είναι να εξαλειφθεί η ανάγκη εγκατάλειψης του περιβάλλοντος SQL για τον εμπλουτισμό δεδομένων με Τεχνητή Νοημοσύνη (AI) . Αυτές οι λειτουργίες συνδυάζονται με ευρύτερη πολυτροπική υποστήριξη στις λειτουργίες Τεχνητής Νοημοσύνης του Fabric, οι οποίες πλέον μπορούν να επεξεργάζονται εικόνες (JPG/JPEG, PNG, GIF, WebP), PDF και κοινές μορφές κειμένου, καθώς και εισόδους διαδρομής αρχείου.

Περιλαμβάνονται βοηθητικά προγράμματα όπως το aifunc.load για την εισαγωγή φακέλων σε πίνακες με επιλογές προτροπής και σχήματος, το aifunc.list_file_paths για τη διέλευση από διαδρομές αρχείων και το ai.infer_schema για την εξαγωγή σχημάτων συμβατών με το ai.extract . Όλα αυτά σας επιτρέπουν να μετασχηματίζετε και να εμπλουτίζετε δεδομένα χωρίς να δημιουργείτε πολύπλοκες διοχετεύσεις από την αρχή.

OneLake, Delta, Apache Iceberg και πρόσβαση σε πολλαπλές πλατφόρμες

Στο επίπεδο αποθήκευσης, το OneLake παραμένει η ενοποιημένη λίμνη όπου βρίσκεται όλο το Fabric. Μία από τις σημαντικότερες βελτιώσεις είναι η δυνατότητα έκθεσης των πινάκων Delta Lake ως πινάκων Apache Iceberg χωρίς μετακίνηση ή αντιγραφή δεδομένων, έτσι ώστε οι μηχανές που είναι συμβατές με Iceberg να μπορούν να διαβάζουν απευθείας τι υπάρχει στο OneLake.

Επιπλέον, το OneLake υποστηρίζει πλέον δεδομένα Apache Iceberg που γράφονται απευθείας από το Snowflake και καταναλώνονται στο Fabric μέσω πρόσβασης χωρίς δυνατότητα αντιγραφής . Αυτή η στρατηγική ενισχύει τη διαλειτουργικότητα: Το Fabric δεν προορίζεται να είναι ένα σιλό, αλλά μάλλον ένας κόμβος δεδομένων που μπορούν να αξιοποιήσουν άλλες μηχανές χωρίς να διπλασιάζουν τον χώρο αποθήκευσης.

Στο ίδιο πνεύμα, το OneLake υποστηρίζει συντομεύσεις για το Azure Blob Storage , το OneDrive και το SharePoint και επεκτείνει την ασφάλεια με ρόλους πρόσβασης, ασφάλεια σε επίπεδο φακέλου, γραμμής και στήλης, καθώς και ένα μοντέλο ασφαλείας που μπορούν να σεβαστούν τρίτα μέρη χάρη στην επέκταση του μοντέλου εξουσιοδοτημένου μηχανισμού.

Ένα ιδιαίτερα σχετικό χαρακτηριστικό είναι η ομοσπονδία του καταλόγου OneLake με το Azure Databricks, η οποία επιτρέπει την πρόσβαση χωρίς αντίγραφα από το Unity Catalog σε πίνακες OneLake . Με αυτόν τον τρόπο, το OneLake παραμένει η πηγή της αλήθειας, αλλά το Databricks μπορεί να υποβάλει ερωτήματα στα δεδομένα απευθείας, συγχρονίζοντας μόνο τα μεταδεδομένα.

Βάση δεδομένων SQL σε Fabric: απόδοση, ασφάλεια και εικονικοποίηση

Η βάση δεδομένων SQL της Fabric αποκτά τις δικές της δυνατότητες: επιλογές ALTER DATABASE SET , υποστήριξη ταξινόμησης και δημιουργία ευρετηρίου πλήρους κειμένου σε προεπισκόπηση. Όσον αφορά την απόδοση και το κόστος της βάσης δεδομένων, υπάρχουν αρκετές βελτιώσεις:

• Αυτόματη συμπύκνωση ευρετηρίου για μείωση του χώρου αποθήκευσης, των εισόδων/εξόδων και βελτίωση των χρόνων ερωτημάτων χωρίς να χρειάζεται να προγραμματίζονται εργασίες συντήρησης.
• Μέγιστο όριο vCores για τον έλεγχο της χρήσης υπολογιστικών πόρων (4 ή 32 vCores), σχεδιασμένοι για να αποτρέπουν την υπερβολική κατανάλωση κοινόχρηστης χωρητικότητας από ένα φόρτο εργασίας.
• Προσαρμοσμένες ομάδες SQL που παρέχουν στους διαχειριστές χώρου εργασίας λεπτομερή έλεγχο της κατανομής πόρων και της δρομολόγησης ερωτημάτων ανά όνομα εφαρμογής.

Η εικονικοποίηση δεδομένων είναι επίσης ενεργοποιημένη στη βάση δεδομένων SQL , η οποία επιτρέπει την υποβολή ερωτημάτων σε εξωτερικά δεδομένα που είναι αποθηκευμένα στο OneLake με T-SQL, ενώνοντας αρχεία σε κοινές μορφές με τοπικούς σχεσιακούς πίνακες χρησιμοποιώντας συνδέσμους, χωρίς να χρειάζεται να εισαγάγετε φυσικά τα δεδομένα.

Όσον αφορά την ασφάλεια, η βάση δεδομένων SQL υποστηρίζει Private Link σε επίπεδο μισθωτή (προεπισκόπηση) , γεγονός που διευκολύνει την ιδιωτική και ελεγχόμενη διοχέτευση της κίνησης δεδομένων, ενσωματώνοντας τη συνολική ασφαλή διαμόρφωση δικτύου του Fabric.

Ευφυΐα σε πραγματικό χρόνο, Eventhouse, Eventstream και Activator

Η ενότητα Real-Time Intelligence (RTI) έχει γίνει ένα από τα βασικά διαφοροποιητικά στοιχεία του Fabric. Τα Eventhouse και Eventstream συνεργάζονται για την απορρόφηση, την επεξεργασία και την ενεργοποίηση συμβάντων σε πραγματικό χρόνο από όλους τους τύπους πηγών, και το Activator ενορχηστρώνει τις ενέργειες που ενεργοποιούνται υπό ορισμένες συνθήκες.

Μεταξύ των πιο ισχυρών νέων χαρακτηριστικών είναι:

• Ανίχνευση ανωμαλιών χωρίς κώδικα με αυτόματη επιλογή μοντέλου, απλό περιβάλλον εργασίας και ευέλικτες ειδοποιήσεις.
• Επιχειρηματικά Γεγονότα, τα οποία καταγράφουν βασικές επιχειρηματικές στιγμές που δημιουργούνται από Λειτουργίες Δεδομένων Χρήστη και Σημειωματάρια και σας επιτρέπουν να ενεργοποιήσετε ειδοποιήσεις, προσαρμοσμένη λογική, ροές, μοντέλα AI ή εργασίες Spark.
• Ενσωμάτωση Συναρτήσεων Δεδομένων Ενεργοποιητή-Χρήστηέτσι ώστε οι συναρτήσεις που δημιουργούνται στο Fabric να μπορούν να επεξεργάζονται συμβάντα από οποιαδήποτε πηγή, συμπεριλαμβανομένων εσωτερικών συμβάντων από την ίδια την πλατφόρμα και από το OneLake.
• Δυνατότητα επεξεργασίας συμβάντων με SQL (SQL Operator in Eventstream), επιτρέποντας τον μετασχηματισμό ροών πραγματικού χρόνου με γνωστή σύνταξη SQL.

Προστίθενται σχετικές συνδέσεις όπως το Cribl (για λήψη αρχείων καταγραφής και τηλεμετρίας από πολλαπλές πηγές), μια σύνδεση με το Solace PubSub+ και υποστήριξη ροής μέσω ιδιωτικών δικτύων μέσω Azure Virtual Network, VPN, ExpressRoute ή ιδιωτικών τελικών σημείων.

Για τα σχήματα δεδομένων και τις συμβάσεις, το Eventstream εισάγει ένα Μητρώο Σχήματος που ορίζει και επικυρώνει σχήματα συμβάντων για πιο ισχυρούς αγωγούς, καθώς και υποστήριξη για το Μητρώο Σχήματος Confluent για σύνδεση με το Kafka στο Confluent Cloud, σεβόμενο παράλληλα τις υπάρχουσες συμβάσεις.

Δυνατότητες συνοδηγού και τεχνητής νοημοσύνης σε όλη την πλατφόρμα

Το Copilot στο Fabric είναι πλέον διαθέσιμο παγκοσμίως, με υποστήριξη για Power BI, Data Factory, Data Science & Data Engineering και σύνταξη ερωτημάτων KQL . Επιπλέον, έχουν προστεθεί συγκεκριμένες δυνατότητες:

• Copilot για Dataflow Gen2 (Σύγχρονη Λήψη Δεδομένων), το οποίο βοηθά στην απορρόφηση και τον μετασχηματισμό δεδομένων με οδηγίες σε φυσική γλώσσα.
• Συγπιλότος για την Αποθήκη Δεδομένων (συνομιλία), προσβάσιμο από ένα κουμπί στην κορδέλα για επιτάχυνση των εργασιών αποθήκευσης μέσω παραθύρου διαλόγου.
• Copilot για τελικό σημείο ανάλυσης SQL, το οποίο δημιουργεί και βελτιστοποιεί ερωτήματα SQL από περιγραφές επιχειρήσεων.
• Συγκυβερνήτης σε φορητούς υπολογιστές με γνώση του περιβάλλοντος χώρου εργασίας, του Lakehouse, της δομής σημειωματάριων και του περιβάλλοντος εκτέλεσης, ικανός να δημιουργεί κώδικα πολλαπλών βημάτων, να αναδιαμορφώνει, να συνοψίζει πολύπλοκα σημειωματάρια και να διαγιγνώσκει σφάλματα με την επιλογή "Διόρθωση με Copilot".
• Ενσωματωμένη αυτόματη συμπλήρωση (συμπλήρωση κώδικα σε γραμμή) και συμπλήρωση κώδικα σε γραμμή (προεπισκόπηση) στο Notebook Copilot, για να γράφω Python πιο γρήγορα και με λιγότερα σφάλματα.

Επιπλέον, η βάση τεχνολογίας Τεχνητής Νοημοσύνης (AI) επεκτείνεται με ενσωματωμένα προκατασκευασμένα εργαλεία Foundry (Azure OpenAI, Azure Language, Azure Translator), πρόσθετα OpenAI για το Eventhouse (ai_embed_text και ai_chat_completion) και μια σειρά από πράκτορες και πράκτορες δεδομένων που επιτρέπουν σε άλλες εφαρμογές, συμπεριλαμβανομένου του Copilot Studio, να εργάζονται σε δεδομένα Fabric με ενορχηστρωμένο τρόπο.

Πράκτορες δεδομένων Fabric, MCP και εργαλεία προγραμματιστών

Το Fabric εισάγει πράκτορες δεδομένων ικανούς να οργανώνουν την πρόσβαση σε δεδομένα και εργαλεία για πράκτορες τεχνητής νοημοσύνης, με ένα SDK Python και άμεση ενσωμάτωση με το Microsoft Copilot Studio. Αυτό διευκολύνει τη δημιουργία βοηθών συνομιλίας που λειτουργούν με εταιρικά δεδομένα που διέπονται από το Fabric.

Παράλληλα, το Πρωτόκολλο Πλαισίου Μοντέλου (MCP) καθίσταται βασικό στοιχείο της ενσωμάτωσης μεταξύ των πρακτόρων Τεχνητής Νοημοσύνης και των υπηρεσιών Fabric. Υπάρχουν αποκλειστικοί διακομιστές MCP για το Activator και το Eventhouse, καθώς και ένα MCP Fabric προσανατολισμένο στην ανάπτυξη που:

• Επιτρέπει στους βοηθούς τεχνητής νοημοσύνης να δημιουργούν κώδικα και περιεχόμενο για αντικείμενα Fabric.
• Ενσωματώνεται με εργαλεία ανάπτυξης όπως το VS Code και τους χώρους κώδικα GitHub.
• Παρουσιάζει εργαλεία για την παροχή συμβουλών και την επεξεργασία δεδομένων σε πραγματικό χρόνο στο Eventhouse.

Για την καθημερινή εργασία του προγραμματιστή, υπάρχουν πολλά σημεία που πρέπει να επισημανθούν, συμπεριλαμβανομένου του περιβάλλοντος ανάπτυξης : η επέκταση MSSQL για VS Code με υποστήριξη για τη βάση δεδομένων SQL του Fabric , το πρόγραμμα οδήγησης Microsoft ADO.NET και το πρόγραμμα οδήγησης ODBC για το Fabric Data Engineering (σύνδεση με το Spark SQL μέσω Livy) και μια σύνδεση Spark για βάσεις δεδομένων SQL που απλοποιεί την πρόσβαση με έλεγχο ταυτότητας από το Spark σε βάσεις δεδομένων SQL στο Azure και το Fabric.

Περιλαμβάνεται επίσης το Fabric CLI , διαθέσιμο ως ενσωματωμένη εργασία στο Azure DevOps, το οποίο σας επιτρέπει να αυτοματοποιήσετε τη διαχείριση χώρων εργασίας, στοιχείων και αναπτύξεων χωρίς να εγκαταστήσετε χειροκίνητα εξωτερικά εργαλεία.

Data Factory, μετεγκαταστάσεις δεδομένων και ενορχήστρωση στο Fabric

Το επίπεδο ενοποίησης δεδομένων του Fabric βασίζεται στα Data Factory και Dataflow Gen2, τα οποία λαμβάνουν λειτουργίες που καθιστούν την ενορχήστρωση πιο έξυπνη, πιο αυτοματοποιημένη και με ευκολότερες μετεγκαταστάσεις από υπάρχουσες πλατφόρμες.

Ροή δεδομένων Gen2: απόδοση, δημόσια API και διαγνωστικά

Στο Dataflow Gen2 βρίσκουμε αρκετές δυνατότητες σε προεπισκόπηση:

• Προηγμένη επεξεργασία ερωτημάτων-στόχων για να προσαρμόσετε τη λογική στον προορισμό απευθείας από το ίδιο το περιβάλλον σύνταξης.
• Διαμερισμένος υπολογισμόςτο οποίο επιτρέπει σε μέρη της ροής δεδομένων να εκτελούνται παράλληλα, μειώνοντας τον συνολικό χρόνο αξιολόγησης.
• Λήψη διαγνωστικών σε επίπεδο εκτέλεσης, με δομημένα πακέτα καταγραφής για ανάλυση απόδοσης και επίλυση συμβάντων.
• Δημόσια API για τη δημιουργία, ενημέρωση, διαγραφή, προγραμματισμό και παρακολούθηση ροών δεδομένων μέσω προγραμματισμού.
• Δημόσιες παράμετροι με υποστήριξη CI/CDτα οποία επιτρέπουν την ανανέωση των ροών δεδομένων μέσω της διαβίβασης τιμών από αγωγούς ή άλλες πηγές.
• Πρόσφατα δεδομένα για γρήγορη πρόσβαση σε πρόσφατα χρησιμοποιημένα στοιχεία στην κορδέλα του Power Query και στο Modern Get Data.

Όλα αυτά συμπληρώνονται από τη δυνατότητα προγραμματιστικής αξιολόγησης του Power Query μέσω του REST , η οποία ανοίγει την πόρτα στην εκτέλεση σεναρίων M ως μέρος αυτοματοποιημένων διαδικασιών, ενσωματώνοντάς τα με Spark, αγωγούς ή εξωτερικά εργαλεία, αξιοποιώντας τις συνδέσεις Power Query.

Εργοστάσιο Δεδομένων: προσαρμοστική απόδοση, συνδεσιμότητα και dbt

Στο πιο «κλασικό» μέρος της ενσωμάτωσης, το Data Factory εντός του Fabric εισάγει:

• Προσαρμοστική ρύθμιση απόδοσης για τη δραστηριότητα αντιγραφής, η οποία προσαρμόζει έξυπνα τις παραμέτρους απόδοσης σύμφωνα με το περιβάλλον διαμόρφωσης και εκτέλεσης.
• Υποστήριξη Αλλαγής Σύλληψης Δεδομένων (CDC) στην εργασία Αντιγραφής, για να αναπαράγονται μόνο οι αλλαγές (εισαγωγές, ενημερώσεις, διαγραφές) συνεχώς.
• Πύλες εσωτερικής εγκατάστασης με επιλογή χειροκίνητης αναβάθμισης διαχειρίζεται από την πύλη Fabric, το API ή τα σενάρια.
• πρόσφατη σύνδεση, το οποίο προσθέτει ιδιότητες τελευταίας χρήσης στις συνδέσεις για να διευκολύνει τον έλεγχο και τη διαχείριση του κύκλου ζωής.
• εγγενής εργασία dbt, το οποίο επιτρέπει την εκτέλεση έργων dbt εντός του Fabric με ενσωματωμένη ενορχήστρωση, δοκιμές, τεκμηρίωση και διακυβέρνηση.
• Κλήση δραστηριότητας πακέτου SSIS σε αγωγούς, για την εκτέλεση πακέτων SSIS από την ίδια την ενορχήστρωση στο Fabric.

Η εμπειρία χρήστη βελτιώνεται επίσης με ένα εργαλείο επιλογής τοποθεσίας SharePoint που εξαλείφει την ανάγκη χειροκίνητης πληκτρολόγησης διευθύνσεων URL, και με την υποστήριξη MCP για το Data Factory, επιτρέποντας στους βοηθούς τεχνητής νοημοσύνης να δημιουργούν και να αναπτύσσουν Dataflow Gen2 απλά από οδηγίες φυσικής γλώσσας.

Εργαλεία μετεγκατάστασης και αντιγραφής δεδομένων

Η Microsoft προωθεί έντονα τη μετεγκατάσταση στο Fabric μέσω διαφόρων συγκεκριμένων εργαλείων:

• Αξιολόγηση Μετανάστευσης Υφασμάτων για το Εργοστάσιο Δεδομένων, το οποίο αναλύει την προετοιμασία των αγωγών ADF και μετεγκαθιστά τις υποστηριζόμενες σε έναν χώρο εργασίας Fabric με αντιστοίχιση συνδέσεων.
• Βοηθός μετεγκατάστασης για την αποθήκη δεδομένωντο οποίο μπορεί πλέον να συνδεθεί απευθείας με την αποθήκη πηγαίου κώδικα για να το μετακινήσει στην Αποθήκη Δεδομένων Fabric.
• Βοηθός μετεγκατάστασης για βάση δεδομένων SQL, με στόχο τη μετεγκατάσταση φόρτων εργασίας SQL Server εσωτερικής εγκατάστασης, με εισαγωγή σχήματος μέσω DACPAC, ανίχνευση ασυμβατότητας και συστάσεις.

Όσον αφορά την αντιγραφή, παρέχεται υποστήριξη για κατοπτρισμό από διάφορες λειτουργικές πηγές (Azure Database for MySQL, Google BigQuery, SQL Server, κ.λπ.) στο Fabric, με τη δυνατότητα ελέγχου των πινάκων που αντιγράφονται, επανεκκίνησης των διαδικασιών κατοπτρισμού μέσω REST και, στην περίπτωση του Databricks, αντιστοίχισης πολιτικών του Unity Catalog στην ασφάλεια του OneLake.

Περιλαμβάνεται επίσης μια σύνδεση αναπαραγωγής από το Lakehouse χρησιμοποιώντας το Delta Change Data Feed , το οποίο εκθέτει τις αλλαγές από τους πίνακες Lakehouse Delta σε συμβατούς προορισμούς χωρίς να χρειάζεται να επανεφεύρουμε τον τροχό με οικιακές λύσεις CDC.

Ασφάλεια, προηγμένη διακυβέρνηση και παρακολούθηση στο Fabric

Μία από τις μεγαλύτερες ανησυχίες για οποιαδήποτε πλατφόρμα ανάλυσης είναι ο τρόπος διασφάλισης των δεδομένων, η διαχείριση της χρήσης και η παρακολούθηση της κατανάλωσης πόρων . Το Fabric ωριμάζει ραγδαία σε αυτούς τους τομείς.

Ασφάλεια και προστασία δεδομένων στην OneLake

Η OneLake προσθέτει ένα ολοκληρωμένο μοντέλο ασφάλειας πρόσβασης δεδομένων με:

• Ρόλοι πρόσβασης δεδομένων για το lakehouse με διαμορφώσιμα δικαιώματα από μια διεπαφή ασφαλείας που βασίζεται σε φακέλους.
• Υποστήριξη ασφαλείας για συντομεύσεις, ώστε τρίτα μέρη να μπορούν να τηρούν τις καθορισμένες πολιτικές.
• API ασφάλειας πρόσβασης δεδομένων OneLake, το οποίο επιτρέπει την αυτοματοποιημένη διαχείριση δικαιωμάτων.
• Επέκταση του μοντέλου σε εξωτερικούς κινητήρες (εξουσιοδότηση ασφαλείας OneLake για τρίτους).

Παράλληλα, η προστασία επεκτείνεται με το DLP που περιορίζει την πρόσβαση σε όλα τα δομημένα δεδομένα στο OneLake (SQL, KQL, αποθήκες) και εισάγεται το DSPM για Τεχνητή Νοημοσύνη (AI) για Fabric Copilots και data agents , το οποίο παρακολουθεί τις αλληλεπιδράσεις της Τεχνητής Νοημοσύνης για ευαίσθητες πληροφορίες και επικίνδυνες συμπεριφορές, με ενσωμάτωση με το Purview Audit και το eDiscovery.

Στο επίπεδο ταυτοτήτων, εμφανίζονται λειτουργίες όπως οι ταυτότητες που σχετίζονται με στοιχεία (π.χ., Lakehouse και Eventstream) μέσω REST API, οι οποίες εξαλείφουν την εξάρτηση από τον κάτοχο για ορισμένες λειτουργίες και τον έλεγχο ταυτότητας των συντομεύσεων OneDrive και SharePoint μέσω ταυτοτήτων χώρου εργασίας ή κύριας υπηρεσίας.

Κεντρική διακυβέρνηση και κατάλογος OneLake

Η εμπειρία διακυβέρνησης δεδομένων βελτιώνεται με έναν νέο κεντρικό πίνακα ελέγχου στον κατάλογο OneLake , όπου οι κάτοχοι δεδομένων μπορούν να δουν μια συγκεντρωτική προβολή των στοιχείων που έχουν δημιουργήσει, να λάβουν προτάσεις για ενέργειες διακυβέρνησης και να έχουν πρόσβαση σε όλα τα διαθέσιμα εργαλεία για τη βελτίωση της ασφάλειας και της συμμόρφωσης.

Επιπλέον, ενεργοποιείται ένα API αναζήτησης καταλόγου OneLake μαζί με ένα εργαλείο MCP, το οποίο επιτρέπει την ανακάλυψη στοιχείων σε ολόκληρο το περιβάλλον Fabric από κώδικα ή πράκτορες AI, με μία μόνο κλήση, σεβόμενοι τα δικαιώματα καταλόγου και τα μεταδεδομένα.

Παρακολούθηση χωρητικότητας, κατανάλωσης και εργασίας

Το ύφασμα παρέχει πολλά επίπεδα παρατηρησιμότητας:

• Παρακολούθηση χώρου εργασίας, η οποία δημιουργεί μια βάση δεδομένων στο Fabric όπου ενοποιούνται αρχεία καταγραφής και μετρήσεις από πολλά στοιχεία (συμπεριλαμβανομένων εργασιών αντιγραφής με λεπτομερή παρακολούθηση).
• Παρακολούθηση χώρου εργασίας για εργασία αντιγραφήςμε μετρήσεις όπως η απόδοση, ο όγκος δεδομένων, οι κωδικοί σφαλμάτων και οι χρόνοι, όλα προσανατολισμένα στην κεντρική ανάλυση.
• Ιστορικό στοιχείων στην εφαρμογή μετρήσεων χωρητικότητας, με προβολές 30 ημερών σχετικά με την κατανάλωση CU για κάθε στοιχείο, με δυνατότητα φιλτραρίσματος ανά χώρο εργασίας και τύπο.
• Προστασία από υπερτάσεις σε επίπεδο χώρου εργασίαςτο οποίο επιτρέπει τον καθορισμό ορίων κατανάλωσης ανά χώρο εργασίας σε ένα κυλιόμενο παράθυρο 24 ωρών, τον αυτόματο αποκλεισμό όσων τα υπερβαίνουν και την επισήμανση των χώρων εργασίας ως "κρίσιμων για την αποστολή" για την εξαιρεσή τους από τους περιορισμούς.

Συμπληρώνοντας αυτό, κυκλοφορεί ένα αρχικό σύνολο API διαχειριστή Fabric , το οποίο επικεντρώνεται στην ανακάλυψη χώρων εργασίας, στοιχείων και λεπτομερειών πρόσβασης χρηστών, διευκολύνοντας δυναμικά αποθέματα και περιοδικούς ελέγχους πρόσβασης.

Επιχειρηματική μοντελοποίηση, σχεδιασμός και νέοι φόρτοι εργασίας

Πέρα από το τεχνικό επίπεδο, η Microsoft εισάγει νέα φόρτα εργασίας προσανατολισμένα στις επιχειρήσεις, επιπλέον του Fabric. Ένα από τα πιο αξιοσημείωτα είναι το Fabric IQ, το οποίο στοχεύει στην ενοποίηση της επιχειρηματικής σημασιολογίας, των δεδομένων και των μοντέλων για ευφυείς πράκτορες που λαμβάνουν αποφάσεις με βάση μια ολιστική άποψη του οργανισμού.

Μέσα στο Fabric IQ, εμφανίζονται τα εξής:

• Οντολογία (προεπισκόπηση), ένας τύπος στοιχείου όπου οντότητες, σχέσεις, ιδιότητες και περιορισμοί ορίζονται σύμφωνα με την επιχειρηματική γλώσσα της εταιρείας.
• Σχέδιο (προεπισκόπηση), μια πλατφόρμα χωρίς κώδικα για σχεδιασμό, αναφορά, ανάλυση, ενσωμάτωση και συνεργατική διαχείριση.

Στην Πραγματική Νοημοσύνη, εμφανίζεται επίσης ο δημιουργός ψηφιακών διδύμων , ένα αντικείμενο που ειδικεύεται στη μοντελοποίηση ψηφιακών διδύμων με βάση δεδομένα πραγματικού χρόνου, με στόχο τη βελτιστοποίηση των φυσικών λειτουργιών, την παρακολούθηση καταστάσεων και την προσομοίωση σεναρίων.

Από την άλλη πλευρά, το φόρτο εργασίας του Fabric IQ εισάγεται ως ξεχωριστό φόρτο εργασίας και τα εργαλεία υποστήριξης για τη διακυβέρνηση και τη σημασιολογική ευθυγράμμιση συνεχίζουν να επεκτείνονται, κλείνοντας τον κύκλο μεταξύ μοντέλων δεδομένων, επιχειρηματικής λογικής και εφαρμογών Τεχνητής Νοημοσύνης/αναλυτικής.

Βελτιώσεις στην απόδοση, την εμπειρία χρήστη και την παραγωγικότητα

Για να ολοκληρώσουμε την ανασκόπηση, αξίζει να επισημάνουμε μια σειρά από οριζόντιες βελτιώσεις που δεν γίνονται πάντα πρωτοσέλιδα, αλλά επηρεάζουν σε μεγάλο βαθμό τις καθημερινές λειτουργίες των ομάδων.

Στην ενότητα Spark και κατανεμημένων υπολογιστών, το Fabric παρουσιάζει:

• Χρόνος εκτέλεσης Fabric 2.0 (προεπισκόπηση) με Apache Spark 4.0, Delta Lake 4.0, Java 21, Scala 2.13 και Python 3.12 σε Azure Linux 3.0.
• Εργαλείο σύγκρισης εφαρμογών Sparkτο οποίο σας επιτρέπει να επιλέξετε και να συγκρίνετε έως και τέσσερις εκτελέσεις Spark παράλληλα.
• Διαγνωστικός Εκπομπός Σπινθήρων, το οποίο συλλέγει αρχεία καταγραφής, μετρήσεις και συμβάντα από εφαρμογές Spark και τα στέλνει σε προορισμούς όπως Κόμβοι Συμβάντων, αποθηκευτικός χώρος ή Ανάλυση Αρχείων Καταγραφής.
• Βιβλιοθήκη διαγνωστικών JobInsight, μια βιβλιοθήκη για την ανάλυση ολοκληρωμένων εκτελέσεων Spark μέσω API (ερωτήματα, εργασίες, στάδια, εργασίες, εκτελεστές, αρχεία καταγραφής συμβάντων).

Στο επίπεδο αποθήκης, προστίθεται ομαδοποίηση δεδομένων για τη βελτίωση της απόδοσης και τη μείωση του κόστους πρόσβασης, στήλες ΤΑΥΤΟΤΗΤΑΣ για υποκατάστατα κλειδιά και έλεγχος έκδοσης και υποστήριξη CI/CD μέσω έργων βάσης δεδομένων SQL σε VS Code (έλεγχος πηγαίου κώδικα αποθήκης).

Η εμπειρία χρήστη της πύλης Fabric εξελίσσεται επίσης με περιήγηση με καρτέλες και εξερεύνηση αντικειμένων , επιτρέποντας στους χρήστες να ανοίγουν πολλά στοιχεία ταυτόχρονα και να εναλλάσσονται γρήγορα μεταξύ τους. Αυτό, μαζί με βελτιώσεις όπως η αυτόματη σύνδεση του Lakehouse στο Git και η σουίτα βοηθητικών προγραμμάτων για τη συντήρηση του Lakehouse (δραστηριότητες συντήρησης και ανανέωση τελικού σημείου SQL), συμβάλλει σε μια πιο φιλική προς το χρήστη και ευέλικτη πλατφόρμα.

Τέλος, λειτουργίες όπως η μαζική εισαγωγή/εξαγωγή ορισμών στοιχείων (για μετεγκαταστάσεις, πρότυπα και αντίγραφα ασφαλείας μεταδεδομένων), η λειτουργία REST για φακέλους, η υποστήριξη παραμέτρων σε ενεργοποιήσεις στοιχείων από το Activator και η φόρτωση δεδομένων OneLake στο Excel με ενσωματωμένο κατάλογο, ολοκληρώνουν ένα οικοσύστημα που αρχίζει να καλύπτει σχεδόν όλες τις συνήθεις ανάγκες μιας σύγχρονης ομάδας δεδομένων.

Με ολόκληρο αυτό το σύνολο δυνατοτήτων — από την κεντρική διακυβέρνηση, την λεπτομερή ασφάλεια και την έξυπνη ενορχήστρωση, έως την Τεχνητή Νοημοσύνη ενσωματωμένη σε SQL, την ανάλυση σε πραγματικό χρόνο, τα ψηφιακά δίδυμα και τους παράγοντες MCP — το Microsoft Fabric καθιερώνεται ως μια ολοκληρωμένη πλατφόρμα δεδομένων όπου το κλειδί δεν είναι πλέον απλώς η αποθήκευση και η οπτικοποίηση δεδομένων, αλλά η διακυβέρνηση, ο αυτοματισμός και η αξιοποίηση της Τεχνητής Νοημοσύνης για την τροφοδοσία κάθε μέρους του κύκλου ζωής των δεδομένων . Αυτό επιτρέπει στους οργανισμούς να εξελίσσουν σταδιακά τις αρχιτεκτονικές τους, μετεγκαθιστώντας υπάρχοντα συστήματα και επιτρέποντας νέες λύσεις πολύ πιο γρήγορα από ό,τι με τις παραδοσιακές προσεγγίσεις.