- Το Power Query σάς επιτρέπει να ενοποιήσετε πολλά αρχεία από έναν τοπικό φάκελο ή φάκελο στο cloud, εφόσον μοιράζονται το ίδιο σχήμα δεδομένων.
- Η χρήση ενός δείγματος αρχείου διευκολύνει την εφαρμογή μαζικών μετασχηματισμών, όπως η κατάργηση των κορυφαίων γραμμών ή η αλλαγή κεφαλίδων.
- Υπάρχουν περιορισμοί όταν οι στήλες δεν ταιριάζουν ακριβώς, απαιτώντας μη αυτόματο καθαρισμό ή τη χρήση σεναρίων VBA για σύνθετες περιπτώσεις.
Φανταστείτε ότι έχετε μια δέσμη μηνιαίων ή εβδομαδιαίων αναφορών διάσπαρτες σε φακέλους και αντί να σπαταλάτε το πρωί σας αντιγράφοντας και επικολλώντας δεδομένα μανιωδώς, θα μπορούσατε να ενοποιήσετε τα πάντα σε ένα ενιαίο υπολογιστικό φύλλο Excel με μερικά μόνο κλικ. Εδώ ακριβώς έρχεται το Power Query, ένα εργαλείο που ουσιαστικά είναι το δεξί χέρι οποιουδήποτε εργάζεται με δεδομένα, επιτρέποντάς μας να ενοποιούμε αρχεία που μοιράζονται την ίδια δομή χωρίς κόπο.
Το πιο εντυπωσιακό με αυτό το σύστημα είναι ότι δεν σας περιορίζει σε έναν τοπικό φάκελο στον υπολογιστή σας. Μπορείτε να αντλήσετε δεδομένα από τοποθεσίες SharePoint, Azure Data Lake ή Azure blobs . Το κλειδί για να λειτουργήσει αυτό ομαλά είναι ότι τα αρχεία έχουν το ίδιο σχήμα, που σημαίνει ότι οι στήλες ταιριάζουν, αν και το Power Query είναι αρκετά έξυπνο για να βοηθήσει στον καθαρισμό των δεδομένων εάν περιέχουν θόρυβο ή περιττές γραμμές.
Η διαδικασία συνδυασμού βήμα προς βήμα
Όταν συνδέεστε σε μια προέλευση δεδομένων, το πρώτο πράγμα που θα δείτε είναι η προβολή συστήματος αρχείων. Εδώ, η πιο σημαντική στήλη είναι το Περιεχόμενο, το οποίο περιέχει τη δυαδική αναπαράσταση κάθε εγγράφου. Εάν κάνετε κλικ σε μία από αυτές τις δυαδικές τιμές, το πρόγραμμα θα προσπαθήσει να προσδιορίσει εάν πρόκειται για αρχείο CSV, JSON ή Excel για να το ανοίξει. Για να συνδυάσετε ολόκληρη την παρτίδα, έχετε δύο επιλογές: κάντε κλικ απευθείας στο κουμπί Συγχώνευση ή, εάν είστε πιο σχολαστικοί, επιλέξτε Μετασχηματισμός δεδομένων για να φιλτράρετε τη λίστα αρχείων (για παράδειγμα, για να αγνοήσετε συγκεκριμένους φακέλους) πριν προχωρήσετε στη συγχώνευση.
Μόλις εισέλθετε στο παράθυρο διαλόγου συγχώνευσης, το Power Query χρησιμοποιεί ένα δείγμα αρχείου για να αναλύσει τη δομή . Από προεπιλογή, επιλέγει το πρώτο αρχείο στη λίστα, αλλά μπορείτε να το αλλάξετε εάν υπάρχει κάποιο άλλο που αντιπροσωπεύει καλύτερα το σύνολο δεδομένων. Εδώ, μπορείτε να επιλέξετε την επιλογή παράλειψης αρχείων με σφάλματα , η οποία είναι σωτήρια όταν μια αναφορά είναι κατεστραμμένη ή κενή, αποτρέποντας τη διακοπή ολόκληρης της διαδικασίας.
Διαχείριση εξόδου και καθαρισμός δεδομένων
Αφού αποδεχτεί τη συγχώνευση, το σύστημα κάνει κάποια τεχνική μαγεία στο παρασκήνιο: δημιουργεί ένα δείγμα ερωτήματος και μια παραμετροποιημένη συνάρτηση. Αυτό σημαίνει ότι τυχόν αλλαγές που κάνετε στο δείγμα αρχείου θα αναπαραχθούν αυτόματα σε όλα τα άλλα αρχεία του φακέλου. Εάν, για παράδειγμα, τα αρχεία CSV σας έχουν τέσσερις σειρές περιττών κεφαλίδων πριν από τα πραγματικά δεδομένα, μπορείτε να μεταβείτε στο ερώτημα μετασχηματισμού και να χρησιμοποιήσετε την επιλογή κατάργησης των κορυφαίων γραμμών για να καθαρίσετε αυτήν την ακαταστασία.
Αφού καθαρίσετε τις γραμμές, είναι απαραίτητο να εφαρμόσετε τη συνάρτηση " Χρήση της πρώτης γραμμής ως κεφαλίδες" . Λάβετε υπόψη ότι όταν το κάνετε αυτό, το Power Query συνήθως προσθέτει ένα βήμα αυτόματης μετατροπής τύπου δεδομένων. Εάν, κατά την επιστροφή στο κύριο ερώτημα, δείτε ένα σφάλμα που δηλώνει ότι η στήλη 'Στήλη1' δεν μπορεί να βρεθεί, μην ανησυχείτε. Αυτό είναι φυσιολογικό επειδή μετονομάσατε τις στήλες στο παράδειγμα και το επόμενο βήμα δεν αναγνωρίζει πλέον τα παλιά ονόματα. Απλώς διαγράψτε αυτό το εσφαλμένο βήμα από το παράθυρο Εφαρμοσμένα βήματα και όλα θα επανέλθουν στο φυσιολογικό.
Κοινές προκλήσεις και προηγμένες εναλλακτικές λύσεις
Μερικές φορές η ζωή δεν είναι τόσο απλή και συναντάμε αρχεία που δεν είναι πανομοιότυπα. Για παράδειγμα, εάν έχετε αναφορές ServiceNow όπου μια κεφαλίδα ονομάζεται 'resolved_on' και μια άλλη 'closed_on', το Power Query μπορεί να σας δημιουργήσει προβλήματα επειδή απαιτεί μια συνεπή δομή . Εάν το αρχείο δείγματος δεν ταιριάζει ακριβώς με τα υπόλοιπα, το εργαλείο μπορεί να παραλείψει τις πληροφορίες από τα αρχεία που δεν ταιριάζουν ή να εμφανίσει σφάλματα εισαγωγής.
Για περιπτώσεις όπου η δομή είναι εντελώς χαοτική ή ο όγκος δεδομένων είναι τεράστιος (που υπερβαίνει το ένα εκατομμύριο γραμμές Excel), υπάρχουν και άλλες επιλογές. Ορισμένοι χρήστες επιλέγουν σενάρια VBA χρησιμοποιώντας διεπαφές CSV , τα οποία επιτρέπουν την ένωση αρχείων χωρίς επανάληψη κεφαλίδων, ανεξάρτητα από το αν ο οριοθέτης πεδίου ή εγγραφής διαφέρει από αρχείο σε αρχείο. Ενώ το κέλυφος των Windows είναι εξαιρετικά γρήγορο, συχνά αποτυγχάνει κατά τον χειρισμό ενσωματωμένων αλλαγών γραμμής, ενώ μια ισχυρή λύση VBA δεν υπερφορτώνει τη μνήμη RAM και μπορεί να χειριστεί εκατομμύρια εγγραφές με ευκολία.
Για να ολοκληρώσετε τη διαδικασία, αφού συνδυαστούν τα δεδομένα στο Power Query, θυμηθείτε να αντιστοιχίσετε τον σωστό τύπο δεδομένων σε κάθε στήλη (Ημερομηνία για ημερομηνίες, Νόμισμα για εισόδημα κ.λπ.) πριν από τη φόρτωση του τελικού πίνακα. Μπορείτε να επαληθεύσετε ότι όλα είναι σωστά φιλτράροντας τη στήλη Όνομα πηγής για να βεβαιωθείτε ότι όλα τα αρχεία στον φάκελο έχουν υποβληθεί σε επεξεργασία με επιτυχία.
Η δυνατότητα αυτοματοποίησης της ένωσης πολλαπλών αρχείων CSV σάς επιτρέπει να μεταβαίνετε από την κουραστική χειροκίνητη εργασία σε μια επαγγελματική ροή εργασίας, είτε αξιοποιώντας την ευελιξία του Power Query για καθαρισμό δεδομένων είτε καταφεύγοντας σε VBA όταν οι δομές είναι ασύμβατες ή οι τόμοι υπερβαίνουν τα όρια των υπολογιστικών φύλλων.