- Power Query vam omogoča združevanje več datotek iz lokalne ali oblačne mape, če si delijo isto podatkovno shemo.
- Z uporabo vzorčne datoteke je lažje uporabiti množične transformacije, kot je odstranjevanje zgornjih vrstic ali spreminjanje glav.
- Obstajajo omejitve, kadar se stolpci ne ujemajo popolnoma, kar zahteva ročno čiščenje ali uporabo skriptov VBA za zapletene primere.
Predstavljajte si, da imate kup mesečnih ali tedenskih poročil, raztresenih po mapah, in namesto da bi dopoldne zapravljali s paničnim kopiranjem in lepljenjem podatkov, bi lahko vse združili v eno samo Excelovo preglednico z le nekaj kliki. Prav tukaj pride prav Power Query, orodje, ki je v bistvu desna roka vsakogar, ki dela s podatki, saj nam omogoča, da brez težav združimo datoteke z isto strukturo.
Najbolj kul pri tem sistemu je, da vas ne omejuje na lokalno mapo v računalniku; podatke lahko pridobite s spletnih mest SharePoint, Azure Data Lake ali Azure blobov . Ključ do nemotenega delovanja je, da imajo datoteke enako shemo, kar pomeni, da se stolpci ujemajo, čeprav je Power Query dovolj pameten, da pomaga očistiti podatke, če vsebujejo šum ali nepotrebne vrstice.
Postopek kombiniranja korak za korakom
Ko se povežete z virom podatkov, boste najprej videli pogled datotečnega sistema. Tukaj je najpomembnejši stolpec Vsebina, ki vsebuje binarno predstavitev vsakega dokumenta. Če kliknete eno od teh binarnih vrednosti, bo program poskušal ugotoviti, ali gre za datoteko CSV, JSON ali Excel, da jo bo lahko odprl. Če želite združiti celoten paket, imate dve možnosti: klikniti gumb Spoji ali, če ste bolj natančni, izbrati Pretvori podatke, da filtrirate seznam datotek (na primer, da prezrete določene mape), preden nadaljujete z združevanjem.
Ko odprete pogovorno okno za združevanje, Power Query uporabi vzorčno datoteko za analizo strukture . Privzeto izbere prvo datoteko na seznamu, vendar jo lahko spremenite, če obstaja druga, ki bolje predstavlja nabor podatkov. Tukaj lahko izberete možnost preskoka datotek z napakami , kar je rešilna rešitev, ko je poročilo poškodovano ali prazno, saj preprečuje zaustavitev celotnega postopka.
Upravljanje izhodnih podatkov in čiščenje podatkov
Po sprejetju združitve sistem v ozadju izvede nekaj tehnične čarovnije: ustvari vzorčno poizvedbo in parametrizirano funkcijo. To pomeni, da se bodo vse spremembe, ki jih naredite v vzorčni datoteki, samodejno replicirale na vse druge datoteke v mapi. Če imajo na primer vaše datoteke CSV štiri vrstice nepotrebnih glav pred dejanskimi podatki, lahko odprete poizvedbo za preoblikovanje in uporabite možnost odstranitve zgornjih vrstic , da odpravite to nered.
Po čiščenju vrstic je nujno uporabiti funkcijo » Uporabi prvo vrstico kot glave« . Upoštevajte, da Power Query pri tem običajno doda korak samodejne pretvorbe podatkovnega tipa. Če se ob vrnitvi na glavno poizvedbo prikaže napaka, da stolpca »Stolpec1« ni mogoče najti, ne skrbite; to je normalno, ker ste v primeru preimenovali stolpce in naslednji korak ne prepozna več starih imen. Preprosto izbrišite ta napačni korak iz podokna Uporabljeni koraki in vse se bo vrnilo v normalno stanje.
Pogosti izzivi in napredne alternative
Včasih življenje ni tako preprosto in naletimo na datoteke, ki niso enake. Če imate na primer poročila ServiceNow, kjer se ena glava imenuje »resolved_on«, druga pa »closed_on«, vam lahko Power Query povzroči težave, ker zahteva dosledno strukturo . Če se vzorčna datoteka ne ujema popolnoma z ostalimi, lahko orodje izpusti podatke iz neujemajočih se datotek ali pa povzroči napake pri uvozu.
Za primere, ko je struktura popolnoma kaotična ali je količina podatkov ogromna (več kot milijon vrstic v Excelu), obstajajo druge možnosti. Nekateri uporabniki se odločijo za skripte VBA z vmesniki CSV , ki omogočajo združevanje datotek brez ponavljanja glav, ne glede na to, ali se ločilo polj ali zapisov razlikuje od datoteke do datoteke. Čeprav je lupina sistema Windows izjemno hitra, pogosto odpove pri obdelavi vdelanih prelomov vrstic, medtem ko robustna rešitev VBA ne preobremeni RAM-a in lahko z lahkoto obdela milijone zapisov.
Za dokončanje postopka, ko so podatki združeni v Power Queryju, ne pozabite vsakemu stolpcu dodeliti pravilnega podatkovnega tipa (Datum za datume, Valuta za dohodek itd.), preden naložite končno tabelo. Ali je vse pravilno, lahko preverite s filtriranjem stolpca Ime vira, da zagotovite, da so bile vse datoteke v mapi uspešno obdelane.
Zmožnost avtomatizacije združevanja več datotek CSV vam omogoča prehod iz dolgočasnega ročnega dela v profesionalni potek dela, bodisi z izkoriščanjem prilagodljivosti Power Queryja za čiščenje podatkov bodisi z uporabo VBA, ko strukture niso združljive ali obseg presega omejitve preglednic.