- Power Query giver dig mulighed for at konsolidere flere filer fra en lokal eller cloud-mappe, så længe de deler det samme dataskema.
- Brug af en eksempelfil gør det nemmere at anvende massetransformationer, f.eks. fjernelse af øverste rækker eller ændring af overskrifter.
- Der er begrænsninger, når kolonner ikke stemmer præcist overens, hvilket kræver manuel oprydning eller brug af VBA-scripts til komplekse tilfælde.
Forestil dig, at du har en masse månedlige eller ugentlige rapporter spredt ud over mapper, og i stedet for at spilde din morgen på febrilsk at kopiere og indsætte data, kan du samle alt i et enkelt Excel-regneark med blot et par klik. Det er netop her, Power Query kommer ind i billedet, et værktøj, der i bund og grund er den højre hånd for alle, der arbejder med data, og som giver os mulighed for at konsolidere filer, der deler den samme struktur, uden besvær.
Det fedeste ved dette system er, at det ikke begrænser dig til en lokal mappe på din pc; du kan hente data fra SharePoint-websteder, Azure Data Lake eller Azure-blobs . Nøglen til at få dette til at fungere problemfrit er, at filerne har det samme skema, hvilket betyder, at kolonnerne matcher, selvom Power Query er smart nok til at hjælpe med at rydde op i dataene, hvis de indeholder støj eller unødvendige rækker.
Den trinvise kombinationsproces
Når du opretter forbindelse til en datakilde, er det første, du ser, filsystemvisningen. Her er den vigtigste kolonne Indhold, som indeholder den binære repræsentation af hvert dokument. Hvis du klikker på en af disse binære værdier, vil programmet forsøge at bestemme, om det er en CSV-, JSON- eller Excel-fil for at åbne den. For at kombinere hele batchen har du to muligheder: klik direkte på knappen Flet, eller, hvis du er mere omhyggelig, vælg Transformer data for at filtrere fillisten (f.eks. for at ignorere bestemte mapper), før du fortsætter med fletningen.
Når du åbner dialogboksen Flet, bruger Power Query en eksempelfil til at analysere strukturen . Som standard vælger den den første fil på listen, men du kan ændre den, hvis der er en anden, der bedre repræsenterer datasættet. Her kan du vælge at springe filer med fejl over , hvilket er en livredder, når en rapport er beskadiget eller tom, hvilket forhindrer hele processen i at stoppe.
Outputhåndtering og datarensning
Efter at have accepteret fletningen, udfører systemet noget teknisk magi bag kulisserne: det opretter en eksempelforespørgsel og en parameteriseret funktion. Det betyder, at alle ændringer, du foretager i eksempelfilen, automatisk replikeres til alle andre filer i mappen. Hvis dine CSV-filer f.eks. har fire rækker unødvendige overskrifter før de faktiske data, kan du gå til transformationsforespørgslen og bruge muligheden for at fjerne de øverste rækker for at rydde op i det rod.
Efter rensning af rækkerne er det vigtigt at anvende funktionen " Brug den første række som overskrifter" . Husk, at når du gør dette, tilføjer Power Query normalt et automatisk trin til datatypekonvertering. Hvis du, når du vender tilbage til hovedforespørgslen, ser en fejl, der angiver, at kolonnen 'Kolonne1' ikke kan findes, skal du ikke bekymre dig; dette er normalt, fordi du har omdøbt kolonnerne i eksemplet , og det efterfølgende trin genkender ikke længere de gamle navne. Du skal blot slette det fejlagtige trin fra ruden Anvendte trin, og alt vil vende tilbage til det normale.
Almindelige udfordringer og avancerede alternativer
Nogle gange er livet ikke så simpelt, og vi støder på filer, der ikke er identiske. Hvis du for eksempel har ServiceNow-rapporter, hvor én header hedder 'resolved_on' og en anden 'closed_on', kan Power Query give dig problemer, fordi det kræver en ensartet struktur . Hvis eksempelfilen ikke præcist matcher resten, kan værktøjet udelade oplysningerne fra de uoverensstemmende filer eller generere importfejl.
I tilfælde hvor strukturen er fuldstændig kaotisk, eller datamængden er enorm (over en million Excel-rækker), findes der andre muligheder. Nogle brugere vælger VBA-scripts ved hjælp af CSV-grænseflader , som gør det muligt at sammenføje filer uden at overskrifter gentages, uanset om felt- eller postafgrænseren varierer fra fil til fil. Selvom Windows Shell er ekstremt hurtig, fejler den ofte, når den håndterer integrerede linjeskift, hvorimod en robust VBA-løsning ikke overbelaster RAM og nemt kan håndtere millioner af poster.
For at fuldføre processen, når dataene er kombineret i Power Query, skal du huske at tildele den korrekte datatype til hver kolonne (dato for datoer, valuta for indkomst osv.), før du indlæser den endelige tabel. Du kan kontrollere, at alt er korrekt, ved at filtrere kolonnen Kildenavn for at sikre, at alle filer i mappen er blevet behandlet korrekt.
Muligheden for at automatisere sammenføjningen af flere CSV-filer giver dig mulighed for at gå fra kedeligt manuelt arbejde til en professionel arbejdsgang, uanset om det er ved at udnytte fleksibiliteten i Power Query til datarensning eller ved at ty til VBA, når strukturer er inkompatible, eller mængder overstiger grænserne for regneark.