- Med Power Query kan du konsolidera flera filer från en lokal mapp eller en molnmapp så länge de delar samma dataschema.
- Att använda en exempelfil gör det enklare att tillämpa masstransformationer, till exempel att ta bort översta rader eller ändra rubriker.
- Det finns begränsningar när kolumner inte matchar exakt, vilket kräver manuell rensning eller användning av VBA-skript för komplexa fall.
Tänk dig att du har en massa månads- eller veckorapporter utspridda över mappar, och istället för att slösa din morgon frenetiskt på att kopiera och klistra in data, kan du samla allt i ett enda Excel-kalkylblad med bara ett par klick. Det är just här Power Query kommer in i bilden, ett verktyg som i princip är den högra handen för alla som arbetar med data, vilket gör att vi enkelt kan konsolidera filer som delar samma struktur.
Det coolaste med det här systemet är att det inte begränsar dig till en lokal mapp på din dator; du kan hämta data från SharePoint-webbplatser, Azure Data Lake eller Azure-blobbar . Nyckeln till att detta fungerar smidigt är att filerna har samma schema, vilket innebär att kolumnerna matchar, även om Power Query är smart nog att hjälpa till att rensa upp data om den innehåller brus eller onödiga rader.
Steg-för-steg-kombinationsprocessen
När du ansluter till en datakälla är det första du ser filsystemvyn. Här är den viktigaste kolumnen Innehåll, som innehåller den binära representationen av varje dokument. Om du klickar på ett av dessa binära värden försöker programmet avgöra om det är en CSV-, JSON- eller Excel-fil för att kunna öppna den. För att kombinera hela bunten har du två alternativ: klicka direkt på knappen Sammanfoga, eller, om du är mer noggrann, välj Transformera data för att filtrera fillistan (till exempel för att ignorera specifika mappar) innan du fortsätter med sammanfogningen.
När du öppnar dialogrutan för sammanslagning använder Power Query en exempelfil för att analysera strukturen . Som standard väljer den första filen i listan, men du kan ändra den om det finns en annan som bättre representerar datauppsättningen. Här kan du välja alternativet att hoppa över filer med fel , vilket är en livräddare när en rapport är skadad eller tom, vilket förhindrar att hela processen stoppas.
Utdatahantering och datarensning
Efter att sammanslagningen har accepterats utför systemet lite teknisk magi bakom kulisserna: det skapar en exempelfråga och en parametriserad funktion. Det innebär att alla ändringar du gör i exempelfilen automatiskt replikeras till alla andra filer i mappen. Om dina CSV-filer till exempel har fyra rader med onödiga rubriker före själva data kan du gå till transformationsfrågan och använda alternativet att ta bort de översta raderna för att rensa upp det där skräpet.
Efter att raderna har rensats är det viktigt att använda funktionen " Använd den första raden som rubriker" . Tänk på att när du gör detta lägger Power Query vanligtvis till ett automatiskt steg för datatypskonvertering. Om du ser ett felmeddelande om att kolumnen "Kolumn1" inte kan hittas när du återgår till huvudfrågan, oroa dig inte; detta är normalt eftersom du har bytt namn på kolumnerna i exemplet och det efterföljande steget inte längre känner igen de gamla namnen. Ta bara bort det felaktiga steget från rutan Tillämpade steg så återgår allt till det normala.
Vanliga utmaningar och avancerade alternativ
Ibland är livet inte så enkelt, och vi stöter på filer som inte är identiska. Om du till exempel har ServiceNow-rapporter där en rubrik heter "resolved_on" och en annan "closed_on", kan Power Query ge dig problem eftersom det kräver en konsekvent struktur . Om exempelfilen inte exakt matchar resten kan verktyget utelämna informationen från de filer som inte matchar eller generera importfel.
För fall där strukturen är helt kaotisk eller datavolymen är enorm (överstiger en miljon Excel-rader) finns det andra alternativ. Vissa användare väljer VBA-skript med CSV-gränssnitt , vilket gör att filer kan kopplas samman utan att rubriker upprepas, oavsett om fält- eller postavgränsaren varierar från fil till fil. Även om Windows Shell är extremt snabbt, misslyckas det ofta vid hantering av inbäddade radbrytningar, medan en robust VBA-lösning inte överbelastar RAM och kan hantera miljontals poster med lätthet.
För att slutföra processen, när informationen har kombinerats i Power Query, kom ihåg att tilldela rätt datatyp till varje kolumn (datum för datum, valuta för inkomst osv.) innan du läser in den slutliga tabellen. Du kan kontrollera att allt är korrekt genom att filtrera kolumnen Källnamn för att säkerställa att alla filer i mappen har bearbetats korrekt.
Möjligheten att automatisera sammankopplingen av flera CSV-filer gör att du kan gå från tråkigt manuellt arbete till ett professionellt arbetsflöde, oavsett om du utnyttjar flexibiliteten i Power Query för datarensning eller använder VBA när strukturer är inkompatibla eller volymer överskrider gränserna för kalkylblad.