- Power Query ļauj apvienot vairākus failus no lokālas vai mākoņa mapes, ja vien tiem ir viena un tā pati datu shēma.
- Izmantojot parauga failu, ir vieglāk lietot masveida transformācijas, piemēram, noņemt augšējās rindas vai mainīt virsrakstus.
- Pastāv ierobežojumi, ja kolonnas precīzi nesakrīt, un sarežģītos gadījumos ir nepieciešama manuāla tīrīšana vai VBA skriptu izmantošana.
Iedomājieties, ka jums ir vesela kaudze ikmēneša vai iknedēļas atskaišu, kas izkaisītas pa mapēm, un tā vietā, lai tērētu savu rītu, drudžaini kopējot un ielīmējot datus, jūs varētu visu apvienot vienā Excel izklājlapā tikai ar pāris klikšķiem. Tieši šeit noder Power Query — rīks, kas būtībā ir ikviena ar datiem strādājošā labā roka, ļaujot mums bez piepūles apvienot failus, kuriem ir viena un tā pati struktūra.
Šīs sistēmas lieliskā īpašība ir tā, ka tā neierobežo piekļuvi lokālai mapei datorā; datus var izgūt no SharePoint vietnēm, Azure Data Lake vai Azure blobiem . Lai šī sistēma darbotos nevainojami, galvenais ir tas, ka failiem ir viena un tā pati shēma, kas nozīmē, ka kolonnas sakrīt, lai gan Power Query ir pietiekami vieda, lai palīdzētu iztīrīt datus, ja tajos ir troksnis vai nevajadzīgas rindas.
Soli pa solim apvienošanas process
Kad izveidojat savienojumu ar datu avotu, pirmais, ko redzēsiet, ir failu sistēmas skats. Šeit vissvarīgākā kolonna ir “Saturs”, kurā ir katra dokumenta binārā attēlojuma versija . Ja noklikšķināsiet uz kādas no šīm binārajām vērtībām, programma mēģinās noteikt, vai tas ir CSV, JSON vai Excel fails, lai to atvērtu. Lai apvienotu visu paketi, jums ir divas iespējas: tieši noklikšķiniet uz pogas “Apvienot” vai, ja esat rūpīgāk atlasīts, atlasiet “Transformēt datus”, lai filtrētu failu sarakstu (piemēram, lai ignorētu noteiktas mapes), pirms turpināt apvienošanu.
Kad atverat apvienošanas dialoglodziņu, Power Query izmanto parauga failu, lai analizētu struktūru . Pēc noklusējuma tas atlasa pirmo failu sarakstā, bet to var mainīt, ja ir cits fails, kas labāk atspoguļo datu kopu. Šeit varat atlasīt opciju izlaist failus ar kļūdām , kas ir glābiņš, ja atskaite ir bojāta vai tukša, neļaujot visam procesam apturēt.
Izvades pārvaldība un datu attīrīšana
Pēc apvienošanas pieņemšanas sistēma veic tehnisku maģiju aizkulisēs: tā izveido parauga vaicājumu un parametrizētu funkciju. Tas nozīmē, ka visas izmaiņas, ko veicat parauga failā, tiks automātiski replicētas uz visiem pārējiem mapes failiem. Piemēram, ja jūsu CSV failos pirms faktiskajiem datiem ir četras nevajadzīgu virsrakstu rindas, varat doties uz transformācijas vaicājumu un izmantot opciju noņemt augšējās rindas , lai sakārtotu šo jucekli.
Pēc rindu tīrīšanas ir svarīgi lietot funkciju " Izmantot pirmo rindu kā galvenes" . Paturiet prātā, ka, to darot, Power Query parasti pievieno automātisku datu tipa konvertēšanas darbību. Ja, atgriežoties pie galvenā vaicājuma, tiek parādīta kļūda, kas norāda, ka kolonna "Kolonna1" nav atrodama, neuztraucieties; tas ir normāli, jo jūs pārdēvējāt kolonnas piemērā , un nākamā darbība vairs neatpazīst vecos nosaukumus. Vienkārši izdzēsiet šo kļūdaino darbību no rūts Lietotās darbības, un viss atgriezīsies normālā stāvoklī.
Biežāk sastopamās problēmas un uzlabotas alternatīvas
Dažreiz dzīve nav tik vienkārša, un mēs sastopamies ar failiem, kas nav identiski. Piemēram, ja jums ir ServiceNow atskaites, kurās viena galvene tiek saukta par “resolved_on”, bet otra — par “closed_on”, Power Query var radīt problēmas, jo tai ir nepieciešama konsekventa struktūra . Ja parauga fails precīzi neatbilst pārējam, rīks var izlaist informāciju no neatbilstošajiem failiem vai parādīt importēšanas kļūdas.
Gadījumos, kad struktūra ir pilnīgi haotiska vai datu apjoms ir milzīgs (pārsniedzot vienu miljonu Excel rindu), ir arī citas iespējas. Daži lietotāji izvēlas VBA skriptus, izmantojot CSV saskarnes , kas ļauj apvienot failus bez virsrakstu atkārtošanas neatkarīgi no tā, vai lauku vai ierakstu atdalītājs dažādos failos atšķiras. Lai gan Windows Shell ir ārkārtīgi ātra, tā bieži vien neizdodas apstrādāt iegultos rindiņu pārtraukumus, savukārt stabils VBA risinājums nepārslogo RAM un var viegli apstrādāt miljoniem ierakstu.
Lai pabeigtu procesu, kad dati ir apvienoti lietojumprogrammā Power Query, pirms galīgās tabulas ielādes atcerieties katrai kolonnai piešķirt pareizo datu tipu (datums datumiem, valūta ienākumiem utt.). Varat pārbaudīt, vai viss ir pareizi, filtrējot kolonnu Avota nosaukums, lai pārliecinātos, ka visi mapē esošie faili ir veiksmīgi apstrādāti.
Iespēja automatizēt vairāku CSV failu apvienošanu ļauj pāriet no garlaicīga manuāla darba uz profesionālu darbplūsmu, izmantojot Power Query elastību datu attīrīšanai vai VBA, ja struktūras ir nesaderīgas vai apjomi pārsniedz izklājlapu ierobežojumus.