- Power Query vam omogućava konsolidaciju više datoteka iz lokalne ili oblačne mape sve dok dijele istu shemu podataka.
- Korištenje uzorka datoteke olakšava primjenu grupnih transformacija, kao što je uklanjanje gornjih redova ili promjena zaglavlja.
- Postoje ograničenja kada se kolone ne podudaraju u potpunosti, što zahtijeva ručno čišćenje ili korištenje VBA skripti za složene slučajeve.
Zamislite da imate gomilu mjesečnih ili sedmičnih izvještaja razbacanih po folderima i umjesto da gubite jutro na panično kopiranje i lijepljenje podataka, možete sve objediniti u jednu Excel tabelu sa samo nekoliko klikova. Upravo tu nastupa Power Query, alat koji je u suštini desna ruka svakoga ko radi s podacima, omogućavajući nam da bez napora konsolidujemo datoteke koje dijele istu strukturu.
Najbolja stvar kod ovog sistema je to što vas ne ograničava na lokalnu mapu na vašem računaru; možete preuzimati podatke sa SharePoint lokacija, Azure Data Lake-a ili Azure blobova . Ključ za nesmetan rad je da datoteke imaju istu shemu, što znači da se kolone podudaraju, iako je Power Query dovoljno pametan da pomogne u čišćenju podataka ako sadrže bilo kakav šum ili nepotrebne redove.
Postupak kombinovanja korak po korak
Kada se povežete s izvorom podataka, prvo što ćete vidjeti je prikaz sistema datoteka. Ovdje je najvažnija kolona Sadržaj, koja sadrži binarni prikaz svakog dokumenta. Ako kliknete na jednu od ovih binarnih vrijednosti, program će pokušati utvrditi da li se radi o CSV, JSON ili Excel datoteci kako bi je otvorio. Da biste spojili cijelu seriju, imate dvije opcije: kliknite direktno na dugme Spoji ili, ako ste pažljiviji, odaberite Transformiraj podatke da biste filtrirali listu datoteka (na primjer, da biste zanemarili određene mape) prije nego što nastavite sa spajanjem.
Nakon što uđete u dijaloški okvir za spajanje, Power Query koristi uzorak datoteke za analizu strukture . Podrazumevano, odabire prvu datoteku na listi, ali to možete promijeniti ako postoji neka druga koja bolje predstavlja skup podataka. Ovdje možete odabrati opciju za preskakanje datoteka s greškama , što je spas kada je izvještaj oštećen ili prazan, sprječavajući zaustavljanje cijelog procesa.
Upravljanje rezultatima i čišćenje podataka
Nakon prihvatanja spajanja, sistem izvodi neku tehničku magiju iza kulisa: kreira uzorak upita i parametriziranu funkciju. To znači da će se sve promjene koje napravite u uzorku datoteke automatski replicirati na sve ostale datoteke u mapi. Ako, na primjer, vaše CSV datoteke imaju četiri reda nepotrebnih zaglavlja prije stvarnih podataka, možete otići na upit za transformaciju i koristiti opciju za uklanjanje gornjih redova kako biste očistili taj nered.
Nakon čišćenja redova, bitno je primijeniti funkciju " Koristi prvi red kao zaglavlja" . Imajte na umu da kada to učinite, Power Query obično dodaje korak automatske konverzije tipa podataka. Ako se po povratku na glavni upit prikaže greška koja navodi da kolona 'Kolona1' nije pronađena, ne brinite; to je normalno jer ste preimenovali kolone u primjeru , a sljedeći korak više ne prepoznaje stara imena. Jednostavno izbrišite taj pogrešan korak iz okna Primijenjeni koraci i sve će se vratiti u normalu.
Uobičajeni izazovi i napredne alternative
Ponekad život nije tako jednostavan i nailazimo na datoteke koje nisu identične. Na primjer, ako imate ServiceNow izvještaje gdje se jedno zaglavlje zove 'resolved_on', a drugo 'closed_on', Power Query vam može uzrokovati probleme jer zahtijeva konzistentnu strukturu . Ako se uzorak datoteke ne podudara u potpunosti s ostatkom, alat bi mogao izostaviti informacije iz neusklađenih datoteka ili izbaciti greške pri uvozu.
Za slučajeve gdje je struktura potpuno haotična ili je količina podataka ogromna (prelazi milion Excel redova), postoje i druge opcije. Neki korisnici se odlučuju za VBA skripte koristeći CSV interfejse , koji omogućavaju spajanje datoteka bez ponavljanja zaglavlja, bez obzira na to da li se razdjelnik polja ili zapisa razlikuje od datoteke do datoteke. Iako je Windows Shell izuzetno brz, često ne uspijeva pri rukovanju ugrađenim prijelomima redova, dok robusno VBA rješenje ne preopterećuje RAM i može s lakoćom obraditi milione zapisa.
Da biste dovršili proces, nakon što se podaci kombinuju u Power Queryju, ne zaboravite dodijeliti ispravan tip podataka svakoj koloni (Datum za datume, Valuta za prihod itd.) prije učitavanja konačne tabele. Možete provjeriti da li je sve ispravno filtriranjem kolone Naziv izvora kako biste bili sigurni da su sve datoteke u mapi uspješno obrađene.
Mogućnost automatizacije spajanja više CSV datoteka omogućava vam prelazak sa zamornog ručnog rada na profesionalni tijek rada, bilo korištenjem fleksibilnosti Power Queryja za čišćenje podataka ili pribjegavanjem VBA kada strukture nisu kompatibilne ili volumeni prelaze ograničenja proračunskih tablica.