- „Power Query“ leidžia sujungti kelis failus iš vietinio arba debesies aplanko, jei jie naudoja tą pačią duomenų schemą.
- Naudojant pavyzdinį failą, lengviau taikyti masines transformacijas, pvz., pašalinti viršutines eilutes arba pakeisti antraštes.
- Kai stulpeliai tiksliai nesutampa, yra apribojimų, todėl sudėtingais atvejais reikia valyti rankiniu būdu arba naudoti VBA scenarijus.
Įsivaizduokite, kad turite krūvą mėnesinių ar savaitinių ataskaitų, išmėtytų po aplankus, ir užuot švaistę rytą kopijuodami ir įklijuodami duomenis, galite viską sujungti į vieną „Excel“ skaičiuoklę vos keliais paspaudimais. Būtent čia praverčia „Power Query“ – įrankis, kuris iš esmės yra dešinioji ranka kiekvienam, dirbančiam su duomenimis, leidžiantis lengvai sujungti failus, turinčius tą pačią struktūrą.
Šauniausia šioje sistemoje yra tai, kad ji neapriboja jūsų vietinio aplanko kompiuteryje; galite išgauti duomenis iš „SharePoint“ svetainių, „Azure Data Lake“ arba „Azure“ „blob“ saugyklų . Svarbiausia, kad ši sistema veiktų sklandžiai, yra ta pati failų schema, o tai reiškia, kad stulpeliai sutampa, nors „Power Query“ yra pakankamai išmani, kad padėtų išvalyti duomenis, jei juose yra triukšmo ar nereikalingų eilučių.
Žingsnis po žingsnio derinimo procesas
Prisijungus prie duomenų šaltinio, pirmiausia pamatysite failų sistemos rodinį. Čia svarbiausias stulpelis yra „Turinys“, kuriame yra kiekvieno dokumento dvejetainė reprezentacija . Jei spustelėsite vieną iš šių dvejetainių reikšmių, programa bandys nustatyti, ar tai CSV, JSON, ar „Excel“ failas, kad galėtų jį atidaryti. Norėdami sujungti visą paketą, turite dvi parinktis: tiesiogiai spustelėti mygtuką „Sujungti“ arba, jei esate kruopštesni, pasirinkti „Transformuoti duomenis“, kad filtruotumėte failų sąrašą (pavyzdžiui, ignoruoti konkrečius aplankus) prieš tęsdami sujungimą.
Kai atidarote sujungimo dialogo langą, „Power Query“ naudoja pavyzdinį failą struktūrai analizuoti . Pagal numatytuosius nustatymus ji pasirenka pirmąjį failą sąraše, bet galite jį pakeisti, jei yra kitas, kuris geriau atspindi duomenų rinkinį. Čia galite pasirinkti parinktį praleisti failus su klaidomis , tai labai padeda, kai ataskaita yra sugadinta arba tuščia, nes neleidžia visam procesui sustoti.
Išvesties valdymas ir duomenų valymas
Priėmus sujungimą, sistema užkulisiuose atlieka techninius triukus: sukuria pavyzdinę užklausą ir parametrinę funkciją. Tai reiškia, kad bet kokie pavyzdiniame faile atlikti pakeitimai bus automatiškai pakartoti visuose kituose aplanke esančiuose failuose. Pavyzdžiui, jei jūsų CSV failuose prieš faktinius duomenis yra keturios nereikalingų antraščių eilutės, galite pereiti prie transformacijos užklausos ir naudoti parinktį pašalinti viršutines eilutes , kad pašalintumėte nereikalingus elementus.
Išvalius eilutes, svarbu pritaikyti funkciją „ Naudoti pirmąją eilutę kaip antraštes“ . Atminkite, kad tai darant „Power Query“ paprastai prideda automatinį duomenų tipo konvertavimo veiksmą. Jei grįžus į pagrindinę užklausą matote klaidą, kurioje nurodoma, kad stulpelis „Column1“ nerastas, nesijaudinkite; tai normalu, nes pavyzdyje pervadinote stulpelius , o tolesnis veiksmas nebeatpažįsta senų pavadinimų. Tiesiog ištrinkite tą klaidingą veiksmą iš srities „Taikyti veiksmai“ ir viskas grįš į normalias vėžes.
Dažni iššūkiai ir pažangios alternatyvos
Kartais gyvenimas nėra toks paprastas ir susiduriame su skirtingais failais. Pavyzdžiui, jei turite „ServiceNow“ ataskaitas, kuriose viena antraštė vadinama „resolved_on“, o kita – „closed_on“, „Power Query“ gali sukelti problemų, nes jai reikalinga nuosekli struktūra . Jei pavyzdinis failas ne visai atitinka likusią dalį, įrankis gali praleisti informaciją iš nesutampančių failų arba pateikti importavimo klaidas.
Tais atvejais, kai struktūra yra visiškai chaotiška arba duomenų kiekis yra didžiulis (viršijantis milijoną „Excel“ eilučių), yra ir kitų variantų. Kai kurie vartotojai renkasi VBA scenarijus, naudodami CSV sąsajas , kurios leidžia sujungti failus nekartojant antraščių, neatsižvelgiant į tai, ar lauko ar įrašo skyriklis skiriasi priklausomai nuo failo. Nors „Windows Shell“ yra itin greita, ji dažnai nepavyksta tvarkydama įterptuosius eilučių lūžius, o patikimas VBA sprendimas neperkrauna RAM ir gali lengvai tvarkyti milijonus įrašų.
Norėdami užbaigti procesą, sujungus duomenis „Power Query“, prieš įkeldami galutinę lentelę, nepamirškite kiekvienam stulpeliui priskirti teisingo duomenų tipo (data – datoms, valiuta – pajamoms ir kt.). Galite patikrinti, ar viskas teisinga, filtruodami stulpelį „Šaltinio pavadinimas“, kad įsitikintumėte, jog visi aplanke esantys failai buvo sėkmingai apdoroti.
Galimybė automatizuoti kelių CSV failų sujungimą leidžia pereiti nuo varginančio rankinio darbo prie profesionalios darbo eigos, išnaudojant „Power Query“ lankstumą duomenims valyti arba naudojant VBA, kai struktūros nesuderinamos arba apimtys viršija skaičiuoklių ribas.