- A Power Query lehetővé teszi több fájl összevonását egy helyi vagy felhőalapú mappából, amennyiben azok ugyanazt az adatsémát használják.
- Egy mintafájl használata megkönnyíti a tömeges átalakítások alkalmazását, például a felső sorok eltávolítását vagy a fejlécek módosítását.
- Vannak korlátozások, amikor az oszlopok nem egyeznek pontosan, ami manuális tisztítást vagy VBA szkriptek használatát teszi szükségessé összetett esetekben.
Képzeld el, hogy egy csomó havi vagy heti jelentésed van szétszórva mappákban, és ahelyett, hogy a reggeledet kétségbeesett adatok másolásával és beillesztésével pazarolnád, mindent egyetlen Excel-táblázatba egyesíthetsz mindössze néhány kattintással. Pontosan itt jön képbe a Power Query, egy olyan eszköz, amely lényegében bárki jobb keze, aki adatokkal dolgozik, lehetővé téve számunkra, hogy könnyedén konszolidáljuk az azonos szerkezetű fájlokat.
Ennek a rendszernek a legmenőbb tulajdonsága, hogy nem korlátozódik a számítógépeden lévő helyi mappára; adatokat kinyerhetsz SharePoint-webhelyekről, Azure Data Lake-ből vagy Azure-blobokból . A zökkenőmentes működés kulcsa, hogy a fájlok sémája megegyezzen, ami azt jelenti, hogy az oszlopok megegyeznek, bár a Power Query elég intelligens ahhoz, hogy segítsen kitisztítani az adatokat, ha azok zajt vagy felesleges sorokat tartalmaznak.
A lépésről lépésre történő kombinációs folyamat
Amikor egy adatforráshoz kapcsolódsz, először a fájlrendszer nézetet fogod látni. Itt a legfontosabb oszlop a Tartalom, amely az egyes dokumentumok bináris ábrázolását tartalmazza . Ha rákattintasz az egyik bináris értékre, a program megpróbálja meghatározni, hogy CSV, JSON vagy Excel fájlról van-e szó a megnyitáshoz. A teljes köteg egyesítéséhez két lehetőséged van: kattints közvetlenül az Egyesítés gombra, vagy ha aprólékosabban szeretnéd, válaszd az Adatok átalakítása lehetőséget a fájllista szűréséhez (például bizonyos mappák kihagyásához) az egyesítés folytatása előtt.
Miután megnyitotta az egyesítés párbeszédpanelt, a Power Query egy mintafájl segítségével elemzi a struktúrát . Alapértelmezés szerint a lista első fájlját választja ki, de ezt módosíthatja, ha van egy másik, amely jobban reprezentálja az adathalmazt. Itt kiválaszthatja a hibás fájlok kihagyását , ami életmentő lehet, ha egy jelentés sérült vagy üres, megakadályozva a teljes folyamat leállását.
Kimenetkezelés és adattisztítás
Az egyesítés elfogadása után a rendszer némi technikai varázslatot hajt végre a színfalak mögött: létrehoz egy minta lekérdezést és egy paraméteres függvényt. Ez azt jelenti, hogy a minta fájlon végrehajtott módosítások automatikusan átkerülnek a mappa összes többi fájljába. Ha például a CSV-fájlokban négy sornyi felesleges fejléc található a tényleges adatok előtt, akkor az átalakító lekérdezéshez léphet, és a felső sorok eltávolítására szolgáló opcióval eltüntetheti a rendetlenséget.
A sorok tisztítása után elengedhetetlen az „ Az első sor használata fejlécként” függvény alkalmazása . Ne feledje, hogy amikor ezt teszi, a Power Query általában egy automatikus adattípus-konverziós lépést ad hozzá. Ha a fő lekérdezéshez való visszatéréskor hibaüzenetet lát, amely szerint az „Oszlop1” oszlop nem található, ne aggódjon; ez normális, mert átnevezte az oszlopokat a példában , és a következő lépés már nem ismeri fel a régi neveket. Egyszerűen törölje a hibás lépést az Alkalmazott lépések panelről, és minden visszaáll a normális kerékvágásba.
Gyakori kihívások és fejlett alternatívák
Az élet néha nem ilyen egyszerű, és olyan fájlokkal találkozunk, amelyek nem egyformák. Például, ha olyan ServiceNow-jelentései vannak, ahol az egyik fejléc „resolved_on”, a másik pedig „closed_on” néven szerepel, a Power Query problémákat okozhat, mivel konzisztens struktúrát igényel . Ha a mintafájl nem egyezik meg pontosan a többivel, az eszköz kihagyhatja az információkat az egyező fájlokból, vagy importálási hibákat dobhat.
Azokban az esetekben, amikor a struktúra teljesen kaotikus, vagy az adatmennyiség hatalmas (meghaladja az egymillió Excel sort), más lehetőségek is vannak. Egyes felhasználók a CSV interfészeket használó VBA szkripteket választják , amelyek lehetővé teszik a fájlok fejlécek ismétlése nélküli összekapcsolását, függetlenül attól, hogy a mező- vagy rekordelválasztó fájlonként változik-e. Míg a Windows Shell rendkívül gyors, gyakran hibát okoz a beágyazott sortörések kezelésében, míg egy robusztus VBA megoldás nem terheli túl a RAM-ot , és könnyedén képes kezelni több millió rekordot.
A folyamat befejezéséhez, miután az adatokat egyesítette a Power Queryben, ne felejtse el hozzárendelni a megfelelő adattípust minden oszlophoz (Dátum a dátumokhoz, Pénznem a jövedelemhez stb.) a végső táblázat betöltése előtt. A Forrás neve oszlop szűrésével ellenőrizheti, hogy minden helyes-e, így biztosítva, hogy a mappában lévő összes fájl sikeresen feldolgozva legyen.
A több CSV-fájl automatizált egyesítésének képessége lehetővé teszi az unalmas kézi munkáról a professzionális munkafolyamatra való áttérést, akár a Power Query rugalmasságának kihasználásával az adattisztításhoz, akár a VBA használatával, ha a struktúrák inkompatibilisek, vagy a mennyiség meghaladja a táblázatok korlátait.