- Power Query umožňuje konsolidovat více souborů z místní nebo cloudové složky, pokud sdílejí stejné datové schéma.
- Použití vzorového souboru usnadňuje hromadné transformace, jako je například odstranění horních řádků nebo změna záhlaví.
- Existují omezení, pokud se sloupce přesně neshodují, což vyžaduje ruční čištění nebo použití skriptů VBA ve složitých případech.
Představte si, že máte hromadu měsíčních nebo týdenních reportů roztroušených po složkách a místo toho, abyste ztráceli dopoledne horečným kopírováním a vkládáním dat, můžete vše sjednotit do jedné excelové tabulky jen několika kliknutími. A přesně zde přichází na řadu Power Query, nástroj, který je v podstatě pravou rukou každého, kdo pracuje s daty, a umožňuje nám bez námahy konsolidovat soubory, které sdílejí stejnou strukturu.
Nejlepší na tomto systému je, že vás neomezuje na lokální složku v počítači; data můžete stahovat z webů SharePointu, Azure Data Lake nebo objektů blob Azure . Klíčem k hladkému fungování je, aby soubory měly stejné schéma, což znamená, že sloupce se shodují, i když Power Query je dostatečně chytrý, aby pomohl s vyčištěním dat, pokud obsahují šum nebo nepotřebné řádky.
Postupný proces kombinování
Když se připojíte ke zdroji dat, první věc, kterou uvidíte, je zobrazení souborového systému. Zde je nejdůležitějším sloupcem Obsah, který obsahuje binární reprezentaci každého dokumentu. Pokud kliknete na jednu z těchto binárních hodnot, program se pokusí určit, zda se jedná o soubor CSV, JSON nebo Excel, aby jej mohl otevřít. Chcete-li sloučit celou dávku, máte dvě možnosti: kliknout přímo na tlačítko Sloučit, nebo pokud jste pečlivější, vybrat možnost Transformovat data a filtrovat seznam souborů (například ignorovat konkrétní složky) před pokračováním ve sloučení.
Jakmile otevřete dialogové okno pro sloučení, Power Query použije vzorový soubor k analýze struktury . Ve výchozím nastavení vybere první soubor v seznamu, ale můžete to změnit, pokud existuje jiný, který lépe reprezentuje datovou sadu. Zde můžete vybrat možnost přeskočit soubory s chybami , což je záchrana, když je sestava poškozená nebo prázdná, a zabrání tak zastavení celého procesu.
Správa výstupů a čištění dat
Po přijetí sloučení systém provede v zákulisí technickou magii: vytvoří vzorový dotaz a parametrizovanou funkci. To znamená, že veškeré změny provedené v ukázkovém souboru budou automaticky replikovány do všech ostatních souborů ve složce. Pokud například vaše soubory CSV obsahují čtyři řádky nepotřebných záhlaví před skutečnými daty, můžete přejít k transformačnímu dotazu a pomocí možnosti odstranit horní řádky tento nepořádek vyčistit.
Po vyčištění řádků je nezbytné použít funkci „ Použít první řádek jako záhlaví“ . Mějte na paměti, že když to uděláte, Power Query obvykle přidá krok automatického převodu datových typů. Pokud se po návratu do hlavního dotazu zobrazí chyba, že sloupec „Sloupec1“ nebyl nalezen, nebojte se; je to normální, protože jste sloupce v příkladu přejmenovali a následující krok již staré názvy nerozpoznává. Jednoduše tento chybný krok smažte z podokna Použité kroky a vše se vrátí do normálu.
Běžné problémy a pokročilé alternativy
Někdy život není tak jednoduchý a narazíme na soubory, které nejsou identické. Pokud máte například sestavy ServiceNow, kde jedna hlavička má název „resolved_on“ a druhá „closed_on“, Power Query vám může způsobit problémy, protože vyžaduje konzistentní strukturu . Pokud se vzorový soubor přesně neshoduje se zbytkem, nástroj může vynechat informace z neshodných souborů nebo vyvolat chyby importu.
Pro případy, kdy je struktura zcela chaotická nebo objem dat je obrovský (přesahující jeden milion řádků Excelu), existují další možnosti. Někteří uživatelé volí skripty VBA s rozhraním CSV , které umožňují spojování souborů bez opakování záhlaví, bez ohledu na to, zda se oddělovač polí nebo záznamů liší soubor od souboru. I když je prostředí Windows extrémně rychlé, často selhává při zpracování vložených zalomení řádků, zatímco robustní řešení VBA nepřetěžuje paměť RAM a snadno zvládne miliony záznamů.
Pro dokončení procesu nezapomeňte po zkombinování dat v Power Query před načtením finální tabulky přiřadit každému sloupci správný datový typ (Datum pro data, Měna pro příjem atd.). Správnost můžete ověřit filtrováním sloupce Název zdroje, abyste se ujistili, že všechny soubory ve složce byly úspěšně zpracovány.
Možnost automatizovat spojování více souborů CSV vám umožňuje přejít od únavné manuální práce k profesionálnímu pracovnímu postupu, ať už využitím flexibility Power Query pro čištění dat nebo použitím VBA, když jsou struktury nekompatibilní nebo objemy překračují limity tabulek.