- Power Query вам омогућава да консолидујете више датотека из локалне или облачне фасцикле све док деле исту шему података.
- Коришћење пробне датотеке олакшава примену групних трансформација, као што је уклањање горњих редова или промена заглавља.
- Постоје ограничења када се колоне не подударају потпуно, што захтева ручно чишћење или употребу VBA скрипти за сложене случајеве.
Замислите да имате гомилу месечних или недељних извештаја раштрканих по фасциклама и уместо да губите јутро френетично копирајући и лепећи податке, можете све објединити у једну Ексел табелу уз само неколико кликова. Управо ту долази до изражаја Power Query, алат који је у суштини десна рука свакога ко ради са подацима, омогућавајући нам да без напора консолидујемо датотеке које деле исту структуру.
Најбоља ствар код овог система је то што вас не ограничава на локалну фасциклу на вашем рачунару; можете преузимати податке са SharePoint сајтова, Azure Data Lake-а или Azure блобова . Кључ за глатко функционисање је да датотеке имају исту шему, што значи да се колоне подударају, иако је Power Query довољно паметан да помогне у чишћењу података ако садрже било какву буку или непотребне редове.
Процес комбиновања корак по корак
Када се повежете са извором података, прво што ћете видети је приказ система датотека. Овде је најважнија колона Садржај, која садржи бинарни приказ сваког документа. Ако кликнете на једну од ових бинарних вредности, програм ће покушати да утврди да ли је у питању CSV, JSON или Excel датотека како би је отворио. Да бисте комбиновали целу групу, имате две опције: кликните директно на дугме Споји или, ако сте пажљивији, изаберите Трансформиши податке да бисте филтрирали листу датотека (на пример, да бисте игнорисали одређене фасцикле) пре него што наставите са спајањем.
Када уђете у дијалог за спајање, Power Query користи пробну датотеку за анализу структуре . Подразумевано, бира прву датотеку на листи, али можете је променити ако постоји нека друга која боље представља скуп података. Овде можете изабрати опцију за прескакање датотека са грешкама , што је спас када је извештај оштећен или празан, спречавајући заустављање целог процеса.
Управљање излазом и чишћење података
Након прихватања спајања, систем изводи техничку магију иза кулиса: креира пример упита и параметризовану функцију. То значи да ће све промене које направите у примеру датотеке бити аутоматски реплициране на све остале датотеке у фасцикли. Ако, на пример, ваше CSV датотеке имају четири реда непотребних заглавља пре стварних података, можете да одете на упит за трансформацију и користите опцију за уклањање горњих редова да бисте средили тај неред.
Након чишћења редова, неопходно је применити функцију „ Користи први ред као заглавље“ . Имајте на уму да када то урадите, Power Query обично додаје корак аутоматске конверзије типа података. Ако, по повратку на главни упит, видите грешку која каже да колона „Колона1“ није пронађена, не брините; то је нормално јер сте преименовали колоне у примеру , а следећи корак више не препознаје стара имена. Једноставно избришите тај погрешан корак из окна Примењени кораци и све ће се вратити у нормалу.
Уобичајени изазови и напредне алтернативе
Понекад живот није тако једноставан и наилазимо на датотеке које нису идентичне. На пример, ако имате ServiceNow извештаје где се једно заглавље зове „resolved_on“, а друго „closed_on“, Power Query вам може створити проблеме јер захтева конзистентну структуру . Ако се пример датотеке не подудара у потпуности са остатком, алат може изоставити информације из неусклађених датотека или избацити грешке при увозу.
За случајеве где је структура потпуно хаотична или је количина података огромна (прелази милион редова у Екселу), постоје и друге опције. Неки корисници се одлучују за VBA скрипте користећи CSV интерфејсе , који омогућавају спајање датотека без понављања заглавља, без обзира на то да ли се разграничивач поља или записа разликује од датотеке до датотеке. Иако је Windows Shell изузетно брз, често не успева при обради уграђених прелома реда, док робусно VBA решење не преоптерећује RAM меморију и може са лакоћом да обрађује милионе записа.
Да бисте завршили процес, након што се подаци комбинују у Power Query-ју, не заборавите да доделите исправан тип података свакој колони (Датум за датуме, Валута за приход итд.) пре учитавања коначне табеле. Можете проверити да ли је све исправно филтрирањем колоне Име извора како бисте били сигурни да су све датотеке у фасцикли успешно обрађене.
Могућност аутоматизације спајања више CSV датотека вам омогућава да пређете са заморног ручног рада на професионални ток рада, било коришћењем флексибилности Power Query-ја за чишћење података или прибегавањем VBA-у када структуре нису компатибилне или количине прелазе ограничења табела.