- O Power Query permite consolidar vários arquivos de uma pasta local ou na nuvem, desde que compartilhem o mesmo esquema de dados.
- Utilizar um arquivo de exemplo facilita a aplicação de transformações em massa, como remover as primeiras linhas ou alterar os cabeçalhos.
- Existem limitações quando as colunas não correspondem exatamente, exigindo limpeza manual ou o uso de scripts VBA para casos complexos.
Imagine que você tem vários relatórios mensais ou semanais espalhados por pastas e, em vez de perder a manhã copiando e colando dados freneticamente, poderia unificar tudo em uma única planilha do Excel com apenas alguns cliques. É exatamente aí que o Power Query entra em cena, uma ferramenta essencial para quem trabalha com dados, permitindo consolidar arquivos com a mesma estrutura sem esforço.
O mais interessante desse sistema é que ele não se limita a uma pasta local no seu computador; você pode extrair dados de sites do SharePoint, do Azure Data Lake ou de blobs do Azure . A chave para que isso funcione perfeitamente é que os arquivos tenham o mesmo esquema, ou seja, que as colunas correspondam, embora o Power Query seja inteligente o suficiente para ajudar a limpar os dados caso contenham ruído ou linhas desnecessárias.
O processo de combinação passo a passo
Ao conectar-se a uma fonte de dados, a primeira coisa que você verá é a visualização do sistema de arquivos. Aqui, a coluna mais importante é Conteúdo, que contém a representação binária de cada documento. Se você clicar em um desses valores binários, o programa tentará determinar se é um arquivo CSV, JSON ou Excel para abri-lo. Para combinar todo o lote, você tem duas opções: clicar diretamente no botão Mesclar ou, se for mais meticuloso, selecionar Transformar Dados para filtrar a lista de arquivos (por exemplo, para ignorar pastas específicas) antes de prosseguir com a mesclagem.
Ao acessar a caixa de diálogo de mesclagem, o Power Query utiliza um arquivo de amostra para analisar a estrutura . Por padrão, ele seleciona o primeiro arquivo da lista, mas você pode alterá-lo caso haja outro que represente melhor o conjunto de dados. Aqui, você pode selecionar a opção para ignorar arquivos com erros , o que é extremamente útil quando um relatório está corrompido ou vazio, evitando a interrupção de todo o processo.
Gestão de saída e limpeza de dados
Após aceitar a mesclagem, o sistema realiza uma espécie de mágica técnica nos bastidores: ele cria uma consulta de exemplo e uma função parametrizada. Isso significa que quaisquer alterações feitas no arquivo de exemplo serão replicadas automaticamente para todos os outros arquivos na pasta. Se, por exemplo, seus arquivos CSV tiverem quatro linhas de cabeçalhos desnecessários antes dos dados propriamente ditos, você pode acessar a consulta de transformação e usar a opção para remover as primeiras linhas e eliminar essa informação desnecessária.
Após limpar as linhas, é essencial aplicar a função " Usar a primeira linha como cabeçalhos" . Lembre-se de que, ao fazer isso, o Power Query geralmente adiciona uma etapa automática de conversão de tipo de dados. Se, ao retornar à consulta principal, você vir um erro informando que a coluna 'Column1' não foi encontrada, não se preocupe; isso é normal porque você renomeou as colunas no exemplo e a etapa subsequente não reconhece mais os nomes antigos. Basta excluir essa etapa com erro no painel Etapas Aplicadas e tudo voltará ao normal.
Desafios comuns e alternativas avançadas
Às vezes, a vida não é tão simples e nos deparamos com arquivos que não são idênticos. Por exemplo, se você tiver relatórios do ServiceNow em que um cabeçalho se chama 'resolved_on' e outro 'closed_on', o Power Query pode apresentar problemas, pois exige uma estrutura consistente . Se o arquivo de exemplo não corresponder exatamente aos demais, a ferramenta pode omitir as informações dos arquivos incompatíveis ou gerar erros de importação.
Para casos em que a estrutura é completamente caótica ou o volume de dados é enorme (ultrapassando um milhão de linhas do Excel), existem outras opções. Alguns usuários optam por scripts VBA usando interfaces CSV , que permitem a junção de arquivos sem a repetição de cabeçalhos, independentemente de o delimitador de campo ou registro variar de arquivo para arquivo. Embora o Shell do Windows seja extremamente rápido, ele frequentemente falha ao lidar com quebras de linha incorporadas, enquanto uma solução VBA robusta não sobrecarrega a RAM e pode lidar com milhões de registros com facilidade.
Para concluir o processo, após combinar os dados no Power Query, lembre-se de atribuir o tipo de dados correto a cada coluna (Data para datas, Moeda para renda, etc.) antes de carregar a tabela final. Você pode verificar se tudo está correto filtrando a coluna Nome da Origem para garantir que todos os arquivos na pasta foram processados com sucesso.
A capacidade de automatizar a junção de vários arquivos CSV permite que você passe de um trabalho manual tedioso para um fluxo de trabalho profissional, seja aproveitando a flexibilidade do Power Query para limpeza de dados ou recorrendo ao VBA quando as estruturas são incompatíveis ou os volumes excedem os limites das planilhas.