- Power Query memungkinkan Anda untuk menggabungkan beberapa file dari folder lokal atau cloud selama file-file tersebut memiliki skema data yang sama.
- Menggunakan file sampel memudahkan penerapan transformasi massal, seperti menghapus baris teratas atau mengubah header.
- Terdapat keterbatasan ketika kolom tidak cocok persis, sehingga memerlukan pembersihan manual atau penggunaan skrip VBA untuk kasus yang kompleks.
Bayangkan Anda memiliki banyak laporan bulanan atau mingguan yang tersebar di berbagai folder, dan alih-alih membuang waktu pagi Anda dengan panik menyalin dan menempel data, Anda dapat menyatukan semuanya ke dalam satu spreadsheet Excel hanya dengan beberapa klik. Di sinilah Power Query berperan, sebuah alat yang pada dasarnya adalah asisten utama bagi siapa pun yang bekerja dengan data, memungkinkan kita untuk mengkonsolidasikan file yang memiliki struktur yang sama dengan mudah.
Hal paling keren dari sistem ini adalah Anda tidak terbatas pada folder lokal di PC Anda; Anda dapat mengambil data dari situs SharePoint, Azure Data Lake, atau Azure blob . Kunci agar ini berjalan lancar adalah file-file tersebut memiliki skema yang sama, artinya kolom-kolomnya cocok, meskipun Power Query cukup pintar untuk membantu membersihkan data jika terdapat data yang tidak relevan atau baris yang tidak perlu.
Proses kombinasi langkah demi langkah
Saat Anda terhubung ke sumber data, hal pertama yang akan Anda lihat adalah tampilan sistem file. Di sini, kolom terpenting adalah Konten, yang berisi representasi biner dari setiap dokumen. Jika Anda mengklik salah satu nilai biner ini, program akan mencoba menentukan apakah itu file CSV, JSON, atau Excel untuk membukanya. Untuk menggabungkan seluruh batch, Anda memiliki dua pilihan: klik tombol Gabungkan secara langsung, atau, jika Anda lebih teliti, pilih Ubah Data untuk memfilter daftar file (misalnya, untuk mengabaikan folder tertentu) sebelum melanjutkan penggabungan.
Setelah Anda memasuki kotak dialog penggabungan, Power Query menggunakan file sampel untuk menganalisis strukturnya . Secara default, ia memilih file pertama dalam daftar, tetapi Anda dapat mengubahnya jika ada file lain yang lebih mewakili kumpulan data. Di sini, Anda dapat memilih opsi untuk melewati file yang mengandung kesalahan , yang sangat membantu ketika laporan rusak atau kosong, sehingga mencegah seluruh proses berhenti.
Manajemen output dan pembersihan data
Setelah menerima penggabungan, sistem melakukan beberapa trik teknis di balik layar: sistem membuat kueri sampel dan fungsi berparameter. Ini berarti bahwa setiap perubahan yang Anda buat pada file sampel akan secara otomatis direplikasi ke semua file lain di folder tersebut. Misalnya, jika file CSV Anda memiliki empat baris header yang tidak perlu sebelum data sebenarnya, Anda dapat pergi ke kueri transformasi dan menggunakan opsi untuk menghapus baris teratas untuk membersihkan kekacauan tersebut.
Setelah membersihkan baris, penting untuk menerapkan fungsi " Gunakan baris pertama sebagai header" . Perlu diingat bahwa saat Anda melakukan ini, Power Query biasanya menambahkan langkah konversi tipe data otomatis. Jika, setelah kembali ke kueri utama, Anda melihat kesalahan yang menyatakan bahwa kolom 'Column1' tidak dapat ditemukan, jangan khawatir; ini normal karena Anda telah mengganti nama kolom dalam contoh tersebut , dan langkah selanjutnya tidak lagi mengenali nama lama. Cukup hapus langkah yang salah tersebut dari panel Langkah yang Diterapkan, dan semuanya akan kembali normal.
Tantangan umum dan alternatif canggih
Terkadang hidup tidak sesederhana itu, dan kita menemukan file yang tidak identik. Misalnya, jika Anda memiliki laporan ServiceNow di mana satu header disebut 'resolved_on' dan yang lain 'closed_on', Power Query mungkin akan menimbulkan masalah karena membutuhkan struktur yang konsisten . Jika file sampel tidak persis sama dengan yang lain, alat tersebut mungkin akan menghilangkan informasi dari file yang tidak cocok atau menampilkan kesalahan impor.
Untuk kasus di mana strukturnya benar-benar kacau atau volume datanya sangat besar (melebihi satu juta baris Excel), ada pilihan lain. Beberapa pengguna memilih skrip VBA menggunakan antarmuka CSV , yang memungkinkan penggabungan file tanpa pengulangan header, terlepas dari apakah pemisah field atau record bervariasi dari file ke file. Meskipun Windows Shell sangat cepat, seringkali gagal saat menangani pemisah baris yang tertanam, sedangkan solusi VBA yang tangguh tidak membebani RAM dan dapat menangani jutaan record dengan mudah.
Untuk menyelesaikan proses, setelah data digabungkan di Power Query, ingatlah untuk menetapkan tipe data yang benar untuk setiap kolom (Tanggal untuk tanggal, Mata Uang untuk pendapatan, dll.) sebelum memuat tabel akhir. Anda dapat memverifikasi bahwa semuanya benar dengan memfilter kolom Nama Sumber untuk memastikan bahwa semua file dalam folder telah berhasil diproses.
Kemampuan untuk mengotomatiskan penggabungan beberapa file CSV memungkinkan Anda beralih dari pekerjaan manual yang membosankan ke alur kerja profesional, baik dengan memanfaatkan fleksibilitas Power Query untuk pembersihan data atau menggunakan VBA ketika struktur tidak kompatibel atau volume melebihi batas spreadsheet.