- Power Query membolehkan anda menyatukan berbilang fail daripada folder setempat atau awan selagi ia berkongsi skema data yang sama.
- Menggunakan fail sampel memudahkan untuk menggunakan transformasi pukal, seperti mengalih keluar baris atas atau menukar pengepala.
- Terdapat batasan apabila lajur tidak sepadan dengan tepat, memerlukan pembersihan manual atau penggunaan skrip VBA untuk kes yang kompleks.
Bayangkan anda mempunyai sekumpulan laporan bulanan atau mingguan yang berselerak di seluruh folder, dan daripada membuang masa pagi anda dengan tergesa-gesa menyalin dan menampal data, anda boleh menyatukan semuanya ke dalam satu hamparan Excel hanya dengan beberapa klik. Di sinilah Power Query memainkan peranan, alat yang pada dasarnya merupakan orang kanan sesiapa sahaja yang bekerja dengan data, membolehkan kita menyatukan fail yang berkongsi struktur yang sama dengan mudah.
Perkara paling menarik tentang sistem ini ialah ia tidak mengehadkan anda kepada folder setempat pada PC anda; anda boleh mendapatkan data daripada tapak SharePoint, Azure Data Lake atau Azure blobs . Kunci untuk menjadikan ini berfungsi dengan lancar ialah fail mempunyai skema yang sama, bermakna lajur sepadan, walaupun Power Query cukup pintar untuk membantu membersihkan data jika ia mengandungi sebarang hingar atau baris yang tidak perlu.
Proses gabungan langkah demi langkah
Apabila anda bersambung ke sumber data, perkara pertama yang akan anda lihat ialah paparan sistem fail. Di sini, lajur yang paling penting ialah Kandungan, yang mengandungi perwakilan binari setiap dokumen. Jika anda mengklik salah satu daripada nilai binari ini, program akan cuba menentukan sama ada ia fail CSV, JSON atau Excel untuk membukanya. Untuk menggabungkan keseluruhan kelompok, anda mempunyai dua pilihan: klik butang Gabung secara langsung, atau, jika anda lebih teliti, pilih Transformasi Data untuk menapis senarai fail (contohnya, untuk mengabaikan folder tertentu) sebelum meneruskan penggabungan.
Sebaik sahaja anda memasuki kotak dialog cantum, Power Query menggunakan fail sampel untuk menganalisis struktur . Secara lalai, ia memilih fail pertama dalam senarai, tetapi anda boleh mengubahnya jika terdapat fail lain yang mewakili set data dengan lebih baik. Di sini, anda boleh memilih pilihan untuk melangkau fail dengan ralat , yang merupakan penyelamat apabila laporan rosak atau kosong, menghalang keseluruhan proses daripada berhenti.
Pengurusan output dan pembersihan data
Selepas menerima penggabungan, sistem akan menjalankan beberapa keajaiban teknikal di sebalik tabir: ia mencipta pertanyaan sampel dan fungsi berparameter. Ini bermakna sebarang perubahan yang anda buat pada fail sampel akan direplikasi secara automatik ke semua fail lain dalam folder. Jika, sebagai contoh, fail CSV anda mempunyai empat baris pengepala yang tidak perlu sebelum data sebenar, anda boleh pergi ke pertanyaan transformasi dan menggunakan pilihan untuk mengalih keluar baris atas bagi membersihkan kekusutan tersebut.
Selepas membersihkan baris, adalah penting untuk menggunakan fungsi " Gunakan baris pertama sebagai pengepala" . Perlu diingat bahawa apabila anda melakukan ini, Power Query biasanya menambah langkah penukaran jenis data automatik. Jika, setelah kembali ke pertanyaan utama, anda melihat ralat yang menyatakan bahawa lajur 'Lajur1' tidak dapat ditemui, jangan risau; ini adalah perkara biasa kerana anda telah menamakan semula lajur dalam contoh dan langkah seterusnya tidak lagi mengenali nama lama. Cuma padamkan langkah yang salah itu daripada anak tetingkap Langkah Gunaan dan semuanya akan kembali normal.
Cabaran biasa dan alternatif lanjutan
Kadangkala hidup tidak begitu mudah, dan kita menemui fail yang tidak serupa. Contohnya, jika anda mempunyai laporan ServiceNow di mana satu pengepala dipanggil 'resolved_on' dan satu lagi 'closed_on', Power Query mungkin memberi anda masalah kerana ia memerlukan struktur yang konsisten . Jika fail sampel tidak sepadan dengan yang lain, alat tersebut mungkin akan mengeluarkan maklumat daripada fail yang tidak sepadan atau menyebabkan ralat import.
Bagi kes di mana strukturnya benar-benar huru-hara atau jumlah datanya besar (melebihi satu juta baris Excel), terdapat pilihan lain. Sesetengah pengguna memilih skrip VBA menggunakan antara muka CSV , yang membolehkan fail digabungkan tanpa pengepala diulang, tanpa mengira sama ada medan atau pembatas rekod berbeza dari fail ke fail. Walaupun Windows Shell sangat pantas, ia sering gagal apabila mengendalikan pemisah baris terbenam, manakala penyelesaian VBA yang mantap tidak membebankan RAM dan boleh mengendalikan berjuta-juta rekod dengan mudah.
Untuk melengkapkan proses ini, setelah data digabungkan dalam Power Query, ingat untuk menetapkan jenis data yang betul pada setiap lajur (Tarikh untuk tarikh, Mata Wang untuk pendapatan, dll.) sebelum memuatkan jadual akhir. Anda boleh mengesahkan bahawa semuanya betul dengan menapis lajur Nama Sumber untuk memastikan semua fail dalam folder telah berjaya diproses.
Keupayaan untuk mengautomasikan penggabungan berbilang fail CSV membolehkan anda beralih daripada kerja manual yang membosankan kepada aliran kerja profesional, sama ada dengan memanfaatkan fleksibiliti Power Query untuk pembersihan data atau menggunakan VBA apabila struktur tidak serasi atau volum melebihi had hamparan.