- পাওয়ার কোয়েরি আপনাকে একটি স্থানীয় বা ক্লাউড ফোল্ডার থেকে একাধিক ফাইল একত্রিত করার সুযোগ দেয়, তবে শর্ত হলো ফাইলগুলোর ডেটা স্কিমা একই হতে হবে।
- একটি নমুনা ফাইল ব্যবহার করলে একসাথে অনেকগুলো পরিবর্তন (যেমন উপরের সারিগুলো মুছে ফেলা বা হেডার পরিবর্তন করা) করা সহজ হয়।
- কলামগুলো হুবহু না মিললে কিছু সীমাবদ্ধতা দেখা দেয়, যার জন্য ম্যানুয়াল পরিমার্জন অথবা জটিল ক্ষেত্রে ভিবিএ স্ক্রিপ্ট ব্যবহারের প্রয়োজন হয়।
ধরুন, আপনার কাছে অনেকগুলো মাসিক বা সাপ্তাহিক রিপোর্ট বিভিন্ন ফোল্ডারে ছড়িয়ে-ছিটিয়ে আছে, এবং সকালটা তাড়াহুড়ো করে ডেটা কপি-পেস্ট করে নষ্ট করার পরিবর্তে, আপনি মাত্র কয়েকটি ক্লিকেই সবকিছুকে একটিমাত্র এক্সেল স্প্রেডশিটে একত্রিত করতে পারেন। ঠিক এখানেই পাওয়ার কোয়েরি (Power Query) কাজে আসে; এটি এমন একটি টুল যা ডেটা নিয়ে কাজ করা যেকোনো ব্যক্তির জন্য অপরিহার্য, এবং এটি আমাদের একই কাঠামোর ফাইলগুলোকে অনায়াসে একত্রিত করতে সাহায্য করে।
এই সিস্টেমটির সবচেয়ে দারুণ ব্যাপার হলো, এটি আপনাকে আপনার পিসির কোনো লোকাল ফোল্ডারে সীমাবদ্ধ রাখে না; আপনি SharePoint সাইট, Azure Data Lake, বা Azure blob থেকেও ডেটা নিতে পারেন । এই প্রক্রিয়াটি মসৃণভাবে কাজ করার মূল চাবিকাঠি হলো ফাইলগুলোর স্কিমা একই থাকা, অর্থাৎ কলামগুলো মিলে যাওয়া, যদিও Power Query যথেষ্ট স্মার্ট হওয়ায় ডেটাতে কোনো নয়েজ বা অপ্রয়োজনীয় সারি থাকলে তা পরিষ্কার করতে সাহায্য করে।
ধাপে ধাপে সমন্বয় প্রক্রিয়া
যখন আপনি কোনো ডেটা সোর্সের সাথে সংযোগ স্থাপন করেন, তখন প্রথমেই আপনি ফাইল সিস্টেম ভিউ দেখতে পাবেন। এখানে, সবচেয়ে গুরুত্বপূর্ণ কলামটি হলো ‘কন্টেন্ট’, যেখানে প্রতিটি ডকুমেন্টের বাইনারি রূপ থাকে । আপনি যদি এই বাইনারি মানগুলোর কোনো একটিতে ক্লিক করেন, তাহলে প্রোগ্রামটি ফাইলটি খোলার জন্য সেটি একটি CSV, JSON, বা Excel ফাইল কিনা তা নির্ধারণ করার চেষ্টা করবে। পুরো ব্যাচটিকে একত্রিত করার জন্য আপনার কাছে দুটি বিকল্প আছে: সরাসরি ‘মার্জ’ বোতামে ক্লিক করা, অথবা, আপনি যদি আরও সতর্ক হতে চান, তাহলে মার্জ করার আগে ফাইল তালিকাটি ফিল্টার করার জন্য ‘ট্রান্সফর্ম ডেটা’ নির্বাচন করতে পারেন (উদাহরণস্বরূপ, নির্দিষ্ট ফোল্ডার বাদ দেওয়ার জন্য)।
একবার আপনি মার্জ ডায়ালগ বক্সে প্রবেশ করলে, পাওয়ার কোয়েরি ডেটার গঠন বিশ্লেষণ করার জন্য একটি স্যাম্পল ফাইল ব্যবহার করে । ডিফল্টরূপে, এটি তালিকার প্রথম ফাইলটি নির্বাচন করে, কিন্তু ডেটা সেটটিকে আরও ভালোভাবে উপস্থাপন করে এমন অন্য কোনো ফাইল থাকলে আপনি তা পরিবর্তন করতে পারেন। এখানে, আপনি ত্রুটিযুক্ত ফাইলগুলি এড়িয়ে যাওয়ার বিকল্পটি নির্বাচন করতে পারেন , যা কোনো রিপোর্ট নষ্ট বা খালি হয়ে গেলে পুরো প্রক্রিয়াটি থেমে যাওয়া থেকে রক্ষা করে এবং অত্যন্ত সহায়ক ভূমিকা পালন করে।
আউটপুট ব্যবস্থাপনা এবং ডেটা পরিষ্করণ
মার্জটি গ্রহণ করার পর, সিস্টেমটি নেপথ্যে কিছু কারিগরি কৌশল প্রয়োগ করে: এটি একটি নমুনা কোয়েরি এবং একটি প্যারামিটারযুক্ত ফাংশন তৈরি করে। এর মানে হলো, আপনি নমুনা ফাইলটিতে যে কোনো পরিবর্তন করলে তা ফোল্ডারের অন্য সব ফাইলে স্বয়ংক্রিয়ভাবে প্রতিলিপি হয়ে যাবে। উদাহরণস্বরূপ, যদি আপনার CSV ফাইলগুলিতে মূল ডেটার আগে চারটি অপ্রয়োজনীয় হেডার সারি থাকে, তাহলে আপনি ট্রান্সফরমেশন কোয়েরিতে গিয়ে উপরের সারিগুলো মুছে ফেলার বিকল্পটি ব্যবহার করে সেই জঞ্জাল পরিষ্কার করতে পারেন।
সারিগুলো পরিষ্কার করার পর, " Use the first row as headers" ফাংশনটি প্রয়োগ করা অপরিহার্য । মনে রাখবেন যে, আপনি যখন এটি করেন, Power Query সাধারণত একটি স্বয়ংক্রিয় ডেটা টাইপ রূপান্তর ধাপ যোগ করে। যদি মূল কোয়েরিতে ফিরে আসার পর আপনি 'Column1' কলামটি খুঁজে পাওয়া যাচ্ছে না এমন কোনো ত্রুটি দেখতে পান, তবে চিন্তা করবেন না; এটি স্বাভাবিক, কারণ আপনি উদাহরণে কলামগুলোর নাম পরিবর্তন করেছেন এবং পরবর্তী ধাপটি পুরোনো নামগুলো আর চিনতে পারছে না। শুধু 'Applied Steps' প্যান থেকে সেই ত্রুটিপূর্ণ ধাপটি মুছে দিন, এবং সবকিছু স্বাভাবিক অবস্থায় ফিরে আসবে।
সাধারণ চ্যালেঞ্জ এবং উন্নত বিকল্প
মাঝে মাঝে জীবন এত সহজ হয় না, এবং আমরা এমন ফাইলের সম্মুখীন হই যা হুবহু এক নয়। উদাহরণস্বরূপ, যদি আপনার কাছে ServiceNow রিপোর্ট থাকে যেখানে একটি হেডারের নাম 'resolved_on' এবং অন্যটির 'closed_on', তাহলে Power Query আপনাকে সমস্যায় ফেলতে পারে কারণ এটির একটি সামঞ্জস্যপূর্ণ কাঠামো প্রয়োজন । যদি নমুনা ফাইলটি বাকিগুলোর সাথে হুবহু না মেলে, তাহলে টুলটি অমিল ফাইলগুলো থেকে তথ্য বাদ দিয়ে দিতে পারে অথবা ইম্পোর্ট করার সময় ত্রুটি দেখাতে পারে।
যেসব ক্ষেত্রে ফাইলের কাঠামো সম্পূর্ণ বিশৃঙ্খল অথবা ডেটার পরিমাণ বিশাল (দশ লক্ষেরও বেশি এক্সেল সারি), সেখানে অন্যান্য বিকল্প রয়েছে। কিছু ব্যবহারকারী CSV ইন্টারফেস ব্যবহার করে VBA স্ক্রিপ্ট বেছে নেন , যা হেডার পুনরাবৃত্তি ছাড়াই ফাইলগুলোকে একত্রিত করার সুযোগ দেয়, ফাইলভেদে ফিল্ড বা রেকর্ড ডিলিমিটার ভিন্ন হলেও। যদিও উইন্ডোজ শেল অত্যন্ত দ্রুত, এটি প্রায়শই এমবেডেড লাইন ব্রেক পরিচালনা করতে ব্যর্থ হয়, যেখানে একটি শক্তিশালী VBA সমাধান র্যামের উপর অতিরিক্ত চাপ সৃষ্টি করে না এবং অনায়াসে লক্ষ লক্ষ রেকর্ড পরিচালনা করতে পারে।
প্রক্রিয়াটি সম্পূর্ণ করতে, পাওয়ার কোয়েরিতে ডেটা একত্রিত করার পর, চূড়ান্ত টেবিলটি লোড করার আগে প্রতিটি কলামে সঠিক ডেটা টাইপ (তারিখের জন্য Date, আয়ের জন্য Currency, ইত্যাদি) নির্ধারণ করতে মনে রাখবেন। ফোল্ডারের সমস্ত ফাইল সফলভাবে প্রসেস হয়েছে কিনা তা নিশ্চিত করতে, আপনি সোর্স নেম কলামটি ফিল্টার করে সবকিছু ঠিক আছে কিনা তা যাচাই করতে পারেন ।
একাধিক CSV ফাইল স্বয়ংক্রিয়ভাবে যুক্ত করার ক্ষমতা আপনাকে ক্লান্তিকর ম্যানুয়াল কাজ থেকে একটি পেশাদার কর্মপ্রবাহে যেতে সাহায্য করে; তা সে ডেটা পরিষ্কার করার জন্য পাওয়ার কোয়েরির নমনীয়তা কাজে লাগিয়েই হোক, কিংবা ফাইলের কাঠামো অসঙ্গত হলে বা ফাইলের পরিমাণ স্প্রেডশিটের সীমা ছাড়িয়ে গেলে ভিবিএ (VBA) ব্যবহারের মাধ্যমেই হোক।