স্পটিফাই হিট বিশ্লেষণ: ডেটা, অ্যালগরিদম এবং সঙ্গীতের সাফল্যের বিজ্ঞান

ইনফরমটেক ডিজিটাল » মানে » স্পটিফাই হিট বিশ্লেষণ: ডেটা, অ্যালগরিদম এবং সঙ্গীতের সাফল্যের বিজ্ঞান

একটি গান কী কারণে হিট হয়, তা নিয়ে গবেষণা করার জন্য স্পটিফাই একটি আদর্শ গবেষণাগারে পরিণত হয়েছে।আমাদের কাছে রয়েছে রিয়েল-টাইম প্লেব্যাক ডেটা, শিল্পীদের জন্য উন্নত মেট্রিক্স এবং প্রতি সেকেন্ডে সিদ্ধান্ত গ্রহণকারী লক্ষ লক্ষ শ্রোতা। শুধুমাত্র একটি লিসেনিং প্ল্যাটফর্ম হওয়ার থেকে অনেক দূরে, স্পটিফাই একটি বিশাল কিছুতে রূপান্তরিত হয়েছে। ডাটাবেসের যেখানে প্যাটার্ন, আবেগ, গানের ধরন এবং প্লেলিস্ট তৈরির কৌশল বিশ্লেষণ করে বোঝা যায়, কেন কিছু গান জনপ্রিয়তা পায় আর অন্যগুলো বিস্মৃতির অতলে হারিয়ে যায়।

সাম্প্রতিক বছরগুলিতে, সরঞ্জাম, একাডেমিক গবেষণা, এবং মেশিন লার্নিং মডেল নিবেদিত স্পটিফাই হিট বিশ্লেষণটুডেস টপ হিটস বা র‍্যাপ ক্যাভিয়ারের মতো এডিটোরিয়াল চার্ট বিশ্লেষণ করা থেকে শুরু করে, কোনো ট্র্যাক ক্যাটালগের সবচেয়ে জনপ্রিয় তালিকায় স্থান পাবে কি না, তা ভবিষ্যদ্বাণী করতে সক্ষম অ্যালগরিদম তৈরি করা পর্যন্ত—একই সাথে, স্পটিফাই ফর আর্টিস্টস এই মেট্রিকগুলিতে সকলের প্রবেশাধিকার সহজলভ্য করেছে। এর ফলে যেকোনো শিল্পী দেখতে পারেন কারা তাদের গান শুনছে, কোথায় এবং কীভাবে তাদের খুঁজে পাওয়া যাচ্ছে, এবং সেই অনুযায়ী তাদের সৃজনশীল ও বিপণন কৌশল সামঞ্জস্য করতে পারেন।

স্পটিফাই হিট অ্যানালাইসিস আসলে কী এবং এটি কেন গুরুত্বপূর্ণ?

যখন আমরা সম্পর্কে কথা বলুন স্পটিফাই হিট বিশ্লেষণ আমরা শুধু একটি গান কতবার বাজানো হয়েছে তা দেখার কথা বলছি না। এটি একটি বৃহত্তর পদ্ধতি যা একটি অস্বস্তিকর কিন্তু অত্যন্ত গুরুত্বপূর্ণ প্রশ্নের উত্তর খোঁজার জন্য অডিও, প্রেক্ষাপট এবং ব্যবহারকারীর আচরণকে একত্রিত করে: একটি গান মুক্তি পাওয়ার আগেই কি তার সাফল্য অনুমান করা সম্ভব? স্পটিফাই-এর এপিআই (API) থেকে প্রাপ্ত ডেটা ব্যবহার করে গবেষকরা সেই উত্তরের আরও কাছাকাছি পৌঁছানোর জন্য জনপ্রিয়তা, এনার্জি, ভ্যালেন্স, সময়কাল, টেম্পো এবং ড্যান্সএবিলিটির মতো ভ্যারিয়েবল নিয়ে কাজ করছেন।

এই পদ্ধতির মূল নিহিত আছে তথাকথিত “হিট গান বিজ্ঞান”২০০০-এর দশকের শুরুতে মাইক ম্যাকক্রেডির মাধ্যমে জনপ্রিয় হওয়া এই ধারণাটিতে, কোন গানগুলো চার্ট এবং রেডিওতে ভালো করবে তা ভবিষ্যদ্বাণী করার জন্য অ্যালগরিদম এবং গাণিতিক মডেল ব্যবহার করা হয়। যদিও প্রাথমিক গবেষণায় এই সিদ্ধান্তে আসা হয়েছিল যে এটি খুব কঠিন (এবং মডেলগুলো যথেষ্ট নির্ভুল ছিল না), স্ট্রিমিংয়ের আবির্ভাব, ডেটার পরিমাণের ব্যাপক বৃদ্ধি এবং মেশিন লার্নিং কৌশলের পরিমার্জনের ফলে পরিস্থিতি সম্পূর্ণ বদলে গেছে।

বর্তমানে, স্পটিফাই তার নিজস্ব এপিআই (API) অফার করে, যার মাধ্যমে হাজার হাজার ট্র্যাক অ্যাক্সেস করা যায়। সঙ্গীত এবং প্রাসঙ্গিক বৈশিষ্ট্যগানের মূল সুর (key) ও ধরণ (mode) থেকে শুরু করে, একটি ট্র্যাক অ্যাকোস্টিক নাকি ইন্সট্রুমেন্টাল হওয়ার সম্ভাবনা, এবং সেই সাথে গানটি কীভাবে অনুভূত হচ্ছে তা বর্ণনা করার জন্য বিশেষভাবে তৈরি করা মেট্রিকস (যেমন—এনার্জি, ভ্যালেন্স, ড্যান্সএবিলিটি ইত্যাদি)। এই সবকিছুই আমাদের ব্যক্তিগত মতামত থেকে সরে এসে আরও অনেক বেশি সুনির্দিষ্ট পরিমাণগত বিশ্লেষণের দিকে যেতে সাহায্য করে।

সমান্তরালভাবে, টুলটি শিল্পীদের জন্য চিহ্নিত করুন এটি নির্মাতাদের বাহ্যিক পরিসংখ্যানের ভিড়ে হারিয়ে যাওয়া এড়াতে এবং যা সত্যিই গুরুত্বপূর্ণ, তার উপর মনোযোগ দিতে সাহায্য করে: যেমন দীর্ঘমেয়াদী দর্শক উন্নয়ন, সম্পৃক্ততা, ধরে রাখা এবং বিপণন প্রচেষ্টা কীভাবে প্রকৃত ভক্ত তৈরিতে প্রভাব ফেলে। অন্য কথায়, সংখ্যা তো বটেই, তবে তার সাথে প্রেক্ষাপট এবং কৌশলগত উদ্দেশ্যও জড়িত থাকে।

অফিসিয়াল প্লেলিস্ট এবং কৌশল: সম্পাদকীয় তালিকার গুরুত্ব

স্পটিফাই-এর হিট গানগুলোর যেকোনো গভীর বিশ্লেষণের সবচেয়ে গুরুত্বপূর্ণ অংশগুলোর মধ্যে একটি হলো এর ভূমিকা। অফিসিয়াল সম্পাদকীয় প্লেলিস্টডিসকভার উইকলি, রিলিজ রাডার, টুডেস টপ হিটস, নিউ মিউজিক ফ্রাইডে, র‍্যাপ ক্যাভিয়ার, মিন্ট বা ভিভা ল্যাটিনো!-এর মতো চার্টগুলো বিশাল বিবর্ধক হিসেবে কাজ করে: এগুলোর কোনো একটিতে স্থান পেলে তা একটি গানের বা এমনকি একটি ক্যারিয়ারের গতিপথ সম্পূর্ণরূপে বদলে দিতে পারে।

সাউন্ডচার্টসের মতো থার্ড-পার্টি টুলগুলো আপনাকে দেখতে দেয় এই প্লেলিস্টগুলিতে একজন শিল্পী কীভাবে আচরণ করেনউপস্থিতির সংখ্যা, অবস্থানের সময়কাল, যে বাজারগুলিতে তাদের প্রভাব সবচেয়ে বেশি, ইত্যাদি। এই ধরনের বিশ্লেষণ থেকে এটা স্পষ্ট হয়ে যায় যে সম্পাদকীয় তালিকায় উপস্থিতি কোনো অলঙ্কার নয়, বরং প্ল্যাটফর্মে প্রবৃদ্ধির কৌশলের একটি মূল উপাদান।

উন্নত মানের প্লেলিস্ট তৈরির ক্ষেত্রে কিছু পুনরাবৃত্তিমূলক মানদণ্ড রয়েছে। উদাহরণস্বরূপ, এই বিষয়টিকে গুরুত্ব দেওয়া হয় যে, সেখানে রয়েছে একই নাম বারবার পুনরাবৃত্তি না করে বিভিন্ন ধরনের শিল্পী।যেসব তালিকায় একই শিল্পীর নাম বারবার আসে, সেগুলোর রেটিং সাধারণত খারাপ হয়, কারণ এতে শ্রোতার নতুন কিছু আবিষ্কারের অনুভূতি কমে যায়।

এছাড়াও খুঁজছি একটি সুসংগত লিঙ্গ ভারসাম্যযখন একটি প্লেলিস্টে কোনো স্পষ্ট দিকনির্দেশনা ছাড়াই অনেক ধরনের শৈলী মিশে যায়, তখন অভিজ্ঞতা এটি খণ্ডিত হয়ে পড়ে এবং রেটিং কমে যায়। সবচেয়ে প্রশংসিত তালিকাগুলো সাধারণত এক বা কয়েকটি সুনির্দিষ্ট ধারার ওপর আলোকপাত করে, যা ব্যবহারকারীকে প্লে করার সময় কী আশা করা যায় তা এক নজরে বুঝতে সাহায্য করে।

আরেকটি মূল দিক হল সুপরিচিত এবং উদীয়মান বিষয়বস্তুর মিশ্রণযেসব প্লেলিস্টে শুধু ব্যাপক জনপ্রিয় গান থাকে, সেগুলো ঠিক আছে, কিন্তু সেগুলোতে নতুন কিছু আবিষ্কারের সুযোগ খুব কম থাকে। এর বিপরীতে, যেসব প্লেলিস্টে প্রতিষ্ঠিত গানের সাথে তুলনামূলকভাবে কম পরিচিত কিন্তু অসাধারণ গানও থাকে, সেগুলো বেশি সাড়া জাগায় এবং নতুন হিট গান তৈরিতে সাহায্য করে।

অবশেষে, এই বিষয়ে একটি সাধারণ ঐকমত্য রয়েছে যে একটি ভালো প্লেলিস্টে অন্তত থাকা উচিত একটি পরিপূর্ণ অভিজ্ঞতা প্রদানের জন্য প্রায় ৫০টি ট্র্যাক রয়েছে।যেসব চার্টে ১০টির কম গান থাকে, সেগুলোকে প্রায়শই নিম্নমানের বলে মনে করা হয় এবং সেগুলো কম স্কোর পায়, যা তাতে অন্তর্ভুক্ত ট্র্যাকগুলোর পারফরম্যান্সকেও প্রভাবিত করে।

স্পটিফাইয়ের সংক্ষিপ্ত ইতিহাস এবং এর অ্যানালিটিক্সের উৎপত্তি

স্পটিফাই উন্নত হিট বিশ্লেষণ করার আগে, প্ল্যাটফর্মটিকে সঙ্গীত জগতে নিজের জায়গা করে নিতে হয়েছিল। ২০০২ সালে ন্যাপস্টারের পতনের পর সহ-প্রতিষ্ঠাতা ড্যানিয়েল একের মাথায় এই ধারণাটি আসে। তিনি এমন একটি পরিষেবা তৈরি করতে চেয়েছিলেন যা "পাইরেসির চেয়ে ভালো, কিন্তু যা এই শিল্পকেও লাভবান করবে।"সেই সময়ে এক ইউটরেন্ট ব্যবহার করত, যা অন্যতম প্রধান একটি পি২পি ডাউনলোড ও শেয়ারিং ক্লায়েন্ট। ফলে অননুমোদিত বিতরণের জগৎ সম্পর্কে তার প্রত্যক্ষ অভিজ্ঞতা ছিল।

২০০৬ সালের শেষের দিকে বিটটরেন্টের কাছে ইউটরেন্ট বিক্রি করার পর, এক পুরোপুরি স্পটিফাই তৈরিতে মনোনিবেশ করেন। অ্যাপ্লিকেশনটি আনুষ্ঠানিকভাবে ২০০৮ সালে সুইডেনে চালু হয়েছিল। প্রধান সঙ্গীত কর্পোরেশনগুলির সাথে লাইসেন্সিং এবং ইক্যুইটি অংশীদারিত্ব চুক্তিসোনি মিউজিক এন্টারটেইনমেন্ট, ইউনিভার্সাল মিউজিক গ্রুপ এবং ওয়ার্নার মিউজিক গ্রুপ। এক বছর পর, এটি যুক্তরাজ্যে সম্প্রসারিত হয় এবং ২০১১ সালে মার্কিন যুক্তরাষ্ট্রে প্রবেশ করে।

সেই প্রাথমিক পর্যায়ে, ইউরোপে অর্থপ্রদানকারী গ্রাহক সংখ্যা প্রায় ১ মিলিয়ন থেকে বেড়ে প্রায় ২০১২ সালে বিশ্বব্যাপী ৪ মিলিয়ন২০১৬ সাল নাগাদ স্পটিফাই ৪০ মিলিয়ন অর্থপ্রদানকারী ব্যবহারকারী এবং প্রায় ১০০ মিলিয়ন মোট ব্যবহারকারীর কথা ঘোষণা করে, যা বিশ্বব্যাপী সঙ্গীত উপভোগের প্রধান মাধ্যম হিসেবে স্ট্রিমিংকে সুপ্রতিষ্ঠিত করে।

একই সময়ে, শিল্পীদের জন্য ডেটা টুল আবির্ভূত হতে শুরু করে। প্রথমটি ছিল ভক্তদের অন্তর্দৃষ্টিএই সমাধানটি কিছু দলকে স্ট্রিমিং ডেটাতে সীমিত অ্যাক্সেস দিত: যেমন জনসংখ্যাতাত্ত্বিক তথ্য, ভৌগোলিক অবস্থান এবং মৌলিক প্রবণতা। ২০১৭ সালে, এই সমাধানটি ‘স্পটিফাই ফর আর্টিস্টস’-এ রূপান্তরিত হয়, যা সকল শিল্পীর জন্য তাদের মূল মেট্রিকগুলো দেখার এবং সেই ডেটা ব্যবহার করে ট্যুরিং, রিলিজ ও প্রচারণার বিষয়ে সিদ্ধান্ত নেওয়ার সুযোগ উন্মুক্ত করে দেয়।

২০১৮ সালে, কোম্পানিটি প্রায় বাজার মূলধন নিয়ে শেয়ার বাজারে তালিকাভুক্ত হয়। 30.000 মিলিয়ন ডলারতারপর থেকে, এটি যে বাজারগুলিতে পরিষেবা দেয় তার সংখ্যা ক্রমাগত বেড়েই চলেছে এবং এর সাথে প্ল্যাটফর্মের মধ্যে অ্যানালিটিক্সের গুরুত্বও বেড়েছে। যা একটি লাইসেন্সপ্রাপ্ত মিডিয়া প্লেয়ার হিসাবে শুরু হয়েছিল, তা এখন একটি বৈশ্বিক পরিকাঠামোতে পরিণত হয়েছে যেখানে ডেটারই সর্বেসর্বা।

স্পটিফাই মেট্রিক্স: স্ট্রিমের বাইরেও একটি গানের মান পরিমাপ করার উপায়

হিট প্রেডিকশন মডেল তৈরি করতে হলে, প্রথমে কী ধরনের বিষয় বুঝতে হবে। Spotify API দ্বারা প্রদত্ত ডেটাউদাহরণস্বরূপ, ভারতীয় বাজারকে কেন্দ্র করে করা একটি সমীক্ষায়, স্পটিফাই দ্বারা তৈরি প্লেলিস্টগুলি থেকে ৪৬,০০০-এরও বেশি গানের রেকর্ড সংগ্রহ করা হয়েছিল, যেগুলিতে বিভিন্ন ধরণের ধারা এবং উপধারা অন্তর্ভুক্ত ছিল।

তথ্যগুলো কয়েকটি বিভাগে বিন্যস্ত করা হয়েছে। ট্র্যাক পর্যায়ে আমরা এই ধরনের ডেটা খুঁজে পাই, যেমন— শনাক্তকারী, শিরোনাম, শিল্পী, জনপ্রিয়তা, মুক্তির তারিখ এবং মিলিসেকেন্ডে সময়কালঅ্যালবাম পর্যায়ে আইডি এবং নাম সংরক্ষিত থাকে। প্লেলিস্ট পর্যায়ে নাম, আইডি, জনরা এবং সংশ্লিষ্ট সাবজনরা প্রদর্শিত হয়।

কিন্তু হিট বিশ্লেষণের জন্য সবচেয়ে আকর্ষণীয় বিষয় হল অডিও বৈশিষ্ট্যবিভিন্ন শ্রেণীতে বিভক্ত: “মেজাজ” এর বৈশিষ্ট্য (নাচযোগ্যতা, শক্তি, আকর্ষণ, গতি), ভৌত বৈশিষ্ট্য (শব্দের উচ্চতা, বাচনভঙ্গি, বাদ্যযন্ত্রের ব্যবহার), প্রেক্ষাপট (শব্দগত বৈশিষ্ট্য, জীবন্ত ভাব), এবং সঙ্গীতের অংশ (মূল সুর, ধরণ)। এই প্রতিটি চলককে সতর্কতার সাথে সংজ্ঞায়িত এবং স্বাভাবিক করা হয়।

উদাহরণস্বরূপ, ড্যান্সএবিলিটি-কে ০ থেকে ১-এর মধ্যে একটি মান হিসাবে প্রকাশ করা হয় যা সারসংক্ষেপ করে একটি গানের সাথে নাচ করা কতটা সহজছন্দ, গতির স্থিতিশীলতা এবং তালের শক্তির মতো উপাদানের উপর ভিত্তি করে, শক্তির মাত্রাও ০ থেকে ১ পর্যন্ত হয়ে থাকে, যা দিয়ে বোঝার চেষ্টা করা হয় যে ট্র্যাকটি তীব্র, দ্রুত এবং শক্তিশালী শোনাচ্ছে, নাকি তুলনামূলকভাবে শান্ত বা কোমল।

ভ্যালেন্সিয়া বর্ণনা করে অনুভূত মানসিক "ইতিবাচকতা" অডিওর ক্ষেত্রে, কম মান দুঃখ, উত্তেজনা বা বিষণ্ণ অনুভূতির সাথে সম্পর্কিত, অন্যদিকে উচ্চ মান আনন্দময়, উজ্জ্বল বা উচ্ছ্বসিত সঙ্গীতের সাথে মানানসই। অ্যাকুস্টিকনেস একটি ট্র্যাকের অ্যাকুস্টিক হওয়ার সম্ভাবনা পরিমাপ করে, লাইভনেস রেকর্ডিংয়ে সরাসরি শ্রোতাদের উপস্থিতি নির্দেশ করে এবং স্পিচিনেস মিক্সে কথ্য শব্দের অনুপাতকে প্রতিফলিত করে (উদাহরণস্বরূপ, পডকাস্ট বা স্পোকেন-ওয়ার্ড ট্র্যাকের ক্ষেত্রে এটি খুব বেশি হতে পারে)।

অন্যান্য গুরুত্বপূর্ণ পরামিতিগুলি হল BPM-এ টেম্পোমোট সময়কাল, কী (পূর্ণসংখ্যা হিসেবে এনকোড করা), মোড (মেজর বা মাইনর), এবং ট্র্যাকটির জনপ্রিয়তা। শেষেরটি স্পটিফাই-এর একটি অভ্যন্তরীণ মেট্রিক, যার মান ০ থেকে ১০০ পর্যন্ত হয়ে থাকে। এটি স্ট্রিমের পরিমাণ এবং সেগুলো কতটা সাম্প্রতিক, উভয়ের উপরই নির্ভর করে।যে গান কয়েক বছর আগে ব্যাপক জনপ্রিয় ছিল, কিন্তু এখন আর তেমন বাজানো হয় না, সময়ের সাথে সাথে সেটির জনপ্রিয়তা কমে যাবে।

হিট প্রেডিক্ট করার জন্য ডেটাসেট কীভাবে প্রস্তুত ও পরিষ্কার করতে হয়

স্পটিফাই হিট বিশ্লেষণ নিয়ে আলোচনা করার সময় যে একটি ধাপ প্রায়শই উপেক্ষা করা হয় তা হলো... ডেটা সেট প্রস্তুতিএই গবেষণায়, R এবং RStudio ব্যবহার করে Spotify API-কে কল করে ডেটা সংগ্রহ করা হয়েছে। এর জন্য বাজার (ভারত), এবং তাদের বৈশ্বিক ও স্থানীয় গুরুত্ব অনুসারে নির্বাচিত জেনার ও সাব-জেনারগুলোর বিভিন্ন সংমিশ্রণ ব্যবহার করা হয়েছে।

বিভিন্ন থিমযুক্ত প্লেলিস্ট থেকে গান একত্রিত করার সময় অনেক ট্র্যাকের পুনরাবৃত্তি হওয়া সাধারণ ব্যাপার, কারণ একই গান বিভিন্ন তালিকায় থাকতে পারে। যেহেতু উদ্দেশ্যটি প্লেলিস্টিং কৌশলটি বিশ্লেষণ করা ছিল না, বরং গানগুলোর বৈশিষ্ট্য বিশ্লেষণ করা ছিল, তাই এটি ছিল... তারা ডুপ্লিকেট ট্র্যাকগুলি সরিয়ে দিয়েছেমোট গানের সংখ্যা ৪৬,৪১৭ থেকে কমিয়ে প্রায় ৩৯,১৪৭টি স্বতন্ত্র গানে আনা হয়েছে।

যেসব কলাম মডেলগুলোতে ব্যাখ্যামূলক চলক হিসেবে ব্যবহৃত হবে না, যেমন শিল্পী, অ্যালবাম আইডি ও নাম, এবং প্লেলিস্ট-নির্দিষ্ট ফিল্ড, সেগুলো সরিয়ে দেওয়া হয়েছে। একই সাথে, তারা ক্ষেত্রের নামগুলোকে প্রমিত করেছিল এবং ডেটার ধরনগুলো সামঞ্জস্য করা হয়েছিল: উদাহরণস্বরূপ, পরিসংখ্যানগত প্রক্রিয়াকরণ সহজ করার জন্য জনপ্রিয়তা, মোড, কী এবং সময়কালকে ফ্লোট-টাইপ সাংখ্যিক মানে রূপান্তরিত করা হয়েছিল।

একটি গুরুত্বপূর্ণ সিদ্ধান্ত ছিল জনপ্রিয়তাকে আরও সহজবোধ্য একটি চলকে রূপান্তরিত করা। ০ থেকে ১০০ পর্যন্ত একটি অবিচ্ছিন্ন মান নিয়ে কাজ করার পরিবর্তে, জনপ্রিয় এবং অজনপ্রিয় গান আলাদা করার সীমাবন্টনের ৮৫তম পার্সেন্টাইল (জনপ্রিয়তার মান প্রায় ৬৫) বিবেচনা করে, সেই মানের উপরের ট্র্যাকগুলোকে "জনপ্রিয়" এবং বাকিগুলোকে "অজনপ্রিয়" হিসেবে গণ্য করা হয়েছিল।

এইভাবে, ডেটাসেটটিকে বিভক্ত করা হয়েছিল প্রায় ৬,০০০ জনপ্রিয় গান এবং প্রায় ৩৩,০০০ অজনপ্রিয় গানঅনুসন্ধানী বিশ্লেষণের জন্য, ডেটাটিকে ২০ পয়েন্টের ব্যবধানে পাঁচটি জনপ্রিয়তার শ্রেণিতে (খুব উচ্চ, উচ্চ, মাঝারি, নিম্ন এবং খুব নিম্ন) বিভক্ত করা হয়েছিল, যা সাফল্যের বিভিন্ন স্তরের মধ্যে সূক্ষ্ম প্রবণতার তুলনা করার সুযোগ করে দিয়েছিল।

এছাড়াও, গানের শিরোনামগুলো থেকে একটি নতুন ভেরিয়েবল তৈরি করা হয়েছিল: a অনুভূতি সূচকপাইথনের TextBlob লাইব্রেরি ব্যবহার করে, প্রতিটি শিরোনামের পোলারিটি (মাইনাস ১ থেকে ওয়ানের মধ্যে একটি সংখ্যা) গণনা করা হয়েছিল এবং সেটিকে ইতিবাচক, নেতিবাচক বা নিরপেক্ষ হিসেবে শ্রেণীবদ্ধ করা হয়েছিল। শিরোনামের সুর তার জনপ্রিয়তার সাথে সম্পর্কিত কিনা তা অধ্যয়নের জন্য এই সাংখ্যিক মানটি ডেটাফ্রেমে যুক্ত করা হয়েছিল।

তথ্য অনুসন্ধান: সবচেয়ে জনপ্রিয় গানগুলোর মধ্যে পার্থক্য কী

যেকোনো মেশিন লার্নিং মডেলকে প্রশিক্ষণ দেওয়ার আগে, সময় দেওয়া অপরিহার্য। ডেটার চাক্ষুষ এবং পরিসংখ্যানগত অন্বেষণএই গবেষণার ক্ষেত্রে, বন্টন রেখাচিত্র, জনপ্রিয়তা গোষ্ঠী অনুযায়ী গড় এবং আবেগ ও সাফল্যের মধ্যকার সম্পর্ক বিশ্লেষণ করা হয়েছিল।

অন্যতম একটি উল্লেখযোগ্য আবিষ্কার হলো সবচেয়ে সফল গানগুলোর জনপ্রিয়তা। ৯০-এর বেশি জনপ্রিয়তার রেটিংযুক্ত ট্র্যাকগুলো পর্যালোচনা করে দেখা গেছে যে ভ্যালেন্সিয়াতে তাদের মধ্যে বৃহত্তর সংখ্যকের মান ০.৫-এর নিচে ছিল।অন্য কথায়, তাদের কণ্ঠস্বর প্রফুল্লতার চেয়ে বেশি বিষণ্ণ, গম্ভীর বা বিষাদময় শোনাচ্ছিল। এটা চূড়ান্ত আধিপত্য ছিল না, কিন্তু এটি একটি স্পষ্ট প্রবণতা ছিল।

লিঙ্গভেদে জনপ্রিয়তার বন্টন অঙ্কন করলে, অধিকাংশ রেখাচিত্রই একটি নির্দিষ্ট আকৃতি ধারণ করেছিল। আনুমানিক ঘণ্টার আকৃতিগড় মানের ট্র্যাকের সংখ্যা বেশি এবং চরম পর্যায়ের ট্র্যাকের সংখ্যা তুলনামূলকভাবে কম। তবে, রক, আরএন্ডবি, ইডিএম, ওয়ার্ল্ড এবং ভারতীয় সঙ্গীতের মতো ঘরানাগুলোতে শূন্য জনপ্রিয়তার ট্র্যাকের সংখ্যা বেশি হওয়ায় কিছুটা অসামঞ্জস্য দেখা গেছে। এর বিপরীতে, পপ, র‍্যাপ, ল্যাটিন এবং দেশি ঘরানার ট্র্যাকগুলো তুলনামূলকভাবে বেশি ভারসাম্যপূর্ণ এবং সেগুলোতে শূন্য-রেটিং ট্র্যাকের সংখ্যাও কম ছিল।

এর থেকে বোঝা যায় যে, সেইসব মূলধারার ধারাগুলোতে, সাধারণভাবে, একটি নির্দিষ্ট স্তরের জনপ্রিয়তায় পৌঁছানো সহজগানগুলোতে সব আদর্শ বৈশিষ্ট্য না থাকলেও, অন্যান্য শৈলীতে সাফল্যের বণ্টন আরও বেশি মেরুকৃত।

জনপ্রিয়তার শ্রেণী অনুসারে বিভিন্ন বৈশিষ্ট্যের গড় তুলনা করলে একটি সুস্পষ্ট চিত্র ফুটে ওঠে: সবচেয়ে সফল বিষয়গুলোতে সাধারণত থাকে... অধিক শক্তি এবং অধিক উচ্চতা (অনুভূত আওয়াজ)সেইসাথে যন্ত্রসংগীতের ব্যবহার বেশি এবং কথ্য ভাষার ব্যবহার কম। সহজ কথায়, যে গানগুলো স্ট্রিমিং-এ সবচেয়ে ভালো চলে, সেগুলো কথ্য শব্দের চেয়ে বেশি শক্তিশালী এবং সংগীত-কেন্দ্রিক হয়ে থাকে।

আরও দেখা গেছে যে জনপ্রিয় ট্র্যাকগুলিতে বৈশিষ্ট্য নিম্ন অ্যাকোস্টিকনেস এবং নিম্ন লাইভনেসঅন্য কথায়, এগুলি শুনতে কম 'অ্যাকুস্টিক' এবং কম 'লাইভ' মনে হয়। এগুলি স্টুডিওতে তৈরি, আরও পরিমার্জিত এবং এতে পারিপার্শ্বিক কোলাহল বা কনসার্টের আবহ কম থাকে।

আরেকটি গুরুত্বপূর্ণ আবিষ্কার হলো যে জনপ্রিয় গানগুলো সাধারণত অজনপ্রিয়গুলোর চেয়ে ছোটএমন একটি প্রেক্ষাপটে যেখানে আয় নির্ভর করে স্ট্রিমের সংখ্যার ওপর এবং অ্যালগরিদম পুনরাবৃত্তিকে পুরস্কৃত করে, সেখানে এটাই স্বাভাবিক যে ছোট ট্র্যাকগুলো দ্রুত প্লে সংখ্যা বাড়াতে পারে এবং প্লেলিস্টের জন্য আরও "উপযোগী" হয়ে উঠতে পারে।

অনুভূত সুখের (ভ্যালেন্স) ক্ষেত্রে প্রবণতাটি কৌতূহলোদ্দীপক: নিম্ন জনপ্রিয়তার শ্রেণী থেকে "উচ্চ" শ্রেণীর দিকে এর মাত্রা বৃদ্ধি পায়, কিন্তু সবচেয়ে চরম শ্রেণী, অর্থাৎ "অত্যন্ত উচ্চ"-তে, একটি লক্ষণীয় পতন দেখা যায়। অন্য কথায়, অত্যন্ত জনপ্রিয় গানগুলো কেবল 'সফল' গানগুলোর চেয়ে বেশি বিষণ্ণ শোনায়।এটি জনরুচি এবং সামাজিক-আবেগিক প্রেক্ষাপট সম্পর্কে বহুবিধ ব্যাখ্যার সুযোগ করে দেয়।

পরিসংখ্যানগত বিশ্লেষণ: ধরণ এবং অডিও বৈশিষ্ট্যের প্রভাব

তথ্যগুলো বিশ্লেষণ করার পর, পরবর্তী পদক্ষেপ ছিল প্রয়োগ করা। আনুষ্ঠানিক পরিসংখ্যানগত পরীক্ষা জনপ্রিয়তা ব্যাখ্যায় কোন চলকগুলোকে প্রাসঙ্গিক বলে বিবেচনা করা যেতে পারে, তা দেখার জন্য। লিঙ্গ সাফল্যের উপর প্রভাব ফেলেছিল কিনা তা অধ্যয়ন করতে, নয়টি প্রধান ধারার উপর ভেদাঙ্ক বিশ্লেষণ (ANOVA) ব্যবহার করা হয়েছিল।

ANOVA-র ফলাফলে F-এর মান অত্যন্ত বেশি এবং তাৎপর্য কার্যত শূন্য পাওয়া গেছে, যার অর্থ হলো বিভিন্ন ধারার জনপ্রিয়তার মধ্যে পরিসংখ্যানগতভাবে তাৎপর্যপূর্ণ পার্থক্য রয়েছে।তবে, শুধু এটুকুই যথেষ্ট নয়: কোন কোন লিঙ্গের জোড়ার মধ্যে এই পার্থক্যগুলো ঘটে এবং চলকটি কোনো ভবিষ্যদ্বাণীমূলক মডেলের জন্য উপযোগী হবে কি না, তা জানাও জরুরি।

যেহেতু ভেদাঙ্কগুলো সমসত্ত্ব ছিল না এবং প্রতিটি ধারার গানের সংখ্যা ভিন্ন ছিল, তাই নিম্নলিখিত পদ্ধতিটি ব্যবহার করা হয়েছিল: গেমস-হাউয়েল পোস্ট-হক পরীক্ষাএই বিশ্লেষণের মাধ্যমে যাচাই করা সম্ভব হয়েছে যে কোন লিঙ্গ সংমিশ্রণগুলো জনপ্রিয়তার ক্ষেত্রে উল্লেখযোগ্য পার্থক্য দেখায়নি, যা সামগ্রিকভাবে মেশিন লার্নিং মডেলগুলিতে লিঙ্গকে একটি শক্তিশালী ভবিষ্যদ্বাণীকারী হিসেবে ব্যবহার করার যৌক্তিকতা কমিয়ে দিয়েছে।

এর পাশাপাশি, নিম্নলিখিত কাজগুলো সম্পন্ন করা হয়েছিল। স্বাধীন টি-টেস্ট প্রতিটি অডিও বৈশিষ্ট্যের জন্য, জনপ্রিয় গানের গোষ্ঠী এবং অজনপ্রিয় গানের গোষ্ঠীর মধ্যে গড় তুলনা করা হয়েছিল। ৯৫% তাৎপর্য স্তরে দেখা গেছে যে প্রায় সমস্ত চলক (নাচের যোগ্যতা, শক্তি, উচ্চতা, ধ্বনিগত বৈশিষ্ট্য, জীবন্ততা, সময়কাল, গতি, আবেদন এবং বাদ্যযন্ত্রের ব্যবহার) দুটি গোষ্ঠীর মধ্যে উল্লেখযোগ্য পার্থক্য দেখিয়েছে।

একমাত্র আপাত ব্যতিক্রম ছিল বাচালতাপ্রথম পরীক্ষায়, গড়গুলোর মধ্যে পার্থক্য তাৎপর্যপূর্ণ ছিল না, কিন্তু পরবর্তী বিশ্লেষণে দেখা যায় যে, অত্যন্ত জনপ্রিয় বিষয়গুলোর বাচনভঙ্গির পরিসর (যার মান ০.০২৪ থেকে ০.৬৮৫-এর মধ্যে) কম জনপ্রিয় শ্রেণির বৃহত্তর পরিসরের (০ থেকে ০.৯৬৪-এর মধ্যে) অন্তর্ভুক্ত ছিল। এই উপরিপাতন কার্যকরভাবে ব্যবহৃত হলে বাচনভঙ্গিকে মডেলটিতে তথ্য প্রদানে বাধা দেয়নি, তাই এটিকে একটি ভবিষ্যদ্বাণীকারী হিসেবে রেখে দেওয়ার সিদ্ধান্ত নেওয়া হয়।

সংক্ষেপে, অডিও বৈশিষ্ট্য ব্লকটি প্রদর্শন করেছে জনপ্রিয়তা সম্পর্কে একটি স্পষ্ট বর্ণনামূলক ক্ষমতাঅন্যদিকে, লিঙ্গকে আরও সতর্কতার সাথে বিবেচনা করা হয়েছিল এবং কিছু ভবিষ্যদ্বাণীমূলক পদ্ধতিতে এটিকে প্রাথমিক চলক হিসেবে বাদ দেওয়া হয়েছিল।

হিট ভবিষ্যদ্বাণী করার জন্য মেশিন লার্নিং মডেল তৈরি করা

পরিষ্কার ডেটাসেট এবং প্রাসঙ্গিক ভেরিয়েবলগুলো নির্বাচন করার পর, তৈরি করার সময় হয়েছিল। বাইনারি শ্রেণিবিন্যাস মডেল কোনো গান জনপ্রিয়তার শীর্ষ ১৫%-এর অন্তর্ভুক্ত কিনা তা ভবিষ্যদ্বাণী করতে সক্ষম। এটি করার জন্য, প্রথমে Pandas-এর get_dummies ফাংশন ব্যবহার করে key এবং mode নামক ক্যাটেগরিক্যাল ভ্যারিয়েবলগুলোকে ডামি ভ্যারিয়েবলে রূপান্তর করা হয়েছিল।

এই ডামিগুলো অন্তর্ভুক্ত করার পর, কী (key) ও মোড (mode) এর মূল কলামগুলোর পাশাপাশি ধারাবাহিক জনপ্রিয়তাও (continued popularity) সরিয়ে দেওয়া হয়েছিল এবং টার্গেট ভেরিয়েবলটি অপরিবর্তিত রাখা হয়েছিল। জনপ্রিয়তার বাইনারি ক্ষেত্র (জনপ্রিয় বনাম অজনপ্রিয়)। মডেলগুলোকে প্রশিক্ষণ দেওয়ার আগে, StandardScaler ব্যবহার করে সমস্ত সংখ্যাসূচক বৈশিষ্ট্যকে মানসম্মত করা হয়েছিল, কারণ সেগুলো খুব ভিন্ন স্কেলে কাজ করত এবং তাদের একটি তুলনীয় ওজন থাকা গুরুত্বপূর্ণ ছিল।

`train_test_split` ফাংশন ব্যবহার করে ডেটাসেটটিকে ট্রেনিং এবং টেস্ট অংশে বিভক্ত করা হয়েছিল, যেখানে ডেটা সংরক্ষণ করা হয়েছিল। পরীক্ষার জন্য নিবন্ধনের ২০%এইভাবে, তথ্য ফাঁস এড়ানো হয়েছিল এবং এটি নিশ্চিত করা হয়েছিল যে পারফরম্যান্স মেট্রিকগুলি মডেলগুলির কেবল প্রশিক্ষণ ডেটা মুখস্থ করার ক্ষমতাকেই নয়, বরং তাদের প্রকৃত সাধারণীকরণযোগ্যতাকেও প্রতিফলিত করে।

প্রথম যে মডেলটি প্রয়োগ করা হয়েছিল তা হল লজিস্টিক রিগ্রেশনএই কৌশলটি বাইনারি ক্লাসিফিকেশনে ব্যাপকভাবে ব্যবহৃত হয়। ০.০১ লার্নিং রেট এবং ২০০ ইটারেশন সহ একটি ইটারেটিভ সংস্করণ বাস্তবায়ন করা হয়েছিল এবং ক্রস-ভ্যালিডেশন ব্যবহার করে মূল্যায়ন করা হয়েছিল। গড় নির্ভুলতা প্রায় ৮৪.৭%-এ পৌঁছেছে, যা সঙ্গীতের সাফল্য ভবিষ্যদ্বাণী করার মতো একটি জটিল সমস্যার জন্য উল্লেখযোগ্যভাবে শক্তিশালী একটি ফলাফল।

তারপর অ্যালগরিদমটি পরীক্ষা করা হয়েছিল K- নিকটতম প্রতিবেশী (KNN)যা ফিচার স্পেসে k নিকটতম প্রতিবেশীর উপর ভিত্তি করে প্রতিটি গানকে শ্রেণীবদ্ধ করে। গ্রিড সার্চ ব্যবহার করে ky-এর মান সমন্বয় করে সর্বোত্তম কনফিগারেশন খুঁজে বের করার ফলে লজিস্টিক রিগ্রেশনের তুলনায় প্রায় ৮৪.৮% এর কাছাকাছি নির্ভুলতা পাওয়া গেছে, এবং ক্রস-ভ্যালিডেশন স্কোরে সামান্য উন্নতি হয়েছে।

পরবর্তী মডেলটি ছিল সাপোর্ট ভেক্টর মেশিন (এসভিএম)রৈখিক এবং অরৈখিক উভয় সম্পর্ক পরিচালনা করতে সক্ষম আরেকটি সুপারভাইজড কৌশলও ব্যবহার করা হয়েছিল। এক্ষেত্রেও, হাইপারপ্যারামিটার ফিটিং-এর মাধ্যমে প্রায় ৮৪.৬% নির্ভুলতা অর্জিত হয়েছিল এবং ক্রস-ভ্যালিডেশনেও সমতুল্য মান পাওয়া গিয়েছিল, যা এর স্থিতিশীল কার্যকারিতা নির্দেশ করে।

নিম্নলিখিত বিষয়গুলোও মূল্যায়ন করা হয়েছিল: নেইভ বেয়েস ক্লাসিফায়ারবৈশিষ্ট্যগুলোর মধ্যে স্বাধীনতার অনুমানের উপর ভিত্তি করে। অনুমানের দিক থেকে এটি একটি অনেক সরল মডেল হওয়া সত্ত্বেও, এর নির্ভুলতার ফলাফল (প্রায় ৮৪.৬%) SVM-এর সমতুল্য এবং লজিস্টিক রিগ্রেশন ও KNN-এর খুব কাছাকাছি ছিল, যা এই ধারণাকে আরও শক্তিশালী করে যে সমস্যার কাঠামোটি এই ধরনের সম্ভাবনামূলক পদ্ধতির জন্য বেশ উপযোগী।

অবশেষে, ডিসিশন ট্রি-ভিত্তিক মডেলগুলো পরীক্ষা করা হয়েছিল। ডিসিশন ট্রি ক্লাসিফায়ার এটি উল্লেখযোগ্যভাবে কম নির্ভুলতা (প্রায় ৭৫.৪%) অর্জন করেছে এবং ক্রস-ভ্যালিডেশন এই কর্মক্ষমতার পতনকে নিশ্চিত করেছে, যা সম্ভবত ওভারফিটিং সমস্যার কারণে ঘটেছে। র্যান্ডম ফরেস্ট ক্লাসিফায়ারযা এই প্রভাবগুলো প্রশমিত করার জন্য অনেকগুলো ট্রি-কে একত্রিত করে, তা উল্লেখযোগ্যভাবে উন্নত হয়েছে এবং প্রায় ৮৪.১% নির্ভুলতা ও ক্রস-ভ্যালিডেশনে ৮৪%-এর বেশি অর্জন করেছে।

বিশ্লেষণটি সম্পূর্ণ করতে, একটি বিভ্রান্তি ম্যাট্রিক্স এবং একটি শ্রেণিবিন্যাস প্রতিবেদন র‍্যান্ডম ফরেস্টের ক্ষেত্রে, মডেলটি অজনপ্রিয় গান (সংখ্যাগরিষ্ঠ শ্রেণি) শনাক্ত করতে চমৎকার সক্ষমতা দেখিয়েছে, যার অ্যাকুরেসি ছিল ০.৮৫ এবং রিকল ছিল প্রায় ০.৯৯। অপরদিকে, জনপ্রিয় গানের (সংখ্যালঘু) শ্রেণিতে এর পারফরম্যান্স ছিল তুলনামূলকভাবে কম, যার অ্যাকুরেসি ছিল ০.৪০ এবং রিকল ছিল ০.০৫। এটি এই ধরনের সমস্যায় শ্রেণিগত ভারসাম্যহীনতার চিরায়ত চ্যালেঞ্জটিকে তুলে ধরে।

ভেরিয়েবলের গুরুত্ব: একটি হিট তৈরি করার সময় কোন বিষয়গুলো সবচেয়ে বেশি প্রাধান্য পায়

কোন মডেলটি বেশি নির্ভুল তা জানার বাইরেও, বোঝাটা জরুরি। কোন বৈশিষ্ট্যগুলি আসলে দরকারী তথ্য প্রদান করে কোনো গান জনপ্রিয় হবে কিনা তা ভবিষ্যদ্বাণী করার জন্য, ডিসিশন ট্রি-তে ত্রুটি হ্রাসে প্রতিটি ফিচারের অবদানের উপর ভিত্তি করে ভ্যারিয়েবল ইম্পরটেন্স স্কোর পেতে XGBoost (XGBClassifier) ​​ব্যবহার করা হয়েছিল।

ফলাফলে দেখা গেছে যে গানটির দৈর্ঘ্য বাকিগুলোর থেকে স্পষ্টভাবে আলাদা ছিল।৪০০-এর অনেক উপরে একটি এফ স্কোর সহ। এই ফলাফলটি এই ধারণার সাথে সামঞ্জস্যপূর্ণ যে ছোট ট্র্যাকগুলি বারবার শুনতে উৎসাহিত করে এবং ফলস্বরূপ কম সময়ে বেশি প্লে অর্জন করে, যা স্পটিফাই-এর সুপারিশ অ্যালগরিদম পুরস্কৃত করতে চায়।

বিপরীত প্রান্তে, কী, মোড বা এর মতো ভেরিয়েবলগুলি শিরোনাম থেকে নেওয়া অনুভূতি তারা ৫০-এর কম গুরুত্ব স্কোর পেয়েছে, যা থেকে বোঝা যায় যে মডেলটির সামগ্রিক ভবিষ্যদ্বাণী করার ক্ষমতায় তাদের অবদান ছিল সামান্য। এর মানে এই নয় যে তাদের কোনো প্রভাবই নেই, বরং অন্যান্য বৈশিষ্ট্যের তুলনায় তাদের গুরুত্ব অনেক কম।

অবশিষ্ট অডিও বৈশিষ্ট্যগুলো (যেমন এনার্জি, ড্যান্সএবিলিটি, ভ্যালেন্সি, লাউডনেস, অ্যাকুস্টিকনেস, লাইভনেস, স্পিচিনেস এবং ইন্সট্রুমেন্টালনেস) ২০০ থেকে ৩০০-এর মধ্যে এফ-স্কোর সহ একটি মধ্যবর্তী পরিসরে ছিল, যা নির্দেশ করে যে তারা মোটামুটি ভারসাম্যপূর্ণ তথ্য ব্লক গঠন করে।এগুলোর কোনোটিই এককভাবে প্রাধান্য পায় না, কিন্তু সবগুলো মিলে একটি গানের সফল হওয়ার সম্ভাবনা সম্পর্কে বেশ সঠিক একটি চিত্র তৈরি করতে সাহায্য করে।

সব মিলিয়ে, অডিও বৈশিষ্ট্যের উপর ভিত্তি করে তৈরি মডেলগুলো প্রায় যদি কোনো সূত্র সবচেয়ে জনপ্রিয় ১৫%-এর অংশ হতো, তাহলে সফলতার হার ৮৪-৮৫%।এটি 'হিট গানের বিজ্ঞান' সম্পর্কিত পুরোনো ধারণাকে কিছু পরীক্ষামূলক সমর্থন জোগায়: ভালো ডেটা এবং উপযুক্ত কৌশল থাকলে, সঙ্গীতের সাফল্য পুরোপুরি এলোমেলো নয়, যদিও এর মধ্যে একটি উল্লেখযোগ্য অপ্রত্যাশিত উপাদান থেকেই যায়।

এই বিশ্লেষণ থেকে যে চিত্রটি ফুটে ওঠে, তা থেকে বোঝা যায় যে স্পটিফাই ডেটা, প্রচলিত পরিসংখ্যান এবং মেশিন লার্নিং মডেলের সমন্বয় আমাদের কেবল স্ট্রিম গণনার চেয়েও অনেক বেশি কিছু করতে সাহায্য করে। গানের স্থায়িত্ব, প্রাণশক্তি, আবেদন এবং কার্যকারিতার প্রভাব বোঝার পাশাপাশি এডিটোরিয়াল প্লেলিস্ট ও প্ল্যাটফর্মের সুপারিশ পদ্ধতির ভূমিকা অনুধাবন করা গেলে, শিল্পী, লেবেল এবং বিশ্লেষকরা একটি অত্যন্ত সুস্পষ্ট পথনির্দেশনা পান। এর মাধ্যমে তারা ব্যাখ্যা করতে পারেন কেন নির্দিষ্ট কিছু গান হিট হয় এবং কীভাবে তারা সেই বিশেষ দলে যোগ দেওয়ার সম্ভাবনাকে সর্বোচ্চ করতে পারেন, অথচ সেই মানবিক ও সৃজনশীল উপাদানটিকে পুরোপুরি হারিয়ে ফেলেন না, যা সৌভাগ্যবশত কোনো সূত্রে আবদ্ধ করা যায় না।