Pagsusuri ng mga hit sa Spotify: datos, mga algorithm at ang agham ng tagumpay sa musika

Informatec Digital » Kayamanan » Pagsusuri ng mga hit sa Spotify: datos, mga algorithm at ang agham ng tagumpay sa musika

Ang Spotify ay naging perpektong laboratoryo para sa pag-aaral kung ano ang nagpapasikat sa isang kanta : mayroon tayong real-time playback data, mga advanced na sukatan para sa mga artista, at milyun-milyong tagapakinig na gumagawa ng mga desisyon bawat segundo. Malayo sa pagiging isang platform lamang para sa pakikinig, ang Spotify ay naging isang napakalaking database kung saan maaaring suriin ang mga pattern, emosyon, genre, at mga diskarte sa playlist upang maunawaan kung bakit ang ilang mga kanta ay sumisikat at ang iba ay nawawala sa kalaliman.

Sa mga nakaraang taon, lumitaw ang mga kagamitan, akademikong pananaliksik, at mga modelo ng machine learning na nakatuon sa pagsusuri ng mga hit sa Spotify : mula sa pag-aaral ng mga editorial chart tulad ng Today's Top Hits o Rap Caviar, hanggang sa pagbuo ng mga algorithm na may kakayahang hulaan kung ang isang track ay kabilang sa pinakasikat na grupo sa katalogo. Kasabay nito, ginawang demokratiko ng Spotify for Artists ang pag-access sa mga sukatang ito, na nagpapahintulot sa sinumang artista na makita kung sino ang nakikinig sa mga ito, saan at paano sila natutuklasan, at isaayos ang kanilang malikhaing at diskarte sa marketing nang naaayon.

Ano nga ba ang Spotify hit analysis at bakit ito mahalaga?

Kapag pinag-uusapan natin ang pagsusuri ng hit sa Spotify, hindi lamang natin tinutukoy kung ilang beses na pinatugtog ang isang kanta. Ito ay isang mas malawak na pamamaraan na pinagsasama ang audio, konteksto, at pag-uugali ng gumagamit upang sagutin ang isang hindi komportable ngunit mahalagang tanong: mahuhulaan mo ba ang tagumpay ng isang kanta bago ito ilabas? Gamit ang data mula sa API ng Spotify, ang mga mananaliksik ay nagtatrabaho gamit ang mga baryabol tulad ng popularidad, enerhiya, valence, tagal, tempo, at kakayahang sumayaw upang subukang mapalapit sa sagot na iyon.

Ang pamamaraang ito ay nag-ugat sa tinatawag na "hit song science ," isang ideyang pinasikat ni Mike McCready noong mga unang taon ng 2000s: gamit ang mga algorithm at mathematical model upang mahulaan kung aling mga kanta ang magiging mahusay na gumanap sa mga tsart at radyo. Bagama't napagpasyahan ng mga unang pag-aaral na ito ay napakahirap (at ang mga modelo ay hindi sapat na tumpak), ang kalagayan ay ganap na nagbago sa pagdating ng streaming, ang napakalaking pagtaas ng dami ng data, at ang pagpipino ng mga diskarte sa machine learning.

Sa kasalukuyan, nag-aalok ang Spotify ng API na may access sa libu-libong track at ang kanilang mga katangiang musikal at kontekstwal : mula sa key at mode hanggang sa posibilidad na ang isang track ay acoustic o instrumental, kabilang ang mga sukatang partikular na idinisenyo upang ilarawan kung paano nakikita ang kanta (enerhiya, valence, danceability, atbp.). Ang lahat ng ito ay nagbibigay-daan para sa paglipat mula sa mga subhetibong opinyon patungo sa mas tumpak na quantitative analysis.

Samantala, ang tool na Spotify for Artists ay tumutulong sa mga tagalikha na maiwasan ang pagkaligaw sa mga sukatan ng pagiging mapagmataas at tumuon sa mga tunay na mahalaga: pangmatagalang pag-unlad ng madla, pakikipag-ugnayan, pagpapanatili, at kung paano nakakaapekto ang mga pagsisikap sa marketing sa paglikha ng mga tunay na tagahanga. Sa madaling salita, mga numero, oo, ngunit may konteksto at estratehikong layunin.

Mga opisyal na playlist at estratehiya: ang bigat ng mga listahan ng editoryal

Isa sa mga pinakamahalagang elemento sa anumang seryosong pagsusuri ng mga hit sa Spotify ay ang papel ng mga opisyal na editoryal na playlist . Ang mga listahan tulad ng Discover Weekly, Release Radar, Today's Top Hits, New Music Friday, Rap Caviar, Mint, o ¡Viva Latino! ay nagsisilbing napakalaking amplifier: ang pagtugtog ng isa sa mga ito ay maaaring ganap na magpabago sa landas ng isang kanta o maging sa karera ng isang artista.

Ang mga third-party tool tulad ng Soundcharts ay nagbibigay-daan sa iyo na makita kung paano gumaganap ang isang artist sa mga playlist na ito : bilang ng mga paglabas, tagal ng pananatili, mga merkado kung saan sila ang may pinakamalaking epekto, atbp. Nililinaw ng ganitong uri ng pagsusuri na ang presensya sa mga editorial chart ay hindi lamang para sa palabas, kundi isang mahalagang bahagi ng isang diskarte sa paglago sa platform.

May ilang paulit-ulit na pamantayan sa pagbuo ng mga de-kalidad na playlist. Halimbawa, mas pinahahalagahan ang iba't ibang uri ng artista kaysa sa paulit-ulit na pagbanggit ng parehong pangalan . Ang mga playlist kung saan masyadong maraming beses na lumalabas ang parehong artist ay may posibilidad na makatanggap ng mas mababang rating dahil binabawasan nito ang pakiramdam ng tagapakinig na natutuklasan ito.

Hinahanap din ang isang magkakaugnay na balanse ng mga genre . Kapag ang isang playlist ay naghalo ng napakaraming estilo nang walang malinaw na direksyon, ang karanasan ay nagiging pira-piraso at bumababa ang rating. Ang mga playlist na may pinakamahusay na performance ay may posibilidad na nakatuon sa isa o ilang mahusay na natukoy na mga genre, na tumutulong sa user na maunawaan sa isang sulyap kung ano ang aasahan kapag pinindot nila ang play.

Ang isa pang mahalagang aspeto ay ang paghahalo ng mga kilalang kanta at mga umuusbong na kanta . Ayos lang ang mga playlist na naglalaman lamang ng malalaking hit, ngunit kakaunti ang maiaalok nito sa paraan ng pagtuklas. Sa kabaligtaran, ang mga playlist na pinagsasama ang mga kilalang kanta at mga hindi gaanong kilalang kanta ay may posibilidad na makabuo ng mas malaking pakikipag-ugnayan at makatulong na lumikha ng mga bagong hit.

Panghuli, mayroong pangkalahatang pinagkasunduan na ang isang mahusay na playlist ay dapat mayroong kahit man lang 50 track upang makapag-alok ng kumpletong karanasan . Ang mga playlist na may mas mababa sa 10 kanta ay kadalasang itinuturing na hindi maganda at nakakatanggap ng mas mababang marka, na nakakaapekto rin sa performance ng mga track na kasama nito.

Isang maikling kasaysayan ng Spotify at ang pinagmulan ng analytics nito

Bago makapagsagawa ang Spotify ng advanced hit analysis, kinailangan munang hanapin ng platform mismo ang lugar nito sa industriya ng musika. Ang ideya, na naisip ng co-founder na si Daniel Ek, ay lumitaw matapos ang pagbagsak ng Napster noong 2002: gusto niyang lumikha ng isang serbisyong "mas mahusay kaysa sa pamimirata, ngunit binabayaran din nito ang industriya ." Noong panahong iyon, pinapatakbo ni Ek ang uTorrent, isa sa mga nangungunang P2P download at sharing client, kaya may personal siyang kaalaman sa mundo ng hindi awtorisadong pamamahagi.

Matapos ibenta ang uTorrent sa BitTorrent noong huling bahagi ng 2006, ang Ek ay ganap na nakatuon sa pagbuo ng Spotify. Opisyal na inilunsad ang application noong 2008 sa Sweden, matapos maabot ang mga kasunduan sa paglilisensya at equity sa mga pangunahing record label : Sony Music Entertainment, Universal Music Group, at Warner Music Group. Pagkalipas ng isang taon, lumawak ito sa UK, at noong 2011, inilunsad ito sa US.

Sa unang panahong iyon, ang base ng mga bayad na subscriber ay lumago mula sa humigit-kumulang 1 milyon sa Europa patungo sa halos 4 na milyon sa buong mundo noong 2012. Pagsapit ng 2016, inanunsyo na ng Spotify ang 40 milyong bayad na gumagamit at humigit-kumulang 100 milyong kabuuang gumagamit, na pinagsasama-sama ang streaming bilang pangunahing anyo ng pagkonsumo ng musika sa buong mundo.

Kasabay nito, nagsimulang lumitaw ang mga tool sa datos para sa mga artista. Una ay ang Fan Insights , na nag-alok sa ilang mga koponan ng limitadong access sa streaming data: demograpiko, heograpiya, at mga pangunahing trend. Noong 2017, ang solusyon na ito ay umunlad at naging Spotify para sa mga Artista, na nagbukas ng pinto para sa lahat ng mga artista upang tingnan ang kanilang mga pangunahing sukatan at gamitin ang datos upang gumawa ng mga desisyon tungkol sa paglilibot, paglabas, at promosyon.

Noong 2018, ang kumpanya ay naging publiko na may market capitalization na halos $30.000 bilyon . Simula noon, ang bilang ng mga merkado kung saan ito nagpapatakbo ay patuloy na lumalaki, kasama ang kahalagahan ng analytics sa loob ng platform. Ang nagsimula bilang isang lisensyadong media player ay naging isang pandaigdigang imprastraktura kung saan ang data ang nangingibabaw.

Mga sukatan ng Spotify: kung paano sukatin ang isang kanta na lampas sa mga stream

Para makabuo ng mga modelo ng prediksyon ng hit, kailangan munang maunawaan kung anong uri ng datos ang inaalok ng Spotify API . Halimbawa, sa isang pag-aaral na nakatuon sa merkado ng India, mahigit 46.000 na rekord ng kanta ang kinuha mula sa mga playlist na binuo ng Spotify, na sumasaklaw sa iba't ibang genre at subgenre.

Ang impormasyon ay nakaayos sa ilang bloke. Sa antas ng track, makikita natin ang datos tulad ng identifier, pamagat, artist, popularidad, petsa ng paglabas, at tagal sa milliseconds . Sa antas ng album, nakaimbak ang ID at pangalan. Sa antas ng playlist, lumalabas ang pangalan, ID, genre, at kaugnay na subgenre.

Ngunit ang pinakakawili-wiling aspeto para sa pagsusuri ng hit ay ang mga katangian ng audio , na nahahati sa iba't ibang kategorya: mga katangian ng mood (kakayahang sumayaw, enerhiya, valence, tempo), mga pisikal na katangian (lakas, kakayahang magsalita, pagiging instrumentol), konteksto (acousticness, liveness), at mga segment ng musika (key, mode). Ang bawat isa sa mga baryabol na ito ay maingat na tinukoy at ninormalisa.

Ang kakayahang sumayaw, halimbawa, ay ipinapahayag bilang isang halaga sa pagitan ng 0 at 1 na nagbubuod kung gaano kadaling sumayaw sa isang kanta , batay sa mga elemento tulad ng ritmo, katatagan ng tempo, at lakas ng kumpas. Ang enerhiya ay nag-iiba rin sa pagitan ng 0 at 1 at nagtatangkang makuha kung ang tunog ng track ay matindi, mabilis, at malakas, kumpara sa isang bagay na mas kalmado o mas mahina.

Inilalarawan ng Valency ang nararamdamang emosyonal na "positibidad" ng audio: ang mababang halaga ay tumutugma sa malungkot, tensyonado, o malungkot na damdamin, habang ang mataas na halaga ay tumutugma sa masaya, maliwanag, o masayang musika. Sinusukat ng acousticness ang posibilidad na ang isang track ay acoustic, ang liveness ay ang presensya ng isang live na audience sa recording, at ang speechness ay sumasalamin sa proporsyon ng mga sinasalitang salita sa mix (napakataas, halimbawa, sa mga podcast o spoken-word track).

Kabilang sa iba pang mahahalagang parametro ang tempo sa BPM , kabuuang tagal, key (naka-encode bilang integer), mode (major o minor), at popularidad ng track. Ang popularidad ay isang panloob na sukatan ng Spotify na mula 0 hanggang 100 at nakadepende sa dami ng stream at sa kanilang kamakailang bilang . Ang isang kanta na naging sikat ilang taon na ang nakalilipas ngunit ngayon ay bihirang patugtugin ay bababa ang iskor nito sa paglipas ng panahon.

Paano ihanda at linisin ang dataset upang mahulaan ang mga hit

Isang hakbang na kadalasang nakakaligtaan kapag tinatalakay ang pagsusuri ng hit sa Spotify ay ang paghahanda ng dataset . Sa pag-aaral na ito, ang datos ay nakalap gamit ang R at RStudio, na tinatawag ang Spotify API para sa iba't ibang kombinasyon ng merkado (India), mga genre, at mga subgenre na pinili ayon sa kanilang pandaigdigan at lokal na timbang.

Kapag pinagsasama-sama ang mga kanta mula sa iba't ibang playlist na may temang pang-awit, karaniwan na maraming track ang inuulit, dahil ang parehong kanta ay maaaring lumitaw sa iba't ibang listahan. Dahil ang layunin ay hindi ang pagsusuri sa mismong estratehiya sa pag-playlist, kundi ang mga katangian ng mga kanta, inalis ang mga duplicate na track , na nagbawas sa kabuuang base mula 46.417 patungo sa humigit-kumulang 39.147 natatanging kanta.

Ang mga kolum na hindi gagamitin bilang mga paliwanag na baryabol sa mga modelo, tulad ng artist, album ID at pangalan, at mga field na partikular sa playlist, ay inalis. Kasabay nito, ang mga pangalan ng field ay ni-normalize at ang mga uri ng data ay inayos: halimbawa, ang popularity, mode, key, at duration ay kinonberte sa mga float value upang mapadali ang statistical analysis.

Isang mahalagang desisyon ang gawing mas madaling pamahalaan ang popularidad. Sa halip na gumamit ng tuloy-tuloy na halaga mula 0 hanggang 100, isang limitasyon ang tinukoy upang paghiwalayin ang mga sikat at hindi sikat na kanta . Gamit ang ika-85 percentile ng distribusyon (humigit-kumulang 65 ang popularidad), ang mga track na higit sa halagang iyon ay itinuturing na "popular" at ang iba ay itinuturing na "hindi popular."

Sa ganitong paraan, ang dataset ay hinati sa halos 6.000 sikat na kanta at humigit-kumulang 33.000 hindi sikat . Para sa eksploratory analysis, hinati pa ito sa limang klase ng kasikatan (napakataas, mataas, katamtaman, mababa, at napakababa), na may 20-puntong pagitan, na nagbigay-daan sa paghahambing ng mga banayad na trend sa pagitan ng mga antas ng tagumpay.

Bukod pa rito, isang bagong baryabol ang nabuo mula sa mga pamagat ng kanta: isang tagapagpahiwatig ng sentimento . Gamit ang TextBlob library sa Python, ang polarity para sa bawat pamagat (isang numero sa pagitan ng -1 at 1) ay kinalkula at inuri bilang positibo, negatibo, o neutral. Ang numerical value na ito ay idinagdag sa dataframe upang pag-aralan kung ang tono ng pamagat ay nauugnay sa kasikatan nito.

Paggalugad ng datos: ano ang nagpapaiba sa mga pinakasikat na kanta

Bago sanayin ang anumang modelo ng machine learning, mahalagang maglaan ng oras sa biswal at istatistikal na paggalugad ng datos . Sa kaso ng pag-aaral na ito, sinuri ang mga kurba ng distribusyon, mga average bawat pangkat ng popularidad, at ang mga ugnayan sa pagitan ng mga emosyon at tagumpay.

Isa sa mga kapansin-pansing natuklasan ay ang bisa ng mga pinakamatagumpay na kanta. Nang tingnan ang mga track na may popularity score na higit sa 90, naobserbahan na mas marami sa mga ito ang may bisa na mas mababa sa 0,5 ; ibig sabihin, mas malungkot, mas malungkot, o mapanglaw ang tunog ng mga ito kaysa masaya. Hindi ito isang ganap na dominance, ngunit ito ay isang malinaw na trend.

Nang i-plot ang distribusyon ng popularidad ayon sa genre, karamihan sa mga kurba ay naging hugis kampanilya , na may maraming track sa paligid ng mean at mas kaunti sa mga sukdulan. Gayunpaman, ang mga genre tulad ng rock, R&B, EDM, world, at Indian music ay nagpakita ng ilang asymmetry dahil sa maraming track na walang popularidad. Sa kabaligtaran, ang mga istilo tulad ng pop, rap, Latin, at desi ay lumitaw na mas balanse at may mas kaunting konsentrasyon sa zero.

Ipinahihiwatig nito na sa mga mas mainstream na genre, karaniwang mas madaling makamit ang isang tiyak na antas ng popularidad , kahit na ang mga kanta ay hindi nagtataglay ng lahat ng ideal na katangian, habang sa ibang mga istilo ang distribusyon ng tagumpay ay mas polarized.

Nang ikumpara ang mga average ng iba't ibang feature ayon sa popularity class, lumitaw ang isang napakalinaw na padron: ang mga pinakamatagumpay na track ay may posibilidad na magkaroon ng mas mataas na enerhiya at lakas ng tunog (perceived volume) , pati na rin ang mas maraming instrumentalismo at mas kaunting pagsasalita. Sa madaling salita, ang mga kantang pinakamahusay na tumutugtog sa mga streaming platform ay karaniwang mas malakas at mas nakatuon sa musika kaysa sa mga salitang binibigkas.

Naobserbahan din na ang mga sikat na track ay nagpapakita ng mas mababang acousticness at liveness ; ibig sabihin, ang mga ito ay hindi gaanong "acoustic" at hindi gaanong "live." Ang mga ito ay mas studio-produced, mas pulido, na may mas kaunting ambient noise o parang konsiyerto na pakiramdam.

Isa pang mahalagang natuklasan ay ang mga sikat na kanta ay may posibilidad na maging mas maikli kaysa sa mga hindi sikat . Sa konteksto kung saan ang kita ay nakasalalay sa bilang ng mga stream at ang mga algorithm ay nagbibigay ng gantimpala sa pag-uulit, makatuwiran na ang mas maiikling track ay maaaring mas mabilis na makaipon ng mga pag-play at maging mas angkop para sa mga playlist.

Tungkol sa pinaghihinalaang kaligayahan (valence), kakaiba ang kalakaran: tumataas ang antas mula sa mas mababang uri ng kasikatan patungo sa "mataas" na uri, ngunit sa pinakamatinding kategorya, ang "napakataas," mayroong malaking pagbaba. Sa madaling salita, ang mga kantang sobrang sikat ay may posibilidad na mas malungkot ang tunog kaysa sa mga "matagumpay" lamang , na nagbubukas ng pinto sa maraming interpretasyon tungkol sa panlasa ng publiko at sa kontekstong sosyo-emosyonal.

Pagsusuring pang-estadistika: epekto ng mga genre at katangian ng audio

Kapag nasuri na ang datos, ang susunod na hakbang ay ang paglalapat ng mga pormal na pagsusuring istatistikal upang makita kung aling mga baryabol ang maituturing na may kaugnayan sa pagpapaliwanag ng popularidad. Upang pag-aralan kung ang kasarian ay nakaimpluwensya sa tagumpay, isang pagsusuri ng variance (ANOVA) ang ginamit sa siyam na pangunahing genre.

Ang resulta ng ANOVA ay nagbunga ng napakataas na F-value at halos walang kabuluhan, ibig sabihin ay may mga makabuluhang pagkakaiba sa popularidad sa pagitan ng mga kasarian . Gayunpaman, hindi pa iyon sapat: mahalaga ring malaman kung aling mga pares ng kasarian ang may ganitong mga pagkakaiba at kung ang baryabol ay magiging kapaki-pakinabang para sa isang predictive model.

Dahil hindi homogenous ang mga variance at iba-iba ang bilang ng mga kanta sa bawat genre, ginamit ang Games-Howell post hoc test . Ang pagsusuring ito ay nagbigay-daan sa amin upang matukoy kung aling mga kumbinasyon ng genre ang hindi nagpakita ng mga makabuluhang pagkakaiba sa popularidad, na, sa pangkalahatan, ay naging dahilan upang hindi gaanong maipapayo na gamitin ang genre bilang isang malakas na predictor sa mga modelo ng machine learning.

Kasabay nito, isinagawa ang mga independent t-test para sa bawat audio feature, na pinaghambing ang mean sa pagitan ng mga sikat at hindi sikat na grupo ng kanta. Sa 95% na antas ng kahalagahan, halos lahat ng baryabol (danceability, energy, loudness, acousticness, liveness, duration, tempo, valence, at instrumentalness) ay nagpakita ng mga makabuluhang pagkakaiba sa pagitan ng dalawang grupo.

Ang tanging maliwanag na eksepsiyon ay ang kahusayan sa pagsasalita . Sa unang pagsubok, ang pagkakaiba sa mean ay hindi makabuluhan, ngunit ipinakita ng karagdagang pagsusuri na ang mga saklaw ng kahusayan sa pagsasalita para sa mga paksang lubos na popular (na may mga halaga sa pagitan ng 0,024 at 0,685) ay nasa loob ng mas malawak na saklaw ng hindi gaanong popular na klase (sa pagitan ng 0 at 0,964). Ang pagsasanib na ito ay hindi pumigil sa kahusayan sa pagsasalita, kapag ginamit nang epektibo, sa pag-aambag ng impormasyon sa modelo, kaya napagpasyahan na panatilihin ito bilang isang tagahula.

Sa buod, ang audio features block ay nagpakita ng malinaw na deskriptibong kapangyarihan patungkol sa popularidad , habang ang genre ay mas maingat na hinawakan at itinapon bilang pangunahing baryabol sa ilang pamamaraan ng prediksyon.

Pagbuo ng mga modelo ng machine learning upang mahulaan ang mga hit

Matapos malinis ang dataset at napili ang mga kaugnay na baryabol, panahon na para lumikha ng mga binary classification model na kayang hulaan kung ang isang kanta ay kabilang sa top 15% ng popularidad. Para magawa ito, ang mga categorical variable na key at mode ay unang kinomberte sa mga dummy variable gamit ang get_dummies function ng Pandas.

Matapos isama ang mga dummies na ito, ang mga orihinal na tonality at mode column, pati na rin ang continuous popularity, ay inalis, at ang binary popularity field (popular vs. hindi popular) ay pinanatili bilang target variable. Bago sanayin ang mga modelo, lahat ng numerical feature ay inistandardize gamit ang StandardScaler, dahil gumagana ang mga ito sa magkakaibang iskala at mahalaga na mayroon silang maihahambing na timbang.

Ang dataset ay hinati sa pagsasanay at pagsubok gamit ang train_test_split function, na nagreserba ng 20% ​​​​ng mga tala para sa pagsubok . Pinigilan nito ang mga tagas ng data at tiniyak na ang mga sukatan ng pagganap ay sumasalamin sa aktwal na paglalahat ng mga modelo, hindi lamang ang kanilang kakayahang kabisaduhin ang data ng pagsasanay.

Ang unang modelong ginamit ay ang Logistic Regression , isang pamamaraan na malawakang ginagamit sa binary classification. Isang iterative version na may learning rate na 0,01 at 200 iteration ang ipinatupad at sinuri gamit ang cross-validation. Ang average accuracy ay umabot sa humigit-kumulang 84,7%, isang napakalakas na resulta para sa isang problemang kasingsalimuot ng paghula sa tagumpay sa musika.

Sumunod, sinubukan ang K-Nearest Neighbors (KNN) algorithm , na nag-uuri sa bawat kanta ayon sa k pinakamalapit na kapitbahay nito sa feature space. Sa pamamagitan ng pagsasaayos ng halaga ng ky gamit ang Grid Search upang mahanap ang pinakamainam na configuration, isang halos katulad na katumpakan ang nakuha, humigit-kumulang 84,8%, na may bahagyang pagbuti sa cross-validation score kumpara sa logistic regression.

Ang susunod na modelo ay ang Support Vector Machine (SVM) , isa pang pinangangasiwaang pamamaraan na may kakayahang pangasiwaan ang parehong linear at nonlinear na mga ugnayan. Muli, sa pamamagitan ng hyperparameter tuning, nakamit ang mga katumpakan na humigit-kumulang 84,6%, na may katumbas na mga halaga sa cross-validation, na nagpapahiwatig ng matatag na pagganap.

Sinuri rin ang Naive Bayes classifier , batay sa pagpapalagay ng kalayaan sa pagitan ng mga tampok . Sa kabila ng pagiging isang mas simpleng modelo sa mga tuntunin ng mga pagpapalagay, ang mga resulta ng katumpakan nito (humigit-kumulang 84,6%) ay kapantay ng SVM at napakalapit sa logistic regression at KNN, na nagpapatibay sa ideya na ang istruktura ng problema ay angkop para sa ganitong uri ng probabilistikong pamamaraan.

Panghuli, sinubukan ang mga modelong nakabatay sa decision tree. Nakamit ng Decision Tree Classifier ang mas mababang katumpakan, humigit-kumulang 75,4%, at kinumpirma ng cross-validation ang pagbaba ng performance na ito, malamang dahil sa mga isyu sa overfitting. Ang Random Forest Classifier , na pinagsasama ang maraming puno upang pakinisin ang mga epektong ito, ay bumuti nang malaki, na nakamit ang humigit-kumulang 84,1% na katumpakan at mahigit 84% sa cross-validation.

Upang makumpleto ang pagsusuri, isang confusion matrix at ulat ng klasipikasyon ang binuo para sa Random Forest. Nagpakita ang modelo ng mahusay na kakayahang tukuyin ang mga hindi sikat na kanta (majority class), na may katumpakan na 0,85 at recall na malapit sa 0,99, habang ang performance nito sa popular song class (minority class) ay mas katamtaman, na may katumpakan na 0,40 at recall na 0,05. Itinatampok nito ang klasikong hamon ng class imbalance sa ganitong uri ng problema.

Kahalagahan ng mga baryabol: ano ang pinakamabigat kapag lumilikha ng isang hit

Bukod sa pag-alam kung aling modelo ang pinakatumpak, mahalagang maunawaan kung aling mga tampok ang tunay na nagbibigay ng kapaki-pakinabang na impormasyon kapag hinuhulaan kung ang isang kanta ay magiging popular. Para dito, ginamit ang XGBoost (XGBClassifier) ​​upang makakuha ng mga variable na marka ng kahalagahan, batay sa kontribusyon ng bawat tampok sa pagbabawas ng error sa mga decision tree.

Ipinakita ng mga resulta na ang haba ng kanta ay malinaw na namumukod-tangi sa iba , na may F score na higit sa 400. Ang natuklasang ito ay umaayon sa ideya na ang mas maiikling track ay humihikayat ng paulit-ulit na pakikinig at samakatuwid ay nakakaipon ng mas maraming pagtugtog sa mas maikling oras, isang bagay na may posibilidad na gantimpalaan ng algorithm ng rekomendasyon ng Spotify.

Sa kabilang dulo ng spectrum, ang mga baryabol tulad ng susi, ang mode, o ang sentimyentong kinuha mula mismo sa pamagat ay nakatanggap ng mga marka ng kahalagahan na mas mababa sa 50, na nagmumungkahi na ang kanilang kontribusyon sa pangkalahatang kapangyarihan ng modelo sa paghula ay minimal. Hindi ito nangangahulugan na wala silang anumang epekto, ngunit sa halip, kumpara sa iba pang mga tampok, ang kanilang bigat ay mas maliit.

Ang natitirang mga katangian ng audio (tulad ng enerhiya, kakayahang sumayaw, tibay, lakas ng tunog, acousticness, sigla, kakayahang magsalita, at instrumentalness) ay nasa loob ng isang intermediate range, na may F-score sa pagitan ng 200 at 300, na nagpapahiwatig na bumubuo ang mga ito ng isang medyo balanseng information block . Wala sa mga ito ang ganap na nangingibabaw, ngunit kapag pinagsama-sama, nakakatulong ang mga ito na bumuo ng isang medyo tumpak na larawan ng tsansa ng tagumpay ng isang kanta.

Sa kabuuan, ang mga modelong batay sa mga tampok ng audio ay nagawang hulaan, na may humigit-kumulang 84-85% na katumpakan, kung ang isang track ay magiging bahagi ng nangungunang 15% na pinakasikat , na nagbibigay ng ilang empirikal na suporta sa lumang intuwisyon ng "agham ng mga hit song": na may mahusay na datos at angkop na mga pamamaraan, ang tagumpay sa musika ay hindi lamang basta-basta, bagama't mayroon pa ring isang mahalagang hindi mahuhulaan na bahagi.

Ang larawang ipininta ng pagsusuring ito ay nagpapakita na ang pagsasama-sama ng datos ng Spotify, mga tradisyunal na estadistika, at mga modelo ng machine learning ay nagbibigay-daan sa atin na higit pa sa pagbibilang lamang ng mga stream. Ang pag-unawa sa epekto ng tagal, enerhiya, valence, at instrumentality, kasama ang papel ng mga editorial playlist at ang dinamika ng rekomendasyon ng platform, ay nagbibigay sa mga artista, label, at analyst ng isang napaka-konkretong roadmap para sa pagbibigay-kahulugan kung bakit nagiging hit ang ilang mga kanta at kung paano nila mapapalaki ang kanilang mga pagkakataong sumali sa piling grupong iyon nang hindi ganap na nawawala ang elementong pantao at malikhain na, sa kabutihang palad, ay nananatiling hindi mababawasan sa anumang pormula.