Analiza hitova na Spotifyju: podaci, algoritmi i znanost glazbenog uspjeha

Informatec Digital » Resursi » Analiza hitova na Spotifyju: podaci, algoritmi i znanost glazbenog uspjeha

Spotify je postao savršen laboratorij za proučavanje onoga što pjesmu čini hitom : imamo podatke o reprodukciji u stvarnom vremenu, napredne metrike za izvođače i milijune slušatelja koji donose odluke svake sekunde. Daleko od toga da bude samo platforma za slušanje, Spotify se transformirao u ogromnu bazu podataka u kojoj se mogu analizirati obrasci, emocije, žanrovi i strategije popisa za reprodukciju kako bi se razumjelo zašto neke pjesme postaju popularne, a druge padaju u zaborav.

Posljednjih godina pojavili su se alati, akademska istraživanja i modeli strojnog učenja posvećeni analizi hitova na Spotifyju : od proučavanja uredničkih ljestvica poput Today's Top Hits ili Rap Caviar, do izgradnje algoritama sposobnih predvidjeti hoće li pjesma pripadati najpopularnijoj skupini u katalogu. Istovremeno, Spotify for Artists demokratizirao je pristup tim metrikama, omogućujući svakom izvođaču da vidi tko ga sluša, gdje i kako ga se otkriva te da u skladu s tim prilagodi svoju kreativnu i marketinšku strategiju.

Što je točno Spotify hit analiza i zašto je važna?

Kada govorimo o analizi hitova na Spotifyju, ne mislimo samo na to koliko je puta pjesma reproducirana. Riječ je o širem pristupu koji kombinira zvuk, kontekst i ponašanje korisnika kako bi odgovorio na neugodno, ali ključno pitanje: možete li predvidjeti uspjeh pjesme prije nego što bude objavljena? Koristeći podatke iz Spotifyjevog API-ja, istraživači rade s varijablama poput popularnosti, energije, valencije, trajanja, tempa i plesnosti kako bi pokušali doći bliže tom odgovoru.

Ovaj pristup ima korijene u takozvanoj „znanosti o hit pjesmama “, ideji koju je popularizirao Mike McCready početkom 2000-ih: korištenje algoritama i matematičkih modela za predviđanje koje će pjesme dobro proći na ljestvicama i radiju. Iako su rane studije zaključile da je to vrlo teško (i da modeli nisu dovoljno točni), krajolik se potpuno promijenio pojavom streaminga, ogromnim povećanjem količine podataka i usavršavanjem tehnika strojnog učenja.

Danas Spotify nudi API s pristupom desecima tisuća pjesama i njihovim glazbenim i kontekstualnim atributima : od tonaliteta i modusa do vjerojatnosti da je pjesma akustična ili instrumentalna, uključujući metrike posebno dizajnirane za opisivanje kako se pjesma percipira (energija, valencija, plesnost itd.). Sve to omogućuje prelazak sa subjektivnih mišljenja na mnogo precizniju kvantitativnu analizu.

U međuvremenu, alat Spotify for Artists pomaže kreatorima da izbjegnu gubljenje u metrikama taštine i usredotoče se na ono što je zaista važno: dugoročni razvoj publike, angažman, zadržavanje i kako marketinški napori utječu na stvaranje pravih obožavatelja. Drugim riječima, brojke, da, ali s kontekstom i strateškom namjerom.

Službene liste za reprodukciju i strategija: težina uredničkih popisa

Jedan od najvažnijih elemenata u svakoj ozbiljnoj analizi hitova na Spotifyju je uloga službenih uredničkih popisa za reprodukciju . Popisi poput Discover Weekly, Release Radar, Today's Top Hits, New Music Friday, Rap Caviar, Mint ili ¡Viva Latino! djeluju kao ogromni pojačavači: ulazak na jedan od njih može potpuno promijeniti putanju pjesme ili čak karijeru izvođača.

Alati trećih strana poput Soundchartsa omogućuju vam da vidite kako se izvođač snalazi na tim popisima za reprodukciju : broj pojavljivanja, duljina zadržavanja, tržišta na kojima ima najveći utjecaj itd. Ova vrsta analize jasno pokazuje da prisutnost na uredničkim ljestvicama nije samo za pokazivanje, već ključna komponenta strategije rasta na platformi.

Postoje određeni ponavljajući kriteriji pri izradi kvalitetnih popisa za reprodukciju. Na primjer, raznolikost izvođača je vrijednija od ponavljanja istih imena iznova i iznova . Popisi za reprodukciju na kojima se isti izvođač pojavljuje previše puta obično dobivaju niže ocjene jer smanjuju osjećaj otkrivanja kod slušatelja.

Također se traži koherentna ravnoteža žanrova . Kada popis za reprodukciju miješa previše stilova bez jasnog smjera, iskustvo postaje fragmentirano i ocjena pada. Popisi za reprodukciju s najboljim rezultatima obično se usredotočuju na jedan ili nekoliko dobro definiranih žanrova, pomažući korisniku da na prvi pogled shvati što može očekivati ​​kada pritisne play.

Drugi ključni aspekt je kombinacija poznatih pjesama i onih u nastajanju . Popisi za reprodukciju koji uključuju samo velike hitove su u redu, ali nude malo otkrivanja. Nasuprot tome, popisi za reprodukciju koji kombiniraju etablirane pjesme s manje poznatim draguljima obično generiraju veći angažman i pomažu u stvaranju novih hitova.

Konačno, postoji opći konsenzus da dobra playlista treba imati barem 50 pjesama kako bi ponudila potpuno iskustvo . Playliste s manje od 10 pjesama često se doživljavaju kao loše i dobivaju niže ocjene, što također utječe na performanse pjesama koje uključuju.

Kratka povijest Spotifyja i podrijetlo njegove analitike

Prije nego što je Spotify mogao provoditi naprednu analizu hitova, sama platforma morala je pronaći svoje mjesto u glazbenoj industriji. Ideja, koju je osmislio suosnivač Daniel Ek, nastala je nakon Napsterovog kolapsa 2002. godine: želio je stvoriti uslugu "bolju od piratstva, ali koja bi i isplatila industriji ". U to vrijeme, Ek je vodio uTorrent, jedan od vodećih P2P klijenata za preuzimanje i dijeljenje, tako da je imao znanje iz prve ruke o svijetu neovlaštene distribucije.

Nakon što je krajem 2006. prodao uTorrent tvrtki BitTorrent, Ek se u potpunosti usredotočio na izgradnju Spotifyja. Aplikacija je službeno pokrenuta 2008. u Švedskoj, nakon što je postigla ugovore o licenciranju i vlasništvu s velikim diskografskim kućama : Sony Music Entertainment, Universal Music Group i Warner Music Group. Godinu dana kasnije proširila se na Ujedinjeno Kraljevstvo, a 2011. pokrenuta je i u SAD-u.

U tom početnom razdoblju, baza plaćenih pretplatnika porasla je s oko milijun u Europi na gotovo 4 milijuna globalno u 2012. Do 2016. Spotify je već najavljivao 40 milijuna plaćenih korisnika i oko 100 milijuna ukupnih korisnika, učvršćujući streaming kao dominantan oblik konzumacije glazbe u svijetu.

Istovremeno, počeli su se pojavljivati ​​alati za podatke za umjetnike. Prvo se pojavio Fan Insights , koji je nekim timovima nudio ograničen pristup podacima o streamingu: demografiji, geografiji i osnovnim trendovima. Godine 2017. ovo se rješenje razvilo u Spotify for Artists, otvarajući vrata svim umjetnicima da vide svoje ključne metrike i koriste podatke za donošenje odluka o turnejama, izdanjima i promociji.

Tvrtka je 2018. godine izašla na burzu s tržišnom kapitalizacijom od gotovo 30.000 milijardi dolara . Od tada, broj tržišta na kojima posluje nastavio je rasti, zajedno s važnošću analitike unutar platforme. Ono što je započelo kao licencirani medijski player postalo je globalna infrastruktura u kojoj podaci vladaju.

Spotify metrike: kako mjeriti pjesmu izvan streamova

Za izradu modela predviđanja hitova, prvo je potrebno razumjeti kakve podatke nudi Spotify API . U studiji usmjerenoj na indijsko tržište, na primjer, više od 46 000 pjesama izvučeno je iz playlista generiranih Spotifyjem, pokrivajući širok raspon žanrova i podžanrova.

Informacije su organizirane u nekoliko blokova. Na razini pjesme nalazimo podatke kao što su identifikator, naslov, izvođač, popularnost, datum izlaska i trajanje u milisekundama . Na razini albuma pohranjuju se ID i naziv. Na razini popisa za reprodukciju prikazuju se naziv, ID, žanr i pridruženi podžanr.

No najzanimljiviji aspekt za analizu pogodaka su audio značajke , podijeljene u različite kategorije: karakteristike raspoloženja (plesnost, energija, valencija, tempo), fizička svojstva (glasnoća, govornost, instrumentalnost), kontekst (akustika, živost) i glazbeni segmenti (tonalitet, modus). Svaka od ovih varijabli je pažljivo definirana i normalizirana.

Plesnoća se, na primjer, izražava kao vrijednost između 0 i 1 koja sažima koliko je lako plesati uz pjesmu , na temelju elemenata kao što su ritam, stabilnost tempa i snaga ritma. Energija također varira između 0 i 1 i pokušava uhvatiti zvuči li pjesma intenzivno, brzo i snažno, nasuprot nečemu mirnijem ili tišem.

Valentnost opisuje percipiranu emocionalnu „pozitivnost“ zvuka: niske vrijednosti odgovaraju tužnim, napetim ili tmurnim osjećajima, dok visoke vrijednosti odgovaraju veseloj, vedrom ili euforičnoj glazbi. Akustika mjeri vjerojatnost da je pjesma akustična, živost prisutnost žive publike u snimci, a govornost odražava udio izgovorenih riječi u miksu (vrlo visoka, na primjer u podcastima ili pjesmama s izgovorenom riječi).

Ostali važni parametri uključuju tempo u BPM-u , ukupno trajanje, tonalitet (kodiran kao cijeli broj), mod (durski ili molski) i popularnost pjesme. Popularnost je interna Spotify metrika u rasponu od 0 do 100 i ovisi o količini streamova i njihovoj nedavnosti . Pjesma koja je bila popularna prije mnogo godina, ali se sada rijetko pušta, s vremenom će vidjeti pad rezultata.

Kako pripremiti i očistiti skup podataka kako bi se mogli predvidjeti pogoci

Jedan korak koji se često zanemaruje kada se raspravlja o analizi posjeta Spotifyju je priprema skupa podataka . U ovoj studiji, podaci su prikupljeni pomoću R i RStudio, pozivajući Spotify API za različite kombinacije tržišta (Indija), žanrova i podžanrova odabranih prema njihovoj globalnoj i lokalnoj težini.

Prilikom kombiniranja pjesama s različitih tematskih popisa za reprodukciju, uobičajeno je da se mnoge pjesme ponavljaju jer se ista pjesma može pojaviti na različitim popisima. Budući da cilj nije bio analizirati samu strategiju popisa za reprodukciju, već karakteristike pjesama, duplicirane pjesme su uklonjene , čime je ukupna baza smanjena s 46 417 na približno 39 147 jedinstvenih pjesama.

Uklonjeni su stupci koji se nisu trebali koristiti kao objašnjavajuće varijable u modelima, kao što su izvođač, ID i naziv albuma te polja specifična za popis za reprodukciju. Istovremeno, nazivi polja su normalizirani , a tipovi podataka su prilagođeni: na primjer, popularnost, način rada, tonalitet i trajanje pretvoreni su u vrijednosti s pomičnim zarezom kako bi se olakšala statistička analiza.

Ključna odluka bila je transformirati popularnost u upravljiviju varijablu. Umjesto rada s kontinuiranom vrijednošću od 0 do 100, definiran je prag za odvajanje popularnih i nepopularnih pjesama . Uzimajući 85. percentil distribucije (oko popularnosti od 65), pjesme iznad te vrijednosti smatrane su „popularnima“, a ostale „nepopularnima“.

Na taj je način skup podataka podijeljen na gotovo 6.000 popularnih pjesama i oko 33 000 nepopularnih . Za istraživačku analizu čak je segmentiran u pet klasa popularnosti (vrlo visoka, visoka, srednja, niska i vrlo niska), s intervalima od 20 točaka, što je omogućilo usporedbu suptilnih trendova između razina uspjeha.

Osim toga, iz naslova pjesama generirana je nova varijabla: indikator sentimenta . Korištenjem biblioteke TextBlob u Pythonu, polaritet za svaki naslov (broj između -1 i 1) izračunat je i klasificiran kao pozitivan, negativan ili neutralan. Ova numerička vrijednost dodana je u okvir podataka kako bi se proučilo je li ton naslova povezan s njegovom popularnošću.

Istraživanje podataka: što razlikuje najpopularnije pjesme

Prije treniranja bilo kojeg modela strojnog učenja, bitno je posvetiti vrijeme vizualnom i statističkom istraživanju podataka . U slučaju ove studije analizirane su krivulje distribucije, prosjeci po skupini popularnosti i odnosi između emocija i uspjeha.

Jedan od upečatljivih nalaza odnosi se na valenciju najuspješnijih pjesama. Prilikom promatranja pjesama s ocjenom popularnosti iznad 90, uočeno je da veći broj njih ima vrijednost valencije ispod 0,5 ; to jest, zvučale su tužnije, više tmurno ili melankolično nego veselo. Nije se radilo o apsolutnoj dominaciji, ali o jasnom trendu.

Kada je prikazana raspodjela popularnosti po žanrovima, većina krivulja poprimila je približan oblik zvona , s mnogo pjesama oko srednje vrijednosti, a manje na ekstremima. Međutim, žanrovi poput rocka, R&B-a, EDM-a, world glazbe i indijske glazbe pokazali su određenu asimetriju zbog velikog broja pjesama s nultom popularnošću. Nasuprot tome, stilovi poput popa, rapa, latinoameričke glazbe i indijske glazbe djelovali su uravnoteženije i s manjom koncentracijom na nuli.

To sugerira da je u tim mainstream žanrovima općenito lakše postići određenu razinu popularnosti , čak i ako pjesme nemaju sve idealne karakteristike, dok je u drugim stilovima raspodjela uspjeha polariziranija.

Uspoređujući prosjeke različitih značajki prema klasi popularnosti, pojavio se vrlo jasan obrazac: najuspješnije pjesme obično imaju veću energiju i glasnoću (percipiranu glasnoću) , kao i više instrumentalizma i manje govora. Jednostavno rečeno, pjesme koje najbolje prolaze na streaming platformama obično su snažnije i više usmjerene na glazbu nego na izgovorene riječi.

Također je uočeno da popularne pjesme pokazuju nižu akustičnost i živost ; to jest, zvuče manje "akustično" i manje "uživo". Više su studijski producirane, uglađenije, s manje ambijentalne buke ili koncertnim osjećajem.

Još jedno ključno otkriće jest da su popularne pjesme obično kraće od nepopularnih . U kontekstu u kojem prihod ovisi o broju streamova, a algoritmi nagrađuju ponavljanje, logično je da kraće pjesme mogu brže akumulirati reprodukcije i postati prikladnije za popise za reprodukciju.

Što se tiče percipirane sreće (valencije), trend je neobičan: razine rastu od nižih klasa popularnosti do "više" klase, ali u najekstremnijoj kategoriji, "vrlo visokoj", dolazi do značajnog pada. Drugim riječima, superpopularne pjesme obično zvuče tužnije od onih koje su tek "uspješne" , što otvara vrata mnogim tumačenjima o javnom ukusu i socioemocionalnom kontekstu.

Statistička analiza: utjecaj žanrova i audio atributa

Nakon što su podaci istraženi, sljedeći korak bio je primjena formalnih statističkih testova kako bi se utvrdilo koje se varijable mogu smatrati relevantnima u objašnjenju popularnosti. Kako bi se proučilo utječe li spol na uspjeh, korištena je analiza varijance (ANOVA) s devet glavnih žanrova.

Rezultat ANOVA-e dao je vrlo visoku F-vrijednost i praktički nikakvu značajnost, što znači da postoje statistički značajne razlike u popularnosti između spolova . Međutim, to nije dovoljno: važno je znati i između kojih parova spolova te razlike postoje i hoće li varijabla biti korisna za prediktivni model.

S obzirom na to da varijance nisu bile homogene i da je broj pjesama po žanru varirao, korišten je Games-Howell post hoc test . Ova analiza nam je omogućila da utvrdimo koje kombinacije žanrova nisu pokazale značajne razlike u popularnosti, što je, općenito, učinilo manje preporučljivim korištenje žanra kao snažnog prediktora u modelima strojnog učenja.

Paralelno su provedeni neovisni t-testovi za svaku audio značajku, uspoređujući srednje vrijednosti između popularnih i nepopularnih skupina pjesama. Na razini značajnosti od 95%, gotovo sve varijable (plesnost, energija, glasnoća, akustika, živost, trajanje, tempo, valencija i instrumentalnost) pokazale su značajne razlike između dvije skupine.

Jedina očita iznimka bila je govorljivost . U prvom testu razlika u srednjim vrijednostima nije bila značajna, ali daljnja analiza otkrila je da su rasponi govorljivosti za vrlo popularne teme (s vrijednostima između 0,024 i 0,685) spadali unutar šireg raspona manje popularne klase (između 0 i 0,964). Ovo preklapanje nije spriječilo govorljivost, kada se učinkovito koristi, da doprinese informacijama modelu, pa je odlučeno da se zadrži kao prediktor.

Ukratko, blok audio značajki pokazao je jasnu deskriptivnu moć u pogledu popularnosti , dok je žanr tretiran opreznije i odbačen kao primarna varijabla u nekim pristupima predviđanja.

Izrada modela strojnog učenja za predviđanje pogodaka

Nakon što je skup podataka očišćen i relevantne varijable odabrane, bilo je vrijeme za stvaranje binarnih klasifikacijskih modela sposobnih predvidjeti pripada li pjesma među prvih 15% popularnosti. Da bi se to postiglo, kategoričke varijable key i mode prvo su pretvorene u lažne varijable pomoću Pandasove funkcije get_dummies.

Nakon uključivanja ovih lutki, izvorni stupci tonaliteta i moda, kao i kontinuirana popularnost, uklonjeni su, a binarno polje popularnosti (popularno vs. nepopularno) zadržano je kao ciljna varijabla. Prije treniranja modela, sve numeričke značajke standardizirane su pomoću StandardScalera, jer su djelovale na vrlo različitim skalama i bilo je važno da imaju usporedivu težinu.

Skup podataka je podijeljen na za obuku i testiranje pomoću funkcije train_test_split, rezervirajući 20% zapisa za testiranje . To je spriječilo curenje podataka i osiguralo da metrike performansi odražavaju stvarnu generalizabilnost modela, a ne samo njihovu sposobnost pamćenja podataka za obuku.

Prvi primijenjeni model bila je logistička regresija , tehnika koja se široko koristi u binarnoj klasifikaciji. Implementirana je iterativna verzija sa stopom učenja od 0,01 i 200 iteracija te evaluirana korištenjem unakrsne validacije. Prosječna točnost dosegla je približno 84,7%, što je izuzetno snažan rezultat za problem složen kao što je predviđanje glazbenog uspjeha.

Zatim je testiran algoritam K-najbližih susjeda (KNN) , koji klasificira svaku pjesmu prema njezinim k najbližim susjedima u prostoru značajki. Prilagođavanjem vrijednosti ky pomoću Grid Searcha za pronalaženje optimalne konfiguracije, dobivena je vrlo slična točnost, oko 84,8%, s blagim poboljšanjem rezultata unakrsne validacije u usporedbi s logističkom regresijom.

Sljedeći model bio je Support Vector Machine (SVM) , još jedna nadzirana tehnika sposobna za rukovanje linearnim i nelinearnim odnosima. Ponovno, putem podešavanja hiperparametara postignuta je točnost od oko 84,6%, s ekvivalentnim vrijednostima u unakrsnoj validaciji, što ukazuje na stabilne performanse.

Također je procijenjen naivni Bayesov klasifikator , temeljen na pretpostavci neovisnosti između značajki . Unatoč tome što je mnogo jednostavniji model u smislu pretpostavki, njegovi rezultati točnosti (približno 84,6%) bili su na razini SVM-a i vrlo blizu logističkoj regresiji i KNN-u, što pojačava ideju da se struktura problema dobro uklapa u ovu vrstu probabilističkog pristupa.

Konačno, testirani su modeli temeljeni na stablu odlučivanja. Klasifikator stabla odlučivanja postigao je znatno nižu točnost, oko 75,4%, a unakrsna validacija potvrdila je ovaj pad performansi, vjerojatno zbog problema s prekomjernim prilagođavanjem. Klasifikator slučajne šume , koji kombinira mnoga stabla kako bi ublažio te učinke, značajno se poboljšao, postižući točnost od oko 84,1% i preko 84% u unakrsnoj validaciji.

Za dovršetak analize, generirana je matrica konfuzije i izvješće o klasifikaciji za Slučajnu šumu. Model je pokazao izvrsnu sposobnost identificiranja nepopularnih pjesama (većinska klasa), s točnošću od 0,85 i prisjećanjem blizu 0,99, dok je njegova izvedba u klasi popularnih pjesama (manjinska klasa) bila skromnija, s točnošću od 0,40 i prisjećanjem od 0,05. To naglašava klasičan izazov neravnoteže klasa u ovoj vrsti problema.

Važnost varijabli: što je najvažnije pri stvaranju pogotka

Osim što znamo koji je model najtočniji, ključno je razumjeti koje značajke zaista pružaju korisne informacije pri predviđanju hoće li pjesma biti popularna. U tu svrhu korišten je XGBoost (XGBClassifier) ​​​​za dobivanje varijabilnih ocjena važnosti, na temelju doprinosa svake značajke smanjenju pogrešaka u stablima odlučivanja.

Rezultati su pokazali da se duljina pjesme jasno isticala od ostalih , s F ocjenom znatno iznad 400. Ovo otkriće u skladu je s idejom da kraće pjesme potiču ponovljeno slušanje i stoga akumuliraju više reprodukcija u kraćem vremenu, nešto što Spotifyjev algoritam preporuka obično nagrađuje.

Na suprotnom kraju spektra, varijable poput tonaliteta, načina ili sentimenta izvučenog iz samog naslova dobile su ocjene važnosti ispod 50, što sugerira da je njihov doprinos ukupnoj prediktivnoj moći modela bio minimalan. To ne znači da uopće nemaju učinka, već da je, u usporedbi s drugim značajkama, njihova težina puno manja.

Preostali audio atributi (poput energije, plesnosti, valencije, glasnoće, akustičnosti, živosti, govornosti i instrumentalnosti) nalazili su se unutar srednjeg raspona, s F-ocjenama između 200 i 300, što ukazuje na to da tvore prilično uravnotežen informacijski blok . Nijedan od njih ne dominira u potpunosti, ali zajedno pomažu u izgradnji prilično točne slike o šansama pjesme za uspjeh.

Sveukupno, modeli temeljeni na audio značajkama mogli su s točnošću od oko 84-85% predvidjeti hoće li pjesma biti među 15% najpopularnijih , što daje određenu empirijsku podršku staroj intuiciji "znanosti o hit pjesmama": s dobrim podacima i odgovarajućim tehnikama, glazbeni uspjeh nije potpuno slučajan, iako još uvijek postoji značajna nepredvidiva komponenta.

Slika koju prikazuje ova analiza pokazuje da nam kombiniranje Spotify podataka, tradicionalne statistike i modela strojnog učenja omogućuje da idemo daleko dalje od pukog brojanja streamova. Razumijevanje utjecaja trajanja, energije, valencije i instrumentalnosti, zajedno s ulogom uredničkih popisa za reprodukciju i dinamike preporuka platforme, pruža umjetnicima, izdavačkim kućama i analitičarima vrlo konkretan plan za tumačenje zašto određene pjesme postaju hitovi i kako mogu maksimizirati svoje šanse da se pridruže toj odabranoj skupini bez potpunog gubitka ljudskog i kreativnog elementa koji, srećom, ostaje nesvodiv na bilo koju formulu.