Spotify-hitanalyse: data, algoritmer og vitenskapen bak musikalsk suksess

Informatec Digital » Ressurser » Spotify-hitanalyse: data, algoritmer og vitenskapen bak musikalsk suksess

Spotify har blitt det perfekte laboratoriet for å studere hva som gjør en sang til en hitVi har avspillingsdata i sanntid, avanserte målinger for artister og millioner av lyttere som tar avgjørelser hvert sekund. Spotify har forvandlet seg til en enorm plattform, langt fra å bare være en lytteplattform. database der mønstre, følelser, sjangre og spillelistestrategier kan analyseres for å forstå hvorfor noen sanger tar av og andre synker i glemmeboken.

I de senere årene har verktøy, akademisk forskning og maskinlæringsmodeller dedikert til Spotify-treffanalyseFra å studere redaksjonelle hitlister som «Today's Top Hits» eller «Rap Caviar», til å bygge algoritmer som er i stand til å forutsi om en låt vil tilhøre den mest populære gruppen i katalogen. Samtidig har Spotify for Artists demokratisert tilgangen til disse målingene, slik at enhver artist kan se hvem som lytter til dem, hvor og hvordan de blir oppdaget, og justere sin kreative og markedsføringsstrategi deretter.

Hva er egentlig Spotify-treffanalyse, og hvorfor er det viktig?

Når vi snakker om Spotify-treffanalyse Vi snakker ikke bare om å se på hvor mange ganger en sang har blitt spilt. Det er en bredere tilnærming som kombinerer lyd, kontekst og brukeratferd for å svare på et ubehagelig, men avgjørende spørsmål: kan du forutsi en sangs suksess før den slippes? Ved å bruke data fra Spotifys API jobber forskere med variabler som popularitet, energi, valens, varighet, tempo og dansbarhet for å prøve å komme nærmere det svaret.

Denne tilnærmingen er forankret i den såkalte «vitenskap om hitlåter»Denne ideen, som ble popularisert av Mike McCready tidlig på 2000-tallet, innebærer å bruke algoritmer og matematiske modeller for å forutsi hvilke sanger som vil prestere bra på hitlister og radio. Selv om tidlige studier konkluderte med at dette var svært vanskelig (og at modellene ikke var nøyaktige nok), har landskapet endret seg fullstendig med fremveksten av strømming, den massive økningen i datavolum og forbedringen av maskinlæringsteknikker.

I dag tilbyr Spotify et API med tilgang til titusenvis av spor med sin musikalske og kontekstuelle egenskaperFra toneart og modus, til sannsynligheten for at et spor er akustisk eller instrumental, inkludert målinger spesielt utviklet for å beskrive hvordan sangen oppfattes (energi, valens, dansbarhet osv.). Alt dette lar oss gå fra subjektive meninger til mye mer presise kvantitative analyser.

Parallelt med verktøyet Spotify for artister Det hjelper innholdsskapere med å unngå å gå seg vill i forfengelighetsmålinger og fokusere på det som virkelig betyr noe: langsiktig publikumsutvikling, engasjement, retensjon og hvordan markedsføringstiltak påvirker etableringen av ekte fans. Med andre ord, tall, ja, men med kontekst og strategisk intensjon.

Offisielle spillelister og strategi: vekten av redaksjonelle lister

En av de viktigste brikkene i enhver seriøs analyse av hits på Spotify er rollen til offisielle redaksjonelle spillelisterLister som Discover Weekly, Release Radar, Today's Top Hits, New Music Friday, Rap Caviar, Mint eller ¡Viva Latino! fungerer som enorme forsterkere: å komme seg inn på en av dem kan fullstendig endre utviklingen til en sang eller til og med en karriere.

Tredjepartsverktøy som Soundcharts lar deg se hvordan en artist oppfører seg i disse spillelisteneAntall opptredener, oppholdstid, markeder der de har størst innvirkning, osv. Denne typen analyse gjør det klart at tilstedeværelse i redaksjonelle lister ikke er en pryd, men en nøkkelkomponent i vekststrategien på plattformen.

Det finnes visse tilbakevendende kriterier i konstruksjonen av spillelister av høy kvalitet. For eksempel verdsettes det at det finnes en rekke artister i stedet for å gjenta de samme navnene om og om igjenLister der den samme artisten dukker opp for mange ganger har en tendens til å få dårligere seertall, fordi de reduserer lytterens følelse av oppdagelse.

Ser også etter en sammenhengende kjønnsbalanseNår en spilleliste blander for mange stiler uten en klar retning, erfaring Det blir fragmentert og vurderingen faller. De best oppfattede listene har en tendens til å fokusere på én eller noen få veldefinerte sjangre, noe som hjelper brukeren å forstå med et øyeblikk hva de kan forvente når de trykker på spill av.

Et annet nøkkelaspekt er en blanding av kjente og nye temaerSpillelister som bare inneholder store hits er greit nok, men de gir lite mulighet til å oppdage nye låter. I motsetning til dette har spillelister som kombinerer etablerte sanger med mindre kjente perler en tendens til å generere større engasjement og bidra til å skape nye hits.

Til slutt er det en viss enighet om at en god spilleliste bør ha minst rundt 50 spor for å tilby en komplett opplevelseLister med færre enn 10 sanger blir ofte oppfattet som dårlige og får lavere poengsum, noe som også påvirker fremføringen av sporene de inkluderer.

En kort historie om Spotify og opprinnelsen til analysene deres

Før Spotify kunne utføre avansert treffanalyse, måtte selve plattformen finne sin plass i musikkbransjen. Ideen, unnfanget av medgründer Daniel Ek, oppsto etter Napsters kollaps i 2002. Han ønsket å lage en tjeneste som var «bedre enn piratkopiering, men som også betalte industrien».På den tiden kjørte Ek uTorrent, en av de største P2P-nedlastings- og delingsklientene, så han hadde førstehåndskunnskap om uautorisert distribusjon.

Etter å ha solgt uTorrent til BitTorrent sent i 2006, fokuserte Ek utelukkende på å bygge Spotify. Applikasjonen ble offisielt lansert i 2008 i Sverige, etter å ha nådd Lisens- og aksjeavtaler med store musikkselskaperSony Music Entertainment, Universal Music Group og Warner Music Group. Et år senere ekspanderte det til Storbritannia, og i 2011 landet det i USA.

I den første perioden vokste den betalende abonnentbasen fra rundt 1 million i Europa til omtrent 4 millioner globalt i 2012I 2016 annonserte Spotify allerede 40 millioner betalende brukere og rundt 100 millioner brukere totalt, noe som konsoliderte strømming som den dominerende formen for musikkkonsum over hele verden.

Samtidig begynte dataverktøy for kunstnere å dukke opp. Først var FaninnsiktDenne løsningen ga noen team begrenset tilgang til strømmedata: demografi, geografi og grunnleggende trender. I 2017 utviklet denne løsningen seg til Spotify for Artists, noe som åpnet døren for at alle artister kunne se sine viktigste målinger og bruke dataene til å ta avgjørelser om turnéer, utgivelser og promotering.

I 2018 ble selskapet børsnotert med en markedsverdi på omtrent 30.000 millionerSiden den gang har antallet markeder der det opererer fortsatt å vokse, og med det har viktigheten av analyser i plattformen blitt større. Det som startet som en lisensiert mediespiller har blitt en global infrastruktur der data regjerer suverent.

Spotify-målinger: hvordan måle en sang utover strømming

For å bygge treffprediksjonsmodeller er det først nødvendig å forstå hvilken type data levert av Spotify APII en studie fokusert på det indiske markedet ble for eksempel mer enn 46 000 sanginnspillinger hentet ut fra spillelister generert av Spotify, som dekker et bredt spekter av sjangre og undersjangre.

Informasjonen er organisert i flere seksjoner. På banenivå finner vi data som identifikator, tittel, artist, popularitet, utgivelsesdato og varighet i millisekunderPå albumnivå lagres ID og navn. På spillelistenivå vises navn, ID, sjanger og tilhørende undersjanger.

Men det mest interessante for treffanalyse er lydfunksjonerdelt inn i ulike kategorier: «stemnings»-karakteristikker (dansbarhet, energi, valens, tempo), fysiske egenskaper (lydstyrke, taleferdighet, instrumentalitet), kontekst (akustikk, livlighet) og musikalske segmenter (toneart, modus). Hver av disse variablene er nøye definert og normalisert.

Dansbarhet, for eksempel, uttrykkes som en verdi mellom 0 og 1 som oppsummerer Hvor lett er det å danse til en sangBasert på elementer som rytme, tempostabilitet og taktstyrke, varierer energien også fra 0 til 1, i et forsøk på å fange opp om sporet høres intenst, raskt og kraftfullt ut, kontra noe roligere eller mykere.

Valencia beskriver opplevd emosjonell «positivitet» I lyd tilsvarer lave verdier triste, anspente eller dystre følelser, mens høye verdier passer til munter, lys eller euforisk musikk. Akustikk måler sannsynligheten for at et spor er akustisk, livlighet måler tilstedeværelsen av et live publikum i opptaket, og talegjenspeiler andelen talte ord i miksen (svært høy, for eksempel i podkaster eller talte ord-spor).

Andre viktige parametere er tempo i BPMden totale varigheten, tonearten (kodet som et heltall), modusen (dur eller moll) og sporets popularitet. Sistnevnte er en intern Spotify-måling som går fra 0 til 100. Det avhenger både av volumet av strømminger og hvor nylige de erEn sang som var stor for mange år siden, men som knapt spilles lenger, vil se at rangeringen faller over tid.

Hvordan klargjøre og rense datasettet for å kunne forutsi treff

Et trinn som ofte overses når man diskuterer Spotify-hitanalyse er forberedelse av datasettI den aktuelle studien ble dataene samlet inn ved hjelp av R og RStudio, som kalte Spotify API for ulike kombinasjoner av marked (India), sjangere og undersjangere valgt ut i henhold til deres globale og lokale vekt.

Når man kombinerer sanger fra ulike temabaserte spillelister, er det vanlig at mange spor gjentas, fordi den samme sangen kan vises i forskjellige lister. Siden målet ikke var å analysere selve spillelistestrategien, men snarere sangenes egenskaper, var det De fjernet duplikatsporenenoe som reduserer den totale basen fra 46 417 til omtrent 39 147 unike sanger.

Kolonner som ikke skulle brukes som forklarende variabler i modellene, som artist, album-ID og -navn, og spillelistespesifikke felt, ble fjernet. Samtidig, De standardiserte feltnavnene og datatypene ble justert: for eksempel ble popularitet, modus, nøkkel og varighet konvertert til flyttallverdier for å forenkle statistisk behandling.

En viktig beslutning var å omdanne popularitet til en mer håndterbar variabel. I stedet for å jobbe med en kontinuerlig verdi fra 0 til 100, en terskel for å skille populære og upopulære sangerMed den 85. persentilen av fordelingen (rundt en popularitet på 65) i betraktning ble spor over denne verdien ansett som «populære» og resten som «ikke populære».

På denne måten ble datasettet delt inn i nesten 6.000 populære sanger og omtrent 33 000 ikke-populæreFor den utforskende analysen ble dataene til og med segmentert i fem popularitetsklasser (svært høy, høy, middels, lav og svært lav), med intervaller på 20 poeng, noe som tillot sammenligning av fine trender mellom suksessnivåer.

I tillegg ble det generert en ny variabel fra sangtitlene: a sentimentindikatorVed hjelp av TextBlob-biblioteket i Python ble polariteten til hver tittel (et tall mellom -1 og 1) beregnet og klassifisert som positiv, negativ eller nøytral. Denne numeriske verdien ble lagt til datarammen for å studere om tonen i tittelen er knyttet til dens popularitet.

Datautforskning: hva som skiller de mest populære sangene

Før man trener opp en maskinlæringsmodell, er det viktig å sette av tid til visuell og statistisk utforskning av dataeneI denne studien ble fordelingskurver, gjennomsnitt per popularitetsgruppe og sammenhenger mellom følelser og suksess analysert.

Et av de slående funnene er knyttet til populariteten til de mest suksessrike sangene. Når man ser på spor med en popularitetsvurdering over 90, ble det observert at Et større antall av dem var under verdien på 0,5 i ValenciaMed andre ord hørtes de tristere, mer dystre eller melankolske ut enn muntre. Det var ikke en absolutt dominans, men det var en klar tendens.

Da fordelingen av popularitet etter kjønn ble plottet, antok de fleste kurvene en omtrentlig klokkeformmed mange spor rundt gjennomsnittet og færre i ytterpunktene. Sjangere som rock, R&B, EDM, verdensmusikk og indisk musikk viste imidlertid en viss asymmetri på grunn av et stort antall spor med null popularitet. I motsetning til dette virket stiler som pop, rap, latin og desi mer balanserte og med mindre konsentrasjon av spor med null aldersgrense.

Dette tyder på at i de mer vanlige sjangrene er det generelt sett lettere å nå et visst nivå av popularitetselv om sangene ikke har alle de ideelle egenskapene, mens i andre stiler er fordelingen av suksess mer polarisert.

Da man sammenlignet gjennomsnittene av de ulike funksjonene etter popularitetsklasse, viste det seg et veldig tydelig mønster: de mest vellykkede emnene har en tendens til å ha større energi og større lydstyrke (oppfattet volum)samt mer instrumentalisme og mindre tale. Enkelt sagt, sanger som presterer best på strømming har en tendens til å være kraftigere og mer fokusert på musikk enn på talte ord.

Det ble også observert at populære låter inneholder lavere akustikk og lavere livlighetMed andre ord, de høres mindre «akustiske» og mindre «live» ut. De er mer studioproduserte, mer polerte, med mindre bakgrunnsstøy eller konsertfølelse.

Et annet viktig funn er at populære sanger pleier å være kortere enn de upopulæreI en kontekst der inntektene avhenger av antall strømmer og algoritmer belønner repetisjon, er det fornuftig at kortere spor kan akkumulere avspillinger raskere og bli mer «vennlige» for spillelister.

Når det gjelder opplevd lykke (valens), er trenden merkelig: nivåene stiger fra de lavere popularitetsklassene til den «øvre» klassen, men i den mest ekstreme kategorien, den «svært høye», er det et markant fall. Med andre ord, Superpopulære sanger har en tendens til å høres tristere ut enn bare "suksessfulle" sanger.Dette åpner døren for mange tolkninger av offentlig smak og den sosioemosjonelle konteksten.

Statistisk analyse: innvirkning av sjangre og lydattributter

Når dataene var undersøkt, var neste steg å anvende dem formelle statistiske tester for å se hvilke variabler som kunne anses som relevante for å forklare popularitet. For å studere om kjønn påvirket suksess, ble en variansanalyse (ANOVA) brukt med ni hovedsjangere.

ANOVA-resultatet ga en svært høy F-verdi og praktisk talt null signifikans, noe som betyr at Det er statistisk signifikante forskjeller i popularitet mellom sjangreDet er imidlertid ikke nok: det er også viktig å vite mellom hvilke kjønnspar disse forskjellene forekommer, og om variabelen vil være nyttig for en prediktiv modell.

Siden variansene ikke var homogene og antallet sanger per sjanger varierte, ble følgende brukt: Games-Howell post-hoc-testDenne analysen gjorde det mulig å verifisere hvilke kjønnskombinasjoner som ikke viste signifikante forskjeller i popularitet, noe som totalt sett gjorde det mindre tilrådelig å bruke kjønn som en sterk prediktor i maskinlæringsmodeller.

Parallelt ble følgende utført uavhengige t-tester For hver lydfunksjon ble gjennomsnittene sammenlignet mellom gruppen av populære sanger og gruppen av ikke-populære sanger. Med et signifikansnivå på 95 % ble det funnet at nesten alle variabler (dansbarhet, energi, lydstyrke, akustikk, livlighet, varighet, tempo, valens og instrumentalitet) viste signifikante forskjeller mellom de to gruppene.

Det eneste åpenbare unntaket var taleferdighetI den første testen var forskjellen i gjennomsnitt ikke signifikant, men videre analyse viste at taleferdighetsområdene for de svært populære temaene (med verdier mellom 0,024 og 0,685) falt innenfor det bredere spekteret av den mindre populære klassen (mellom 0 og 0,964). Denne overlappingen hindret ikke taleferdighet, når den ble brukt effektivt, i å bidra med informasjon til modellen, så det ble besluttet å beholde den som en prediktor.

Oppsummert demonstrerte lydfunksjonsblokken en klar beskrivende kraft angående popularitet, mens kjønn ble håndtert mer forsiktig og ble utelukket som en primær variabel i noen prediksjonsmetoder.

Bygge maskinlæringsmodeller for å forutsi treff

Med det rene datasettet og de relevante variablene valgt, var det på tide å opprette binære klassifiseringsmodeller i stand til å forutsi om en sang tilhører de 15 % mest populære. For å gjøre dette ble de kategoriske variablene key og mode først konvertert til dummyvariabler ved hjelp av Pandas' get_dummies-funksjon.

Etter å ha innlemmet disse dummiene, ble de opprinnelige kolonnene for nøkkel og modus, samt fortsatt popularitet, fjernet, og målvariabelen ble beholdt. binært felt av popularitet (populær vs. ikke populær). Før modellene ble trent, ble alle numeriske funksjoner standardisert med StandardScaler, siden de fungerte på svært forskjellige skalaer og det var viktig at de hadde en sammenlignbar vekt.

Datasettet ble delt inn i trening og test ved hjelp av train_test_split-funksjonen, med reservasjon av 20 % av registreringene for testingPå denne måten unngikk man informasjonslekkasjer og sikret at ytelsesmålingene reflekterte modellenes faktiske generaliserbarhet, og ikke bare deres evne til å memorere treningsdata.

Den første modellen som ble brukt var Logistisk regresjonDenne teknikken er mye brukt i binær klassifisering. En iterativ versjon med en læringsrate på 0,01 og 200 iterasjoner ble implementert og evaluert ved hjelp av kryssvalidering. Den gjennomsnittlige nøyaktigheten nådde omtrent 84,7 %, et bemerkelsesverdig sterkt resultat for et så komplekst problem som å forutsi musikalsk suksess.

Deretter ble algoritmen testet K-Nærmeste Naboer (KNN)som klassifiserer hver sang i henhold til de k nærmeste naboene i funksjonsrommet. Justering av verdien av ky ved hjelp av Grid Search for å finne den optimale konfigurasjonen ga svært lik nøyaktighet, rundt 84,8 %, med en liten forbedring i kryssvalideringsskåren sammenlignet med logistisk regresjon.

Den neste modellen var Støttevektormaskin (SVM)En annen overvåket teknikk som var i stand til å håndtere både lineære og ikke-lineære sammenhenger ble brukt. Igjen, gjennom hyperparametertilpasning, ble det oppnådd nøyaktigheter på rundt 84,6 %, med tilsvarende verdier i kryssvalidering, noe som indikerer stabil ytelse.

Følgende ble også evaluert: Naiv Bayes klassifisererBasert på hypotesen om uavhengighet mellom funksjoner. Til tross for at det er en mye enklere modell når det gjelder antagelser, var nøyaktighetsresultatene (omtrent 84,6 %) på nivå med SVM og svært nær logistisk regresjon og KNN, noe som forsterker ideen om at problemstrukturen egner seg godt til denne typen probabilistisk tilnærming.

Til slutt ble modeller basert på beslutningstrær testet. Beslutningstreklassifikator Den oppnådde en betydelig lavere nøyaktighet, rundt 75,4 %, og kryssvalidering bekreftet denne ytelsesnedgangen, sannsynligvis på grunn av problemer med overtilpasning. Tilfeldig skogklassifisering, som kombinerer mange trær for å jevne ut disse effektene, forbedret seg betydelig, og oppnådde en nøyaktighet på rundt 84,1 % og over 84 % i kryssvalidering.

For å fullføre analysen, en forvirringsmatrise og en klassifiseringsrapport for Random Forest. Modellen viste en utmerket evne til å identifisere ikke-populære sanger (majoritetsklasse), med en nøyaktighet på 0,85 og en gjenkjenning nær 0,99, mens ytelsen i populærsangklassen (minoritet) var mer beskjeden, med en nøyaktighet på 0,40 og en gjenkjenning på 0,05. Dette fremhever den klassiske utfordringen med klasseubalanse i denne typen problemer.

Viktigheten av variabler: hva som veier mest når man skaper et treff

Utover å vite hvilken modell som er mest nøyaktig, er det viktig å forstå hvilke funksjoner gir faktisk nyttig informasjon når man skal forutsi om en sang vil bli populær. For dette formålet ble XGBoost (XGBClassifier) ​​brukt til å innhente variable viktighetspoeng, basert på bidraget fra hver funksjon til feilreduksjon i beslutningstrærne.

Resultatene viste at Sangens lengde skilte seg tydelig ut fra restenmed en F-score godt over 400. Dette funnet stemmer overens med ideen om at kortere spor oppmuntrer til gjentatt lytting og derfor samler flere avspillinger på kortere tid, noe Spotifys anbefalingsalgoritme har en tendens til å belønne.

I motsatt ytterpunkt, variabler som toneart, modus eller følelsen hentet fra tittelen De oppnådde viktighetspoeng under 50, noe som tyder på at bidraget deres til modellens samlede prediktive kraft var lite. Dette betyr ikke at de ikke har noen effekt i det hele tatt, men snarere at vekten deres er mye mindre sammenlignet med andre funksjoner.

De resterende lydattributtene (som energi, dansbarhet, valens, lydstyrke, akustikk, livlighet, taleferdighet og instrumentalitet) lå i et mellomliggende område med F-score mellom 200 og 300, noe som indikerer at De danner en ganske balansert informasjonsblokkIngen av dem dominerer fullstendig, men alle sammen bidrar de til å bygge et ganske nøyaktig bilde av en sangs sjanser for suksess.

Alt i alt kunne modellene basert på lydfunksjoner forutsi med rundt en suksessrate på 84–85 % hvis en ledetråd ville være en del av de 15 % mest populæreDette gir en viss empirisk støtte til den gamle intuisjonen om «hitlåtvitenskap»: med gode data og passende teknikker er musikalsk suksess ikke utelukkende tilfeldig, selv om det fortsatt er en betydelig uforutsigbar komponent.

Bildet som tegnes av denne analysen viser at det å kombinere Spotify-data, tradisjonell statistikk og maskinlæringsmodeller lar oss gå langt utover bare å telle strømmer. Å forstå virkningen av varighet, energi, valens og instrumentalitet, sammen med rollen til redaksjonelle spillelister og plattformens anbefalingsdynamikk, gir artister, plateselskaper og analytikere en svært konkret plan for å tolke hvorfor visse sanger blir hits og hvordan de kan maksimere sjansene sine for å bli med i den utvalgte gruppen uten å miste det menneskelige og kreative elementet som heldigvis forblir uforanderlig til noen formel.