Spotify-hitanalyse: data, algoritmer og videnskaben bag musikalsk succes

Informatic Digital » Recursos » Spotify-hitanalyse: data, algoritmer og videnskaben bag musikalsk succes

Spotify er blevet det perfekte laboratorium til at studere, hvad der gør en sang til et hit : vi har afspilningsdata i realtid, avancerede målinger for kunstnere og millioner af lyttere, der træffer beslutninger hvert sekund. Spotify er langt fra blot en lytteplatform, men har forvandlet sig til en massiv database , hvor mønstre, følelser, genrer og playlistestrategier kan analyseres for at forstå, hvorfor nogle sange bliver populære, og andre forsvinder.

I de senere år er der dukket værktøjer, akademisk forskning og maskinlæringsmodeller dedikeret til Spotify-hitanalyse op : lige fra at studere redaktionelle hitlister som Today's Top Hits eller Rap Caviar til at udvikle algoritmer, der er i stand til at forudsige, om et nummer vil tilhøre den mest populære gruppe i kataloget. Samtidig har Spotify for Artists demokratiseret adgangen til disse målinger, hvilket giver enhver kunstner mulighed for at se, hvem der lytter til dem, hvor og hvordan de bliver opdaget, og justere deres kreative og marketingstrategi i overensstemmelse hermed.

Hvad er Spotify hitanalyse præcist, og hvorfor er det vigtigt?

Når vi taler om Spotify-hitanalyse, refererer vi ikke kun til, hvor mange gange en sang er blevet spillet. Det er en bredere tilgang, der kombinerer lyd, kontekst og brugeradfærd for at besvare et ubehageligt, men afgørende spørgsmål: Kan man forudsige en sangs succes, før den udgives? Ved hjælp af data fra Spotifys API arbejder forskere med variabler som popularitet, energi, valens, varighed, tempo og dansbarhed for at forsøge at komme tættere på det svar.

Denne tilgang har sine rødder i den såkaldte "hitsangvidenskab ", en idé populariseret af Mike McCready i begyndelsen af ​​2000'erne: brug af algoritmer og matematiske modeller til at forudsige, hvilke sange der ville klare sig godt på hitlister og i radioen. Selvom tidlige studier konkluderede, at det var meget vanskeligt (og at modellerne ikke var præcise nok), har landskabet ændret sig fuldstændigt med fremkomsten af ​​streaming, den massive stigning i datamængden og forfinelsen af ​​maskinlæringsteknikker.

I dag tilbyder Spotify en API med adgang til titusindvis af numre og deres musikalske og kontekstuelle egenskaber : fra toneart og modus til sandsynligheden for, at et nummer er akustisk eller instrumentalt, inklusive målinger, der er specifikt designet til at beskrive, hvordan sangen opfattes (energi, valens, dansbarhed osv.). Alt dette giver mulighed for et skift fra subjektive meninger til langt mere præcis kvantitativ analyse.

I mellemtiden hjælper Spotify for Artists -værktøjet skabere med at undgå at fare vild i forfængelighedsmålinger og fokusere på det, der virkelig betyder noget: langsigtet publikumsudvikling, engagement, fastholdelse og hvordan marketingindsatsen påvirker skabelsen af ​​ægte fans. Med andre ord, tal, ja, men med kontekst og strategisk intention.

Officielle playlister og strategi: Vægten af ​​redaktionelle lister

Et af de vigtigste elementer i enhver seriøs analyse af hits på Spotify er rollen af ​​officielle redaktionelle playlister . Lister som Discover Weekly, Release Radar, Today's Top Hits, New Music Friday, Rap Caviar, Mint eller ¡Viva Latino! fungerer som massive forstærkere: at spille på en af ​​dem kan fuldstændig ændre en sangs eller endda en kunstners karrieres bane.

Tredjepartsværktøjer som Soundcharts giver dig mulighed for at se, hvordan en kunstner klarer sig på disse playlister : antal optrædener, opholdsvarighed, markeder hvor de har størst indflydelse osv. Denne type analyse gør det klart, at tilstedeværelse på redaktionelle hitlister ikke kun er for syns skyld, men en central del af en vækststrategi på platformen.

Der er visse tilbagevendende kriterier, når man skal bygge playlister af høj kvalitet. For eksempel værdsættes en variation af kunstnere frem for at gentage de samme navne igen og igen . Playlister, hvor den samme kunstner optræder for mange gange, har en tendens til at få lavere vurderinger, fordi de reducerer lytterens følelse af at være på opdagelse.

Der søges også en sammenhængende balance af genrer . Når en playliste blander for mange stilarter uden en klar retning, bliver oplevelsen fragmenteret, og vurderingen falder. De bedst præsterende playlister har en tendens til at fokusere på en eller et par veldefinerede genrer, hvilket hjælper brugeren med et hurtigt overblik over, hvad de kan forvente, når de trykker på afspil.

Et andet vigtigt aspekt er blandingen af ​​velkendte numre og nye . Playlister, der kun indeholder massive hits, er fine, men de tilbyder ikke meget i vejen for opdagelse. I modsætning hertil har playlister, der kombinerer etablerede sange med mindre kendte perler, en tendens til at generere større engagement og hjælpe med at skabe nye hits.

Endelig er der generel enighed om, at en god playliste bør have mindst 50 numre for at tilbyde en komplet oplevelse . Playlister med færre end 10 sange opfattes ofte som dårlige og får lavere scorer, hvilket også påvirker præstationen af ​​de numre, de indeholder.

En kort historie om Spotify og oprindelsen af ​​deres analyser

Før Spotify kunne udføre avanceret hitanalyse, måtte platformen selv finde sin plads i musikbranchen. Ideen, udtænkt af medstifter Daniel Ek, opstod efter Napsters kollaps i 2002: Han ville skabe en tjeneste, der var "bedre end piratkopiering, men som også betalte branchen ." På det tidspunkt drev Ek uTorrent, en af ​​de førende P2P-download- og delingsklienter, så han havde førstehåndskendskab til uautoriseret distribution.

Efter at have solgt uTorrent til BitTorrent i slutningen af ​​2006, fokuserede Ek udelukkende på at opbygge Spotify. Applikationen blev officielt lanceret i 2008 i Sverige, efter at der var indgået licens- og aktieaftaler med store pladeselskaber : Sony Music Entertainment, Universal Music Group og Warner Music Group. Et år senere ekspanderede den til Storbritannien, og i 2011 blev den lanceret i USA.

I den indledende periode voksede antallet af betalende abonnenter fra omkring 1 million i Europa til næsten 4 millioner globalt i 2012. I 2016 annoncerede Spotify allerede 40 millioner betalende brugere og omkring 100 millioner brugere i alt, hvilket konsoliderede streaming som den dominerende form for musikforbrug på verdensplan.

Samtidig begyndte dataværktøjer til kunstnere at dukke op. Først kom Fan Insights , som tilbød nogle teams begrænset adgang til streamingdata: demografi, geografi og grundlæggende tendenser. I 2017 udviklede denne løsning sig til Spotify for Artists, hvilket åbnede døren for alle kunstnere til at se deres vigtigste målinger og bruge dataene til at træffe beslutninger om turnéer, udgivelser og promovering.

I 2018 blev virksomheden børsnoteret med en markedsværdi på næsten 30.000 milliarder dollars . Siden da er antallet af markeder, den opererer på, fortsat med at vokse, sammen med vigtigheden af ​​analyser på platformen. Det, der startede som en licenseret medieafspiller, er blevet en global infrastruktur, hvor data hersker.

Spotify-målinger: Sådan måler du en sang ud over streams

For at bygge hitforudsigelsesmodeller er det først nødvendigt at forstå, hvilken slags data Spotify API tilbyder . I en undersøgelse fokuseret på det indiske marked blev der for eksempel udtrukket mere end 46.000 sangregistreringer fra Spotify-genererede playlister, der dækkede en bred vifte af genrer og undergenrer.

Informationen er organiseret i flere blokke. På nummerniveau finder vi data såsom identifikator, titel, kunstner, popularitet, udgivelsesdato og varighed i millisekunder . På albumniveau gemmes ID og navn. På afspilningslisteniveau vises navn, ID, genre og tilhørende undergenre.

Men det mest interessante aspekt for hitanalyse er de lydmæssige funktioner , opdelt i forskellige kategorier: stemningskarakteristika (dansbarhed, energi, valens, tempo), fysiske egenskaber (lydstyrke, talegenskaber, instrumentalitet), kontekst (akustik, livlighed) og musikalske segmenter (toneart, modus). Hver af disse variabler er omhyggeligt defineret og normaliseret.

Dansbarhed udtrykkes for eksempel som en værdi mellem 0 og 1, der opsummerer, hvor let det er at danse til en sang , baseret på elementer som rytme, tempostabilitet og taktstyrke. Energi varierer også mellem 0 og 1 og forsøger at indfange, om nummeret lyder intenst, hurtigt og kraftfuldt versus noget roligere eller blødere.

Valens beskriver den opfattede følelsesmæssige "positivitet" i lyden: lave værdier svarer til triste, anspændte eller dystre følelser, mens høje værdier matcher munter, lys eller euforisk musik. Akustik måler sandsynligheden for, at et nummer er akustisk, livlighed måler tilstedeværelsen af ​​et live publikum i optagelsen, og talegengivelse afspejler andelen af ​​talte ord i mixet (meget høj, for eksempel i podcasts eller spoken word-numre).

Andre vigtige parametre inkluderer tempo i BPM , samlet varighed, toneart (kodet som et heltal), modus (dur eller mol) og nummerets popularitet. Popularitet er en intern Spotify-måling, der spænder fra 0 til 100 og afhænger af både mængden af ​​streams og deres aktualitet . En sang, der var stor for år siden, men nu sjældent spilles, vil se sin score falde over tid.

Sådan forbereder og renser du datasættet for at kunne forudsige hits

Et trin, der ofte overses, når man diskuterer Spotify-hitanalyse, er forberedelsen af ​​datasættet . I denne undersøgelse blev dataene indsamlet ved hjælp af R og RStudio, hvor Spotify API blev kaldt for forskellige kombinationer af marked (Indien), genrer og undergenrer udvalgt i henhold til deres globale og lokale vægt.

Når man kombinerer sange fra forskellige temabaserede playlister, er det almindeligt, at mange numre gentages, fordi den samme sang kan forekomme på forskellige lister. Da målet ikke var at analysere selve playlistestrategien, men snarere sangenes karakteristika, blev dubletter fjernet , hvilket reducerede det samlede antal sange fra 46.417 til cirka 39.147 unikke sange.

Kolonner, der ikke skulle bruges som forklarende variabler i modellerne, såsom kunstner, album-ID og -navn samt afspilningslistespecifikke felter, blev fjernet. Samtidig blev feltnavne normaliseret , og datatyper blev justeret: for eksempel blev popularitet, tilstand, nøgle og varighed konverteret til flydende værdier for at lette statistisk analyse.

En central beslutning var at omdanne popularitet til en mere håndterbar variabel. I stedet for at arbejde med en kontinuerlig værdi fra 0 til 100, blev der defineret en tærskelværdi for at adskille populære og upopulære sange . Ved at tage den 85. percentil af fordelingen (omkring en popularitet på 65), blev numre over denne værdi betragtet som "populære", og resten som "upopulære".

På denne måde blev datasættet opdelt i næsten 6.000 populære sange og omkring 33.000 upopulære . Til den udforskende analyse blev det endda segmenteret i fem popularitetsklasser (meget høj, høj, mellem, lav og meget lav) med intervaller på 20 point, hvilket muliggjorde sammenligning af subtile tendenser mellem succesniveauer.

Derudover blev en ny variabel genereret ud fra sangtitlerne: en sentimentindikator . Ved hjælp af TextBlob-biblioteket i Python blev polariteten for hver titel (et tal mellem -1 og 1) beregnet og klassificeret som positiv, negativ eller neutral. Denne numeriske værdi blev tilføjet til dataframen for at undersøge, om titlens tone er knyttet til dens popularitet.

Dataudforskning: Hvad kendetegner de mest populære sange

Før man træner en maskinlæringsmodel, er det vigtigt at afsætte tid til visuel og statistisk udforskning af dataene . I dette studies tilfælde blev fordelingskurver, gennemsnit pr. popularitetsgruppe og forholdet mellem følelser og succes analyseret.

Et af de slående fund vedrører valensen af ​​de mest succesfulde sange. Når man ser på numre med en popularitetsscore over 90, blev det observeret, at et større antal af dem havde en valensværdi under 0,5 ; det vil sige, de lød mere triste, dystre eller melankolske end muntre. Det var ikke en absolut dominans, men det var en klar tendens.

Da fordelingen af ​​popularitet efter genre blev plottet, antog de fleste kurver en omtrentlig klokkeform , med mange numre omkring middelværdien og færre i yderpunkterne. Genrer som rock, R&B, EDM, world og indisk musik udviste dog en vis asymmetri på grund af et stort antal numre med nul popularitet. I modsætning hertil fremstod stilarter som pop, rap, latin og desi mere afbalancerede og med mindre koncentration ved nul.

Dette tyder på, at det i de mere mainstream genrer generelt er lettere at opnå et vist niveau af popularitet , selvom sangene ikke har alle de ideelle karakteristika, mens fordelingen af ​​succes i andre stilarter er mere polariseret.

Når man sammenlignede gennemsnittene af de forskellige funktioner efter popularitetsklasse, viste det sig et meget tydeligt mønster: de mest succesfulde numre har en tendens til at have større energi og lydstyrke (opfattet lydstyrke) , samt mere instrumentalisme og mindre talegengivelse. Kort sagt er sange, der klarer sig bedst på streamingplatforme, normalt mere kraftfulde og mere fokuserede på musik end på talte ord.

Det blev også observeret, at populære numre udviser lavere akustiskhed og livlighed ; det vil sige, at de lyder mindre "akustiske" og mindre "live". De er mere studieproducerede, mere polerede, med mindre omgivende støj eller en koncertlignende fornemmelse.

En anden vigtig opdagelse er, at populære sange har en tendens til at være kortere end upopulære . I en kontekst, hvor indtægterne afhænger af antallet af streams, og algoritmer belønner gentagelse, giver det mening, at kortere numre kan akkumulere afspilninger hurtigere og blive mere playlistevenlige.

Hvad angår opfattet lykke (valens), er tendensen besynderlig: niveauet stiger fra de lavere popularitetsklasser til den "øvre" klasse, men i den mest ekstreme kategori, den "meget høje", er der et markant fald. Med andre ord har superpopulære sange en tendens til at lyde mere triste end blot "succesfulde" , hvilket åbner døren for mange fortolkninger af den offentlige smag og den socio-følelsesmæssige kontekst.

Statistisk analyse: genrers og lydattributters indflydelse

Når dataene var blevet undersøgt, var næste skridt at anvende formelle statistiske tests for at se, hvilke variabler der kunne betragtes som relevante til at forklare popularitet. For at undersøge, om køn påvirkede succes, blev der anvendt en variansanalyse (ANOVA) med ni hovedgenrer.

ANOVA-resultatet gav en meget høj F-værdi og stort set ingen signifikans, hvilket betyder, at der er statistisk signifikante forskelle i popularitet mellem kønnene . Det er dog ikke nok: det er også vigtigt at vide, hvilke kønspar disse forskelle eksisterer mellem, og om variablen vil være nyttig til en prædiktiv model.

Da varianserne ikke var homogene, og antallet af sange pr. genre varierede, blev Games-Howell post hoc-testen anvendt . Denne analyse gjorde det muligt for os at bestemme, hvilke genrekombinationer der ikke viste signifikante forskelle i popularitet, hvilket samlet set gjorde det mindre tilrådeligt at bruge genre som en stærk prædiktor i maskinlæringsmodeller.

Parallelt blev der udført uafhængige t-tests for hver lydfunktion, hvor gennemsnittet mellem de populære og ikke-populære sanggrupper blev sammenlignet. Ved et signifikansniveau på 95 % viste næsten alle variabler (dansbarhed, energi, lydstyrke, akustik, livlighed, varighed, tempo, valens og instrumentalitet) signifikante forskelle mellem de to grupper.

Den eneste åbenlyse undtagelse var talefærdighed . I den første test var forskellen i gennemsnit ikke signifikant, men yderligere analyse viste, at talefærdighedsintervallerne for meget populære emner (med værdier mellem 0,024 og 0,685) faldt inden for det bredere interval af den mindre populære klasse (mellem 0 og 0,964). Denne overlapning forhindrede ikke talefærdighed, når den blev brugt effektivt, i at bidrage med information til modellen, så det blev besluttet at beholde den som en prædiktor.

Sammenfattende udviste lydfunktionsblokken klar beskrivende styrke med hensyn til popularitet , mens genre blev håndteret mere forsigtigt og blev kasseret som en primær variabel i nogle forudsigelsesmetoder.

Opbygning af maskinlæringsmodeller til at forudsige hits

Efter at datasættet var renset og de relevante variabler var udvalgt, var det tid til at oprette binære klassifikationsmodeller, der kunne forudsige, om en sang tilhører de 15% mest populære. For at gøre dette blev de kategoriske variabler key og mode først konverteret til dummy-variabler ved hjælp af Pandas' get_dummies-funktion.

Efter at disse dummies var blevet inkorporeret, blev de oprindelige tonalitets- og tilstandskolonner samt kontinuerlig popularitet fjernet, og det binære popularitetsfelt (populær vs. ikke-populær) blev bibeholdt som målvariabel. Før modellerne blev trænet, blev alle numeriske funktioner standardiseret ved hjælp af StandardScaler, da de opererede på meget forskellige skalaer, og det var vigtigt, at de havde sammenlignelig vægt.

Datasættet blev opdelt i træning og test ved hjælp af funktionen train_test_split, hvor 20% af posterne blev reserveret til test . Dette forhindrede datalækager og sikrede, at performance-målinger afspejlede modellernes faktiske generaliserbarhed, ikke kun deres evne til at huske træningsdata.

Den første anvendte model var Logistisk Regression , en teknik, der er meget anvendt i binær klassificering. En iterativ version med en læringsrate på 0,01 og 200 iterationer blev implementeret og evalueret ved hjælp af krydsvalidering. Den gennemsnitlige nøjagtighed nåede cirka 84,7%, et bemærkelsesværdigt stærkt resultat for et problem så komplekst som at forudsige musikalsk succes.

Dernæst blev K-Nearest Neighbors (KNN) algoritmen testet , som klassificerer hver sang i henhold til dens k nærmeste naboer i feature-rummet. Ved at justere værdien af ​​ky ved hjælp af Grid Search for at finde den optimale konfiguration blev der opnået en meget lignende nøjagtighed, omkring 84,8%, med en lille forbedring i krydsvalideringsscoren sammenlignet med logistisk regression.

Den næste model var Support Vector Machine (SVM) , en anden overvåget teknik, der er i stand til at håndtere både lineære og ikke-lineære relationer. Igen blev der gennem hyperparameterjustering opnået nøjagtigheder på omkring 84,6%, med tilsvarende værdier i krydsvalidering, hvilket indikerer stabil ydeevne.

Naive Bayes-klassifikatoren , baseret på antagelsen om uafhængighed mellem funktioner, blev også evalueret . Selvom den er en meget enklere model med hensyn til antagelser, var dens nøjagtighedsresultater (ca. 84,6%) på niveau med SVM og meget tæt på logistisk regression og KNN, hvilket forstærker ideen om, at problemstrukturen egner sig godt til denne type probabilistisk tilgang.

Endelig blev beslutningstræbaserede modeller testet. Beslutningstræklassifikatoren opnåede en signifikant lavere nøjagtighed, omkring 75,4%, og krydsvalidering bekræftede dette fald i ydeevne, sandsynligvis på grund af problemer med overtilpasning. Random Forest Classifier , som kombinerer mange træer for at udjævne disse effekter, forbedredes betydeligt og opnåede en nøjagtighed på omkring 84,1% og over 84% i krydsvalidering.

For at fuldføre analysen blev der genereret en forvirringsmatrix og en klassifikationsrapport for Random Forest. Modellen viste fremragende evne til at identificere ikke-populære sange (majoritetsklasse) med en nøjagtighed på 0,85 og en recall tæt på 0,99, mens dens præstation i den populære sangklasse (minoritetsklasse) var mere beskeden med en nøjagtighed på 0,40 og en recall på 0,05. Dette fremhæver den klassiske udfordring med klasseubalance i denne type problem.

Variablers betydning: hvad vejer mest, når man skaber et hit

Udover at vide, hvilken model der er mest præcis, er det afgørende at forstå, hvilke funktioner der virkelig giver nyttige oplysninger, når man skal forudsige, om en sang vil være populær. Til dette formål blev XGBoost (XGBClassifier) ​​brugt til at opnå variable vigtighedsscorer baseret på hver funktions bidrag til at reducere fejl i beslutningstræerne.

Resultaterne viste, at sangens længde tydeligt skilte sig ud fra mængden , med en F-score et godt stykke over 400. Dette fund stemmer overens med ideen om, at kortere numre tilskynder til gentagen lytning og derfor akkumulerer flere afspilninger på kortere tid, noget som Spotifys anbefalingsalgoritme har en tendens til at belønne.

I den modsatte ende af spektret fik variabler som nøglen, tilstanden eller den holdning, der blev udtrukket fra selve titlen, vigtighedsscorer under 50, hvilket tyder på, at deres bidrag til modellens samlede prædiktive kraft var minimalt. Dette betyder ikke, at de slet ikke har nogen effekt, men snarere at deres vægt er meget mindre sammenlignet med andre funktioner.

De resterende lydattributter (såsom energi, danseevne, valens, lydstyrke, akustik, livlighed, talegenskaber og instrumentalitet) lå inden for et mellemliggende interval med F-scorer mellem 200 og 300, hvilket indikerer, at de danner en ret afbalanceret informationsblok . Ingen af ​​dem dominerer fuldstændigt, men sammen bidrager de til at opbygge et ret præcist billede af en sangs chancer for succes.

Alt i alt var modellerne baseret på lydfunktioner i stand til med en nøjagtighed på omkring 84-85 % at forudsige, om et nummer ville være blandt de 15 % mest populære , hvilket giver en vis empirisk støtte til den gamle intuition om "hitsangvidenskab": med gode data og passende teknikker er musikalsk succes ikke rent tilfældig, selvom der stadig er en betydelig uforudsigelig komponent.

Det billede, der tegnes af denne analyse, viser, at kombinationen af ​​Spotify-data, traditionel statistik og maskinlæringsmodeller giver os mulighed for at gå langt ud over blot at tælle streams. Forståelsen af ​​virkningen af ​​varighed, energi, valens og instrumentalitet, sammen med rollen af ​​redaktionelle playlister og platformens anbefalingsdynamik, giver kunstnere, pladeselskaber og analytikere en meget konkret køreplan for at fortolke, hvorfor bestemte sange bliver hits, og hvordan de kan maksimere deres chancer for at slutte sig til denne udvalgte gruppe uden fuldstændigt at miste det menneskelige og kreative element, som heldigvis forbliver uundgåeligt for nogen formel.