Spotify-hitanalyse: data, algoritmer og videnskaben bag musikalsk succes

Informatic Digital » Recursos » Spotify-hitanalyse: data, algoritmer og videnskaben bag musikalsk succes

Spotify er blevet det perfekte laboratorium til at studere, hvad der gør en sang til et hitVi har afspilningsdata i realtid, avancerede målinger for kunstnere og millioner af lyttere, der træffer beslutninger hvert sekund. Spotify er langt fra bare en lytteplatform, men har forvandlet sig til en kæmpe... database hvor mønstre, følelser, genrer og playlistestrategier kan analyseres for at forstå, hvorfor nogle sange tager fart, og andre synker i glemmebogen.

I de senere år har værktøjer, akademisk forskning og maskinlæringsmodeller dedikeret til Spotify-hitanalyseFra at studere redaktionelle hitlister som Today's Top Hits eller Rap Caviar, til at udvikle algoritmer, der er i stand til at forudsige, om et nummer vil tilhøre den mest populære gruppe i kataloget. Samtidig har Spotify for Artists demokratiseret adgangen til disse målinger, hvilket giver enhver kunstner mulighed for at se, hvem der lytter til dem, hvor og hvordan de bliver opdaget, og justere deres kreative og marketingstrategi i overensstemmelse hermed.

Hvad er Spotify hitanalyse præcist, og hvorfor er det vigtigt?

Når vi taler om Spotify-hitanalyse Vi taler ikke kun om at se på, hvor mange gange en sang er blevet spillet. Det er en bredere tilgang, der kombinerer lyd, kontekst og brugeradfærd for at besvare et ubehageligt, men afgørende spørgsmål: Kan man forudsige en sangs succes, før den udgives? Ved hjælp af data fra Spotifys API arbejder forskere med variabler som popularitet, energi, valens, varighed, tempo og dansbarhed for at forsøge at komme tættere på det svar.

Denne tilgang er forankret i den såkaldte "videnskab om hitsange"Denne idé, som blev populariseret af Mike McCready i starten af ​​2000'erne, involverer brugen af ​​algoritmer og matematiske modeller til at forudsige, hvilke sange der vil klare sig godt på hitlister og i radio. Mens tidlige studier konkluderede, at dette var meget vanskeligt (og at modellerne ikke var præcise nok), har landskabet ændret sig fuldstændigt med fremkomsten af ​​streaming, den massive stigning i datamængden og forfinelsen af ​​maskinlæringsteknikker.

I dag tilbyder Spotify en API med adgang til titusindvis af numre med sin musikalske og kontekstuelle egenskaberFra toneart og modus til sandsynligheden for, at et nummer er akustisk eller instrumentalt, inklusive målinger, der er specifikt designet til at beskrive, hvordan sangen opfattes (energi, valens, dansbarhed osv.). Alt dette giver os mulighed for at bevæge os fra subjektive meninger til langt mere præcise kvantitative analyser.

Parallelt med dette værktøj Spotify for kunstnere Det hjælper skabere med at undgå at fare vild i forfængelighedsmålinger og fokusere på det, der virkelig betyder noget: langsigtet publikumsudvikling, engagement, fastholdelse og hvordan marketingindsatser påvirker skabelsen af ​​ægte fans. Med andre ord, tal, ja, men med kontekst og strategisk intention.

Officielle playlister og strategi: Vægten af ​​redaktionelle lister

En af de vigtigste brikker i enhver seriøs analyse af hits på Spotify er rollen af officielle redaktionelle playlisterHitlister som Discover Weekly, Release Radar, Today's Top Hits, New Music Friday, Rap Caviar, Mint eller ¡Viva Latino! fungerer som massive forstærkere: at komme på en af ​​dem kan fuldstændig ændre en sangs eller endda en karrieres bane.

Tredjepartsværktøjer som Soundcharts giver dig mulighed for at se hvordan en kunstner opfører sig i disse playlisterAntal optrædener, opholdsvarighed, markeder hvor de har størst indflydelse osv. Denne type analyse gør det klart, at tilstedeværelse på redaktionelle lister ikke er en pryd, men en central del af vækststrategien på platformen.

Der er visse tilbagevendende kriterier i opbygningen af ​​kvalitetsplaylister. For eksempel værdsættes det, at der er en række kunstnere i stedet for at gentage de samme navne igen og igenLister, hvor den samme kunstner optræder for mange gange, har en tendens til at få dårligere seertal, fordi de reducerer lytterens følelse af opdagelse.

Leder også efter en sammenhængende kønsbalanceNår en playliste blander for mange stilarter uden en klar retning, erfaring Det bliver fragmenteret, og vurderingen falder. De bedst opfattede lister har en tendens til at fokusere på en eller et par veldefinerede genrer, hvilket hjælper brugeren med et hurtigt overblik over, hvad de kan forvente, når de trykker på afspil.

Et andet nøgleaspekt er en blanding af velkendte og nye temaerPlaylister, der kun indeholder store hits, er fine, men de tilbyder ikke meget i vejen for opdagelse. I modsætning hertil har playlister, der kombinerer etablerede sange med mindre kendte perler, en tendens til at generere større engagement og hjælpe med at skabe nye hits.

Endelig er der en vis enighed om, at en god playliste bør have mindst omkring 50 numre for at tilbyde en komplet oplevelseHitlister med færre end 10 sange opfattes ofte som dårlige og får lavere scorer, hvilket også påvirker præstationen af ​​de numre, de inkluderer.

En kort historie om Spotify og oprindelsen af ​​deres analyser

Før Spotify kunne udføre avanceret hitanalyse, måtte platformen selv finde sin plads i musikbranchen. Ideen, udtænkt af medstifter Daniel Ek, opstod efter Napsters kollaps i 2002. Han ønskede at skabe en tjeneste, der var "bedre end piratkopiering, men som også betalte branchen."På det tidspunkt kørte Ek uTorrent, en af ​​de største P2P-download- og delingsklienter, så han havde førstehåndskendskab til uautoriseret distribution.

Efter at have solgt uTorrent til BitTorrent i slutningen af ​​2006, fokuserede Ek udelukkende på at opbygge Spotify. Applikationen blev officielt lanceret i 2008 i Sverige, efter at have nået licens- og aktieaftaler med store musikselskaberSony Music Entertainment, Universal Music Group og Warner Music Group. Et år senere ekspanderede det til Storbritannien og landede i USA i 2011.

I den indledende periode voksede den betalende abonnentbase fra omkring 1 million i Europa til ca. 4 millioner globalt i 2012I 2016 annoncerede Spotify allerede 40 millioner betalende brugere og omkring 100 millioner brugere i alt, hvilket konsoliderede streaming som den dominerende form for musikforbrug på verdensplan.

Samtidig begyndte dataværktøjer til kunstnere at dukke op. Først var FanindsigtDenne løsning gav nogle teams begrænset adgang til streamingdata: demografi, geografi og grundlæggende tendenser. I 2017 udviklede denne løsning sig til Spotify for Artists, hvilket åbnede døren for alle kunstnere til at se deres vigtigste målinger og bruge dataene til at træffe beslutninger om turnéer, udgivelser og promovering.

I 2018 blev virksomheden børsnoteret med en markedsværdi på ca. 30.000 millionSiden da er antallet af markeder, hvor virksomheden opererer, fortsat vokset, og med det er vigtigheden af ​​analyser på platformen vokset. Det, der startede som en licenseret medieafspiller, er blevet en global infrastruktur, hvor data er i højsædet.

Spotify-målinger: Sådan måler du en sang ud over streams

For at bygge modeller for hitforudsigelse er det først nødvendigt at forstå, hvilken type data leveret af Spotify API'enI en undersøgelse med fokus på det indiske marked blev der for eksempel udtrukket mere end 46.000 sangplader fra playlister genereret af Spotify, der dækkede en bred vifte af genrer og undergenrer.

Informationen er organiseret i flere sektioner. På sporniveau finder vi data som f.eks. identifikator, titel, kunstner, popularitet, udgivelsesdato og varighed i millisekunderPå albumniveau gemmes ID og navn. På afspilningslisteniveau vises navn, ID, genre og tilhørende undergenre.

Men det mest interessante ved hitanalyse er lydfunktioneropdelt i forskellige kategorier: "stemnings"-karakteristika (dansbarhed, energi, valens, tempo), fysiske egenskaber (lydstyrke, talegenskaber, instrumentalitet), kontekst (akustik, livlighed) og musikalske segmenter (toneart, modus). Hver af disse variabler er omhyggeligt defineret og normaliseret.

Dansbarhed udtrykkes for eksempel som en værdi mellem 0 og 1, der opsummerer hvor nemt er det at danse til en sangBaseret på elementer som rytme, tempostabilitet og beatstyrke, varierer energien også fra 0 til 1 i et forsøg på at indfange, om nummeret lyder intenst, hurtigt og kraftfuldt, versus noget roligere eller blødere.

Valencia beskriver opfattet følelsesmæssig "positivitet" I lyd svarer lave værdier til triste, anspændte eller dystre følelser, mens høje værdier passer til munter, lys eller euforisk musik. Akustik måler sandsynligheden for, at et nummer er akustisk, livlighed måler tilstedeværelsen af ​​et live publikum i optagelsen, og talegengivelse afspejler andelen af ​​talte ord i mixet (meget høj, for eksempel i podcasts eller spoken word-numre).

Andre vigtige parametre er tempo i BPMden samlede varighed, tonearten (kodet som et heltal), modus (dur eller mol) og nummerets popularitet. Sidstnævnte er en intern Spotify-måling, der går fra 0 til 100. Det afhænger både af mængden af ​​streams og hvor nylige de erEn sang, der var stor for år tilbage, men som næsten ikke spilles længere, vil opleve faldende ratings over tid.

Sådan forbereder og renser du datasættet for at kunne forudsige hits

Et trin, der ofte overses, når man diskuterer Spotify-hitanalyse, er forberedelse af datasætI den foreliggende undersøgelse blev dataene indsamlet ved hjælp af R og RStudio, hvor Spotify API blev kaldt for forskellige kombinationer af marked (Indien), genrer og undergenrer udvalgt i henhold til deres globale og lokale vægt.

Når man kombinerer sange fra forskellige temabaserede playlister, er det almindeligt, at mange numre gentages, fordi den samme sang kan forekomme på forskellige lister. Da målet ikke var at analysere selve playlistestrategien, men snarere sangenes karakteristika, var det De fjernede de dublerede sporhvilket reducerer den samlede base fra 46.417 til cirka 39.147 unikke sange.

Kolonner, der ikke skulle bruges som forklarende variabler i modellerne, såsom kunstner, album-ID og -navn samt afspilningslistespecifikke felter, blev fjernet. Samtidig De standardiserede feltnavnene og datatyperne blev justeret: for eksempel blev popularitet, tilstand, nøgle og varighed konverteret til flydende numeriske værdier for at lette statistisk behandling.

En central beslutning var at omdanne popularitet til en mere håndterbar variabel. I stedet for at arbejde med en kontinuerlig værdi fra 0 til 100, en Tærskelværdi for adskillelse af populære og upopulære sangeMed den 85. percentil af fordelingen (omkring en popularitet på 65) blev numre over denne værdi betragtet som "populære", og resten som "ikke-populære".

På denne måde blev datasættet opdelt i næsten 6.000 populære sange og omkring 33.000 ikke-populæreTil den eksplorative analyse blev dataene endda segmenteret i fem popularitetsklasser (meget høj, høj, medium, lav og meget lav) med intervaller på 20 point, hvilket muliggjorde sammenligning af fine tendenser mellem succesniveauer.

Derudover blev der genereret en ny variabel ud fra sangtitlerne: a stemningsindikatorVed hjælp af TextBlob-biblioteket i Python blev polariteten af ​​hver titel (et tal mellem -1 og 1) beregnet og klassificeret som positiv, negativ eller neutral. Denne numeriske værdi blev tilføjet til dataframen for at undersøge, om titlens tone er knyttet til dens popularitet.

Dataudforskning: Hvad kendetegner de mest populære sange

Før man træner en maskinlæringsmodel, er det vigtigt at afsætte tid til visuel og statistisk udforskning af dataeneI dette studies tilfælde blev fordelingskurver, gennemsnit pr. popularitetsgruppe og sammenhænge mellem følelser og succes analyseret.

Et af de slående fund vedrører populariteten af ​​de mest succesfulde sange. Når man ser på numre med en popularitetsvurdering over 90, blev det observeret, at Et større antal af dem var under værdien 0,5 i ValenciaMed andre ord lød de mere triste, dystre eller melankolske end muntre. Det var ikke en absolut dominans, men det var en klar tendens.

Da popularitetsfordelingen efter køn blev plottet, antog de fleste kurver en omtrentlig klokkeformmed mange numre omkring gennemsnittet og færre i yderpunkterne. Genrer som rock, R&B, EDM, world og indisk musik udviste dog en vis asymmetri på grund af et stort antal numre med nul popularitet. I modsætning hertil fremstod stilarter som pop, rap, latin og desi mere afbalancerede og med mindre koncentration af numre med nul rating.

Dette tyder på, at det i de mere mainstream genrer generelt er, lettere at nå et vist niveau af popularitetselvom sangene ikke har alle de ideelle karakteristika, mens fordelingen af ​​succes i andre stilarter er mere polariseret.

Når man sammenlignede gennemsnittene af de forskellige funktioner efter popularitetsklasse, viste der sig et meget tydeligt mønster: de mest succesfulde emner har en tendens til at have større energi og større lydstyrke (opfattet lydstyrke)samt mere instrumentalisme og mindre talegengivelse. Kort sagt, sange, der klarer sig bedst på streaming, har en tendens til at være mere kraftfulde og mere fokuserede på musik end på talte ord.

Det blev også observeret, at populære numre indeholder lavere akustik og lavere livlighedMed andre ord lyder de mindre "akustiske" og mindre "live". De er mere studieproducerede, mere polerede, med mindre ambient støj eller koncertfornemmelse.

En anden vigtig konklusion er, at populære sange har en tendens til at være kortere end de upopulæreI en kontekst hvor indtægterne afhænger af antallet af streams, og algoritmer belønner gentagelse, giver det mening, at kortere numre kan akkumulere afspilninger hurtigere og blive mere "venlige" til playlister.

Hvad angår opfattet lykke (valens), er tendensen besynderlig: niveauet stiger fra de lavere popularitetsklasser til den "øvre" klasse, men i den mest ekstreme kategori, den "meget høje", er der et markant fald. Med andre ord, Superpopulære sange har en tendens til at lyde mere triste end blot "succesfulde" sange.Dette åbner døren for mange fortolkninger af den offentlige smag og den socio-følelsesmæssige kontekst.

Statistisk analyse: genrers og lydattributters indflydelse

Når dataene var blevet undersøgt, var næste skridt at anvende dem formelle statistiske tests for at se hvilke variabler, der kunne betragtes som relevante i forklaringen af ​​popularitet. For at undersøge, om køn påvirkede succes, blev der anvendt en variansanalyse (ANOVA) med ni hovedgenrer.

ANOVA-resultatet gav en meget høj F-værdi og praktisk talt nul signifikans, hvilket betyder, at Der er statistisk signifikante forskelle i popularitet mellem genrerDet er dog ikke nok: det er også vigtigt at vide, mellem hvilke kønspar disse forskelle forekommer, og om variablen vil være nyttig til en prædiktiv model.

Da varianserne ikke var homogene, og antallet af sange pr. genre varierede, blev følgende anvendt: Games-Howell post-hoc testDenne analyse gjorde det muligt at verificere, hvilke kønskombinationer der ikke viste signifikante forskelle i popularitet, hvilket samlet set gjorde det mindre tilrådeligt at bruge køn som en stærk prædiktor i maskinlæringsmodeller.

Parallelt blev følgende udført uafhængige t-tests For hver lydfunktion blev middelværdierne sammenlignet mellem gruppen af ​​populære sange og gruppen af ​​ikke-populære sange. Med et signifikansniveau på 95% blev det fundet, at næsten alle variabler (dansbarhed, energi, lydstyrke, akustik, livlighed, varighed, tempo, valens og instrumentalitet) viste signifikante forskelle mellem de to grupper.

Den eneste åbenlyse undtagelse var talefærdighedI den første test var forskellen i gennemsnit ikke signifikant, men yderligere analyse viste, at talefærdighedsintervallerne for de meget populære emner (med værdier mellem 0,024 og 0,685) faldt inden for det bredere interval af den mindre populære klasse (mellem 0 og 0,964). Denne overlapning forhindrede ikke talefærdighed, når den blev brugt effektivt, i at bidrage med information til modellen, så det blev besluttet at beholde den som en prædiktor.

Kort sagt demonstrerede lydfunktionsblokken en klar beskrivende kraft vedrørende popularitet, mens køn blev håndteret mere forsigtigt og blev udelukket som en primær variabel i nogle forudsigelsesmetoder.

Opbygning af maskinlæringsmodeller til at forudsige hits

Med det rene datasæt og de relevante variabler valgt, var det tid til at oprette binære klassifikationsmodeller i stand til at forudsige, om en sang tilhører de 15% mest populære. For at gøre dette blev de kategoriske variabler key og mode først konverteret til dummy-variabler ved hjælp af Pandas' get_dummies-funktion.

Efter at disse dummies blev inkorporeret, blev de oprindelige kolonner for nøgle og tilstand, samt fortsat popularitet, fjernet, og målvariablen blev bibeholdt. binært felt af popularitet (populær vs. ikke populær). Før modellerne blev trænet, blev alle numeriske funktioner standardiseret med StandardScaler, da de arbejdede på meget forskellige skalaer, og det var vigtigt, at de havde en sammenlignelig vægt.

Datasættet blev opdelt i træning og test ved hjælp af train_test_split-funktionen, hvor 20% af tilmeldingerne til testPå denne måde blev informationslækager undgået, og det blev sikret, at præstationsmålingerne afspejlede modellernes faktiske generaliserbarhed, og ikke blot deres evne til at huske træningsdata.

Den første anvendte model var Logistisk regressionDenne teknik er meget anvendt i binær klassificering. En iterativ version med en læringsrate på 0,01 og 200 iterationer blev implementeret og evalueret ved hjælp af krydsvalidering. Den gennemsnitlige nøjagtighed nåede cirka 84,7%, et bemærkelsesværdigt stærkt resultat for et problem så komplekst som at forudsige musikalsk succes.

Derefter blev algoritmen testet K-Nearest Neighbours (KNN)hvilket klassificerer hver sang i henhold til de k nærmeste naboer i funktionsrummet. Justering af værdien af ​​ky ved hjælp af Grid Search for at finde den optimale konfiguration gav en meget lignende nøjagtighed, omkring 84,8%, med en lille forbedring i krydsvalideringsscoren sammenlignet med logistisk regression.

Den næste model var Support Vector Machine (SVM)En anden overvåget teknik, der var i stand til at håndtere både lineære og ikke-lineære sammenhænge, ​​blev anvendt. Igen blev der gennem hyperparametertilpasning opnået nøjagtigheder på omkring 84,6%, med ækvivalente værdier i krydsvalidering, hvilket indikerer stabil ydeevne.

Følgende blev også evalueret: Naiv Bayes-klassifikatorBaseret på hypotesen om uafhængighed mellem funktioner. Selvom det er en meget enklere model med hensyn til antagelser, var dens nøjagtighedsresultater (ca. 84,6%) på niveau med SVM og meget tæt på logistisk regression og KNN, hvilket forstærker ideen om, at problemstrukturen egner sig godt til denne type probabilistisk tilgang.

Endelig blev modeller baseret på beslutningstræer testet. Decision Tree Classifier Den opnåede en betydeligt lavere nøjagtighed, omkring 75,4%, og krydsvalidering bekræftede dette fald i ydeevne, sandsynligvis på grund af problemer med overtilpasning. Tilfældig skovklassificering, som kombinerer mange træer for at udjævne disse effekter, forbedredes betydeligt og opnåede en nøjagtighed på omkring 84,1 % og over 84 % i krydsvalidering.

For at fuldføre analysen, en forvirringsmatrix og en klassifikationsrapport for Random Forest. Modellen viste en fremragende evne til at identificere ikke-populære sange (majoritetsklasse) med en nøjagtighed på 0,85 og en recall tæt på 0,99, mens dens præstation i den populære sangklasse (minoritet) var mere beskeden med en nøjagtighed på 0,40 og en recall på 0,05. Dette fremhæver den klassiske udfordring med klasseubalance i denne type problem.

Variablers betydning: hvad vejer mest, når man skaber et hit

Udover at vide hvilken model der er mest præcis, er det vigtigt at forstå hvilke funktioner giver rent faktisk nyttige oplysninger når man skal forudsige, om en sang vil være populær. Til dette formål blev XGBoost (XGBClassifier) ​​brugt til at opnå variable vigtighedsscorer baseret på bidraget fra hver funktion til fejlreduktion i beslutningstræerne.

Resultaterne viste, at Sangens længde skilte sig tydeligt ud fra mængdenmed en F-score et godt stykke over 400. Dette fund stemmer overens med ideen om, at kortere numre tilskynder til gentagen lytning og derfor akkumulerer flere afspilninger på kortere tid, noget som Spotifys anbefalingsalgoritme har en tendens til at belønne.

I den modsatte ende er variabler som tonearten, modusen eller følelse taget fra titlen De opnåede vigtighedsscorer under 50, hvilket tyder på, at deres bidrag til modellens samlede prædiktive kraft var lille. Dette betyder ikke, at de slet ikke har nogen effekt, men snarere at deres vægt er meget mindre sammenlignet med andre funktioner.

De resterende lydattributter (såsom energi, dansbarhed, valens, loudness, akustik, livlighed, talegenskaber og instrumentalitet) lå i et mellemliggende interval med F-scores mellem 200 og 300, hvilket indikerer, at De danner en ret afbalanceret informationsblokIngen af ​​dem dominerer fuldstændigt, men alle sammen er de med til at opbygge et ret præcist billede af en sangs chancer for succes.

Alt i alt var modellerne baseret på lydfunktioner i stand til at forudsige med omkring en succesrate på 84-85%, hvis en ledetråd ville være en del af de mest populære 15%Dette giver en vis empirisk støtte til den gamle intuition om "hitsangvidenskab": med gode data og passende teknikker er musikalsk succes ikke udelukkende tilfældig, selvom der stadig er en betydelig uforudsigelig komponent.

Det billede, der tegnes af denne analyse, viser, at kombinationen af ​​Spotify-data, traditionel statistik og maskinlæringsmodeller giver os mulighed for at gå langt ud over blot at tælle streams. Forståelsen af ​​virkningen af ​​varighed, energi, valens og instrumentalitet, sammen med rollen af ​​redaktionelle playlister og platformens anbefalingsdynamik, giver kunstnere, pladeselskaber og analytikere en meget konkret køreplan for at fortolke, hvorfor bestemte sange bliver hits, og hvordan de kan maksimere deres chancer for at slutte sig til denne udvalgte gruppe uden fuldstændigt at miste det menneskelige og kreative element, som heldigvis forbliver uundgåeligt for nogen formel.