Spotify-hitanalys: data, algoritmer och vetenskapen bakom musikalisk framgång

Informatec Digital » Resurser » Spotify-hitanalys: data, algoritmer och vetenskapen bakom musikalisk framgång

Spotify har blivit det perfekta laboratoriet för att studera vad som gör en låt till en hitVi har uppspelningsdata i realtid, avancerad mätvärden för artister och miljontals lyssnare som fattar beslut varje sekund. Spotify har förvandlats från att bara vara en lyssningsplattform till en enorm databas där mönster, känslor, genrer och spellistestrategier kan analyseras för att förstå varför vissa låtar tar fart och andra sjunker i glömska.

Under senare år har verktyg, akademisk forskning och maskininlärningsmodeller tillägnad Spotify-träffanalysFrån att studera redaktionella listor som Today's Top Hits eller Rap Caviar, till att bygga algoritmer som kan förutsäga om en låt kommer att tillhöra den mest populära gruppen i katalogen. Samtidigt har Spotify for Artists demokratiserat åtkomsten till dessa mätvärden, vilket gör det möjligt för alla artister att se vem som lyssnar på dem, var och hur de upptäcks, och anpassa sin kreativa och marknadsföringsstrategi därefter.

Vad exakt är Spotifys hitanalys och varför är det viktigt?

När vi pratar om Spotify-träffanalys Vi pratar inte bara om att titta på hur många gånger en låt har spelats. Det är en bredare metod som kombinerar ljud, kontext och användarbeteende för att besvara en obekväm men avgörande fråga: kan man förutsäga en låts framgång innan den släpps? Med hjälp av data från Spotifys API arbetar forskare med variabler som popularitet, energi, valens, längd, tempo och dansbarhet för att försöka komma närmare det svaret.

Detta tillvägagångssätt är förankrat i den s.k. "vetenskap om hitlåtar"Denna idé, som populariserades av Mike McCready i början av 2000-talet, går ut på att använda algoritmer och matematiska modeller för att förutsäga vilka låtar som kommer att prestera bra på listor och radio. Medan tidiga studier drog slutsatsen att detta var mycket svårt (och att modellerna inte var tillräckligt exakta), har landskapet förändrats helt med tillkomsten av streaming, den massiva ökningen av datavolymen och förfiningen av maskininlärningstekniker.

Idag erbjuder Spotify ett API med tillgång till tiotusentals låtar med sitt musikaliska och kontextuella attributFrån tonart och läge till sannolikheten för att ett spår är akustiskt eller instrumentalt, inklusive mätvärden specifikt utformade för att beskriva hur låten uppfattas (energi, valens, dansbarhet etc.). Allt detta gör att vi kan gå från subjektiva åsikter till mycket mer exakta kvantitativa analyser.

Parallellt med verktyget Spotify för artister Det hjälper kreatörer att undvika att gå vilse i fåfänga mätvärden och fokusera på det som verkligen betyder något: långsiktig publikutveckling, engagemang, retention och hur marknadsföringsinsatser påverkar skapandet av genuina fans. Med andra ord, siffror, ja, men med kontext och strategisk avsikt.

Officiella spellistor och strategi: vikten av redaktionella listor

En av de viktigaste delarna i en seriös analys av hits på Spotify är rollen för officiella redaktionella spellistorListor som Discover Weekly, Release Radar, Today's Top Hits, New Music Friday, Rap Caviar, Mint eller ¡Viva Latino! fungerar som massiva förstärkare: att komma igång med en av dem kan helt förändra en låts eller till och med en karriärs bana.

Tredjepartsverktyg som Soundcharts låter dig se hur en artist beter sig i dessa spellistorAntal framträdanden, vistelsetid, marknader där de har störst inverkan, etc. Denna typ av analys tydliggör att närvaro i redaktionella listor inte är en prydnad, utan en viktig del av tillväxtstrategin på plattformen.

Det finns vissa återkommande kriterier vid konstruktionen av spellistor av hög kvalitet. Till exempel värdesätts det att det finns en mängd olika artister istället för att upprepa samma namn om och om igenListor där samma artist förekommer för många gånger tenderar att få sämre tittarsiffror, eftersom de minskar lyssnarens känsla av upptäckt.

Letar också efter en sammanhängande könsbalansNär en spellista blandar för många stilar utan en tydlig riktning, erfarenhet Det blir fragmenterat och betyget sjunker. De bäst uppfattade listorna tenderar att fokusera på en eller ett fåtal väldefinierade genrer, vilket hjälper användaren att snabbt förstå vad de kan förvänta sig när de trycker på play.

En annan nyckelaspekt är en blandning av välkända och framväxande temanSpellistor som bara innehåller stora hits är okej, men de erbjuder inte mycket upptäcktsmöjligheter. Däremot tenderar spellistor som kombinerar etablerade låtar med mindre kända pärlor att generera större engagemang och bidra till att skapa nya hits.

Slutligen råder det en viss enighet om att en bra spellista bör ha minst cirka 50 spår för att erbjuda en komplett upplevelseListor med färre än 10 låtar uppfattas ofta som dåliga och får lägre poäng, vilket också påverkar prestandan för de låtar de inkluderar.

En kort historia om Spotify och ursprunget till dess analyser

Innan Spotify kunde utföra avancerad hitanalys var själva plattformen tvungen att hitta sin plats i musikbranschen. Idén, som kom från medgrundaren Daniel Ek, uppstod efter Napsters kollaps 2002. Han ville skapa en tjänst som var "bättre än piratkopiering, men som också betalade branschen".Vid den tiden körde Ek uTorrent, en av de största P2P-klienterna för nedladdning och delning, så han hade förstahandskunskap om obehörig distribution.

Efter att ha sålt uTorrent till BitTorrent i slutet av 2006 fokuserade Ek helt på att bygga Spotify. Applikationen lanserades officiellt 2008 i Sverige, efter att ha nått licens- och aktieägaravtal med stora musikbolagSony Music Entertainment, Universal Music Group och Warner Music Group. Ett år senare expanderade det till Storbritannien och 2011 landade det i USA.

Under den inledande perioden växte den betalande prenumerantbasen från cirka 1 miljon i Europa till ungefär 4 miljoner globalt år 2012År 2016 tillkännagav Spotify redan 40 miljoner betalande användare och cirka 100 miljoner användare totalt, vilket befäste streaming som den dominerande formen av musikkonsumtion världen över.

Samtidigt började dataverktyg för konstnärer dyka upp. Först var Insikter från fansDenna lösning erbjöd vissa team begränsad tillgång till streamingdata: demografi, geografi och grundläggande trender. År 2017 utvecklades lösningen till Spotify for Artists, vilket öppnade dörren för alla artister att se sina viktigaste mätvärden och använda informationen för att fatta beslut om turnéer, releaser och marknadsföring.

År 2018 börsnoterades företaget med ett börsvärde på cirka 30.000 miljonerSedan dess har antalet marknader där företaget är verksamt fortsatt att växa, och med det har vikten av analyser inom plattformen ökat. Det som började som en licensierad mediaspelare har blivit en global infrastruktur där data regerar överlägset.

Spotify-statistik: hur man mäter en låt utöver streams

För att bygga modeller för träffprediktion är det först nödvändigt att förstå vilken typ av data från Spotify APII en studie fokuserad på den indiska marknaden extraherades till exempel mer än 46 000 låtar från spellistor genererade av Spotify, vilka täckte en mängd olika genrer och undergenrer.

Informationen är organiserad i flera avsnitt. På spårnivå hittar vi data som identifierare, titel, artist, popularitet, utgivningsdatum och längd i millisekunderPå albumnivå lagras ID och namn. På spellistenivå visas namn, ID, genre och tillhörande undergenre.

Men det mest intressanta för träffanalys är ljudfunktionerindelade i olika kategorier: "stämnings"-egenskaper (dansbarhet, energi, valens, tempo), fysiska egenskaper (ljudstyrka, talförmåga, instrumentalitet), kontext (akustik, livlighet) och musikaliska segment (tonart, mod). Var och en av dessa variabler är noggrant definierad och normaliserad.

Dansbarhet uttrycks till exempel som ett värde mellan 0 och 1 som sammanfattar hur lätt är det att dansa till en låtBaserat på element som rytm, tempostabilitet och taktstyrka varierar energin också från 0 till 1, i ett försök att fånga om låten låter intensiv, snabb och kraftfull, kontra något lugnare eller mjukare.

Valencia beskriver upplevd emotionell "positivitet" I ljud motsvarar låga värden sorgliga, spända eller dystra känslor, medan höga värden passar ihop med glad, ljus eller euforisk musik. Akustik mäter sannolikheten för att ett spår är akustiskt, livlighet närvaron av en livepublik i inspelningen, och talförmåga återspeglar andelen talade ord i mixen (mycket hög, till exempel i poddsändningar eller spår med talad ord).

Andra viktiga parametrar är tempo i BPMden totala längden, tonarten (kodad som ett heltal), läget (dur eller moll) och låtens popularitet. Det senare är ett internt Spotify-mått som sträcker sig från 0 till 100. Det beror både på mängden strömmar och hur nya de ärEn låt som var enorm för flera år sedan, men som knappt spelas längre, kommer att se sina tittarsiffror sjunka med tiden.

Hur man förbereder och rensar datamängden för att kunna förutsäga träffar

Ett steg som ofta förbises när man diskuterar Spotify-hitanalys är förberedelse av datamängdI den aktuella studien samlades data in med hjälp av R och RStudio, där Spotifys API anropades för olika kombinationer av marknad (Indien), genrer och undergenrer valda utifrån deras globala och lokala vikt.

När man kombinerar låtar från olika spellistor med olika tema är det vanligt att många spår upprepas, eftersom samma låt kan förekomma i olika listor. Eftersom målet inte var att analysera själva spellistningsstrategin, utan snarare låtarnas egenskaper, var det De tog bort dubbletter av spårenvilket minskar den totala basen från 46 417 till cirka 39 147 unika låtar.

Kolumner som inte skulle användas som förklarande variabler i modellerna, såsom artist, album-ID och namn, och spellistespecifika fält, togs bort. Samtidigt, De standardiserade fältnamnen och datatyperna justerades: till exempel konverterades popularitet, läge, nyckel och varaktighet till flyttal-numeriska värden för att underlätta statistisk behandling.

Ett viktigt beslut var att omvandla popularitet till en mer hanterbar variabel. Istället för att arbeta med ett kontinuerligt värde från 0 till 100, en tröskel för att skilja populära och impopulära låtar åtMed den 85:e percentilen av fördelningen (runt en popularitet på 65) ansågs låtar över det värdet vara "populära" och resten "inte populära".

På detta sätt delades datamängden in i nästan 6 000 populära låtar och cirka 33 000 icke-populäraFör den explorativa analysen segmenterades data till och med i fem popularitetsklasser (mycket hög, hög, medel, låg och mycket låg), med intervall om 20 poäng, vilket möjliggjorde jämförelse av fina trender mellan framgångsnivåer.

Dessutom genererades en ny variabel från låttitlarna: a sentimentindikatorMed hjälp av TextBlob-biblioteket i Python beräknades polariteten för varje titel (ett tal mellan -1 och 1) och klassificerades som positiv, negativ eller neutral. Detta numeriska värde lades till dataframen för att studera om titelns ton är kopplad till dess popularitet.

Datautforskning: vad som skiljer de mest populära låtarna åt

Innan man tränar någon maskininlärningsmodell är det viktigt att avsätta tid för visuell och statistisk undersökning av dataI denna studie analyserades fördelningskurvor, medelvärden per popularitetsgrupp och samband mellan känslor och framgång.

Ett av de slående resultaten gäller populariteten hos de mest framgångsrika låtarna. När man tittade på låtar med en popularitetsbetyg över 90 observerades det att Ett större antal av dem låg under värdet 0,5 i ValenciaMed andra ord lät de sorgligare, mer dystra eller melankoliska än glada. Det var inte en absolut dominans, men det var en tydlig tendens.

När popularitetsfördelningen per kön ritades in, antog de flesta kurvorna en ungefärlig klockformmed många låtar runt genomsnittet och färre i extremerna. Genrer som rock, R&B, EDM, världsmusik och indisk musik uppvisade dock en viss asymmetri på grund av ett stort antal låtar med noll popularitet. Däremot verkade stilar som pop, rap, latin och desi mer balanserade och med mindre koncentration av låtar med noll åldersgräns.

Detta tyder på att det i de mer etablerade genrerna i allmänhet är lättare att nå en viss nivå av popularitetäven om låtarna inte har alla ideala egenskaper, medan fördelningen av framgång i andra stilar är mer polariserad.

När man jämförde medelvärdena för de olika funktionerna efter popularitetsklass framträdde ett mycket tydligt mönster: de mest framgångsrika ämnena tenderar att ha större energi och högre ljudstyrka (upplevd volym)samt mer instrumentalism och mindre tal. Enkelt uttryckt tenderar låtar som presterar bäst på streaming att vara mer kraftfulla och mer fokuserade på musik än på talade ord.

Det observerades också att populära låtar innehåller lägre akustik och lägre livlighetMed andra ord låter de mindre "akustiska" och mindre "live". De är mer studioproducerade, mer polerade, med mindre bakgrundsljud eller konsertkänsla.

En annan viktig upptäckt är att populära låtar tenderar att vara kortare än de impopuläraI ett sammanhang där intäkterna beror på antalet strömmar och algoritmer belönar upprepning, är det rimligt att kortare spår kan ackumulera uppspelningar snabbare och bli mer "vänliga" för spellistor.

När det gäller upplevd lycka (valens) är trenden märklig: nivåerna stiger från de lägre popularitetsklasserna till den "övre" klassen, men i den mest extrema kategorin, den "mycket höga", sker en markant minskning. Med andra ord, Superpopulära låtar tenderar att låta sorgligare än bara "framgångsrika" låtar.Detta öppnar dörren för många tolkningar om allmänhetens smak och det socioemotionella sammanhanget.

Statistisk analys: genrers och ljudattributs inverkan

När informationen hade granskats var nästa steg att tillämpa den. formella statistiska tester för att se vilka variabler som kunde anses vara relevanta för att förklara popularitet. För att studera om kön påverkade framgång användes en variansanalys (ANOVA) med nio huvudgenrer.

ANOVA-resultatet gav ett mycket högt F-värde och praktiskt taget noll signifikans, vilket innebär att Det finns statistiskt signifikanta skillnader i popularitet mellan genrerDet räcker dock inte: det är också viktigt att veta mellan vilka könspar dessa skillnader förekommer och om variabeln kommer att vara användbar för en prediktiv modell.

Eftersom varianserna inte var homogena och antalet låtar per genre varierade, användes följande: Games-Howell post-hoc-testDenna analys gjorde det möjligt att verifiera vilka könskombinationer som inte uppvisade signifikanta skillnader i popularitet, vilket totalt sett gjorde det mindre lämpligt att använda kön som en stark prediktor i maskininlärningsmodeller.

Parallellt genomfördes följande oberoende t-test För varje ljudfunktion jämfördes medelvärdena mellan gruppen populära låtar och gruppen icke-populära låtar. Med en signifikansnivå på 95 % fann man att nästan alla variabler (dansbarhet, energi, ljudstyrka, akustik, livlighet, längd, tempo, valens och instrumentalitet) uppvisade signifikanta skillnader mellan de två grupperna.

Det enda uppenbara undantaget var talförmågaI det första testet var skillnaden i medelvärden inte signifikant, men vidare analys visade att talförmågans intervall för de mycket populära ämnena (med värden mellan 0,024 och 0,685) föll inom det bredare intervallet av den mindre populära klassen (mellan 0 och 0,964). Denna överlappning hindrade inte talförmågan, när den användes effektivt, från att bidra med information till modellen, så man beslutade att behålla den som en prediktor.

Sammanfattningsvis visade ljudfunktionsblocket en tydlig beskrivande kraft gällande popularitet, medan kön hanterades mer försiktigt och uteslöts som en primär variabel i vissa prediktionsmetoder.

Bygga maskininlärningsmodeller för att förutsäga träffar

Med den rena datamängden och de relevanta variablerna valda var det dags att skapa binära klassificeringsmodeller kapabel att förutsäga om en låt tillhör de 15 % mest populära. För att göra detta konverterades först de kategoriska variablerna key och mode till dummyvariabler med hjälp av Pandas get_dummies-funktion.

Efter att dessa dummies hade införlivats togs de ursprungliga kolumnerna för nyckel och läge, såväl som fortsatt popularitet, bort, och målvariabeln behölls. binärt fält av popularitet (populär vs. inte populär). Innan modellerna tränades standardiserades alla numeriska funktioner med StandardScaler, eftersom de arbetade på väldigt olika skalor och det var viktigt att de hade en jämförbar vikt.

Datasetet delades upp i träning och test med hjälp av funktionen train_test_split, med reservation för 20 % av anmälningarna till testningPå detta sätt undveks informationsläckor och det säkerställdes att prestandamåtten återspeglade modellernas faktiska generaliserbarhet, och inte bara deras förmåga att memorera träningsdata.

Den första modellen som tillämpades var LogistikregresionDenna teknik används flitigt inom binär klassificering. En iterativ version med en inlärningshastighet på 0,01 och 200 iterationer implementerades och utvärderades med hjälp av korsvalidering. Den genomsnittliga noggrannheten nådde cirka 84,7 %, ett anmärkningsvärt starkt resultat för ett så komplext problem som att förutsäga musikalisk framgång.

Sedan testades algoritmen K-Nearest Neighbors (KNN)vilket klassificerar varje låt enligt de k närmaste grannarna i funktionsutrymmet. Justering av värdet på ky med hjälp av Grid Search för att hitta den optimala konfigurationen gav en mycket likartad noggrannhet, cirka 84,8 %, med en liten förbättring av korsvalideringspoängen jämfört med logistisk regression.

Nästa modell var Stödvektormaskin (SVM)En annan övervakad teknik som kan hantera både linjära och ickelinjära samband användes också. Återigen, genom hyperparameteranpassning, uppnåddes noggrannheter på cirka 84,6 %, med likvärdiga värden i korsvalideringen, vilket indikerar stabil prestanda.

Följande utvärderades också: Naiv Bayes-klassificerareBaserat på hypotesen om oberoende mellan funktioner. Trots att det är en mycket enklare modell vad gäller antaganden, var dess noggrannhetsresultat (ungefär 84,6 %) i nivå med SVM och mycket nära logistisk regression och KNN, vilket förstärker idén att problemstrukturen lämpar sig väl för denna typ av probabilistisk metod.

Slutligen testades modeller baserade på beslutsträd. Decision Tree Classifier Den uppnådde en betydligt lägre noggrannhet, runt 75,4 %, och korsvalidering bekräftade denna prestandaminskning, troligen på grund av problem med överanpassning. Random Forest Classifier, som kombinerar många träd för att jämna ut dessa effekter, förbättrades avsevärt och uppnådde en noggrannhet på cirka 84,1 % och över 84 % i korsvalidering.

För att slutföra analysen, en förvirringsmatris och en klassificeringsrapport för Random Forest. Modellen visade en utmärkt förmåga att identifiera icke-populära låtar (majoritetsklass), med en noggrannhet på 0,85 och en återkallelse nära 0,99, medan dess prestanda i den populära sångeklassen (minoritet) var mer blygsam, med en noggrannhet på 0,40 och en återkallelse på 0,05. Detta belyser den klassiska utmaningen med klassobalans i denna typ av problem.

Variablernas betydelse: vad som väger tyngst när man skapar en träff

Utöver att veta vilken modell som är mest korrekt är det viktigt att förstå vilka funktioner ger faktiskt användbar information när man förutsäger om en låt kommer att bli populär. För detta ändamål användes XGBoost (XGBClassifier) ​​för att få fram variabla viktighetspoäng, baserat på varje funktions bidrag till felreducering i beslutsträden.

Resultaten visade att Låtens längd stack tydligt ut från restenmed ett F-poäng långt över 400. Detta resultat stämmer överens med idén att kortare spår uppmuntrar till upprepad lyssning och därför ackumulerar fler uppspelningar på kortare tid, något som Spotifys rekommendationsalgoritm tenderar att belöna.

I motsatt extrem, variabler som tonart, modus eller känslan hämtad från titeln De fick viktighetspoäng under 50, vilket tyder på att deras bidrag till modellens övergripande prediktiva kraft var litet. Detta betyder inte att de inte har någon effekt alls, utan snarare att deras vikt, jämfört med andra funktioner, är mycket lägre.

De återstående ljudattributen (såsom energi, dansbarhet, valens, ljudstyrka, akustik, livlighet, talförmåga och instrumentalitet) låg i ett mellanliggande intervall med F-poäng mellan 200 och 300, vilket indikerar att De bildar ett ganska balanserat informationsblockIngen av dem dominerar helt, men tillsammans bidrar de till att bygga en ganska korrekt bild av en låts chanser att lyckas.

Sammantaget kunde modellerna baserade på ljudfunktioner förutsäga med cirka en framgångsgrad på 84–85 % om en ledtråd skulle vara en del av de mest populära 15 %Detta ger visst empiriskt stöd åt den gamla intuitionen om "hitlåtvetenskap": med bra data och lämpliga tekniker är musikalisk framgång inte helt slumpmässig, även om det fortfarande finns en betydande oförutsägbar komponent.

Bilden som målas upp av denna analys visar att genom att kombinera Spotify-data, traditionell statistik och maskininlärningsmodeller kan vi gå långt bortom att bara räkna strömmar. Att förstå effekten av längd, energi, valens och instrumentalitet, tillsammans med rollen av redaktionella spellistor och plattformens rekommendationsdynamik, ger artister, skivbolag och analytiker en mycket konkret färdplan för att tolka varför vissa låtar blir hits och hur de kan maximera sina chanser att ansluta sig till den utvalda gruppen utan att helt förlora det mänskliga och kreativa elementet som lyckligtvis förblir oreducerbart till någon formel.