Analiza hiturilor Spotify: date, algoritmi și știința succesului muzical

Informatec Digital » Recursos » Analiza hiturilor Spotify: date, algoritmi și știința succesului muzical

Spotify a devenit laboratorul perfect pentru a studia ce face ca o melodie să fie un succes : avem date de redare în timp real, valori avansate pentru artiști și milioane de ascultători care iau decizii în fiecare secundă. Departe de a fi doar o platformă de ascultare, Spotify s-a transformat într-o bază de date masivă unde pot fi analizate tipare, emoții, genuri și strategii de playlist pentru a înțelege de ce unele melodii prind avânt, iar altele se estompează în uitare.

În ultimii ani, au apărut instrumente, cercetări academice și modele de învățare automată dedicate analizei hiturilor Spotify : de la studierea topurilor editoriale precum Today's Top Hits sau Rap Caviar, până la construirea de algoritmi capabili să prezică dacă o piesă va aparține grupului cel mai popular din catalog. În același timp, Spotify for Artists a democratizat accesul la aceste valori, permițând oricărui artist să vadă cine îl ascultă, unde și cum este descoperit și să își ajusteze strategia creativă și de marketing în consecință.

Ce este mai exact analiza hiturilor Spotify și de ce este importantă?

Când vorbim despre analiza hiturilor Spotify, nu ne referim doar la de câte ori a fost redată o melodie. Este o abordare mai amplă care combină sunetul, contextul și comportamentul utilizatorului pentru a răspunde la o întrebare incomodă, dar crucială: poți prezice succesul unei melodii înainte de lansarea ei? Folosind date din API-ul Spotify, cercetătorii lucrează cu variabile precum popularitatea, energia, valența, durata, tempo-ul și dansabilitatea pentru a încerca să se apropie de acest răspuns.

Această abordare își are rădăcinile în așa-numita „știință a hiturilor ”, o idee popularizată de Mike McCready la începutul anilor 2000: utilizarea algoritmilor și a modelelor matematice pentru a prezice ce melodii vor avea succes în topuri și la radio. Deși studiile timpurii au concluzionat că era foarte dificil (și că modelele nu erau suficient de precise), peisajul s-a schimbat complet odată cu apariția streamingului, creșterea masivă a volumului de date și rafinarea tehnicilor de învățare automată.

Astăzi, Spotify oferă o interfață de programare (API) cu acces la zeci de mii de piese și atributele lor muzicale și contextuale : de la tonalitate și mod până la probabilitatea ca o piesă să fie acustică sau instrumentală, inclusiv metrici special concepute pentru a descrie modul în care este percepută melodia (energie, valență, dansabilitate etc.). Toate acestea permit trecerea de la opinii subiective la analize cantitative mult mai precise.

Între timp, instrumentul Spotify for Artists îi ajută pe creatori să evite să se piardă în parametri superficiali și să se concentreze pe ceea ce contează cu adevărat: dezvoltarea publicului pe termen lung, implicarea, retenția și modul în care eforturile de marketing influențează crearea de fani autentici. Cu alte cuvinte, cifre, da, dar cu context și intenție strategică.

Playlist-uri oficiale și strategie: greutatea listelor editoriale

Unul dintre cele mai importante elemente în orice analiză serioasă a hiturilor de pe Spotify este rolul playlist-urilor editoriale oficiale . Liste precum Discover Weekly, Release Radar, Today's Top Hits, New Music Friday, Rap Caviar, Mint sau ¡Viva Latino! acționează ca niște amplificatoare masive: accesarea uneia dintre ele poate schimba complet traiectoria unei melodii sau chiar cariera unui artist.

Instrumente terțe precum Soundcharts vă permit să vedeți cum performează un artist pe aceste playlisturi : numărul de apariții, durata prezenței, piețele unde are cel mai mare impact etc. Acest tip de analiză arată clar că prezența pe topurile editoriale nu este doar de eleganță, ci o componentă cheie a unei strategii de creștere pe platformă.

Există anumite criterii recurente în crearea unor liste de redare de calitate. De exemplu, o varietate de artiști este apreciată în detrimentul repetării acelorași nume la nesfârșit . Listele de redare în care același artist apare de prea multe ori tind să primească evaluări mai mici, deoarece reduc sentimentul de descoperire al ascultătorului.

De asemenea, se caută un echilibru coerent al genurilor . Atunci când o listă de redare combină prea multe stiluri fără o direcție clară, experiența devine fragmentată, iar ratingul scade. Listele de redare cu cele mai bune performanțe tind să se concentreze pe unul sau câteva genuri bine definite, ajutând utilizatorul să înțeleagă dintr-o privire la ce să se aștepte atunci când apasă butonul de redare.

Un alt aspect cheie este combinația dintre piesele cunoscute și cele emergente . Listele de redare care includ doar hituri de succes sunt acceptabile, dar oferă puține oportunități de descoperire. În schimb, listele de redare care combină melodii consacrate cu hituri mai puțin cunoscute tind să genereze o implicare mai mare și să contribuie la crearea de noi hituri.

În cele din urmă, există un consens general conform căruia o listă de redare bună ar trebui să aibă cel puțin 50 de piese pentru a oferi o experiență completă . Listele de redare cu mai puțin de 10 melodii sunt adesea percepute ca fiind slabe și primesc scoruri mai mici, ceea ce afectează și performanța pieselor pe care le includ.

O scurtă istorie a Spotify și originea analizelor sale

Înainte ca Spotify să poată efectua analize avansate ale hiturilor, platforma însăși trebuia să-și găsească locul în industria muzicală. Ideea, concepută de cofondatorul Daniel Ek, a apărut după prăbușirea Napster în 2002: el dorea să creeze un serviciu „mai bun decât pirateria, dar care să aducă și profituri industriei ”. La acea vreme, Ek folosea uTorrent, unul dintre principalii clienți de descărcare și partajare P2P, așa că avea cunoștințe directe despre lumea distribuției neautorizate.

După ce a vândut uTorrent către BitTorrent la sfârșitul anului 2006, Ek s-a concentrat în întregime pe dezvoltarea Spotify. Aplicația a fost lansată oficial în 2008 în Suedia, după ce a încheiat acorduri de licențiere și acțiuni cu case de discuri importante : Sony Music Entertainment, Universal Music Group și Warner Music Group. Un an mai târziu, s-a extins în Marea Britanie, iar în 2011, a fost lansată în SUA.

În acea perioadă inițială, baza de abonați plătiți a crescut de la aproximativ 1 milion în Europa la aproape 4 milioane la nivel global în 2012. Până în 2016, Spotify anunța deja 40 de milioane de utilizatori plătiți și aproximativ 100 de milioane de utilizatori în total, consolidând streamingul ca formă dominantă de consum de muzică la nivel mondial.

În același timp, au început să apară instrumente de date pentru artiști. Mai întâi a apărut Fan Insights , care a oferit unor echipe acces limitat la date de streaming: demografie, geografie și tendințe de bază. În 2017, această soluție a evoluat în Spotify for Artists, deschizând ușa pentru toți artiștii de a-și vizualiza indicatorii cheie și de a utiliza datele pentru a lua decizii cu privire la turnee, lansări și promovare.

În 2018, compania a intrat pe bursă cu o capitalizare de piață de aproape 30.000 de miliarde de dolari . De atunci, numărul piețelor în care operează a continuat să crească, împreună cu importanța analizelor în cadrul platformei. Ceea ce a început ca un player media licențiat a devenit o infrastructură globală în care datele domnesc suprem.

Indicatori Spotify: cum să măsori o melodie dincolo de stream-uri

Pentru a construi modele de predicție a hiturilor, este necesar mai întâi să înțelegem ce fel de date oferă API-ul Spotify . Într-un studiu axat pe piața indiană, de exemplu, peste 46.000 de înregistrări de melodii au fost extrase din playlisturile generate de Spotify, acoperind o gamă largă de genuri și subgenuri.

Informațiile sunt organizate în mai multe blocuri. La nivel de piesă, găsim date precum identificatorul, titlul, artistul, popularitatea, data lansării și durata în milisecunde . La nivel de album, sunt stocate ID-ul și numele. La nivel de listă de redare, apar numele, ID-ul, genul și subgenul asociat.

Însă cel mai interesant aspect pentru analiza hiturilor îl reprezintă caracteristicile audio , împărțite în diferite categorii: caracteristici ale dispoziției (dansabilitatea, energia, valența, tempo-ul), proprietăți fizice (volumul, vorbirea, instrumentalitatea), contextul (acustica, vivacitatea) și segmentele muzicale (tonalitatea, modul). Fiecare dintre aceste variabile este atent definită și normalizată.

Dansabilitatea, de exemplu, este exprimată ca o valoare între 0 și 1 care rezumă cât de ușor este să dansezi pe o melodie , bazată pe elemente precum ritmul, stabilitatea tempo-ului și forța ritmului. Energia variază, de asemenea, între 0 și 1 și încearcă să surprindă dacă piesa sună intens, rapid și puternic, față de ceva mai calm sau mai slab.

Valența descrie „pozitivitatea” emoțională percepută a sunetului: valorile mici corespund sentimentelor de tristețe, tensiune sau sumbre, în timp ce valorile mari corespund muzicii vesele, luminoase sau euforice. Acustica măsoară probabilitatea ca o piesă să fie acustică, vivacitatea prezența unui public live în înregistrare, iar vorbibilitatea reflectă proporția de cuvinte rostite în mix (foarte mare, de exemplu, în podcasturi sau piese spoken word).

Alți parametri importanți includ tempo-ul în BPM , durata totală, tonalitatea (codificată ca număr întreg), modul (major sau minor) și popularitatea piesei. Popularitatea este o metrică internă Spotify care variază de la 0 la 100 și depinde atât de volumul redărilor în flux, cât și de recența lor . O melodie care a fost foarte populară cu ani în urmă, dar care acum este rar difuzată, va vedea o scădere a scorului său în timp.

Cum să pregătești și să cureți setul de date pentru a putea prezice accesările

Un pas adesea trecut cu vederea atunci când se discută despre analiza hiturilor Spotify este pregătirea setului de date . În acest studiu, datele au fost colectate folosind R și RStudio, apelând API-ul Spotify pentru diferite combinații de piață (India), genuri și subgenuri selectate în funcție de ponderea lor globală și locală.

Când se combină melodii din diverse liste de redare tematice, este normal ca multe piese să fie repetate, deoarece aceeași melodie poate apărea în liste diferite. Întrucât scopul nu a fost analizarea strategiei de creare a listelor de redare în sine, ci mai degrabă a caracteristicilor melodiilor, piesele duplicate au fost eliminate , reducând baza totală de la 46.417 la aproximativ 39.147 de melodii unice.

Coloanele care nu urmau să fie utilizate ca variabile explicative în modele, cum ar fi artistul, ID-ul și numele albumului și câmpurile specifice listei de redare, au fost eliminate. În același timp, numele câmpurilor au fost normalizate , iar tipurile de date au fost ajustate: de exemplu, popularitatea, modul, cheia și durata au fost convertite în valori float pentru a facilita analiza statistică.

O decizie cheie a fost transformarea popularității într-o variabilă mai ușor de gestionat. În loc să se lucreze cu o valoare continuă de la 0 la 100, a fost definit un prag pentru a separa melodiile populare de cele nepopulare . Luând percentila 85 a distribuției (în jurul unei popularități de 65), melodiile peste această valoare au fost considerate „populare”, iar restul „nepopulare”.

În acest fel, setul de date a fost împărțit în aproape 6.000 de melodii populare și aproximativ 33.000 de melodii nepopulare . Pentru analiza exploratorie, acesta a fost chiar segmentat în cinci clase de popularitate (foarte mare, mare, medie, mică și foarte mică), cu intervale de 20 de puncte, ceea ce a permis compararea tendințelor subtile între nivelurile de succes.

În plus, a fost generată o nouă variabilă din titlurile melodiilor: un indicator de sentiment . Folosind biblioteca TextBlob din Python, polaritatea fiecărui titlu (un număr între -1 și 1) a fost calculată și clasificată ca pozitivă, negativă sau neutră. Această valoare numerică a fost adăugată în cadrul de date pentru a studia dacă tonul titlului este legat de popularitatea sa.

Explorarea datelor: ce distinge cele mai populare melodii

Înainte de antrenarea oricărui model de învățare automată, este esențial să se dedice timp explorării vizuale și statistice a datelor . În cazul acestui studiu, au fost analizate curbele de distribuție, mediile pe grupe de popularitate și relațiile dintre emoții și succes.

Una dintre descoperirile izbitoare se referă la valența melodiilor de succes. Atunci când s-au analizat piesele cu un scor de popularitate peste 90, s-a observat că un număr mai mare dintre ele aveau o valoare a valenței sub 0,5 ; adică, sunau mai trist, mai sumbru sau mai melancolic decât vesel. Nu a fost o dominanță absolută, dar a fost o tendință clară.

Când a fost reprezentată grafic distribuția popularității în funcție de gen, majoritatea curbelor au luat o formă aproximativă de clopot , cu multe piese în jurul mediei și mai puține la extreme. Cu toate acestea, genuri precum rock, R&B, EDM, muzica world și muzica indiană au prezentat o oarecare asimetrie din cauza numărului mare de piese cu popularitate zero. În schimb, stiluri precum pop, rap, latino și desi au părut mai echilibrate și cu o concentrare mai mică la zero.

Acest lucru sugerează că în genurile mai mainstream este, în general, mai ușor să atingi un anumit nivel de popularitate , chiar dacă melodiile nu au toate caracteristicile ideale, în timp ce în alte stiluri distribuția succesului este mai polarizată.

Când am comparat mediile diferitelor caracteristici în funcție de clasa de popularitate, a apărut un model foarte clar: piesele de succes tind să aibă o energie și o intensitate mai mare (volum perceput) , precum și mai mult instrumentalism și mai puțină vorbire superficială. Simplu spus, melodiile care au cel mai bun randament pe platformele de streaming sunt de obicei mai puternice și mai concentrate pe muzică decât pe cuvinte rostite.

De asemenea, s-a observat că piesele populare prezintă o acustică și o vivacitate mai scăzute ; adică sună mai puțin „acustic” și mai puțin „live”. Sunt mai mult produse în studio, mai rafinate, cu mai puțin zgomot ambiental sau o senzație de concert.

O altă constatare cheie este că melodiile populare tind să fie mai scurte decât cele nepopulare . Într-un context în care veniturile depind de numărul de redări în flux, iar algoritmii recompensează repetarea, este logic ca piesele mai scurte să poată acumula redări mai rapid și să devină mai potrivite pentru playlist-uri.

În ceea ce privește fericirea percepută (valența), tendința este curioasă: nivelurile cresc de la clasele de popularitate inferioare la clasa „superioară”, dar în categoria cea mai extremă, cea „foarte înaltă”, există o scădere semnificativă. Cu alte cuvinte, melodiile super-populare tind să sune mai trist decât cele pur și simplu „de succes” , ceea ce deschide calea la numeroase interpretări despre gustul publicului și contextul socio-emoțional.

Analiză statistică: impactul genurilor și atributelor audio

Odată ce datele au fost explorate, următorul pas a fost aplicarea unor teste statistice formale pentru a vedea ce variabile ar putea fi considerate relevante în explicarea popularității. Pentru a studia dacă genul a influențat succesul, s-a utilizat o analiză a varianței (ANOVA) cu nouă genuri principale.

Rezultatul ANOVA a dat o valoare F foarte mare și practic nicio semnificație, ceea ce înseamnă că există diferențe semnificative statistic în ceea ce privește popularitatea între sexe . Cu toate acestea, acest lucru nu este suficient: este important să știm între care perechi de sexe există aceste diferențe și dacă variabila va fi utilă pentru un model predictiv.

Având în vedere că varianțele nu au fost omogene și numărul de melodii per gen a variat, s-a utilizat testul post-hoc Games-Howell . Această analiză ne-a permis să determinăm care combinații de genuri nu au prezentat diferențe semnificative în ceea ce privește popularitatea, ceea ce, per total, a făcut mai puțin recomandabilă utilizarea genului ca predictor puternic în modelele de învățare automată.

În paralel, au fost efectuate teste t independente pentru fiecare caracteristică audio, comparând mediile dintre grupurile de melodii populare și cele nepopulare. La un nivel de semnificație de 95%, aproape toate variabilele (dansabilitatea, energia, intensitatea sonoră, acustica, caracterul vioi, durata, tempo-ul, valența și caracterul instrumental) au arătat diferențe semnificative între cele două grupuri.

Singura excepție aparentă a fost gradul de vorbire . În primul test, diferența dintre medii nu a fost semnificativă, dar analize ulterioare au arătat că intervalele de vorbire pentru subiectele foarte populare (cu valori între 0,024 și 0,685) s-au încadrat în intervalul mai larg al clasei mai puțin populare (între 0 și 0,964). Această suprapunere nu a împiedicat gradul de vorbire, atunci când a fost utilizat eficient, să contribuie cu informații la model, așa că s-a decis păstrarea acestuia ca predictor.

În concluzie, blocul de caracteristici audio a demonstrat o putere descriptivă clară în ceea ce privește popularitatea , în timp ce genul a fost tratat cu mai multă precauție și a fost eliminat ca variabilă primară în unele abordări de predicție.

Construirea de modele de învățare automată pentru a prezice accesările

Odată ce setul de date a fost curățat și variabilele relevante selectate, a venit momentul să creăm modele de clasificare binară capabile să prezică dacă o melodie aparține primelor 15% din popularitate. Pentru a face acest lucru, variabilele categorice key și mode au fost mai întâi convertite în variabile fictive folosind funcția get_dummies a Pandas.

După încorporarea acestor fictive, coloanele originale de tonalitate și mod, precum și popularitatea continuă, au fost eliminate, iar câmpul de popularitate binar (popular vs. nepopular) a fost păstrat ca variabilă țintă. Înainte de antrenarea modelelor, toate caracteristicile numerice au fost standardizate folosind StandardScaler, deoarece acestea operau la scale foarte diferite și era important să aibă o pondere comparabilă.

Setul de date a fost împărțit în antrenament și testare folosind funcția train_test_split, rezervând 20% din înregistrări pentru testare . Acest lucru a prevenit scurgerile de date și a asigurat că valorile indicatorilor de performanță reflectă generalizabilitatea reală a modelelor, nu doar capacitatea lor de a memora datele de antrenament.

Primul model aplicat a fost Regresia Logistică , o tehnică utilizată pe scară largă în clasificarea binară. O versiune iterativă cu o rată de învățare de 0,01 și 200 de iterații a fost implementată și evaluată folosind validarea încrucișată. Precizia medie a atins aproximativ 84,7%, un rezultat remarcabil de puternic pentru o problemă atât de complexă precum prezicerea succesului muzical.

În continuare, a fost testat algoritmul K-Nearest Neighbors (KNN) , care clasifică fiecare melodie în funcție de cei k vecini cei mai apropiați din spațiul caracteristicilor. Prin ajustarea valorii lui ky folosind Grid Search pentru a găsi configurația optimă, s-a obținut o precizie foarte similară, în jur de 84,8%, cu o ușoară îmbunătățire a scorului de validare încrucișată în comparație cu regresia logistică.

Următorul model a fost Mașina cu Vectori de Suport (SVM) , o altă tehnică supervizată capabilă să gestioneze atât relații liniare, cât și neliniare. Din nou, prin reglarea hiperparametrilor, s-au obținut precizii de aproximativ 84,6%, cu valori echivalente în validarea încrucișată, indicând o performanță stabilă.

Clasificatorul Naive Bayes , bazat pe presupunerea independenței dintre caracteristici, a fost, de asemenea, evaluat . Deși este un model mult mai simplu din punct de vedere al ipotezelor, rezultatele sale privind acuratețea (aproximativ 84,6%) au fost la egalitate cu SVM și foarte apropiate de regresia logistică și KNN, întărind ideea că structura problemei se pretează bine acestui tip de abordare probabilistică.

În cele din urmă, au fost testate modele bazate pe arbori de decizie. Clasificatorul de tip Arbore de Decizie a obținut o precizie semnificativ mai mică, în jur de 75,4%, iar validarea încrucișată a confirmat această scădere a performanței, probabil din cauza unor probleme de supraadaptare. Clasificatorul Random Forest , care combină mai mulți arbori pentru a netezi aceste efecte, s-a îmbunătățit semnificativ, atingând o precizie de aproximativ 84,1% și peste 84% în validarea încrucișată.

Pentru a completa analiza, au fost generate o matrice de confuzie și un raport de clasificare pentru Pădurea Aleatoare. Modelul a demonstrat o capacitate excelentă de a identifica cântece nepopulare (clasa majoritară), cu o precizie de 0,85 și o reamintire apropiată de 0,99, în timp ce performanța sa în clasa cântecelor populare (clasa minoritară) a fost mai modestă, cu o precizie de 0,40 și o reamintire de 0,05. Acest lucru evidențiază provocarea clasică a dezechilibrului de clasă în acest tip de problemă.

Importanța variabilelor: ce cântărește cel mai mult atunci când se creează un hit

Dincolo de a ști care model este cel mai precis, este crucial să înțelegem ce caracteristici oferă cu adevărat informații utile atunci când se prezice dacă o melodie va fi populară. În acest scop, s-a folosit XGBoost (XGBClassifier) ​​pentru a obține scoruri de importanță variabile, bazate pe contribuția fiecărei caracteristici la reducerea erorilor în arborii de decizie.

Rezultatele au arătat că lungimea melodiei s-a remarcat în mod clar față de restul , cu un scor F mult peste 400. Această constatare se potrivește cu ideea că piesele mai scurte încurajează ascultarea repetată și, prin urmare, acumulează mai multe redări într-un timp mai scurt, lucru pe care algoritmul de recomandare al Spotify tinde să îl recompenseze.

La polul opus, variabile precum cheia, modul sau sentimentul extras din titlu în sine au primit scoruri de importanță sub 50, ceea ce sugerează că contribuția lor la puterea predictivă generală a modelului a fost minimă. Aceasta nu înseamnă că nu au niciun efect, ci mai degrabă că, în comparație cu alte caracteristici, ponderea lor este mult mai mică.

Celelalte atribute audio (cum ar fi energia, dansabilitatea, valența, volumul, acustica, vioiciunea, vorbirea și caracterul instrumental) s-au încadrat într-un interval intermediar, cu scoruri F între 200 și 300, indicând faptul că formează un bloc informațional destul de echilibrat . Niciunul dintre ele nu domină complet, dar împreună ajută la construirea unei imagini destul de precise a șanselor de succes ale unei melodii.

Per total, modelele bazate pe caracteristici audio au reușit să prezică cu o precizie de aproximativ 84-85% dacă o piesă va face parte din top 15% dintre cele mai populare , ceea ce oferă un oarecare sprijin empiric vechii intuiții a „științei hiturilor”: cu date solide și tehnici adecvate, succesul muzical nu este pur aleatoriu, deși există încă o componentă imprevizibilă semnificativă.

Tabloul de vedere conturat de această analiză arată că combinarea datelor Spotify, a statisticilor tradiționale și a modelelor de învățare automată ne permite să mergem mult dincolo de simpla numărare a stream-urilor. Înțelegerea impactului duratei, energiei, valenței și instrumentalității, împreună cu rolul playlist-urilor editoriale și dinamica recomandărilor platformei, oferă artiștilor, caselor de discuri și analiștilor o foaie de parcurs foarte concretă pentru interpretarea motivelor pentru care anumite melodii devin hituri și cum își pot maximiza șansele de a se alătura acelui grup select fără a pierde complet elementul uman și creativ care, din fericire, rămâne ireductibil la orice formulă.