- API của Spotify cung cấp hàng tá biến số về âm thanh và ngữ cảnh (năng lượng, giá trị cảm xúc, thời lượng, khả năng tạo điệu nhảy, v.v.) cho phép bạn mô hình hóa và hiểu được điều gì làm cho một bài hát trở nên phổ biến.
- Phân tích thống kê cho thấy hầu hết các đặc điểm âm thanh đều khác nhau giữa các bài hát nổi tiếng và không nổi tiếng, trong khi thể loại, giọng điệu hoặc cảm xúc của tiêu đề có trọng lượng dự đoán thấp hơn.
- Các mô hình học máy như Hồi quy Logistic, KNN, SVM, Naive Bayes và Rừng ngẫu nhiên đạt độ chính xác khoảng 84–85% trong việc phân loại xem một chủ đề có nằm trong top 15% chủ đề phổ biến nhất hay không.
- Độ dài của bài hát, năng lượng, độ lớn và phần nhạc cụ nổi bật như những yếu tố chính góp phần vào sự phổ biến của nó trên Spotify, trong một hệ sinh thái nơi các danh sách phát do biên tập viên chọn lọc và thuật toán đề xuất đóng vai trò rất quan trọng.
Spotify đã trở thành phòng thí nghiệm hoàn hảo để nghiên cứu những yếu tố làm nên một bài hát ăn khách.Chúng tôi có dữ liệu phát lại theo thời gian thực, các chỉ số nâng cao dành cho nghệ sĩ và hàng triệu người nghe đưa ra quyết định mỗi giây. Không chỉ đơn thuần là một nền tảng nghe nhạc, Spotify đã chuyển mình thành một nền tảng khổng lồ. cơ sở dữ liệu Nơi mà các mô hình, cảm xúc, thể loại và chiến lược danh sách phát có thể được phân tích để hiểu tại sao một số bài hát trở nên nổi tiếng và những bài khác lại bị lãng quên.
Trong những năm gần đây, các công cụ, nghiên cứu học thuật và mô hình học máy dành riêng cho Phân tích lượt nghe trên SpotifyTừ việc nghiên cứu các bảng xếp hạng biên tập như Today's Top Hits hay Rap Caviar, đến việc xây dựng các thuật toán có khả năng dự đoán liệu một bài hát có thuộc nhóm phổ biến nhất trong danh mục hay không. Đồng thời, Spotify for Artists đã dân chủ hóa quyền truy cập vào các số liệu này, cho phép bất kỳ nghệ sĩ nào cũng có thể xem ai đang nghe nhạc của họ, họ được phát hiện ở đâu và bằng cách nào, và điều chỉnh chiến lược sáng tạo và tiếp thị của mình cho phù hợp.
Phân tích lượt nghe trên Spotify chính xác là gì và tại sao nó lại quan trọng?
Khi chúng ta nói về Phân tích lượt nghe trên Spotify Chúng ta không chỉ nói về việc xem xét số lần một bài hát được phát. Đó là một cách tiếp cận rộng hơn, kết hợp âm thanh, ngữ cảnh và hành vi người dùng để trả lời một câu hỏi khó nhưng rất quan trọng: liệu bạn có thể dự đoán được sự thành công của một bài hát trước khi nó được phát hành? Sử dụng dữ liệu từ API của Spotify, các nhà nghiên cứu đang làm việc với các biến số như độ phổ biến, năng lượng, giá trị cảm xúc, thời lượng, nhịp độ và khả năng tạo điệu nhảy để cố gắng tiến gần hơn đến câu trả lời đó.
Cách tiếp cận này bắt nguồn từ cái gọi là “Khoa học về bài hát ăn khách”Ý tưởng này, được Mike McCready phổ biến vào đầu những năm 2000, liên quan đến việc sử dụng thuật toán và mô hình toán học để dự đoán bài hát nào sẽ đạt thứ hạng cao trên bảng xếp hạng và đài phát thanh. Mặc dù các nghiên cứu ban đầu kết luận rằng điều này rất khó (và các mô hình không đủ chính xác), nhưng tình hình đã hoàn toàn thay đổi với sự ra đời của dịch vụ phát trực tuyến, sự gia tăng mạnh mẽ về khối lượng dữ liệu và sự hoàn thiện của các kỹ thuật học máy.
Hiện nay, Spotify cung cấp API cho phép truy cập hàng chục nghìn bài hát. thuộc tính âm nhạc và ngữ cảnhTừ khóa và điệu thức, đến xác suất một bản nhạc là nhạc acoustic hay nhạc cụ, bao gồm cả các chỉ số được thiết kế đặc biệt để mô tả cảm nhận về bài hát (năng lượng, sắc thái, khả năng nhảy theo, v.v.). Tất cả những điều này cho phép chúng ta chuyển từ ý kiến chủ quan sang các phân tích định lượng chính xác hơn nhiều.
Song song đó, công cụ Spotify dành cho nghệ sĩ Nó giúp người sáng tạo tránh bị sa đà vào các chỉ số phù phiếm và tập trung vào những gì thực sự quan trọng: phát triển khán giả lâu dài, sự tương tác, giữ chân người xem và tác động của các nỗ lực tiếp thị đến việc tạo ra những người hâm mộ thực sự. Nói cách khác, số liệu rất quan trọng, nhưng phải có bối cảnh và mục đích chiến lược.
Danh sách phát chính thức và chiến lược: tầm quan trọng của các danh sách biên tập
Một trong những yếu tố quan trọng nhất trong bất kỳ phân tích nghiêm túc nào về các bài hát ăn khách trên Spotify là vai trò của... danh sách phát biên tập chính thứcCác bảng xếp hạng như Discover Weekly, Release Radar, Today's Top Hits, New Music Friday, Rap Caviar, Mint hay ¡Viva Latino! đóng vai trò như những công cụ khuếch đại mạnh mẽ: việc lọt vào một trong số đó có thể thay đổi hoàn toàn hướng đi của một bài hát hoặc thậm chí cả sự nghiệp.
Các công cụ của bên thứ ba như Soundcharts cho phép bạn xem Cách một nghệ sĩ cư xử trong các danh sách phát nàySố lần xuất hiện, thời gian lưu trú, thị trường nơi họ có tầm ảnh hưởng lớn nhất, v.v. Loại phân tích này cho thấy rõ rằng sự hiện diện trong các danh sách biên tập không phải là yếu tố trang trí, mà là một thành phần quan trọng trong chiến lược tăng trưởng trên nền tảng.
Có một số tiêu chí lặp đi lặp lại trong việc xây dựng danh sách phát chất lượng. Ví dụ, người ta đánh giá cao việc có những tiêu chí sau: Nên chọn nhiều nghệ sĩ khác nhau thay vì cứ lặp đi lặp lại những cái tên quen thuộc.Những danh sách có cùng một nghệ sĩ xuất hiện quá nhiều lần thường nhận được đánh giá thấp hơn, vì chúng làm giảm cảm giác khám phá của người nghe.
Tôi cũng đang tìm kiếm một sự cân bằng giới tính hợp lýKhi một danh sách phát nhạc pha trộn quá nhiều thể loại mà không có định hướng rõ ràng, thì... kinh nghiệm Nó trở nên rời rạc và xếp hạng giảm xuống. Những danh sách được đánh giá cao nhất thường tập trung vào một hoặc một vài thể loại được xác định rõ ràng, giúp người dùng dễ dàng hiểu ngay những gì họ có thể mong đợi khi nhấn nút phát.
Một khía cạnh quan trọng khác là sự kết hợp giữa các chủ đề quen thuộc và mới nổi.Những danh sách phát chỉ bao gồm các bản hit đình đám thì cũng ổn, nhưng chúng không mang lại nhiều cơ hội khám phá. Ngược lại, những danh sách phát kết hợp các bài hát nổi tiếng với những viên ngọc quý ít người biết đến thường tạo ra sự tương tác cao hơn và giúp tạo ra những bản hit mới.
Cuối cùng, có một sự đồng thuận nhất định rằng một danh sách nhạc hay nên có ít nhất… Khoảng 50 đường đua mang đến trải nghiệm trọn vẹn.Các bảng xếp hạng có ít hơn 10 bài hát thường bị đánh giá là kém chất lượng và nhận được điểm thấp hơn, điều này cũng ảnh hưởng đến hiệu suất của các bài hát có trong đó.
Lịch sử ngắn gọn về Spotify và nguồn gốc của hệ thống phân tích dữ liệu của nó.
Trước khi Spotify có thể thực hiện phân tích bài hát ăn khách một cách chuyên sâu, bản thân nền tảng này phải tìm được chỗ đứng trong ngành công nghiệp âm nhạc. Ý tưởng này, do người đồng sáng lập Daniel Ek nghĩ ra, nảy sinh sau sự sụp đổ của Napster vào năm 2002. Ông muốn tạo ra một dịch vụ "tốt hơn cả việc vi phạm bản quyền, nhưng đồng thời cũng mang lại lợi nhuận cho ngành công nghiệp này."Thời điểm đó, Ek đang sử dụng uTorrent, một trong những phần mềm tải xuống và chia sẻ P2P phổ biến nhất, vì vậy anh ta có kinh nghiệm thực tế về thế giới phân phối trái phép.
Sau khi bán uTorrent cho BitTorrent vào cuối năm 2006, Ek tập trung hoàn toàn vào việc xây dựng Spotify. Ứng dụng này chính thức ra mắt tại Thụy Điển vào năm 2008, sau khi đạt được thành công nhất định. các thỏa thuận cấp phép và tham gia vốn cổ phần với các tập đoàn âm nhạc lớnSony Music Entertainment, Universal Music Group và Warner Music Group đã hợp tác thành công. Một năm sau, công ty mở rộng sang Vương quốc Anh và đến Hoa Kỳ vào năm 2011.
Trong giai đoạn ban đầu đó, số lượng người đăng ký trả phí đã tăng từ khoảng 1 triệu ở châu Âu lên khoảng... 4 triệu người trên toàn cầu vào năm 2012Đến năm 2016, Spotify đã công bố có 40 triệu người dùng trả phí và khoảng 100 triệu người dùng tổng cộng, củng cố vị thế của dịch vụ phát trực tuyến như hình thức tiêu thụ âm nhạc thống trị trên toàn thế giới.
Đồng thời, các công cụ dữ liệu dành cho nghệ sĩ bắt đầu xuất hiện. Đầu tiên là Thông tin chi tiết từ người hâm mộGiải pháp này chỉ cung cấp cho một số nhóm quyền truy cập hạn chế vào dữ liệu phát trực tuyến: thông tin nhân khẩu học, vị trí địa lý và các xu hướng cơ bản. Năm 2017, giải pháp này đã phát triển thành Spotify for Artists, mở ra cơ hội cho tất cả các nghệ sĩ xem được các chỉ số quan trọng của họ và sử dụng dữ liệu để đưa ra quyết định về các chuyến lưu diễn, phát hành và quảng bá.
Năm 2018, công ty đã niêm yết cổ phiếu trên thị trường chứng khoán với vốn hóa thị trường xấp xỉ. 30.000 triệuKể từ đó, số lượng thị trường mà nó hoạt động tiếp tục tăng lên, và cùng với đó, tầm quan trọng của phân tích dữ liệu trong nền tảng cũng tăng lên. Từ một trình phát đa phương tiện được cấp phép ban đầu, nó đã trở thành một cơ sở hạ tầng toàn cầu nơi dữ liệu đóng vai trò tối quan trọng.
Số liệu của Spotify: Làm thế nào để đo lường một bài hát ngoài lượt nghe?
Để xây dựng mô hình dự đoán lượt truy cập, trước tiên cần phải hiểu loại nào... Dữ liệu được cung cấp bởi API của SpotifyVí dụ, trong một nghiên cứu tập trung vào thị trường Ấn Độ, hơn 46.000 bản ghi âm bài hát đã được trích xuất từ các danh sách phát do Spotify tạo ra, bao gồm nhiều thể loại và tiểu thể loại khác nhau.
Thông tin được sắp xếp thành nhiều phần. Ở cấp độ đường đua, chúng ta tìm thấy các dữ liệu như sau: Mã định danh, tiêu đề, nghệ sĩ, độ phổ biến, ngày phát hành và thời lượng tính bằng mili giây.Ở cấp độ album, ID và tên được lưu trữ. Ở cấp độ danh sách phát, tên, ID, thể loại và thể loại phụ liên quan sẽ hiển thị.
Nhưng điều thú vị nhất trong phân tích cú đánh là... tính năng âm thanhĐược chia thành các danh mục khác nhau: đặc điểm “tâm trạng” (khả năng nhảy múa, năng lượng, sắc thái, nhịp độ), đặc tính vật lý (độ lớn âm thanh, độ rõ ràng của lời nói, độ rõ ràng của nhạc cụ), bối cảnh (độ vang, độ sống động) và các phân đoạn âm nhạc (khóa, điệu). Mỗi biến số này đều được định nghĩa và chuẩn hóa cẩn thận.
Ví dụ, khả năng tạo điệu nhảy được thể hiện bằng một giá trị nằm giữa 0 và 1, tóm tắt các yếu tố sau: Nhảy theo một bài hát dễ đến mức nào?Dựa trên các yếu tố như nhịp điệu, độ ổn định của tốc độ và cường độ phách, mức năng lượng cũng nằm trong khoảng từ 0 đến 1, nhằm thể hiện xem bản nhạc nghe có vẻ mạnh mẽ, nhanh và uy lực, hay êm dịu hơn.
Valencia mô tả cảm nhận về mặt cảm xúc “tích cực” Trong âm thanh, giá trị thấp tương ứng với cảm xúc buồn bã, căng thẳng hoặc u ám, trong khi giá trị cao phù hợp với âm nhạc vui tươi, tươi sáng hoặc hưng phấn. Độ vang (Acousticness) đo lường khả năng một bản nhạc được thu âm bằng nhạc cụ mộc, độ sống động (Liveness) đo lường sự hiện diện của khán giả trực tiếp trong bản ghi âm, và độ nói (Speechiness) phản ánh tỷ lệ lời nói trong bản phối (rất cao, ví dụ, trong podcast hoặc các bản ghi âm lời nói).
Các thông số quan trọng khác là nhịp độ tính bằng BPMTổng thời lượng, khóa nhạc (được mã hóa dưới dạng số nguyên), điệu thức (trưởng hoặc thứ), và độ phổ biến của bài hát. Độ phổ biến là một chỉ số nội bộ của Spotify, có giá trị từ 0 đến 100. Điều đó phụ thuộc vào cả số lượng luồng phát và độ mới của chúng.Một bài hát từng rất nổi tiếng nhiều năm trước nhưng hiện nay ít được phát sẽ chứng kiến điểm đánh giá của nó giảm dần theo thời gian.
Cách chuẩn bị và làm sạch tập dữ liệu để có thể dự đoán lượt truy cập
Một bước thường bị bỏ qua khi thảo luận về phân tích lượt nghe trên Spotify là... chuẩn bị tập dữ liệuTrong nghiên cứu này, dữ liệu được thu thập bằng R và RStudio, bằng cách gọi API của Spotify với các tổ hợp khác nhau của thị trường (Ấn Độ), thể loại và tiểu thể loại được lựa chọn dựa trên tầm ảnh hưởng toàn cầu và địa phương của chúng.
Khi kết hợp các bài hát từ nhiều danh sách phát theo chủ đề khác nhau, việc nhiều bài hát bị lặp lại là điều thường xảy ra, bởi vì cùng một bài hát có thể xuất hiện trong các danh sách khác nhau. Vì mục tiêu không phải là phân tích chiến lược tạo danh sách phát mà là đặc điểm của các bài hát, nên... Họ đã xóa các bản nhạc trùng lặp.Giảm tổng số bài hát độc đáo từ 46.417 xuống còn khoảng 39.147 bài.
Các cột không được sử dụng làm biến giải thích trong mô hình, chẳng hạn như nghệ sĩ, ID và tên album, và các trường dành riêng cho danh sách phát, đã bị loại bỏ. Đồng thời, Họ đã chuẩn hóa tên các cánh đồng. và các kiểu dữ liệu đã được điều chỉnh: ví dụ, độ phổ biến, chế độ, từ khóa và thời lượng được chuyển đổi thành các giá trị số thực để thuận tiện cho việc xử lý thống kê.
Một quyết định quan trọng là chuyển đổi mức độ phổ biến thành một biến số dễ quản lý hơn. Thay vì làm việc với một giá trị liên tục từ 0 đến 100, một biến số khác được sử dụng. ngưỡng để phân biệt bài hát phổ biến và bài hát không phổ biếnLấy phân vị thứ 85 của phân bố (khoảng mức độ phổ biến là 65), các bài hát có giá trị trên mức đó được coi là "phổ biến" và phần còn lại là "không phổ biến".
Theo cách này, tập dữ liệu được chia thành các phần. Gần 6.000 bài hát nổi tiếng và khoảng 33.000 bài hát không nổi tiếng.Để phục vụ cho phân tích thăm dò, dữ liệu thậm chí còn được phân chia thành năm nhóm mức độ phổ biến (rất cao, cao, trung bình, thấp và rất thấp), với khoảng cách 20 điểm, cho phép so sánh các xu hướng chi tiết giữa các mức độ thành công.
Ngoài ra, một biến mới đã được tạo ra từ tiêu đề bài hát: a chỉ báo cảm xúcSử dụng thư viện TextBlob trong Python, độ phân cực của mỗi tiêu đề (một số nằm giữa -1 và 1) được tính toán và phân loại là tích cực, tiêu cực hoặc trung tính. Giá trị số này được thêm vào khung dữ liệu để nghiên cứu xem liệu giọng điệu của tiêu đề có liên quan đến mức độ phổ biến của nó hay không.
Phân tích dữ liệu: Điều gì làm nên sự khác biệt của những bài hát nổi tiếng nhất
Trước khi huấn luyện bất kỳ mô hình học máy nào, điều cần thiết là phải dành thời gian cho việc này. Khám phá dữ liệu bằng hình ảnh và thống kê.Trong nghiên cứu này, các đường cong phân bố, giá trị trung bình theo nhóm mức độ phổ biến và mối quan hệ giữa cảm xúc và thành công đã được phân tích.
Một trong những phát hiện đáng chú ý liên quan đến mức độ phổ biến của những bài hát thành công nhất. Khi xem xét các bài hát có xếp hạng độ phổ biến trên 90, người ta nhận thấy rằng: Số lượng các chỉ số có giá trị dưới 0,5 ở Valencia nhiều hơn so với các chỉ số khác.Nói cách khác, giọng họ nghe buồn hơn, u ám hơn, hoặc trầm buồn hơn là vui vẻ. Đó không phải là sự chi phối tuyệt đối, nhưng đó là một xu hướng rõ rệt.
Khi vẽ biểu đồ phân bố mức độ nổi tiếng theo giới tính, hầu hết các đường cong đều có dạng hình chuông gần đúngNhìn chung, có nhiều bài hát đạt mức độ phổ biến trung bình và ít bài ở mức cực đoan. Tuy nhiên, các thể loại như rock, R&B, EDM, nhạc thế giới và nhạc Ấn Độ lại cho thấy sự bất đối xứng do có một số lượng lớn các bài hát không được ưa chuộng. Ngược lại, các thể loại như pop, rap, nhạc Latin và nhạc Ấn Độ lại cân bằng hơn và ít bài hát có xếp hạng bằng không hơn.
Điều này cho thấy rằng, nhìn chung, trong những thể loại phổ biến hơn, dễ dàng đạt được một mức độ nổi tiếng nhất địnhNgay cả khi các bài hát không có đầy đủ các đặc điểm lý tưởng, trong khi ở các thể loại khác, sự phân bổ thành công lại phân cực hơn.
Khi so sánh giá trị trung bình của các đặc điểm khác nhau theo mức độ phổ biến, một mô hình rất rõ ràng đã xuất hiện: các chủ đề thành công nhất thường có những đặc điểm sau: Năng lượng lớn hơn và âm lượng lớn hơn (âm lượng cảm nhận được)Cũng như thiên về nhạc cụ hơn và ít lời thoại hơn. Nói một cách đơn giản, những bài hát đạt hiệu quả tốt nhất trên các nền tảng phát trực tuyến thường mạnh mẽ hơn và tập trung vào âm nhạc hơn là lời nói.
Người ta cũng nhận thấy rằng các bài hát nổi tiếng có những đặc điểm sau: độ vang thấp hơn và độ sống động thấp hơnNói cách khác, chúng nghe ít "tự nhiên" và ít "giống nhạc sống". Chúng được sản xuất trong phòng thu nhiều hơn, trau chuốt hơn, ít tiếng ồn xung quanh hoặc cảm giác như buổi hòa nhạc.
Một phát hiện quan trọng khác là các bài hát nổi tiếng thường có xu hướng... ngắn hơn những cái không được ưa chuộngTrong bối cảnh doanh thu phụ thuộc vào số lượt phát và thuật toán ưu tiên sự lặp lại, việc các bản nhạc ngắn hơn có thể tích lũy lượt phát nhanh hơn và trở nên "thân thiện" hơn với danh sách phát là điều hợp lý.
Về cảm nhận hạnh phúc (giá trị cảm xúc), xu hướng khá thú vị: mức độ tăng dần từ các nhóm ít nổi tiếng hơn đến nhóm "cao cấp", nhưng ở nhóm cực đoan nhất, "rất cao", lại có sự sụt giảm rõ rệt. Nói cách khác, Những bài hát cực kỳ nổi tiếng thường nghe buồn hơn những bài hát chỉ "thành công" mà thôi.Điều này mở ra nhiều cách hiểu khác nhau về thị hiếu công chúng và bối cảnh xã hội-cảm xúc.
Phân tích thống kê: tác động của thể loại và thuộc tính âm thanh
Sau khi đã phân tích dữ liệu, bước tiếp theo là áp dụng. kiểm tra thống kê chính thức Để xem xét những biến số nào có thể được coi là có liên quan trong việc giải thích sự nổi tiếng. Để nghiên cứu xem giới tính có ảnh hưởng đến thành công hay không, phương pháp phân tích phương sai (ANOVA) đã được sử dụng với chín thể loại chính.
Kết quả phân tích ANOVA cho ra giá trị F rất cao và độ ý nghĩa gần như bằng không, điều đó có nghĩa là Có sự khác biệt đáng kể về mặt thống kê về mức độ phổ biến giữa các thể loại.Tuy nhiên, điều đó vẫn chưa đủ: điều quan trọng là phải biết sự khác biệt này xảy ra giữa những cặp giới tính nào và liệu biến số đó có hữu ích cho mô hình dự đoán hay không.
Do sự khác biệt về phương sai không đồng nhất và số lượng bài hát mỗi thể loại cũng khác nhau, nên phương pháp sau đây đã được sử dụng: Kiểm định hậu nghiệm Games-HowellPhân tích này cho phép xác minh những sự kết hợp giới tính nào không cho thấy sự khác biệt đáng kể về mức độ phổ biến, điều này, nhìn chung, khiến việc sử dụng giới tính như một yếu tố dự đoán mạnh trong các mô hình học máy trở nên ít được khuyến khích hơn.
Song song đó, các hoạt động sau đây đã được thực hiện: kiểm định t độc lập Đối với mỗi đặc điểm âm thanh, giá trị trung bình được so sánh giữa nhóm bài hát phổ biến và nhóm bài hát không phổ biến. Với mức ý nghĩa 95%, kết quả cho thấy hầu hết các biến số (khả năng tạo nhịp điệu, năng lượng, độ lớn âm thanh, độ vang, độ sống động, thời lượng, nhịp độ, sắc thái cảm xúc và tính chất nhạc cụ) đều có sự khác biệt đáng kể giữa hai nhóm.
Ngoại lệ duy nhất rõ ràng là... sự hùng biệnTrong lần thử nghiệm đầu tiên, sự khác biệt về giá trị trung bình không đáng kể, nhưng phân tích sâu hơn cho thấy phạm vi độ nói nhiều đối với các chủ đề rất phổ biến (với giá trị từ 0,024 đến 0,685) nằm trong phạm vi rộng hơn của nhóm ít phổ biến hơn (từ 0 đến 0,964). Sự chồng chéo này không ngăn cản độ nói nhiều, khi được sử dụng hiệu quả, đóng góp thông tin cho mô hình, vì vậy người ta quyết định giữ lại nó như một biến dự đoán.
Tóm lại, khối tính năng âm thanh đã chứng minh được điều đó. khả năng mô tả rõ ràng về mức độ phổ biếnTrong khi đó, giới tính được xử lý thận trọng hơn và bị loại trừ khỏi vai trò là biến số chính trong một số phương pháp dự đoán.
Xây dựng mô hình học máy để dự đoán số lượt truy cập
Sau khi có được tập dữ liệu sạch và các biến liên quan đã được chọn, đã đến lúc tạo ra... mô hình phân loại nhị phân Có khả năng dự đoán liệu một bài hát có thuộc top 15% bài hát phổ biến nhất hay không. Để làm được điều này, các biến phân loại "key" và "mode" trước tiên được chuyển đổi thành các biến giả bằng cách sử dụng hàm `get_dummies` của thư viện Pandas.
Sau khi thêm các biến giả này, các cột gốc về khóa và chế độ, cũng như mức độ phổ biến liên tục, đã bị loại bỏ, và biến mục tiêu được giữ lại. trường nhị phân của sự phổ biến (Phổ biến so với không phổ biến). Trước khi huấn luyện mô hình, tất cả các đặc trưng số đều được chuẩn hóa bằng StandardScaler, vì chúng hoạt động trên các thang đo rất khác nhau và điều quan trọng là chúng phải có trọng số tương đương.
Tập dữ liệu được chia thành tập huấn luyện và tập kiểm tra bằng cách sử dụng hàm train_test_split, giữ nguyên... 20% số người đăng ký xét nghiệmBằng cách này, việc rò rỉ thông tin được tránh và đảm bảo rằng các chỉ số hiệu suất phản ánh khả năng khái quát thực tế của mô hình, chứ không chỉ khả năng ghi nhớ dữ liệu huấn luyện.
Mô hình đầu tiên được áp dụng là Hồi quy logisticKỹ thuật này được sử dụng rộng rãi trong phân loại nhị phân. Một phiên bản lặp với tốc độ học là 0,01 và 200 lần lặp đã được triển khai và đánh giá bằng phương pháp kiểm chứng chéo. Độ chính xác trung bình đạt khoảng 84,7%, một kết quả rất khả quan đối với một bài toán phức tạp như dự đoán thành công trong âm nhạc.
Sau đó, thuật toán đã được thử nghiệm. K-Những người hàng xóm gần nhất (KNN)Phương pháp này phân loại mỗi bài hát dựa trên k láng giềng gần nhất trong không gian đặc trưng. Việc điều chỉnh giá trị của ky bằng cách sử dụng Tìm kiếm lưới để tìm cấu hình tối ưu đã mang lại độ chính xác rất tương đồng, khoảng 84,8%, với một chút cải thiện về điểm số kiểm định chéo so với hồi quy logistic.
Mẫu tiếp theo là Máy hỗ trợ vectơ (SVM)Một kỹ thuật giám sát khác có khả năng xử lý cả mối quan hệ tuyến tính và phi tuyến tính cũng được sử dụng. Một lần nữa, thông qua việc điều chỉnh siêu tham số, độ chính xác đạt khoảng 84,6%, với các giá trị tương đương trong kiểm định chéo, cho thấy hiệu suất ổn định.
Những yếu tố sau đây cũng đã được đánh giá: Bộ phân loại Naive BayesDựa trên giả thuyết về sự độc lập giữa các đặc trưng. Mặc dù là một mô hình đơn giản hơn nhiều về mặt giả định, kết quả độ chính xác của nó (khoảng 84,6%) tương đương với SVM và rất gần với hồi quy logistic và KNN, củng cố ý tưởng rằng cấu trúc bài toán rất phù hợp với loại phương pháp xác suất này.
Cuối cùng, các mô hình dựa trên cây quyết định đã được thử nghiệm. Bộ phân loại cây quyết định Nó đạt được độ chính xác thấp hơn đáng kể, khoảng 75,4%, và phương pháp kiểm định chéo đã xác nhận sự sụt giảm hiệu suất này, có thể là do vấn đề quá khớp dữ liệu. Bộ phân loại rừng ngẫu nhiênPhương pháp kết hợp nhiều cây quyết định để làm giảm bớt các hiệu ứng này đã cải thiện đáng kể, đạt độ chính xác khoảng 84,1% và hơn 84% trong kiểm định chéo.
Để hoàn thành phân tích, một ma trận nhầm lẫn và báo cáo phân loại Đối với thuật toán Rừng Ngẫu nhiên (Random Forest), mô hình cho thấy khả năng xuất sắc trong việc xác định các bài hát không phổ biến (lớp đa số), với độ chính xác là 0,85 và độ thu hồi gần 0,99, trong khi hiệu suất của nó trong lớp bài hát phổ biến (lớp thiểu số) khiêm tốn hơn, với độ chính xác là 0,40 và độ thu hồi là 0,05. Điều này làm nổi bật thách thức kinh điển về sự mất cân bằng lớp trong loại bài toán này.
Tầm quan trọng của các biến số: yếu tố nào có trọng lượng lớn nhất khi tạo ra một bản hit
Ngoài việc biết mô hình nào chính xác hơn, điều quan trọng là phải hiểu những tính năng nào thực sự cung cấp thông tin hữu ích? Khi dự đoán liệu một bài hát có trở nên phổ biến hay không, thuật toán XGBoost (XGBClassifier) đã được sử dụng để thu được điểm số tầm quan trọng của các biến, dựa trên đóng góp của từng đặc trưng vào việc giảm lỗi trong cây quyết định.
Kết quả cho thấy rằng Độ dài của bài hát này rõ ràng nổi bật hơn hẳn so với những bài khác.Với điểm F cao hơn 400. Phát hiện này phù hợp với ý tưởng rằng các bản nhạc ngắn hơn khuyến khích người nghe nghe đi nghe lại nhiều lần và do đó tích lũy được nhiều lượt phát hơn trong thời gian ngắn hơn, điều mà thuật toán đề xuất của Spotify có xu hướng ưu tiên.
Ở thái cực đối lập, các biến số như khóa, chế độ hoặc... cảm xúc được lấy từ tiêu đề Chúng đạt điểm quan trọng dưới 50, cho thấy đóng góp của chúng vào khả năng dự đoán tổng thể của mô hình là nhỏ. Điều này không có nghĩa là chúng hoàn toàn không có tác dụng, mà là so với các đặc điểm khác, trọng lượng của chúng thấp hơn nhiều.
Các thuộc tính âm thanh còn lại (như năng lượng, khả năng tạo nhịp điệu, độ cao âm thanh, độ vang, độ sống động, độ rõ nét giọng nói và độ rõ nét nhạc cụ) nằm trong phạm vi trung bình với điểm F từ 200 đến 300, cho thấy rằng Chúng tạo thành một khối thông tin khá cân bằng.Không yếu tố nào hoàn toàn chiếm ưu thế, nhưng tất cả chúng cùng nhau giúp tạo nên một bức tranh khá chính xác về cơ hội thành công của một bài hát.
Nhìn chung, các mô hình dựa trên đặc điểm âm thanh có thể dự đoán với độ chính xác khoảng... Tỷ lệ thành công là 84-85% nếu manh mối nằm trong nhóm 15% phổ biến nhất.Điều này củng cố thêm bằng chứng thực nghiệm cho trực giác lâu đời về "khoa học bài hát ăn khách": với dữ liệu tốt và kỹ thuật phù hợp, thành công trong âm nhạc không hoàn toàn là ngẫu nhiên, mặc dù vẫn còn một yếu tố khó lường đáng kể.
Phân tích này cho thấy rằng việc kết hợp dữ liệu Spotify, thống kê truyền thống và mô hình máy học cho phép chúng ta vượt xa việc chỉ đơn thuần đếm số lượt nghe. Hiểu được tác động của thời lượng, năng lượng, giá trị cảm xúc và nhạc cụ, cùng với vai trò của danh sách phát do biên tập viên chọn lọc và cơ chế đề xuất của nền tảng, cung cấp cho nghệ sĩ, hãng thu âm và nhà phân tích một lộ trình rất cụ thể để lý giải tại sao một số bài hát trở thành hit và làm thế nào họ có thể tối đa hóa cơ hội gia nhập nhóm những bài hát được chọn đó mà không làm mất đi yếu tố con người và sáng tạo, điều mà may mắn thay, vẫn không thể quy giản thành bất kỳ công thức nào.