隨著國際產(chǎn)品Suno的V4版本發(fā)布，AI音樂創(chuàng)作進入了一個新的階段，能夠生成更長、更豐富的音樂作品。本文將帶您了解國內(nèi)三路大軍——字節(jié)跳動的海綿音樂、昆侖萬維的天工SkyMusic和趣丸科技的天譜樂——如何憑借自身的技術積累和創(chuàng)新應用，與全球頂級AI音樂產(chǎn)品展開激烈競爭。

在與Suno對壘這條道路上，國內(nèi)在AI音樂領域積累已久的公司，已經(jīng)紛紛在自己的優(yōu)勢之上推出了相應的模型及應用，正與全球頂級產(chǎn)品展開了一場你追我趕的精彩對決。

有趣的音樂創(chuàng)作玩法，不斷驚艷用戶的模型效果，以及現(xiàn)象級的產(chǎn)品傳播方式，音樂大模型是今年垂直大模型賽道上一個十分稀缺的亮點。

3月，當Suno V3面世之后，許多人驚呼音樂行業(yè)要“一夜變天”。最近，Suno發(fā)布了V4版本，允許用戶生成音質(zhì)更高、更好聽、時長更長（4分鐘）的音樂，也就意味著，一首完整的歌曲可以被AI創(chuàng)造出來，AI音樂創(chuàng)作進入了一個全新的階段。這在海內(nèi)外引起了廣泛的關注與討論。

事實上，即便是已經(jīng)到了V4版本，Suno更擅長的還是英文曲目，中文曲目和中國區(qū)用戶并不是其迭代產(chǎn)品需求的重心。而在與Suno對壘這條道路上，國內(nèi)在AI音樂領域積累已久的公司，已經(jīng)紛紛在自己的優(yōu)勢之上推出了相應的模型及應用，正與全球頂級產(chǎn)品展開了一場你追我趕的精彩對決。

一、國產(chǎn)AI音樂應用三路出擊

在Suno V3發(fā)布之后，國內(nèi)大模型玩家紛紛上線了類似的產(chǎn)品，以防錯過音樂行業(yè)的“ChatGPT時刻”。

不過，隨著時間的流逝，以近一年的時間線觀察來看，到目前，還堅持在AI音樂大模型賽道投入的玩家主要有三類：

1. 以字節(jié)跳動豆包旗下海綿音樂為代表的大廠派
2. 以昆侖萬維旗下的天工SkyMusic為代表的新興大模型廠商
3. 以趣丸科技旗下天譜樂為代表的垂直賽道獨角獸科技公司

作為字節(jié)跳動推出的一款免費AI音樂創(chuàng)作和分享平臺，海綿音樂主打利用人工智能技術幫助用戶生成個性化的音樂作品。

在海綿音樂，用戶只需輸入一句靈感或上傳一張圖片，即可生成專屬的音樂作品。平臺提供多種音樂風格和創(chuàng)作工具，幫助用戶輕松創(chuàng)作出高質(zhì)量的音樂。

相比Suno，海綿音樂在AI生成的中文歌曲，提高了吐字的清晰度和演唱的流暢性，音樂曲風也更符合中國人的喜好。

音樂大模型天工“SkyMusic”是昆侖萬維推出的國內(nèi)首個音樂SOTA模型，基于昆侖萬維的“天工3.0”超級大模型打造，能夠快速生成多種風格的音樂作品。

“天工SkyMusic”采用的是音樂音頻領域類Sora模型架構，Large-scale Transformer負責譜曲，來學習Music Patches的上下文依賴關系，同時完成音樂可控性，Diffusion Transformer負責演唱，通過LDM讓Music Patches被還原成高質(zhì)量音頻，使得“天工SkyMusic”能夠支持生成80秒44100Hz采樣率雙聲道立體聲歌曲。

天譜樂是趣丸科技今年7月發(fā)布的全球首個多模態(tài)配樂大模型，上線時間比天工晚，但也比海綿音樂略早一個月，產(chǎn)品從一上線就全面接入了其旗下應用唱鴨APP，向所有用戶開放。

趣丸科技一直深耕音樂、音頻領域，旗下的拳頭產(chǎn)品還有TT語音，如今累計注冊用戶已超2億，是國內(nèi)最大的興趣社交平臺之一。

天譜樂大模型集成了圖片理解算法、旋律生成算法、視頻理解算法、配器識別算法等領先技術，多模態(tài)理解與生成能力比肩國際先進水平。

值得關注的是，天譜樂大模型不僅支持文生音樂、音頻生音樂，還首創(chuàng)了圖片、視頻生成音樂功能，比Suno早推出3個月，某種程度上，意味著它的多模態(tài)輸入能力超越Suno。這也是目前幾款國產(chǎn)AI音樂中，有明顯特色功能的一款產(chǎn)品。

基于自研的畫面情緒理解模型等領先技術，天譜樂大模型不僅可以根據(jù)視頻畫面的明暗、色彩、情緒的細微變化逐幀識別和理解，也可以理解音樂的和弦、旋律、歌詞、演唱風格等復雜特征，最終生成高契合度的視頻配樂。

簡單來說，用戶僅需上傳相冊中的一張圖片或一段不超過60秒的視頻，即可生成與高度適配畫面的帶人聲唱詞的完整歌曲，生成效果達到唱片發(fā)行級水準。

二、音樂大模型持續(xù)進化的關鍵

事實上，國內(nèi)音樂雙巨頭騰訊音樂和網(wǎng)易云音樂，也分別推出了X·Studio和啟明星這樣的產(chǎn)品，以追趕當前生成式人工智能的浪潮。

但或許是巨頭本身憑借強大的版權庫，已經(jīng)能夠收獲足夠的市場份額和商業(yè)回報，所以外界感受到的是，這兩家公司在AI音樂上的投入和活躍度始終不及上述代表性的玩家。

而在與全球科技巨頭角逐AI大模型這一場比賽，行業(yè)內(nèi)的一個共識是，AI應用是國內(nèi)公司少有的優(yōu)勢之一，也是少有能夠趕超國外大模型公司的機會。這也就意味著，探索和創(chuàng)造出更多用戶真正會使用的產(chǎn)品，以及可落地商業(yè)化場景，才是國產(chǎn)大模型能夠持續(xù)進化的基石和未來。

這也符合趣丸科技副總裁賈朔對音樂大模型的理解。他表示，“降低門檻讓普通用戶體驗音樂創(chuàng)作的樂趣”是自研天譜樂產(chǎn)品的價值主張。

音樂原創(chuàng)的專業(yè)度很高，但是，在AI的輔助之下，用戶可以只需要輸入一句話、一張照片或一段視頻，在1-2分鐘內(nèi)生成一首詞曲結構相對完整的歌曲。

事實證明，這樣的策略的確收獲了不少市場的正反饋。目前已有4600萬人注冊使用唱鴨APP或天譜樂官網(wǎng)，累計創(chuàng)作近1000萬首AI歌曲。

技術平權的意義在于，讓更多人能夠享受到科技進步帶來的便利和好處，縮小不同群體之間的技術差距。

除了服務音樂愛好者等C端用戶，應用在影視制作等專業(yè)從業(yè)者的工作流，則為AI音樂大模型落地提供更多可商業(yè)化的場景。

當前市面上的音樂大模型，一方面，可以服務于專業(yè)音樂人，通過縮減詞曲創(chuàng)作、編曲等工作提升了音樂創(chuàng)作效率，讓快速創(chuàng)作和試驗新的音樂構思成為可能。另一方面，在短視頻浪潮之下，音樂大模型正在輔助短視頻創(chuàng)作者，讓他們更容易創(chuàng)造出符合視頻內(nèi)容的背景音樂，提升內(nèi)容質(zhì)量和觀眾體驗。

據(jù)了解，天譜樂還將在近期發(fā)布新功能——MidiRender，功能類比于一個精準、可控音樂版的Control Net，專業(yè)的創(chuàng)作用戶可以輸入自己的音樂構想，讓天譜樂AI根據(jù)這個原創(chuàng)音樂片段填充歌詞、完成編曲。

這些提供定制化的音樂解決方案，帶來更多的應用場景和商業(yè)機會，能夠持續(xù)促進音樂產(chǎn)業(yè)的創(chuàng)新和發(fā)展。

三、AI音樂創(chuàng)作還有哪些待解的難題？

盡管音樂大模型在2024年以前所未有的速度在狂飆，但它身后依舊給這個行業(yè)的操盤手留下了一些難解的尷尬。

首當其沖是音樂版權的問題。高質(zhì)量的音樂生成模型依賴高質(zhì)量的音樂音頻數(shù)據(jù)。

今年6月，環(huán)球音樂集團、索尼音樂集團和華納音樂集團等多家唱片公司就對Suno和Udio發(fā)起訴訟，稱它們非法使用版權音樂來訓練自己的AI模型并對外提供服務。隨后，Suno進行了回擊，指責它們利用版權訴訟來保護自己在人工智能音樂領域的市場主導地位。

目前雙方的爭奪尚未有一個定論，但唯一可以肯定的是，AI音樂公司在技術上取得了顯著進展，如何在法律框架內(nèi)運營和商業(yè)化，將是這些公司未來必須思考的問題。

此外，音樂大模型生成的音樂作品是否享有版權保護，其版權歸屬如何界定，尚無明確的法律規(guī)定，這給音樂大模型的應用帶來了不確定性和風險。

針對版權的問題，賈朔發(fā)現(xiàn)，其實可以從技術手段上規(guī)避一些紛爭。比如，在產(chǎn)品側，當用戶在使用AI創(chuàng)作時，可判斷其是否有主觀意圖模仿現(xiàn)有藝術家，并且做出彈窗提示。

事實上，人類在進行藝術創(chuàng)作的時候，靈感都未必是憑空產(chǎn)生，多數(shù)也是吸取和借鑒過往歷史上、產(chǎn)業(yè)里優(yōu)秀的案例，不斷打磨迭代，在巨人肩膀上創(chuàng)新和創(chuàng)造。訓練AI大模型是如此，人類學習成長與進步也類似。

另一方面，則是音樂的創(chuàng)意與情感。

音樂創(chuàng)作具有很強的專業(yè)性，但也屬于人類的情感和情緒的一種表達。雖然音樂大模型可以生成具有特定風格和情感的音樂作品，但其創(chuàng)意和獨特性仍然有限。

如何提升音樂大模型的創(chuàng)意能力，使其能夠創(chuàng)作出更具個性和創(chuàng)新性的音樂作品，是當前音樂大模型需要突破的方向之一。

在這一方向上，行業(yè)里有一個思路是，讓AI生產(chǎn)的音樂聲音更像“人”，以此更契合人類的情感表達訴求，使生成的歌曲引發(fā)更多人的共情與共鳴。

比如說，消除AI歌曲的電音問題。這是AI音樂過往被用戶吐槽最多的事情，也是很多音樂大模型在人聲技術上攻克的重點之一。趣丸科技表示，最近這一問題已經(jīng)率先解決，得益于最新的天譜樂大模型2.2版本，在長序列音樂語意建模和高質(zhì)量音頻空間建模上，實現(xiàn)進一步突破，高度還原音樂音頻在高維空間的連續(xù)信號表征，實現(xiàn)音樂性和音質(zhì)的飛躍。播客“Vibration 歪波音室”主理人拾壹也在公開場合提到，幾乎無法區(qū)分天譜樂的人聲唱詞和真人歌曲。

但也需要看到，盡管AI能夠模擬人類的創(chuàng)作模式，它始終很難真正理解和表達人類復雜的情感。音樂中的情感往往是創(chuàng)作者內(nèi)心深處的真實感受，AI生成的音樂可能在情感表達上顯得較為膚淺。而一些缺乏人類靈氣和感情的作品，在這個流量大爆炸和注意力被狂轟濫炸的時代，我們沒有理由再去承受更多。

作為人類，我們還需要面對的是，AI音樂創(chuàng)作的發(fā)展會對部分人類音樂創(chuàng)作者的就業(yè)和創(chuàng)作空間造成一定的擠壓。但無論如何，在當前的階段，我們需要尋找一種平衡，實現(xiàn)AI與人類創(chuàng)作者的真正的共存。

*本文系量子位獲授權刊載，觀點僅為作者所有。