AI翻唱教學丨AI歌手/合成歌曲教學懶人包!AI孫燕姿一鍵練成

應用程式

廣告

AI翻唱教學丨最近AI尹光翻唱了林家謙的《一人之境》和姜濤的《Dear my friend》引起了網民轟動!實際上,AI翻唱在三月份已在國內掀起了熱潮。當中以AI孫燕姿最為著名,還有AI王菲、AI鄧麗君等,更有中文、英文和日文等不同語言翻唱。而這股熱潮也傳到了香港,AI陳奕迅、AI尹光、AI哥哥、AI梅姐和AI家駒等等已經先後「出道」,New Monday為大家整合AI歌手、合成歌曲教學懶人包,即睇詳情!

AI翻唱教學

AI歌手教學丨原理
AI歌手教學丨前期準備:AI歌手訓練
AI歌手教學丨中期準備:製作目標歌曲
AI歌手教學丨正式製作:AI翻唱歌曲

AI翻唱歌手原理

AI翻唱歌手是通過深度學習等人工智能技術實現的。具體來說,首先需要將原始歌曲作為訓練數據,並使用神經網絡對其進行訓練。訓練完成後,AI翻唱歌手可以模擬原始歌曲中的聲音、語調和情感,並在其基礎上進行歌曲的重新演繹。

AI翻唱技術雖然能夠實現音色模仿,但是演唱技巧的訓練仍然很困難。例如,AI尹光在翻唱林家謙的《一人之境》中的Hey,是通過使用Sovits替換人聲進行生成的。生成的音軌只包含人聲,並不包含伴奏。因此,需要再將人聲和伴奏放進混音軟體中進行融合,同時在後期處理的過程中,還可以加入一些元素,如AI尹光的Hey、呀等字。

回到目錄

前期準備:AI歌手訓練

步驟一、So-vits-svc

So-vits-svc (又稱 Sovits) 是基於 VITS、soft-vc、VISinger2 等開發的開源免費 AI 語音轉換模型。

使用者只要輸入人聲樣本,So-vits-svc 模型就會學習及掌握所輸入的人聲的音色和發音特點等,訓練出使用者想要的語音模型。最近不少 AI 翻唱作品就是建基於這個 so-vits-svc 開源項目,目前可使用GithubGoogle Colab最的So-vits-svc為方便。

 audi 奧迪 咒術迴戰第二季 AI歌手
(圖片來源:github@So-vits-svc)
 audi 奧迪 咒術迴戰第二季 AI歌手
(圖片來源:Colab So-vits-svc)

步驟二、下載歌手音源

應使用無損音檔作為AI歌手模型訓練素材,如ALAC、WAC等格式檔案,或直接下載FLAC,MP3檔則不能。

步驟三、Vocal 人聲/Music 背景音 分離

將歌曲的背景音樂與人聲分離,因為AI歌手模型訓練只需要人聲,背景音樂會影響模型的推理效果,分離後將可減少雜音。要將歌曲中的人聲與音樂分離,簡單方法可以使用線上工具去除人聲和背景音樂:

AI伴奏分離工具:Vocal Remover and Isolation

  1. 進入網站後,點撃 Browse my files上傳歌曲。
  2. 上傳需時 1-2 分鐘,完成後,會見到兩條音軌,上方綠色音軌是音樂,下方紫色音軌是人聲。
  3. 選擇下載 MP3 或 WAV 格式。
  4. 分別選擇人聲及背景音樂,點撃 Save 完成下載 。
 audi 奧迪 咒術迴戰第二季 AI歌手
(圖片來源:Vocal Remover and Isolation)

步驟四、將已分離 Vocal 人聲分割

高品質音頻檔案大小比較大,為了讓AI順利學習,需要把歌曲切割成十多個10秒左右的音檔,否則運算過程有機會會暫停。要留意可先把把一首歌分為 3-4段,因為一首歌等前奏 Intro、間奏 Inter、結尾 Outro都沒有人聲,如直接切割有機會會影響AI歌手模型訓練成果質素,同樣可使用AI工具一鍵協助分割音源檔案:

  1. 進入ASPOSE網站上傳人聲,然後點撃 Upload。
  2. 把下方的紅線拉到 1 分鐘位置,然後點撃右側的 “Add Splitter Point” 。
  3. 點撃 “Add Splitter Point” 後,會見到下方出現另一條紅線,將紅線拉到 2 分鐘位置,點撃右側的 “Add Splitter Point” 。
  4. 選擇下載格式,然後點撃 Export 完成下載 。
 audi 奧迪 咒術迴戰第二季 AI歌手
(圖片來源:ASPOSE)

步驟五、訓練AI歌手模型

  1. 把切割好的音源檔放進一個文件夾裡
  2. 再把文件夾壓縮,然後任意命名,如「aisinger」
  3. 到自己google帳戶drive中開啟一個文件夾命名為「dataset」
  4. 把已壓縮的文件檔放進去
  5. 接著到Google Colab So-vits-svc中點擊頁頭「Check graphics card」中的Play圖像
  6. 按「仍要執行」
  7. 依序把頁面上的「Clone github repo」、「Install dependencies」、「Download ContentVec model file」的Play圖像都點一下
  8. 在「Datasetname」中輸入文件夾名稱(aisinger)再按Play圖像
  9. 在「Dataset_name_drive」中任意輸入另一個檔案名稱,如「aisinger_final」
  10. 點擊下方「Training」中的「Save to drive」再按Play圖像
  11. 最後在「Start training」中再按Play圖像即可

回到目錄

中期準備:製作目標歌曲

步驟一、下載音源

同樣下載相關音源,例如想把已製作的AI歌手演唱《一人之境》,則下載一段完整的音源檔案

步驟二、Vocal 人聲/Music 背景音 分離

同樣再把 Vocal 人聲及 Music 背景音分離,用作AI翻唱歌曲

回到目錄

正式製作:AI翻唱歌曲

步驟一、把已替換 Vocal 人聲音軌放入軟件中

 audi 奧迪 咒術迴戰第二季 AI歌手
(圖片來源:So-vits-svc)

步驟二、整合人聲及音樂

同樣可使用網上工具,把人聲及音樂整合在一起,即可完成AI翻唱歌曲!

AI整合人聲及音樂工具:VEED IO

 audi 奧迪 咒術迴戰第二季 AI歌手
(圖片來源:Veed.IO)

圖片來源:相關機構、shutterstock