让“完美的声音”永存：网络评论中正面的肯定与负面的担忧（翻译）

原标题：Let the‘Perfect Voice’ Always Be There, Positive Affirmation and Negative Anxiety fromOnline Commentary

作者：YingzixuanZhang; Kaixuan Niu; Zhian Zhao

文章来源：https://doi.org/10.1109/BigData59044.2023.10386690

引言

人工智能（AI）在全球音乐领域发挥着引人注目的作用，已经在很大程度上渗透并创新了音乐产业链，包括广泛应用的SVC（歌声转换）、SVS（歌声合成）、音乐推荐等。在政府相关的人工智能技术和数字经济政策的推动下，人工智能音乐生成技术已成为中国数字音乐产业的重要发展战略之一。

推广通过Al技术“复制”人类歌手声音的AI歌手,一直是中国一个有趣的热点。同时,技术障碍的减少为使用者提供了培训AI歌手的可能性。 使用Al音乐生成技术已由以前的专业生成内容(PGC， Professional Generated Content)领域扩展到新的用户生成内容(UGC, User Generated Content)阶段,培训AI歌手已成为大众参与文化的重要形式。 许多用户训练AI歌手翻唱歌曲并上传视频到哔哩哔哩网站（Bilibili.com，一个由UGC主导的视频平台,在中国每月有3亿活跃用户),这些视频的总观看次数达到数千万。

从技术角度看，Sovits 4.0和DiffSinger是目前用户用来训练AI歌手的两种主要声学模型：前者属于SVC；后者属于SVS，并由一个来自浙江大学的团队开发。用户总是比较两种模型的优缺点，并策略性地选择其中一个模型来训练AI歌手。AI歌手的流行不仅展示了人工智能技术和用户创造力的结合，还引发了关于AI音乐生成技术伦理方面的公共讨论。

研究方法

1.   半结构化访谈

在许多AI歌手由UGC创建的时代，用户是AI歌手的制作者和消费者。我们于2023年11月对两名训练“AI姚贝娜”并在哔哩哔哩网站上传“AI姚贝娜”翻唱歌曲视频总浏览量超过80万的用户进行了访谈。两名用户对训练“AI姚贝娜 ”做出了重大贡献，但使用了不同的声学模型： “华”用Sovits 4.0训练“AI姚贝娜”（命名为“AI小娜”），“F”用DiffSinger训练“AI姚贝娜”（命名为“AiBella”）。

本文将展示“华”和“F”使用不同声学模型训练“AI歌手姚贝娜”的过程和技术细节，并分别提供“AI小娜”和“AiBella ”翻唱歌曲的两个演示链接。此外，基于访谈，本文将整理和总结这两种声学模型在训练AI姚过程中的优势和劣势。

2.   内容分析

本文对用户贡献的全部公开在线评论进行了内容分析。根据哔哩哔哩网站上一些热门AI歌手视频的500条在线使用者评论，本文总结了使用者对AI歌手所展示的积极的肯定和负面的担忧。

A.   “AI小娜”经过“华”的翻唱培训练，翻唱李玟的《真情人》

步骤1：准备姚贝娜的语音片段，使用“终极人声去除器”（UVR5）提取姚贝娜的声音，并使用RX音频编辑器去除混响、呼吸和其他噪音，只留下姚贝娜的纯人声音频。使用音频切割器将音频切成约10秒的片段，以确保模型训练的速度和质量（见图1）。

图1，姚贝娜的声音片段

步骤2：使用Sovits4.0训练姚贝娜的音色转换（见图2）。

图2， 姚贝娜的音色转换模型

步骤3：选择李玟的歌曲《真情人》，使用UVR5分离伴奏和人声。使用RX音频编辑器去除混响和呼吸声等噪音（见图3）。

图3， 《真情人》的伴奏和人声分离

步骤4：将步骤3中李玟的人声加载到经过训练的姚贝娜的音色转换模型中，并用姚贝娜的音色替换它们（见图4）。

图4，使用姚贝娜的音色替换李玟的音色

步骤5：将“AI小娜”演唱的版本放在伴奏曲上（见图5）。

图5，添加伴奏

B.   “F”将姚贝娜的歌声训练成声学模型

步骤1：使用URV5从姚的300首歌曲中提取了歌唱声音，并使用降噪软件RX音频编辑器去除混响和噪音。将音频切割成片段以标记数据集，以适应MFA（蒙特利尔强制对齐器）的要求，并确保模型训练的速度和质量。然后使用MFA进行自动对齐，生成数据集的相应标记文件（见图6）。

图6， MFA自动对齐

步骤2：在Python 3.8下创建一个虚拟环境，并使用DiffSinger-2.1.0主分支进行声学模型训练，这需要使用数据集、声码器等。声学模型的输入信息包括音素序列、音素持续时间和F0（基频音高）。声学模型的唯一输出是梅尔频谱图，可以使用声码器将其转换为音频。

步骤3：将模型导出为ONNX模型（用于在OpenUtau编辑器中进行歌曲创作）。使用OpenUtau读取ONNX模型以供DiffSinger使用。根据乐谱输入相应版本的音素计量器和声码器，并输入音素、音素持续时间和音高曲线（见图7）。

图7，OpenUtau的使用

步骤4：导出使用这个模型合成的“AiBella”的歌声。

步骤5：“AiBella”的歌声通过一个常规的音轨释出，与其他音轨混合在一起（见图8）。

图8，音轨混合

C.   分析Sovits 4.0和DiffSinger的优缺点

Sovits 4.0可以被视为一种音色替换技术。以“AI小娜”翻唱李玟版本的《真情人》为例，虽然李玟的音色可以被姚贝娜的音色替代，但李玟的演唱情感和演唱技巧无法被替代。然而，DiffSinger基于马尔可夫链参数模型，可以从乐谱生成歌声。因此，由“F”训练的“AiBella”覆盖了徐瑶版本的《飞天》，“AiBella”的歌唱情感和歌唱技巧不会受到徐瑶的影响。结合“AI小娜”和“AiBella”的训练过程和训练质量，我们可以总结出两种声学模型的优缺点：

结论

训练AI歌手的技术已经进入公共领域，不仅仅是技术专家的专权。AI歌手可以被视为一种文化实践、意义构建、创造性实践和商品，不仅能给人们带来全新的娱乐体验，还能满足音乐粉丝的情感表达，包括感动、欢乐、好奇、思念等。然而，在负面担忧方面，使用者普遍提到了人类歌手的个性权利（right of personality）。

1.   网络评论中积极的肯定

AI歌手可以通过学习它们最喜爱的真实歌手的声音并演唱粉丝指定的歌曲，来满足粉丝的期望，呈现出富有创意和娱乐性的文化景观。此外，AI歌手还可以用来“复活”已故歌手的声音。中国优秀女歌手姚贝娜于2015年因癌症去世。然而，前文提到的“AI姚贝娜”（包括“AI小娜”和“AiBella”）如今可以演唱许多新歌，声音与姚贝娜极为相似，令深深怀念她的粉丝们感到安慰，“她没有离开这个世界”。在网络评论中，粉丝们将“AI姚贝娜”比作歌手姚贝娜的数字生命，认为“AI姚贝娜 ”的声音“让人想起活生生的歌者姚贝娜并流泪”。

2.   网络评论中负面的担忧

在训练AI歌手的背景下，声音不再仅仅属于个人，而变成了一个可以被取用、挪用和拼贴的工具。

更重要的是，有许多网络评论集中讨论了人类歌手的个性权利。也就是说，如果人们将歌手的声音作为训练AI歌手的原材料，是否会侵犯这位歌手的个性权利？复活已故歌手的声音引发了明显的伦理争议。实际上，训练“AI姚贝娜 ”的“华”和“F”都提到，在上传“AI姚贝娜”的视频后，他们受到了涉及伦理的批评，这些视频甚至被谴责为“伦理灾难”。在中国传统中，这类视频似乎会扰乱逝者的灵魂，使逝者无法安息。因此，“华”和“F”曾停止了“AI姚视频”的上传，直到得到歌手姚贝娜本人父母的支持。

AI歌手所涉及的法律、法规和伦理共识需要通过持续的社会实践逐步完善。在这个UGC极为丰富的时代，AI歌手的流行作为一种新兴的流行文化现象，涉及到技术开发者、平台、使用者和人类歌手等各种主体，应在进一步研究中广泛考虑AI音乐伦理问题。AI歌手的兴盛意味着什么？这并非说人们喜欢AI歌手的完美声音，而是反映了人们对人类歌手的喜爱和怀旧情感，因为受欢迎的歌手不仅拥有好的音色，还包含着人类的感情和歌手作为真实个体的个性。

致谢

感谢受访者“华”和“F”对本文的贡献。他们提供了论文中展示的数据，并分享了他们训练“AI姚贝娜”的技术细节。

文献引用

J. Liu, C. Li, Y. Ren, F. Chen and Z.Zhao, 'DiffSinger: Singing Voice Synthesis via Shallow DiffusionMechanism', AAAI, vol. 36, no. 10, pp. 11020-11028, Jun. 2022.

'AI Xiaona’s cover ‘Real Lover’website', 2023, [online] Available:https://www.bilibili.com/video/BV1EP411v7GB/.

'CoCo’s version ‘Real Lover’website', 2023, [online] Available:https://www.bilibili.com/video/BV1PP411v71G/?spm_id_from=333.337.search-card.all.click&vd_source=db5c773c1f0c05905abe3882d9a2b8da.

'AiBella’s cover ‘The Flying’website', 2023, [online] Available:https://www.bilibili.com/video/BV1wK4y1c7pS/.

'Xu’s version ‘The Flying’website', 2022, [online] Available:https://www.bilibili.com/video/BV1q44y1A7SQ/?share_source=copy_web&vd_source=d97328cabcd1b3420a107e472f2b680e.

'Human singer Yao Beina’s song ‘Letit go’ website', 2022, [online] Available:https://www.bilibili.com/video/BV1E8411W7RG/?spm_id_from=333.337.search-card.all.click&vd_source=7613a27022e2622ffbbb235016b1f4f8.

M. Clancy, 'Artificial Intelligenceand Music Ecosystem', Focal Press, 2022.

K. Lee, G. Hitt, E. Terada and J. H. Lee,'Ethics of Singing Voice Synthesis: Perceptions of Users and Developers -Supplementary Material', Open Science Framework preprint, Sep.2022.

Rujing Huang, B. L. T. Sturm and A.Holzapfel, 'De-centering the West: East Asian Philosophies and the Ethicsof Applying Artificial Intelligence to Music', Nov. 2021.

F. Morreale, 'Where Does the BuckStop? Ethical and Political Issues with AI in Music Creation', Transactionsof the International Society for Music Information Retrieval, vol. 4, no.1, pp. 105-113, 2021.