《卖拐》《乡村爱情》都是素材库,AI怎样让赵本山开唱的
这几天,围绕赵本山和一首名叫《慌啥子嘛》的歌曲,相关话题接连登上热搜。
事情的起因颇有些魔幻:一首原本并不怎么出圈的川渝方言网络歌曲,被网友用AI合成了赵本山的声音,翻唱之后迅速走红。很多人第一耳听到时,甚至以为真是本山大叔亲自开了嗓。
更有意思的是,网友们听完还不满足,纷纷跑到评论区点歌:能不能让赵本山本人唱一次?
没想到,这个愿望还真实现了。
录制花絮▲ ▲ ▲
11月13日,赵本山团队联系原作者取得歌曲版权,赵本山本人走进录音棚,重新录制了这首歌。《慌啥子嘛(赵本山版)》作为网剧《走马上任》的推广曲正式上线,短短3小时,点赞便突破百万。
于是,一场有点特殊的音乐接力赛出现了:网友先用AI替赵本山唱红了一首歌,赵本山本人随后又把这首歌唱了回来。
但比这件事本身更值得琢磨的,是那个最初制作AI翻唱的网友究竟做了什么?
一个普通网友,如何让电脑学会赵本山的声音?它又是怎么知道赵本山应该怎样咬字、怎样发声,甚至怎样唱出那股熟悉的东北味儿的?
如果你以为这需要把赵本山几十年来的小品、电视剧全部下载下来,塞进电脑,再让显卡连续工作三天三夜,那事情可能比你想象的简单一些,也比你想象的有意思一些。
从《卖拐》到《刘老根》,都是赵本山的“声音源头”
先说一个最基本的概念:目前网上很多AI翻唱,并不是AI从零开始创作一首歌,而是利用声音转换技术,把原本演唱者的声音,转换成另一个人的声音。
你可以把它理解成一种声音版的“换脸”。
假设你找了一个朋友,让他完整唱一遍周杰伦的《晴天》。他唱得再认真,声音也还是他自己的。
但如果把这段人声交给一个已经学过周杰伦声音特征的AI模型,经过转换之后,出来的声音就可能有了周杰伦的音色和发声特点。
歌曲的旋律、节奏和演唱轨迹基本保留,变化的主要是声音的“主人”。
这项技术叫作AI声音转换(Voice Conversion)。
那么,问题来了:AI怎么知道赵本山的声音是什么样的?
答案是:先让它听。
假设现在要从头制作一个“AI赵本山”,制作者首先要做的,可能是一件相当枯燥的事情——翻找赵本山过去几十年的影音资料。

春晚小品《卖拐》
《卖拐》《昨天今天明天》《不差钱》这些经典小品,《乡村爱情》《刘老根》等电视剧,还有电影、访谈、综艺节目,甚至一些公开视频,都可能成为素材来源。
但可不是把视频下载下来就能直接交差。
想象一下,你从一段春晚小品里或一集电视剧里提取赵本山的声音,里面可能混杂着宋丹丹的对白、赵四的埋汰声、观众的笑声、现场掌声,还有背景音乐。AI如果连这些东西一起学进去,最后可能学到的不只是赵本山,还有一整个“春晚演播厅”。

《乡村爱情》海报
所以,素材必须经过筛选和清理。
首先要把人声尽可能从背景音乐中分离出来,再去掉噪声、混响和其他人的声音,保留相对干净的赵本山原声。
而且,光有声音还不够。最好能够覆盖不同的音高、语气、发声状态和情绪,比如有一本正经说“母猪的产后护理”的低沉声音,也有指着范伟喊“走两步,你走两步”时的高亢语调。
毕竟,赵本山说话时的声音和他唱歌时的声音也不完全是一回事。
这里有一个容易让人意外的数字。
杭州资深录音师老华告诉记者,以目前比较常见的RVC声音转换模型为例,对于音色鲜明、素材质量特别好的声音,“大概 30至40 分钟就有可能完成训练。”
也就是说,制作者需要翻遍几十小时赵本山的原始影音资料,最后真正挑出来交给AI学习的,可能只需要花费 1 小时以内的时间。
换句话说,素材不是越短越好,也不是越多越好。关键在于质量,以及有没有足够丰富的声音特征。
对于AI来说,一百小时夹杂着笑声、音乐和杂音的赵本山,不一定比二十分钟“干干净净的赵本山”更有用。
让AI反复听,直到它学会这副嗓子
素材准备好了,接下来才是真正的训练环节。
这里可以把AI模型想象成一个刚刚入学的学生。
你给它准备了一套赵本山的声音教材,它需要反复学习,逐渐摸清楚这副嗓子的特点。
比如,赵本山的声音有哪些辨识度很高的音色特征?说话时的气息是什么状态?不同音高下,声音会产生怎样的变化?
这些东西并不是简单地把声音调低几个音、加一点沙哑效果就能实现的。
模型需要通过训练,逐渐建立对目标声音的识别和转换能力。
训练过程通常以Epoch(训练轮次)来计算。简单说,就是让AI把准备好的数据反复学习一遍,一遍又一遍地调整自己的参数。
老华告诉记者,以RVC项目的技术说明为例,素材质量比较一般时,20至30轮可能已经足够;如果素材质量好、内容丰富,也可以进行更多轮次的训练,甚至达到200轮。
至于要让电脑跑多久,就没有一个统一答案了。
显卡性能、数据量、训练设置都会影响速度。有的设备训练起来相对快,有的则可能需要等待更久,三天三夜都有可能。
这里还有一个容易被忽略的细节:很多这类模型并不是从一张白纸开始学习,而是利用已经训练好的基础模型,再针对某一个人的声音进行进一步训练。
这有点像一个已经学会基本发音和语言规则的学生,现在只需要集中学习赵本山的发声特点,而不必从认识每一个汉字开始。
经过这一轮训练,AI赵本山的声音模型才算基本建立起来。
但这还不是一首歌。
它只是学会了赵本山的声音,接下来还得有人给它安排一份工作。
找个人先唱,AI再把声音换“替身”
现在,制作者手里有了一个“AI赵本山模型”,还需要另外一份素材:歌曲本身。
比如这次的《慌啥子嘛》。
首先,需要有人把整首歌唱出来,得到一条相对干净的人声轨道。
这条人声里包含了歌曲的旋律、音高、节奏、歌词以及演唱过程中的各种细节。
然后,把它交给刚刚训练好的赵本山声音模型。
接下来,AI就开始工作了。
原本演唱者的音色特征会被转换成赵本山的声音特征,而原有的演唱旋律和节奏则尽可能保留下来。
最后,再把转换后的人声和伴奏重新合在一起,经过一些混音、均衡、音量调整等处理,一首“AI赵本山翻唱”便基本完成了。

这里再超纲地敲敲黑板,解释一下两个容易混淆的概念——
一种叫TTS,也就是文本转语音。你输入一段文字,AI直接把它念出来,平时我们听到的剪映智能配音就属于这一类。
另一种叫SVC,也就是歌声转换。它不是让AI凭空读出歌词,而是先有一段已经唱好的声音,再把它转换成目标人物的音色。
这次我们讨论的AI翻唱,主要就是后面这种思路。
所以,“AI赵本山”并不一定真的懂得怎么演唱《慌啥子嘛》。它更像一个拥有赵本山声音的替身演员,原唱负责把歌唱出来,它负责把声音换成赵本山的。
这也解释了为什么有些AI翻唱听起来特别像,却又偶尔有点奇怪。
因为AI可以模仿音色,却不一定能把每一个细节都处理得恰到好处。
比如某个字的咬字不自然,某个高音听起来有点僵硬,或者一句歌词结束时,缺少了真人演唱中特有的气息变化。
这些小地方,往往是听众反复听几遍之后才会发现的。
AI孙燕姿、AI周杰伦:网友早就把华语乐坛“重组”了一遍
如果你觉得这次“AI赵本山”的出现很新鲜,那估计是家里断网挺久了。
其实早在2023年,“AI孙燕姿”就已经在中文互联网掀起过一轮相当热闹的翻唱风潮。
当时,B站上出现了大量“AI孙燕姿”翻唱视频。
周杰伦的《发如雪》、林俊杰的《她说》、赵雷的《成都》,甚至刘欢的《好汉歌》,都有人拿来让“AI孙燕姿”演绎。
其中一些作品播放量突破百万,相关视频在一个月内就超过了上千条。

更有意思的是,“AI孙燕姿”并不是孤军奋战。
AI周杰伦、AI陈奕迅、AI王心凌等也陆续出现。原本各有各的音乐风格和受众,现在却仿佛被网友安排进了同一个虚拟唱片公司。
你想听谁唱什么歌,基本都可以自己安排。
当时有媒体曾经采访过AI孙燕姿的制作者。相关报道提到,部分作品使用的是开源项目So-VITS-SVC,也就是一种AI音色转换技术。
制作者先准备目标歌手的声音素材,训练模型,再把其他人的演唱人声输入模型,经过音色替换后生成新的翻唱作品。
这和我们前面介绍的基本原理是一致的。
当然,2023年的“AI孙燕姿”和今天的AI翻唱工具已经不能简单画等号。
按照老华的说法,过去想制作一首AI翻唱,可能需要自己下载开源项目、配置运行环境、处理音频素材,还得折腾显卡和各种参数。
“现在,网上已经出现了不少集成化工具,有些甚至提供相对直观的操作界面。”
对于普通网友来说,技术门槛正在从“我会不会写代码”,逐渐变成“我能不能把素材准备好,以及我想让谁来唱”。
难怪,有些歌手可能几年没有推出新作品,但AI却已经替其完成了一轮又一轮“高强度营业”。
声音可以模仿,但不代表可以被随意使用
AI翻唱好玩归好玩,但有一个问题绕不开:一个人的声音,究竟能不能被别人拿来训练模型?
这次赵本山的处理方式,很balance。
AI版本意外带火了歌曲,网友又纷纷喊话希望本人演唱。赵本山团队随后联系原作者取得歌曲版权,最终由赵本山本人重新录制。
这让一场原本可能停留在网络二创层面的事情,出现了一个真人与AI“合作”的结果。

图片由AI生成
但这并不意味着,名人的声音可以随便拿来使用。
最高人民法院今年9月发布的《关于依法审理涉人工智能纠纷案件的意见》,已经对AI换脸、AI仿声等问题作出了明确规定。
其中提到,未经自然人同意,使用其声音作为训练语料,模仿其音色、语调和发音风格,生成能够识别该自然人的合成人声,该自然人主张声音权益受到侵害的,人民法院依法予以支持。
换句话说,网上能够找到某个人的声音,不等于就可以随意拿来训练一个AI替身。
尤其是当这些声音被用于商业宣传、虚假代言,甚至冒充本人发表言论时,问题就不再只是好不好听了。
只能说,本山大叔这次的故事,提供了一个颇为有趣的观察样本。
网友用AI替他唱了一首歌,意外让原本传唱度有限的歌曲走进更多人的视野;赵本山本人随后录制真人版,又让这首歌获得了第二轮传播。
AI先替他完成了一次意想不到的宣传,真人再把这份热度接了回来。
很难说,接下去会不会有人用这种“最直接、最不绕弯子的方法”,试图把费玉清、陈淑桦、刘文正、童安格等已经隐退甚至“消失”的歌手重新拉回热歌榜单。
毕竟这届网友,大概是不会让歌手闲下来的。
(来源 潮新闻 作者 陈宇浩)