品牌 资讯 搭配 材料 时尚 热点 行业 首饰 玉石 行情

AI孙燕姿翻唱爆火,多亏这个开源项目!广西老表带头打造,上手指南已出 当前速讯

2023-05-11 16:38:23 来源:量子位

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。


(资料图片)

AI孙燕姿这么快翻唱了这么多首歌,到底是咋实现的?

关键在于一个开源项目

最近,这波AI翻唱趋势大火,不仅是AI孙燕姿唱的歌越来越多,AI歌手的范围也在扩大,就连制作教程都层出不穷了。

而如果在各大教程中溜达一圈后就会发现,其中的关键秘诀,还是要靠一个名为so-vits-svc的开源项目。

它提供了一种音色替换的办法,项目在今年3月发布。

贡献成员应该大部分都来自国内,其中贡献量最高的还是一位玩明日方舟的广西老表。

如今,项目已经停止更新了,但是星标数量还在蹭蹭上涨,目前已经到了8.4k。

所以它到底实现了哪些技术能引爆这波趋势?

一起来看。

多亏了一个开源项目

这个项目名叫SoftVC VITS Singing Voice Conversion(歌声转换)。

它提供了一种音色转换算法,采用SoftVC内容编码器提取源音频语音特征,然后将矢量直接输入VITS,中间不转换成文本,从而保留了音高和语调。

此外,还将声码器改为NSF HiFiGAN,可以解决声音中断的问题。

具体分为以下几步:

预训练模型准备数据集预处理训练推理

其中,预训练模型这步是关键之一,因为项目本身不提供任何音色的音频训练模型,所以如果你想要做一个新的AI歌手出来,需要自己训练模型。

而预训练模型的第一步,是准备干声,也就是无音乐的纯人声。

很多博主使用的工具都是UVR_v5.5.0

推特博主@歸藏介绍说,在处理前最好把声音格式转成WAV格式,因为So-VITS-SVC 4.0只认这个格式,方便后面处理。

想要效果好一些,需要处理两次背景音,每次的设置不同,能最大限度提高干声质量。

得到处理好的音频后,需要进行一些预处理操作。

比如音频太长容易爆显存,需要对音频切片,推荐5-15秒或者再长一点也OK。

然后要重新采样到44100Hz和单声道,并自动将数据集划分为训练集和验证集,生成配置文件。再生成Hubert和f0。

接下来就能开始训练和推理了。

具体的步骤可以移步GitHub项目页查看(指路文末)。

值得一提的是,这个项目在今年3月上线,目前贡献者有25位。从贡献用户的简介来看,很多应该都来自国内。

据说项目刚上线时也有不少漏洞并且需要编程,但是后面几乎每一天都有人在更新和修补,现在的使用门槛已经降低了不少。

目前项目已经停止更新了,但还是有一些开发者创建了新的分支,比如有人做出了支持实时转换的客户端。

项目贡献量最多的一位开发者是Miuzarte,从简介地址判断应该来自广西。

随着想要上手使用的人越来越多,也有不少博主推出了上手难度更低、更详细的使用指南。

歸藏推荐的方法是使用整合包来推理(使用模型)和训练,还有B站的Jack-Cui展示了Windows下的步骤指南(https://www.bilibili.com/read/cv22375562)。

需要注意的是,模型训练对显卡要求还是比较高的,显存小于6G容易出现各类问题。

Jack-Cui建议使用N卡,他用RTX 2060 S,训练自己的模型大概用了14个小时

训练数据也同样关键,越多高质量音频,就意味着最后效果可以越好。

还是会担心版权问题

值得一提的是,在so-vits-svc的项目主页上,着重强调了版权问题。

警告:请自行解决数据集的授权问题。因使用未经授权的数据集进行培训而产生的任何问题及其一切后果,由您自行承担责任。存储库及其维护者、svc开发团队,与生成结果无关!

这和AI画画爆火时有点相似。

因为AI生成内容的最初数据取材于人类作品,在版权方面的争论不绝于耳。

而且随着AI作品盛行,已经有版权方出手下架平台上的视频了。

据了解,一首AI合成的《Heart on My Sleeve》在Tik Tok上爆火,它合成了Drake和Weekend演唱的版本。

但随后,Drake和Weekend的唱片公司环球音乐将这个视频从平台上下架了,并在声明里向潜在的仿冒者发问,“是要站在艺术家、粉丝和人类创造性表达的一边,还是站在Deepfake、欺诈和拒付艺术家赔偿的一边?”

此外,歌手Drake对AI合成翻唱歌曲表达了不满。

而另一边,也有人选择拥抱这项技术。

加拿大歌手Grimes表示,她愿意让别人使用自己的声音合成歌曲,但是要给她一半版权费。

GitHub地址:https://github.com/svc-develop-team/so-vits-svc

标签:

(责任编辑:)

相关文章

AI孙燕姿翻唱爆火,多亏这个开源项目!广西老表带头打造,上手指南已出 当前速讯

​本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。AI孙燕姿这么快翻唱了这么多首歌,到

2023-05-11 16:38:23

林氏木业响应国家号召,为美好生活发声,赢得人民日报点赞 焦点信息

​林氏木业秉持为消费者打造人居美好生活的品牌初衷,满足每个人对家的偏爱,助力消费者多元时尚美好生活,为推

2023-05-11 15:50:26

吴易昺晋级,穆雷再遭一轮游,瓦林卡两盘完胜,郑钦文对手产生 世界快播报

​在首个比赛日一场焦点对决中,中国一哥吴易昺表现出色,他在3-6先输一盘的情况下展开反击,最终以6-36-3连

2023-05-11 15:17:29

防灾减灾有真招 科技手段挑大梁-当前短讯

​5月12日,我们将迎来第15个全国防灾减灾日。近年来,随着我国科技研发水平不断提升,越来越多的科技成果被

2023-05-11 15:03:02

丰水期渐至 云南铝产能复产几何? 焦点简讯

​【丰水期渐至云南铝产能复产几何?】进入2023年,沪铝延续自去年7月之后的震荡走势,核心波动区间为17800-1

2023-05-11 14:30:05

微动态丨《晏会厅》|董修惠:希望bZ3月销尽快到6-8千,电动车时代建立品牌认知需过程

​“来到电动车时代,要让消费者形成认知,确实需要一个过程。我们的认知度还有比较长的路要走,至于溢价还有

2023-05-11 13:53:53

李公羽论述自贸港建设背景下以历史文化赋能农业品牌发展——2023年海南省“中国品牌日”系列活动启动 当前报道

​5月10日,以“海南鲜品,全球共享”为主题的海南省2023年中国品牌日系列活动在海口启动,“海南国际热带农

2023-05-11 13:00:10

西北人的叠词宇宙里,藏着数不尽的好吃的

​提起大西北,很多人的第一印象是豪迈。但是西北人一张口,可爱的口音和画风似乎与豪迈不太搭,除了“风起云

2023-05-11 12:21:36

Failed to connect to zw.gozuowen.com port 80: Timed out

​1、文纳特卡制是指美国进步教育运动中出现的一种教学制度。2、由教育家华虚朋提出。3、文纳特卡制将课程分

2023-05-11 11:58:16

世界简讯:华人健康:5月10日融资买入146.96万元,融资融券余额3871.05万元

​5月10日,华人健康(301408)融资买入146 96万元,融资偿还163 17万元,融资净卖出16 21万元,融资余额3871

2023-05-11 11:31:45

被认定性侵和诽谤女作家 特朗普表示将上诉_世界微头条

​据新华社报导,美国一联邦陪审团9日认定美国前总统特朗普曾性侵和诽谤女作家伊丽莎白·简·卡罗尔。特朗普

2023-05-11 11:05:23

湘潭市一季度工业经济“成绩单”:规上工业增加值同比增长5.0%_全球时讯

​湘潭市一季度工业经济“成绩单”:规上工业增加值同比增长5 0%,  在华菱线缆橡缆厂车间内,一束束原料铜

2023-05-11 10:43:17

天天热资讯!学习历史的重要性_学习历史

​1、如果只是想大致了解一下的话,我想初高中历史课本就够用了。2、或者《上下五千年》,——这虽然是儿童读

2023-05-11 10:18:00

天天观察:当日快讯:东信和平:目前正与多家数字人民币运营机构开展业务合作

​东信和平5月10日在互动平台表示,为顺应国家数字人民币战略布局,公司高度关注行业动态,积极探索数字人民

2023-05-11 10:09:21

穆迪:美债务上限问题将重创多个州就业情况

​北京时间5月11日早间消息,本周,美国国会的领导者未能就债务上限协议取得进展。市场分析公司穆迪警告称,

2023-05-11 09:33:26

今天最新消息 人民法院报:多管齐下 预防未成年人犯罪

​多管齐下预防未成年人犯罪未成年人犯罪问题一直是司法界乃至全社会的关注焦点,未成年人作为祖国的未来和希

2023-05-11 09:04:13

即时看!52584辆!理想汽车一季度数据太炸裂了

​依靠增程技术和家用定位,理想汽车在几大新势力品牌中,俨然已走出“独立行情”。5月10日晚,理想汽车公布2

2023-05-11 08:35:13

占的拼音和组词_汉字占组词

​欢迎观看本篇文章,小勉来为大家解答以上问题。占的拼音和组词,汉字占组词很多人还不知道,现在让我们一起

2023-05-11 07:59:06

当前热讯:河南省残疾人运动员近5年累计夺金158枚

​残疾人体育是残疾人康复健身、平等参与社会生活的重要途径。10日,河南省政府新闻办召开新闻发布会通报,近

2023-05-11 07:07:02

【利率债发行结果】23农发04(增5)中标利率为2.6790%

​23农发04(增5)中标利率为2 6790%

2023-05-11 06:16:37

【天天报资讯】日本富士山简介100字 日本富士山简介

​今天来聊聊关于日本富士山简介100字,日本富士山简介的文章,现在就为大家来简单介绍下日本富士山简介100字

2023-05-11 04:50:01

辽宁连胜,他再遭众怒!进攻铁+防守拉+护框不想动,已被杨鸣弃用|资讯

​辽宁连胜,他再遭众怒!进攻铁+防守拉+护框不想动,已被杨鸣弃用,付豪,护框,李晓旭,杨鸣弃,辽宁省,中国篮球

2023-05-11 01:59:01

世界讯息:交易异动!国光电器:近3个交易日上涨22.56% 公司前期披露的信息不存在需要更正、补充之处

​国光电器(SZ002045,收盘价:18 85元)5月10日晚间发布公告称,国光电器股份有限公司股票交易价格连续三个

2023-05-10 23:50:46

每日热讯!nba季后赛什么开始_你清楚了吗

​nba季后赛什么开始,你清楚了吗很多人还不知道,现在让我们一起来看看吧!1、上周联盟董事会公布了一些NBA

2023-05-10 22:21:28

每日甘肃网5月10日甘肃热点新闻回顾|当前速递

​甘肃省积极探索推进新就业群体党建工作“南丁格尔之灯”照亮生命之光——写在第112个国际护士节来临之际

2023-05-10 21:45:04

双鸭山五岁孩子抚养费给多少钱

​1、子女抚育费的数额,可根据子女的实际需要、父母双方的负担能力和当地的实际生活水平确定。2、有固定收入

2023-05-10 20:51:20

银行存款利率下调原因何在 | 银行与信贷 全球通讯

​银行存款利率下调原因何在|银行与信贷,央行,净息差,商业银行,定期存款利率

2023-05-10 19:59:56

2021古诗有哪些 2021关于立冬节气的古诗 关于立冬的古

​抄写作文网小编为大家提供2021古诗有哪些2021关于立冬节气的古诗关于立冬的古来供大家参考,欢迎阅读。2021

2023-05-10 19:21:30

强势开局!广汽丰田4月销量77009台,实现环比、同比均两位数增长

​4月制造业PMI数据跌破50%枯荣线,经济整体呈现弱复苏,加之对新刺激政策的预期与一季度价格战影响,消费者

2023-05-10 18:50:46

每日关注!气球装饰图片大全图片_气球装饰图片

​你们好,最近小活发现有诸多的小伙伴们对于气球装饰图片大全图片,气球装饰图片这个问题都颇为感兴趣的,今

2023-05-10 18:12:35