UVR5歌曲伴奏提取,人声分离软件,原理已超过我的认知

ID:688692 · 发表于 2022-10-30 17:05

这个软件叫做Ultimate Vocal Remover，网上很容易搜索到并下载安装，所以资源我就不转了。
但是他的处理结果已经完全不在我的知识认知体系内了。
从模电一路走来，调音台，运放叠加，滤波电路，很好理解。
音效混响效果，数字采样后延迟叠加，可以理解
均衡器，也就是滤波器，可以理解。
发展到后面的数字调音台，先采样，用dsp做叠加处理，AGC，FFT滤波，也能理解

但是这个，能把混在一起的音频重新分离出来，我从电子学的角度我理解不了

虽然是知道用的是AI技术，经过训练后得到的AI模型。
真的是模拟大脑了？人脑很容易脑补将一首音乐中的各个元素分离出来的声音，现在计算机也可以了。原理是什么？

分离得到的伴奏.rar (5.39 MB, 下载次数: 10)

ID:284488 · 发表于 2022-10-31 09:32

谢谢楼主之贴心分享！

ID:262 · 发表于 2022-11-1 23:21

这个不一定要ai技术,很久以前就有类似功能了,频率分离

ID:844772 · 发表于 2022-11-2 08:55

我没用过，但想来技术难度不大，但工作量大。主要是用傅里叶分解，把时域变换到频域，如果不懂看看科普4G通讯的原理，每种乐器、男女声音，都有特征频谱的，尤其各种乐器频谱比较固定，如果把乐器的特征做数据库，就可以把每样的乐器声音单独提取出来，剩下的就是人声了。其实人声音虽然差异大其实也不难，就像图像识别人和动物，不过是计算所有特征点的欧拉距离的大小，这里会用机器学习，用于抽取计算哪些特征频谱用于和标准数据库比较欧拉距离，然后以此分类不同乐器和人声等。另外，我在网上见过潜水艇声呐屏幕的截图，觉得声呐也是这么分析遇到的船的。

ID:688692 · 发表于 2022-11-2 10:04

glinfei 发表于 2022-11-2 08:55
我没用过，但想来技术难度不大，但工作量大。主要是用傅里叶分解，把时域变换到频域，如果不懂看看科普4G通 ...

你说的是FFT分析后，用数据库里面的频谱数据对结果进行匹配消减，然后反变换回来得到时域原始信号？

但是就是这个幅度这块我都想不出如何处理。
同一个乐器，演奏的时候，音量是变化的，那么得到的频谱幅度也是变化的。
另外，乐器音准是不可能完全准确的
所以他这个都能完全分立出来我就想不通了。

几个已知的特征信号混合后，滤除其中一个，这个我还是能理解的
现在这个几乎是相当于未知的N个信号，也能分离出来。

ID:965189 · 发表于 2022-11-2 10:17

以前的简单消人声电路是用相位实现的。

ID:688692 · 发表于 2022-11-2 10:20

君工创发表于 2022-11-2 10:17
以前的简单消人声电路是用相位实现的。

那是直接用两个声道相减，因为人声是在两声道中同幅度同相位的，减掉就没了。
但是连带的很多居中的乐器也没了。效果差得很。

ID:1034262 · 发表于 2022-11-2 11:15

我也搞音频的，这个软件是我儿子玩的时候跟我说的，我就给他几首流行歌，真的可以将歌声、音乐分立出来，不带一点杂音的，附加失真也很小，真的是强大。

ID:844772 · 发表于 2022-11-2 11:31

cnos 发表于 2022-11-2 10:04
你说的是FFT分析后，用数据库里面的频谱数据对结果进行匹配消减，然后反变换回来得到时域原始信号？

...

能搞懂FFT，就能设计这个软件了。任何乐器无论发强音还是弱音我们都能分辨出来，是因为音色问题，我刚才说特征谱线指一个乐器发出的一个音符，它基音和泛音频率集合和幅度关系，音准、音色等等问题不过是导致的频点的漂移和幅度关系的变化，这是有范围的，实际也是通过计算欧拉距离来处理的。你后一个问题应该是：一起发声的乐器，基音必然是相同的，很多泛音也相同，怎么处理？实质还是频谱特征问题，每种乐器泛音都不同，找出特征差异就可以区分开，然后还有计算各自的能量密度，自然就区分了。我觉得这个事难度就是有个各种乐器数据库，这个工作量非常大，就跟人的样子识别用的那个一样，估计有个好心人给共享了，所以突然一大堆这种软件就出现了。

ID:383215 · 发表于 2022-11-4 15:17

感谢楼主的的分享！孤陋寡闻的我，想不到这世界上还有那么好的软件，这个软件的原理我不清楚，只是我平时比较喜欢唱歌，有的歌很难找到好的伴奏，看到楼主的这个帖子，很想下载UVR5试试，经过百度得知，UVR5下载不太方便，最关键的是对电脑要求太高，我的电脑性能太一般，下载了也不见得好用，百度还说有在线的伴奏提取，于是找到一个人声分离网站，上传了我需要分离伴奏的歌曲，几分钟搞定一首歌，可以免费整曲试听，下载需要成为VIP，我以录音方式得到伴奏。从昨天到现在，我已经把我特别喜欢唱的几首歌通过这个网站得到伴奏，这些伴奏虽然和原声伴奏相比有一定差距，但是，比那些伴奏网上的消音版要好很多很多，用来翻唱歌曲、自娱自乐绰绰有余，我喜欢的一些老歌受当时录音技术的限制，分离出来的伴奏效果稍差一些，用无损音乐分离出来的伴奏就比较好一些。从百度的描述来看，这个人声分离网站用的软件，可能还不一定就是UVR5，或许UVR5分离伴奏的效果更好，再看看其他分离伴奏的网站，或者以后搞一个性能好一点的电脑下载UVR5用来分离伴奏。

ID:844772 · 发表于 2022-11-4 17:37

质量好不好就看他们用卷积神经网络训练的量大不大了，不过把数据库不认识的频率剔除降噪，这样出来的音乐是不是更像电声乐器了。

ID:688692 · 发表于 2022-11-4 23:35

kmsj 发表于 2022-11-4 15:17
感谢楼主的的分享！孤陋寡闻的我，想不到这世界上还有那么好的软件，这个软件的原理我不清楚，只是我平时比 ...

没那么玄乎，i5 4代的CPU都能跑。一开始总是出错，后来百度才找到原因，我把虚拟内存关闭了，重新打开就好了。

高配电脑可以利用显卡计算速度快很多，低配电脑用CPU计算稍微慢点但是我觉得速度还是可以接受的。
URV5的下载一搜就有呢，5.4版，5个G大小，一般都网盘。阿里云盘和百度网盘都行。

ID:1065366 · 发表于 2023-3-6 10:15

coody_sz 发表于 2022-11-2 11:15
我也搞音频的，这个软件是我儿子玩的时候跟我说的，我就给他几首流行歌，真的可以将歌声、音乐分立出来，不 ...

你好，我提取的伴奏就不行，一些地方直接就没有伴奏了，直接就是没有音乐，这是怎么回事啊，谢谢

帐号		自动登录	找回密码
密码			立即注册


500 黑币	回复本帖可获得 5 黑币奖励! 每人限 3 次