python数据去噪函数 python图像去噪
python中的filter函数怎么用
python filter内建函数
站在用户的角度思考问题,与客户深入沟通,找到镇坪网站设计与镇坪网站推广的解决方案,凭借多年的经验,让设计与互联网技术结合,创造个性化、用户体验好的作品,建站类型包括:成都网站设计、成都做网站、外贸网站建设、企业官网、英文网站、手机端网站、网站推广、域名注册、虚拟主机、企业邮箱。业务覆盖镇坪地区。
filter函数是python内建函数,可以操作任何可迭代类型,如list,tuple,string.
filter需要带上一个函数function和一个可迭代序列作为参数。filter()将调用该function作用于每一个可迭代序列的元素,并返回一个由该function验证后返回值为true的元素组成新的可迭代序列,新序列的类型保持与filter参数序列的类型一致
2.filter与数字
下面用这个例子来说明:
#建个数字列表
numbers = [1,5,9,8,4,6,3,7]
#定义一个过滤标准,取小于5的数
def lessThanFive(element):
return element 5
print filter(lessThanFive, numbers)
输出结果是列表:[1,4,3]
解说:此处的过滤函数lessThanFive必需带入一个参数(filter()会调用lessThanFive,参数是列表nembers中的每一个元素,一次一个)。filter()返回所有值都是小于5的列表
3.filter与字符串
下面用如下例子说明:
#定义元组类型
names = ('Jack', 'Jill, 'Steve', '')
#筛选出名字
new_names = filter(None, names)
print new_names
输出结果是元组:
('Jack', 'Jill, 'Steve')
在元组names最后一个名字是空字符串,而filter的第一个参数是None,这说明需要使用identity函数(该函数是简单的返回该元素的)
因为python对空字符串,0和None作为False,所以上面的filter的语句就是移除空元素。
4.filter和函数
目的:找出以J开头的名字
def startsWithJ(element):
if element:
return element[0] == 'J'
return False
j_names = filter(startsWithJ, names)
print j_names
输出结果是元组:('Jack', 'Jill')
注意到了吗,上面的2个结果都是tuple而不是list,再一次说明fliter的返回值类型与参数序列的类型保持一致
ssa数据降噪算法简易实例
原始数据是[1 9 2 8 3 7]
嵌入:
比如选择的窗口长度L为3,得到的矩阵就是:
[1 9 2]
[9 2 8]
[2 8 3]
[8 3 7]
SVD分解:
Python里自带一个函数进行分解,就不用它参考文献上写的啥X乘X的转置了,函数是这个:
u, s, v = np.linalg.svd(嵌入得到的矩阵)
得到的三个结果是这样的
u是个形状为(4, 4)的矩阵,为啥是4我不知道
[-0.34748861 -0.67722177 0.41306458 -0.5 ]
[-0.62332023 0.4373678 -0.41253036 -0.5 ]
[-0.38669102 -0.52074809 -0.57383924 0.5 ]
[-0.58411781 0.28089413 0.57437346 0.5 ]
s是,形状为(3,)
[18.29004176 9.97102473 0.23030046]
奇艺谱就是s里取最大值,这里为 18.29004175999194
v是,形状是(3, 3)
[-0.62349202 -0.50409505 -0.59761683]
[ 0.44777196 -0.85683898 0.25559193]
[ 0.64090402 0.10823653 -0.7599519 ]
重构:
重构矩阵的计算方法是 newMatrix = value * u1 * v1
value就是奇艺谱,SVD分解里得到的s里的最大值,上面也提了一下,这里value是: 18.29004175999194
u1是在u的基础上,取第一行,为
[-0.34748861 -0.62332023 -0.38669102 -0.58411781]
v1是在u的基础上,取第一行,为
[-0.62349202 -0.50409505 -0.59761683]
计算时需要对u1进行转置,转置后的u1是:
[-0.34748861]
[-0.62332023]
[-0.38669102]
[-0.58411781]
重构完的矩阵就是:
[3.96265415 3.203817 3.79820225]
[7.10815385 5.74696232 6.81316231]
[4.40970654 3.56526011 4.22670177]
[6.66110146 5.38551921 6.3846628 ]
最后把重构完的矩阵再转变为一维数组:
设这个一维数组叫ret[],对于重构完的矩阵,对每一条次对角线进行计算,并把结果添加到ret[]里
利用两个动态的变量,这里分别叫sigma和alpha,sigma是每条次对角线的数据的和,alpha是次对角线长度
ret.append(sigma/alpha)
就相当于添加了每条次对角线的平均值。
过程大概是这样的:
pos is( 0 , 0 ) sigma+
alpha is 1 now
ret[] append
pos is( 1 , 0 ) sigma+,
pos is( 0 , 1 ) sigma+
alpha is 2 now
ret[] append
pos is( 2 , 0 ) sigma+
pos is( 1 , 1 ) sigma+
pos is( 0 , 2 ) sigma+
alpha is 3 now
ret[] append
pos is( 3 , 0 ) sigma+
pos is( 2 , 1 ) sigma+
pos is( 1 , 2 ) sigma+
alpha is 3 now
ret[] append
pos is( 3 , 1 ) sigma+
pos is( 2 , 2 ) sigma+
alpha is 2 now
ret[] append
pos is( 3 , 2 ) sigma+
alpha is 1 now
ret[] append
处理后的数据ret[]为:
[3.9626541544632476 5.155985423726059 4.651623704998423 5.67984129396347 4.806110489242382 6.384662797164128]
就是最终结果
备注:
因为窗口长度L的选择不宜超过数据长度的1/3,这里数据长度是6,L为了为了算着方便选的3,所以这个例子的效果不好,但是领会精神。
做为参考的话,处理数据的时候,数据长度是300+,L选的4。
源码访问:
参考文献
Python 简单的扩音,音频去噪,静音剪切
数字信号是通过对连续的模拟信号采样得到的离散的函数。它可以简单看作一个以时间为下标的数组。比如,x[n],n为整数。比如下图是一个正弦信号(n=0,1, ..., 9):
对于任何的音频文件,实际上都是用这种存储方式,比如,下面是对应英文单词“skip”的一段信号(只不过由于点太多,笔者把点用直线连接了起来):
衡量数字信号的 能量(强度) ,只要简单的求振幅平方和即可:
我们知道,声音可以看作是不同频率的正弦信号叠加。那么给定一个声音信号(如上图),怎么能够知道这个信号在不同频率区段上的强度呢?答案是使用离散傅里叶变换。对信号x[n], n=0, ..., N-1,通常记它的离散傅里叶变换为X[n],它是一个复值函数。
比如,对上述英文单词“skip”对应的信号做离散傅里叶变换,得到它在频域中的图像是:
可以看到能量主要集中在中低音部分(约16000Hz以下)。
在频域上,也可以计算信号的强度,因为根据Plancherel定理,有:
对于一般的语音信号,长度都至少在1秒以上,有时候我们需要把其中比如25毫秒的一小部分单独拿出来研究。将一个信号依次取小段的操作,就称作分帧。技术上,音频分帧是通过给信号加一系列的 窗 函数 实现的。
我们把一种特殊的函数w[n],称作窗函数,如果对所有的n,有0=w[n]=1,且只有有限个n使得w[n]0。比如去噪要用到的汉宁窗,三角窗。
汉宁窗
三角窗
我们将平移的窗函数与原始信号相乘,便得到信号的“一帧”:
w[n+d]*x[n]
比如用长22.6毫秒的汉宁窗加到“skip”信号大约中间部位上,得到一帧的信号:
可见除一有限区间之外,加窗后的信号其他部分都是0。
对一帧信号可以施加离散傅里叶变换(也叫短时离散傅里叶变换),来获取信号在这一帧内(通常是很短时间内),有关频率-能量的分布信息。
如果我们把信号按照上述方法分成一帧一帧,又将每一帧用离散傅里叶变换转换到频域中去,最后将各帧在频域的图像拼接起来,用横坐标代表时间,纵坐标代表频率,颜色代表能量强度(比如红色代表高能,蓝色代表低能),那么我们就构造出所谓 频谱图 。比如上述“skip”发音对应的信号的频谱图是:
(使用5.8毫秒的汉宁窗)
从若干帧信号中,我们又可以恢复出原始信号。只要我们适当选取窗口大小,以及窗口之间的平移距离L,得到 ..., w[n+2L], w[n+L], w[n], w[n-L], w[n-2L], ...,使得对k求和有:
从而简单的叠加各帧信号便可以恢复出原始信号:
最后,注意窗函数也可以在频域作用到信号上,从而可以起到取出信号的某一频段的作用。
下面简单介绍一下3种音效。
1. 扩音
要扩大信号的强度,只要简单的增大信号的“振幅”。比如给定一个信号x[n],用a1去乘,便得到声音更大的增强信号:
同理,用系数0a1去乘,便得到声音变小的减弱信号。
2. 去噪(降噪)
对于白噪音,我们可以简单的用“移动平均滤波器”来去除,虽然这也会一定程度降低声音的强度,但效果的确不错。但是,对于成分较为复杂,特别是频段能量分布不均匀的噪声,则需要使用下面的 噪声门 技术,它可以看作是一种“多带通滤波器”。
这个特效的基本思路是:对一段噪声样本建模,然后降低待降噪信号中噪声的分贝。
更加细节的说,是在信号的若干频段f[1], ..., f[M]上,分别设置噪声门g[1], ..., g[M],每个门都有一个对应的阈值,分别是t[1], ..., t[M]。这些阈值时根据噪声样本确定的。比如当通过门g[m]的信号强度超过阈值t[m]时,门就会关闭,反之,则会重新打开。最后通过的信号便会只保留下来比噪声强度更大的声音,通常也就是我们想要的声音。
为了避免噪声门的开合造成信号的剧烈变动,笔者使用了sigmoid函数做平滑处理,即噪声门在开-关2个状态之间是连续变化的,信号通过的比率也是在1.0-0.0之间均匀变化的。
实现中,我们用汉宁窗对信号进行分帧。然后对每一帧,又用三角窗将信号分成若干频段。对噪声样本做这样的处理后,可以求出信号每一频段对应的阈值。然后,又对原始信号做这样的处理(分帧+分频),根据每一帧每一频段的信号强度和对应阈值的差(diff = energy-threshold),来计算对应噪声门的开合程度,即通过信号的强度。最后,简单的将各频段,各帧的通过信号叠加起来,便得到了降噪信号。
比如原先的“skip”语音信号频谱图如下:
可以看到有较多杂音(在高频,低频段,蓝色部分)。采集0.25秒之前的声音作为噪声样本,对信号作降噪处理,得到降噪后信号的频谱图如下:
可以明显的看到大部分噪音都被清除了,而语音部分仍完好无损,强度也没有减弱,这是“移动平均滤波器”所做不到的。
3. 静音剪切
在对音频进行上述降噪处理后,我们还可以进一步把多余的静音去除掉。
剪切的原理十分简单。首先用汉宁窗对信号做分帧。如果该帧信号强度过小,则舍去该帧。最后将保留的帧叠加起来,便得到了剪切掉静音部分的信号。
比如,对降噪处理后的“skip”语音信号做静音剪切,得到的新信号的频谱图为:
用opencv去噪
使用opencv-python的内置函数,对图片进行降噪处理。
8Fourier变换的应用——图像去噪
给出的图片是RGB图片,也就是需要有三个通道。
下面的函数用来去噪。
img=np.uint8(cv2.fastNlMeansDenoisingColored(img,None,10,10,7,21))
对这个图片进行局部自适应二值化处理:
img=hui(img)
th1 = cv2.adaptiveThreshold(img,255,cv2.ADAPTIVE_THRESH_MEAN_C,cv2.THRESH_BINARY,31,5)
另一种局部自适应二值化处理:
th2 = cv2.adaptiveThreshold(img,255,cv2.ADAPTIVE_THRESH_GAUSSIAN_C,cv2.THRESH_BINARY,31,5)
在第一步连续执行两次去噪,得到的三幅图片是:
执行三次降噪。
连续10次降噪。
名称栏目:python数据去噪函数 python图像去噪
链接地址:http://ybzwz.com/article/hhpsjj.html