有没有一种相当快速的方法np.percentile(ndarr, axis=0)
包含 NaN 值的数据?
For np.median
,有对应的bottleneck.nanmedian
(https://pypi.python.org/pypi/Bottleneck https://pypi.python.org/pypi/Bottleneck)那是相当不错的。
我想出的最好的百分位数是:
from bottleneck import nanrankdata, nanmax, nanargmin
def nanpercentile(x, q, axis):
ranks = nanrankdata(x, axis=axis)
peak = nanmax(ranks, axis=axis)
pct = ranks/peak / 100. # to make a percentile
wh = nanargmin(abs(pct-q),axis=axis)
return x[wh]
这是行不通的;真正需要的是某种方法来获取第 n 个元素axis
,但我还没有找到 numpy 切片技巧来做到这一点。
“相当快”意味着比循环索引更好,例如:
q = 40
x = np.array([[[1,2,3],[6,np.nan,4]],[[0.5,2,1],[9,3,np.nan]]])
out = np.empty(x.shape[:-1])
for i in range(x.shape[0]):
for j in range(x.shape[1]):
d = x[i,j,:]
out[i,j] = np.percentile(d[np.isfinite(d)], q)
print out
#array([[ 1.8, 4.8],
# [ 0.9, 5.4]])
它可以工作,但可能非常慢。
np.ma
似乎没有按预期工作;它治疗nan
价值就好像它是inf
:
xm = np.ma.masked_where(np.isnan(x),x)
print np.percentile(xm,40,axis=2)
# array([[ 1.8, 5.6],
# [ 0.9, 7.8]])