Numpy View Reshape without Copy（2d 移动/滑动窗口、跨步、屏蔽内存结构）

我有一个图像存储为二维 numpy 数组（可能是多维）。

我可以在该数组上创建一个反映二维滑动窗口的视图，但是当我重新调整它的形状，使每一行都是一个扁平的窗口（行是窗口，列是该窗口中的像素）时，python 会制作一个完整的副本。这样做是因为我使用的是典型的跨步技巧，并且新形状在内存中不是连续的。

我需要这个，因为我将整个大图像传递给 sklearn 分类器，它接受二维矩阵，其中没有批处理/部分拟合过程，并且完整扩展的副本对于内存来说太大了。

我的问题：有没有办法在不复制视图的情况下做到这一点？

我相信答案要么是（1）关于我忽略的步幅或 numpy 内存管理的东西，要么（2）某种用于 python 的屏蔽内存结构，它可以模拟 numpy 数组，甚至可以模拟 sklearn 这样的外部包，其中包括赛通。

在内存中移动二维图像的窗口进行训练的任务很常见，但据我所知，直接考虑补丁的唯一尝试是 Vigra 项目（http://ukoethe.github.io/vigra/ http://ukoethe.github.io/vigra/).

谢谢您的帮助。

>>> A=np.arange(9).reshape(3,3)
>>> print A
[[0 1 2]
 [3 4 5]
 [6 7 8]]
>>> xstep=1;ystep=1; xsize=2; ysize=2
>>> window_view = np.lib.stride_tricks.as_strided(A, ((A.shape[0] - xsize + 1) / xstep, (A.shape[1] - ysize + 1) / ystep, xsize, ysize),
...       (A.strides[0] * xstep, A.strides[1] * ystep, A.strides[0], A.strides[1]))
>>> print window_view 
[[[[0 1]
   [3 4]]

  [[1 2]
   [4 5]]]


 [[[3 4]
   [6 7]]

  [[4 5]
   [7 8]]]]
>>> 
>>> np.may_share_memory(A,window_view)
True
>>> B=window_view.reshape(-1,xsize*ysize)
>>> np.may_share_memory(A,B)
False

仅使用步幅无法完成您的任务，但 NumPy 确实支持 一种可以完成这项工作的数组。迈着大步和masked_array您可以为您的数据创建所需的视图。然而，并非所有 NumPy 函数支持以下操作masked_array，所以是 可能 scikit-learn 也不能很好地处理这些。

让我们首先重新审视一下我们在这里尝试做的事情。 考虑示例的输入数据。基本上数据是 只是内存中的一维数组，如果我们考虑一下就更简单 与此迈出的步伐。该数组看起来只是二维的，因为我们 已经定义了它的形状。使用步幅，可以定义形状 像这样：

from numpy.lib.stride_tricks import as_strided

base = np.arange(9)
isize = base.itemsize
A = as_strided(base, shape=(3, 3), strides=(3 * isize, isize))

现在的目标是迈出这样的步伐base它命令 像最后数组中的数字，B。换句话说，我们要求 整数a and b这样

>>> as_strided(base, shape=(4, 4), strides=(a, b))
array([[0, 1, 3, 4],
       [1, 2, 4, 5],
       [3, 4, 6, 7],
       [4, 5, 7, 8]])

但这显然是不可能的。我们可以实现的最接近的视图 这是一个滚动窗口base:

>>> C = as_strided(base, shape=(5, 5), strides=(isize, isize))
>>> C
array([[0, 1, 2, 3, 4],
       [1, 2, 3, 4, 5],
       [2, 3, 4, 5, 6],
       [3, 4, 5, 6, 7],
       [4, 5, 6, 7, 8]])

但这里的区别在于我们有额外的列和行，这 我们想摆脱。因此，实际上我们要求 滚动窗口不连续并且也会按常规跳跃 间隔。在这个例子中，我们希望每三个项目都有一个 从窗口中排除并跳过两行后的一项。

我们可以将其描述为masked_array:

>>> mask = np.zeros((5, 5), dtype=bool)
>>> mask[2, :] = True
>>> mask[:, 2] = True
>>> D = np.ma.masked_array(C, mask=mask)

这个数组正是我们想要的数据，而且它只是一个 查看原始数据。我们可以确认数据是相等的

>>> D.data[~D.mask].reshape(4, 4)
array([[0, 1, 3, 4],
       [1, 2, 4, 5],
       [3, 4, 6, 7],
       [4, 5, 7, 8]])

但正如我一开始所说的，scikit-learn 很可能 不理解屏蔽数组。如果它只是将其转换为 数组，数据会出错：

>>> np.array(D)
array([[0, 1, 2, 3, 4],
       [1, 2, 3, 4, 5],
       [2, 3, 4, 5, 6],
       [3, 4, 5, 6, 7],
       [4, 5, 6, 7, 8]])