来自 io.BytesIO 流的 numpy.load

我将 numpy 数组保存在 Azure Blob 存储中，并将它们加载到如下所示的流中：

stream = io.BytesIO()
store.get_blob_to_stream(container, 'cat.npy', stream)

我知道从stream.getvalue()该流包含用于重建数组的元数据。这是前 150 个字节：

b"\x93NUMPY\x01\x00v\x00{'descr': '|u1', 'fortran_order': False, 'shape': (720, 1280, 3), }                                                  \n\xc1\xb0\x94\xc2\xb1\x95\xc3\xb2\x96\xc4\xb3\x97\xc5\xb4\x98\xc6\xb5\x99\xc7\xb6\x9a\xc7"

是否可以加载字节流numpy.load或者通过其他一些简单的方法？

我可以将数组保存到磁盘并从磁盘加载它，但出于多种原因我想避免这种情况......

编辑：只是强调一下，输出需要是一个 numpy 数组，其形状和数据类型在流的第 128 个字节中指定。

我尝试使用多种方式来实现您的需求。

这是我的示例代码。

from azure.storage.blob.baseblobservice import BaseBlobService
import numpy as np

account_name = '<your account name>'
account_key = '<your account key>'
container_name = '<your container name>'
blob_name = '<your blob name>'

blob_service = BaseBlobService(
    account_name=account_name,
    account_key=account_key
)

示例 1. 使用 sas 令牌生成 blob url 以通过以下方式获取内容requests

from azure.storage.blob import BlobPermissions
from datetime import datetime, timedelta
import requests

sas_token = blob_service.generate_blob_shared_access_signature(container_name, blob_name, permission=BlobPermissions.READ, expiry=datetime.utcnow() + timedelta(hours=1))
print(sas_token)
url_with_sas = blob_service.make_blob_url(container_name, blob_name, sas_token=sas_token)
print(url_with_sas)

r = requests.get(url_with_sas)
dat = np.frombuffer(r.content)
print('from requests', dat)

示例 2. 将 blob 的内容下载到内存中：BytesIO

import io
stream = io.BytesIO()
blob_service.get_blob_to_stream(container_name, blob_name, stream)
dat = np.frombuffer(stream.getbuffer())
print('from BytesIO', dat)

示例 3. 使用numpy.fromfile with DataSource https://docs.scipy.org/doc/numpy/reference/generated/numpy.DataSource.html#numpy.DataSource要使用 sas 令牌打开 blob url，它实际上会将 blob 文件下载到本地文件系统中。

ds = np.DataSource()
# ds = np.DataSource(None)  # use with temporary file
# ds = np.DataSource(path) # use with path like `data/`
f = ds.open(url_with_sas)
dat = np.fromfile(f)
print('from DataSource', dat)

我认为示例 1 和 2 更适合您。