Jupyter Notebook(仅限)内存错误,相同的代码在传统的 .py 中运行并且可以工作

2024-01-04

我有一个深度学习课程的作业,他们提供了一个 Jupyter 笔记本作为基本代码,问题是在运行数据导入和重塑后,jupyter 笔记本出现“内存错误”,经过一些分析后,我尝试编译普通 .py 文件中的相同代码,一切运行良好。

问题是我需要(最好)使用 Jupyter 笔记本作为开发基础,因为对于此类任务来说更具交互性。

<ipython-input-2-846f80a40ce2> in <module>()
  2 # Load the raw CIFAR-10 data
  3 cifar10_dir = 'datasets\\'
----> 4 X, y = load_CIFAR10(cifar10_dir)

C:\path\data_utils.pyc in load_CIFAR10(ROOT)
     18     f = os.path.join(ROOT, 'cifar10_train.p')
     19     print('Path:  ' + f );
---> 20     Xtr, Ytr = load_CIFAR_batch(f)
     21     return Xtr, Ytr
     22 

C:\path\data_utils.pyc in load_CIFAR_batch(filename)
     10         X = np.array(datadict['data'])
     11         Y = np.array(datadict['labels'])
---> 12         X = X.reshape(-1, 3, 32, 32).transpose(0,2,3,1).astype("float")
     13         return X, Y
     14 

MemoryError: 

错误发生在第 12 行,我知道这是一个消耗内存的分配,但这并不意味着 4 GB RAM 不够,并且当代码在 Jupyter 之外运行没有问题时证实了这一点。

我的猜测是它与 Jupyter 或 Chrome 的内存限制有关,但我不确定也不知道如何解决它。

顺便一提:

  • 我有一台配备 4GB RAM 的 Windows 10 笔记本电脑
  • 和 Chrome 版本 57.0.2987.133(64 位)

我只晚了一年零两个月才提出这个问题。关于原因的技术答案在这里得到了很好的解释:https://superuser.com/questions/372881/is-there-a-technical-reason-why-32-bit-windows-is-limited-to-4gb-of-ram https://superuser.com/questions/372881/is-there-a-technical-reason-why-32-bit-windows-is-limited-to-4gb-of-ram

这也暗示了 conda 解决方案为何有效。

但对于懒惰的工程师来说,无需更改的解决方法是,关闭并非绝对必要的 Chrome 选项卡,然后重新启动内核,以便它重新启动。

Kernel > Restart (& Run All)
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Jupyter Notebook(仅限)内存错误,相同的代码在传统的 .py 中运行并且可以工作 的相关文章

  • Python、Tkinter、更改标签颜色

    有没有一种简单的方法来更改按钮中文本的颜色 I use button text input text here 更改按下后按钮文本的内容 是否存在类似的颜色变化 button color red Use the foreground设置按钮
  • Flask 和 uWSGI - 无法加载应用程序 0 (mountpoint='')(找不到可调用或导入错误)

    当我尝试使用 uWSGI 启动 Flask 时 出现以下错误 我是这样开始的 gt cd gt root localhost uwsgi socket 127 0 0 1 6000 file path to folder run py ca
  • pandas 替换多个值

    以下是示例数据框 gt gt gt df pd DataFrame a 1 1 1 2 2 b 11 22 33 44 55 gt gt gt df a b 0 1 11 1 1 22 2 1 33 3 2 44 4 3 55 现在我想根据
  • 为 pandas 数据透视表中的每个值列定义 aggfunc

    试图生成具有多个 值 列的数据透视表 我知道我可以使用 aggfunc 按照我想要的方式聚合值 但是如果我不想对两列求和或求平均值 而是想要一列的总和 同时求另一列的平均值 该怎么办 那么使用 pandas 可以做到这一点吗 df pd D
  • 运行多个 scrapy 蜘蛛的正确方法

    我只是尝试使用在同一进程中运行多个蜘蛛新的 scrapy 文档 http doc scrapy org en 1 0 topics practices html但我得到 AttributeError CrawlerProcess objec
  • IRichBolt 在storm-1.0.0 和 pyleus-0.3.0 上运行拓扑时出错

    我正在运行风暴拓扑 pyleus verbose local xyz topology jar using storm 1 0 0 pyleus 0 3 0 centos 6 6并得到错误 线程 main java lang NoClass
  • Python 中的二进制缓冲区

    在Python中你可以使用StringIO https docs python org library struct html用于字符数据的类似文件的缓冲区 内存映射文件 https docs python org library mmap
  • Abaqus 将曲面转化为集合

    我一直试图在模型中找到两个表面的中心 参见照片 但未能成功 它们是元素表面 面 查询中没有选项可以查找元素表面的中心 只能查找元素集的中心 找到节点集的中心也很好 但是我的节点集没有出现在工具 gt 查询 gt 质量属性选项中 而且我找不到
  • 表达式中的 Python 'in' 关键字与 for 循环中的比较 [重复]

    这个问题在这里已经有答案了 我明白什么是in运算符在此代码中执行的操作 some list 1 2 3 4 5 print 2 in some list 我也明白i将采用此代码中列表的每个值 for i in 1 2 3 4 5 print
  • Python - 在窗口最小化或隐藏时使用 pywinauto 控制窗口

    我正在尝试做的事情 我正在尝试使用 pywinauto 在 python 中创建一个脚本 以在后台自动安装 notepad 隐藏或最小化 notepad 只是一个示例 因为我将编辑它以与其他软件一起使用 Problem 问题是我想在安装程序
  • 通过数据框与函数进行交互

    如果我有这样的日期框架 氮 EG 00 04 NEG 04 08 NEG 08 12 NEG 12 16 NEG 16 20 NEG 20 24 datum von 2017 10 12 21 69 15 36 0 87 1 42 0 76
  • Python 3 中“map”类型的对象没有 len()

    我在使用 Python 3 时遇到问题 我得到了 Python 2 7 代码 目前我正在尝试更新它 我收到错误 类型错误 map 类型的对象没有 len 在这部分 str len seed candidates 在我像这样初始化它之前 se
  • 为美国东部以外地区的 Cloudwatch 警报发送短信?

    AWS 似乎没有为美国东部以外的 SNS 主题订阅者提供 SMS 作为协议 我想连接我的 CloudWatch 警报并在发生故障时接收短信 但无法将其发送到 SMS YES 经过一番挖掘后 我能够让它发挥作用 它比仅仅选择一个主题或输入闹钟
  • 在Python中重置生成器对象

    我有一个由多个yield 返回的生成器对象 准备调用该生成器是相当耗时的操作 这就是为什么我想多次重复使用生成器 y FunctionWithYield for x in y print x here must be something t
  • 设置 torch.gather(...) 调用的结果

    我有一个形状为 n x m 的 2D pytorch 张量 我想使用索引列表来索引第二个维度 可以使用 torch gather 完成 然后然后还设置新值到索引的结果 Example data torch tensor 0 1 2 3 4
  • 检查所有值是否作为字典中的键存在

    我有一个值列表和一本字典 我想确保列表中的每个值都作为字典中的键存在 目前我正在使用两组来确定字典中是否存在任何值 unmapped set foo set bar keys 有没有更Pythonic的方法来测试这个 感觉有点像黑客 您的方
  • 用于运行可执行文件的python多线程进程

    我正在尝试将一个在 Windows 上运行可执行文件并管理文本输出文件的 python 脚本升级到使用多线程进程的版本 以便我可以利用多个核心 我有四个独立版本的可执行文件 每个线程都知道要访问它们 这部分工作正常 我遇到问题的地方是当它们
  • 在 Python 类中动态定义实例字段

    我是 Python 新手 主要从事 Java 编程 我目前正在思考Python中的类是如何实例化的 我明白那个 init 就像Java中的构造函数 然而 有时 python 类没有 init 方法 在这种情况下我假设有一个默认构造函数 就像
  • 您可以在 Python 类型注释中指定方差吗?

    你能发现下面代码中的错误吗 米皮不能 from typing import Dict Any def add items d Dict str Any gt None d foo 5 d Dict str str add items d f
  • Python 分析:“‘select.poll’对象的‘poll’方法”是什么?

    我已经使用 python 分析了我的 python 代码cProfile模块并得到以下结果 ncalls tottime percall cumtime percall filename lineno function 13937860 9

随机推荐

  • pandas:删除重复行,同时保留虚拟变量值

    我有以下数据框示例 child id feature 1 feature 2 feature 3 feature 4 feature 5 10 1 0 0 0 0 10 0 0 1 0 0 10 0 1 0 0 0 10 0 0 0 1 0
  • MPICH 示例 cpi 在多个新安装的 vps 上运行时会生成错误

    我刚刚开始学习mpi 所以我买了3个vps来创建一个实验环境 我成功安装并配置了 ssh 和 mpich 这三个节点可以在没有密码的情况下相互连接 但不能连接自身 并且 cpi 示例通过了 在本地计算机上没有任何问题 当我尝试在所有 3 个
  • Qt - 密码字段,关于大写锁定的警告

    是否有任何 Qt 内置方法可以警告用户 通过弹出窗口 在密码字段处于活动状态时 CapsLock 已打开 我目前正在使用QLineEdit 很好吗 与setEchoMode QLineEdit Password 一旦用户按下某个键 您应该检
  • 如何使用改进的DFS算法遍历循环有向图

    OVERVIEW 我正在尝试弄清楚如何穿越有向循环图使用某种 DFS 迭代算法 这是我目前实现的一个小 mcve 版本 它不处理循环 class Node object def init self name self name name d
  • makefile 中的错误

    我正在使用 gnu Make 3 82 但有一个恼人的问题 我有一个规则设置目录之间的依赖关系 OBJDIR obj objdir o C COMPILE MM MT objdir notdir lt o DEPDIR notdir bas
  • 两个for循环的时间复杂度[重复]

    这个问题在这里已经有答案了 所以我知道时间复杂度为 for i i
  • 如何在 React Native 中对齐文本和选取器

    在 React Native 中 我们如何将文本与输入对齐 在下图中 文本位于左上角 但选择器似乎应用了填充或边距 我尝试了其他使用 Flex 的解决方案 但也遇到这个问题 https github com facebook react n
  • 如何将 Spacy 模型添加到requirements.txt 文件中?

    我有一个使用 Spacy 模型 en core web sm 的应用程序 我已经在本地计算机上测试了该应用程序 它运行良好 但是 当我将其部署到 Heroku 时 它给出了以下错误 找不到模型 en core web sm 它似乎不是快捷链
  • 为 ESS 留下合理评论

    当我使用C M 使用 emacs 和 ESS 来格式化我的 R 代码 它正确地证明了我的评论 例如 它会改变 This is a comment x 5 to This is a comment x 5 如何阻止我的评论被合理化 一种解决方
  • 如何通过 MVVM 使用 WPF 应用程序中的FolderBrowserDialog

    我正在尝试使用FolderBrowserDialog http msdn microsoft com en us library system windows forms folderbrowserdialog aspx来自我的 WPF 应
  • 在 OpenGL 中导入和显示 .fbx 文件

    我一直在尝试使用以下命令导入并显示 fbx 文件FBX SDK Untill 我设法加载文件 但我卡在必须显示它的部分 问题 这些指数到底是什么 我应该如何显示顶点 这是我制作的课程 3dModelBasicStructs h struct
  • 计算仅具有另一个数字中最高有效数字集的数字的最快方法是什么? [复制]

    这个问题在这里已经有答案了 可能的重复 以前的 2 的幂 https stackoverflow com questions 2679815 previous power of 2 获取最左边的位 https stackoverflow c
  • 从 python 中的 gzip 文件读取

    我刚刚在 python 上删除了 gzip import gzip f gzip open Onlyfinnaly log gz rb file content f read print file content 我在屏幕上没有得到任何输出
  • 如何将 .jpg 包含到 dll 中?

    我有一个第三方应用程序 可以根据我的 cs 代码创建 dll 文件 在我的 cs 代码中 我引用了一个文件 如何编译 dll 或 cs 以包含 jpg 文件和代码 我为第三方应用程序提供的选项不允许我导出 jpg 导入过程仅查看 cs 和关
  • 如何使用NEST elasticsearch批量插入Json?

    我正在尝试使用 Nest 将多条记录插入到我的数据库中 使用 IndexMany 类插入确实有效 但是我还需要通过 json 字符串插入对象 我确实在 github 上查找过 并找到了一些如何使用 RAWclient 的示例 在代码示例下面
  • 从 Maven 原型生成模块时访问父属性

    我有许多 Maven 原型 我用它们来生成多模块 Maven 项目 我在用于生成父项目的原型上有一个必需的属性 这将作为属性添加到项目的 pom xml 中 然后 我使用不同的原型在项目中生成一个模块 我希望在该模块的某些资源中替换相同的值
  • 对象最终化的前期成本是多少?

    Java 中可终结对象的讨论通常讨论当可终结对象 及其相关资源 无法快速进行垃圾收集时发生的常见间接成本 目前 我更感兴趣的是可终结的实际直接成本是多少 无论是在内存方面还是在对象分配时间方面 我在很多地方都看到过间接提及这种成本的存在 例
  • java,未找到类异常 com.mysql.jdbc.Driver [重复]

    这个问题在这里已经有答案了 我正在尝试在 java 程序中创建运行以下内容 但出现此错误 java lang ClassNotFoundException com mysql jdbc Driver 位于 org apache catali
  • Python 中的logging.warn 和logging.warning 有什么区别?

    样品位于http docs python org 2 howto logging html http docs python org 2 howto logging html两者都使用warn and warning logging war
  • Jupyter Notebook(仅限)内存错误,相同的代码在传统的 .py 中运行并且可以工作

    我有一个深度学习课程的作业 他们提供了一个 Jupyter 笔记本作为基本代码 问题是在运行数据导入和重塑后 jupyter 笔记本出现 内存错误 经过一些分析后 我尝试编译普通 py 文件中的相同代码 一切运行良好 问题是我需要 最好 使