程序员经验分享-hwhale

Tensorflow编译运行很长时间

2023-12-26

所以我正在尝试编译TensorFlow来自源头（使用 2019 年 1 月 31 日的 git 存储库中的克隆）。我从他们的 shell 脚本安装了 Bazel (https://github.com/bazelbuild/bazel/releases/download/0.21.0/bazel-0.21.0-installer-linux-x86_64.sh https://github.com/bazelbuild/bazel/releases/download/0.21.0/bazel-0.21.0-installer-linux-x86_64.sh).

我执行了./configure在tensorflow代码中并提供了默认设置，除了添加我的机器特定的-m选项（-mavx2 -mfma）并将python指向正确的python3位置（/usr/bin/py3）。然后我按照张量流指令运行以下命令：

bazel build --config=opt //tensorflow/tools/pip_package:build_pip_package //tensorflow:libtensorflow_framework.so //tensorflow:libtensorflow.so

现在它继续运行又运行，我还没有看到它完成（尽管我限制让它运行最多大约 10 小时）。它产生大量的信息：有关有符号和无符号整数的警告以及到达非空函数末尾的控制。这些似乎都不是致命的。编译继续进行，两个数字继续增长（“[N，NNN / X，XXX] 4 个操作正在运行”），并且文件通过“编译”进行滴答。

该机器是一个 EC2 实例，RAM 约为 16GiB，CPU 是“Intel(R) Xeon(R) CPU E5-2686 v4 @ 2.30GHz”，我相信是 4 核，有足够的 HDD 空间（尽管编译似乎相当吃力）一点，> 1GiB)

对这里发生的事情有什么想法吗？


不幸的是，有些程序可能需要很长时间才能编译。对于您的设置中的张量流来说，几个小时的编译并不奇怪。

有报道称需要 50 分钟在速度相当快的机器上 https://gist.github.com/Brainiarc7/6d6c3f23ea057775b72c52817759b25c#gistcomment-2621082

此问题的解决方案是使用 pip 提供的预编译二进制文件，可以在此处找到说明：https://www.tensorflow.org/install/pip.html https://www.tensorflow.org/install/pip.html

基本上你可以这样做：

pip install tensorflow

如果您需要特定的旧版本，例如 1.15，您可以执行以下操作：

pip install tensorflow==1.15

对于 GPU 支持，您添加-gpu到包名称，如下所示：

pip install tensorflow-gpu

And:

pip install tensorflow-gpu==1.15
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

python

tensorflow

Compilation

bazel

Tensorflow编译运行很长时间 的相关文章

  • 如何使用包含代码的“asyncio.sleep()”进行单元测试？

    我在编写 asyncio sleep 包含的单元测试时遇到问题 我要等待实际的睡眠时间吗 I used freezegun到嘲笑时间 当我尝试使用普通可调用对象运行测试时 这个库非常有用 但我找不到运行包含 asyncio sleep 的测

  • 运行多个 scrapy 蜘蛛的正确方法

    我只是尝试使用在同一进程中运行多个蜘蛛新的 scrapy 文档 http doc scrapy org en 1 0 topics practices html但我得到 AttributeError CrawlerProcess objec

  • NameError：名称“urllib”未定义”

    CODE import networkx as net from urllib request import urlopen def read lj friends g name fetch the friend list from Liv

  • feedparser 在脚本运行期间失败，但无法在交互式 python 控制台中重现

    当我运行 eclipse 或在 iPython 中运行脚本时 它失败了 ascii codec can t decode byte 0xe2 in position 32 ordinal not in range 128 我不知道为什么 但

  • python pandas 中的双端队列

    我正在使用Python的deque 实现一个简单的循环缓冲区 from collections import deque import numpy as np test sequence np array range 100 2 resha

  • Abaqus 将曲面转化为集合

    我一直试图在模型中找到两个表面的中心 参见照片 但未能成功 它们是元素表面 面 查询中没有选项可以查找元素表面的中心 只能查找元素集的中心 找到节点集的中心也很好 但是我的节点集没有出现在工具 gt 查询 gt 质量属性选项中 而且我找不到

  • 为美国东部以外地区的 Cloudwatch 警报发送短信？

    AWS 似乎没有为美国东部以外的 SNS 主题订阅者提供 SMS 作为协议 我想连接我的 CloudWatch 警报并在发生故障时接收短信 但无法将其发送到 SMS YES 经过一番挖掘后 我能够让它发挥作用 它比仅仅选择一个主题或输入闹钟

  • 设置 torch.gather(...) 调用的结果

    我有一个形状为 n x m 的 2D pytorch 张量 我想使用索引列表来索引第二个维度 可以使用 torch gather 完成 然后然后还设置新值到索引的结果 Example data torch tensor 0 1 2 3 4

  • 如何从没有结尾的管道中读取 python 中的 stdin

    当管道来自 打开 时 不知道正确的名称 我无法从 python 中的标准输入或管道读取数据 文件 我有作为例子管道测试 py import sys import time k 0 try for line in sys stdin k k

  • glpk.LPX 向后兼容性？

    较新版本的glpk没有LPXapi 旧包需要它 我如何使用旧包 例如COBRA http opencobra sourceforge net openCOBRA Welcome html 与较新版本的glpk 注意COBRA适用于 MATL

  • 在python中，如何仅搜索所选子字符串之前的一个单词

    给定文本文件中的长行列表 我只想返回紧邻其前面的子字符串 例如单词狗 描述狗的单词 例如 假设有这些行包含狗 hotdog big dog is dogged dog spy with my dog brown dogs 在这种情况下 期望

  • 使用基于正则表达式的部分匹配来选择 Pandas 数据帧的子数据帧

    我有一个 Pandas 数据框 它有两列 一列 进程参数 列 包含字符串 另一列 值 列 包含相应的浮点值 我需要过滤出部分匹配列 过程参数 中的一组键的子数据帧 并提取与这些键匹配的数据帧的两列 df pd DataFrame Proce

  • 在 Python 类中动态定义实例字段

    我是 Python 新手 主要从事 Java 编程 我目前正在思考Python中的类是如何实例化的 我明白那个 init 就像Java中的构造函数 然而 有时 python 类没有 init 方法 在这种情况下我假设有一个默认构造函数 就像

  • 您可以在 Python 类型注释中指定方差吗？

    你能发现下面代码中的错误吗 米皮不能 from typing import Dict Any def add items d Dict str Any gt None d foo 5 d Dict str str add items d f

  • 协方差矩阵的对角元素不是 1 pandas/numpy

    我有以下数据框 A B 0 1 5 1 2 6 2 3 7 3 4 8 我想计算协方差 a df iloc 0 values b df iloc 1 values 使用 numpy 作为 cov numpy cov a b I get ar

  • Python - 字典和列表相交

    给定以下数据结构 找出这两种数据结构共有的交集键的最有效方法是什么 dict1 2A 3A 4B list1 2A 4B Expected output 2A 4B 如果这也能产生更快的输出 我可以将列表 不是 dict1 组织到任何其他数

  • sbt 使用不同选项编译任务

    我有一个基本的 sbt 项目 我想用相同的源文件打包两个 jar 但使用不同的选项进行编译 因此 一个项目 2 个编译 但具有不同的选项 scalacOptions 和 2 个 jar 作为输出 我不想执行 sbt 两次 更改选项 有人有想

  • 改变字典的哈希函数

    按照此question https stackoverflow com questions 37100390 towards understanding dictionaries 我们知道两个不同的字典 dict 1 and dict 2例

  • Python 分析：“‘select.poll’对象的‘poll’方法”是什么？

    我已经使用 python 分析了我的 python 代码cProfile模块并得到以下结果 ncalls tottime percall cumtime percall filename lineno function 13937860 9

  • PyAudio ErrNo 输入溢出 -9981

    我遇到了与用户相同的错误 Python 使用 Pyaudio 以 16000Hz 录制音频时出错 https stackoverflow com questions 12994981 python error audio recording

随机推荐

  • 帮我完成这个 SQL 查询

    我有一个 SQL Server CE 3 5 表 交易 具有以下架构 ID 交易日期 Category 描述 Amount Query SELECT Transaction Date SUM Amount FROM Transactions

  • 如何在并行执行specflow时仅在测试运行之前和之后执行一次

    我必须在测试执行之前和之后运行数据库脚本 但是如果我在测试运行之前提到它会为每个线程运行多次 但我只需要在测试执行中运行一次意味着它会成为所有线程的顶部 例如 挂钩文件 BeforeTestRun public static void Be

  • Spark“限制”不并行运行？

    我有一个简单的连接 我限制了侧面 在解释计划中 我看到在执行限制之前有一个 ExchangeSingle 操作 实际上我看到在这个阶段集群中只有一个任务在运行 这当然会极大地影响性能 消除限制可以消除单个任务瓶颈 但会延长连接时间 因为它适

  • .NET 中的线程安全集合

    当需要线程安全集合 例如 Set 时 当今的标准是什么 我自己同步它 还是有一个本质上线程安全的集合 NET 4 0 Framework 在 NET 4 0 Framework 中引入了几个线程安全集合System Collections

  • 如何访问轻量级 K3s 中的 api 控制器配置

    通常可以在常规 Kubernetes 的 etc kubernetes manifests kube apiserver yaml 中找到 在 rancher K3s 中 这就是我能找到的全部 我正在尝试调整一些设置 以便我可以启用自定义自

  • 在C#中创建spy++的函数“查找窗口...”

    我想在 C 中创建与间谍 相同的函数 查找窗口 我尝试过WINAPI的这个功能 HWND WINAPI WindowFromPoint in POINT Point http msdn microsoft com en US library

  • 使用 Jackson 时，System.out.println(new ObjectMapper().readTree(jsonStringObject));打印 JSON，键和值之间有随机空格

    非常奇怪的行为 当我刚刚打印System out println jsonStringObject 它正确且良好地打印 JSON 但是当我使用 Jackson 的 API 时 即new ObjectMapper readTree jsonS

  • Spring MVC中的UTF-8编码问题

    我有一个 Spring MVC bean 我想通过设置编码 UTF 8 返回土耳其字符 但虽然我的字符串是 但它返回为 而且当我查看响应页面 即 Internet Explorer 页面 时 编码是西欧 ISO 而不是 UTF 8 这是代码

  • IBM Worklight v6.0 - 将应用程序添加到移动测试工作台时出错

    我有一个 Worklight 应用程序 并从中创建了一个 apk 文件 创建了一个测试项目 将 apk 文件添加到工作台时 出现错误 应用程序xxx apk无法导入 它要么是无效的 要么是 它包含不支持的特定功能 尝试打开工作灯工作区的 l

  • pm2 守护进程在几个小时后终止

    我有一个 Node js Express 应用程序 它实现了一组 REST API 并且我正在尝试使用 pm2 来管理其部署 该应用程序启动正常 使用pm2 start ecosystem config js 并保持可用几个小时 但 pm2

  • Bootstrap ScrollSpy 上的简单缓动

    我认为对于那些了解 javascript jquery 的人来说这是一个非常简单的问题 我对这一切都很陌生 无法做到 我发现计算导航栏偏移的代码如下所示 var offset 50 navbar li a click function ev

  • 如何强制列表对象输入“double”

    代码 a lt structure list X Days c 10 38 66 101 129 185 283 374 Names X Days Then a is like X Days 1 10 38 66 101 129 185 2

  • 使用 https 时基于主机的 nginx 代理

    我需要使用 Nginx 作为 SSL 代理 它根据子域将流量转发到不同的后端 我似乎到处都应该定义多个 server 部分 但这对于 SSL 来说不能正常工作 这样做时 我始终会在第一个虚拟主机中处理 SSL 因为在处理 https 流量之

  • 无法在 macOS Monterey 12.3 上安装 psycopg2-binary

    我一直在尝试为我的 django 项目安装 psycopg2 binary 但到目前为止没有任何效果 它不断要求pg config文件 据我所知 只有在构建 psycopg2 时才需要该文件 那么 这里发生了什么 Collecting ps

  • VS 2013 ASP.NET调试时无法修改代码

    我正在处理一个 ASP NET 2 0 项目 该项目已从 vs 2005 gt 2010 gt 2013 升级 在 vs 2005 和 2010 中 我可以在调试时修改代码 保存更改并重新加载应用了更改的页面 现在与 2013 年相比 我无

  • 在 C 中区分 typedef 的类型/标记名称有哪些优点？

    一些代码库使用不同的标识符tag和type eg typedef struct foo int bar foo 代替 typedef struct foo int bar foo 这里详细解释了这些差异 C 中 struct 和 typed

  • 在 R 中的 for 循环中创建列

    我在 R 中有一个数据框 我想在 for 循环中创建新列 在过去的两天里我尝试了很多事情但没有成功 最后 我确实找到了一个似乎可行的解决方案 但看起来并不那么直接 我想知道是否有人有更优雅的方法来做到这一点 抱歉 如果这个问题已经得到解决

  • 使用 D3.js 为每个数据成员附加多个非嵌套元素

    我想使用 d3 创建多个非嵌套元素来创建如下结构 div p from data 0 p p from data 0 p p from data 1 p p from data 1 p p from data 2 p p from data

  • TSQL - 如何判断 SQL 是否是集群的？

    有没有办法使用 TSQL CMD 脚本或 VB 脚本来告诉 1 如果 SQL Server 集群在服务器上 并且 2 是否是主动节点 Thanks 这两个都可以使用找到 SELECT FROM fn virtualservernodes 如

  • Tensorflow编译运行很长时间

    所以我正在尝试编译TensorFlow来自源头 使用 2019 年 1 月 31 日的 git 存储库中的克隆 我从他们的 shell 脚本安装了 Bazel https github com bazelbuild bazel releas

热门标签