在 pyspark databricks 中并行执行多个笔记本

2024-01-10

问题很简单:

master_dim.py calls dim_1.py and dim_2.py并行执行。这在 databricks pyspark 中可能吗?

下图解释了我想要做什么,由于某种原因它出错了,我在这里遗漏了什么吗?


仅供其他人使用,以防他们了解其工作原理:

from multiprocessing.pool import ThreadPool
pool = ThreadPool(5)
notebooks = ['dim_1', 'dim_2']
pool.map(lambda path: dbutils.notebook.run("/Test/Threading/"+path, timeout_seconds= 60, arguments={"input-data": path}),notebooks)
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

在 pyspark databricks 中并行执行多个笔记本 的相关文章

  • 调整添加的绘制组件的大小和奇怪的摆动行为

    这个问题困扰了我好几天 我正在制作一个特殊的绘画程序 我制作了一个 JPanel 并添加了使用 Paint 方法绘制的自定义 jComponent 问题是 每当我调整窗口大小时 所有添加的组件都会 消失 或者只是不绘制 因此我最终会得到一个
  • 在 RESTful Web 服务中实现注销

    我正在开发一个需要注销服务的移动应用程序 登录服务是通过数据库验证来完成的 现在我陷入了注销状态 退一步 您没有提供有关如何在应用程序中执行身份验证的详细信息 并且很难猜测您在做什么 但是 需要注意的是 在 REST 应用程序中 不能有会话
  • Antlr 解析器运算符优先级

    考虑以下语法 我对运算符优先级有疑问 例如 res 2 a b有一个类似的解析树res 2 a b 我知道问题出在哪里 但我没有想到没有相互左递归的 漂亮 解决方案 你能帮我一点忙吗 该语法与自定义访问者一起使用 grammar Math
  • 如何通过索引访问 JSON 对象中的字段

    我知道这不是最好的方法 但我别无选择 我必须通过索引访问 JSONObject 中的项目 访问对象的标准方法是只写this objectName or this objectName 我还找到了一种获取 json 对象内所有字段的方法 fo
  • 带有 Maven Wrapper 的 Java 17 导致无法识别的 VM 选项“MaxPermSize=512m”

    I use OpenJDK 17 https jdk java net 17 使用 Maven Wrapper 3 8 2 从春季初始化 https start spring io Maven项目 JAR打包 Java 17 Spring
  • 测量窗口偏移

    有没有一种方法可以测量 jQuery 中窗口的偏移量 以便我可以比较 固定 元素和相对定位元素的位置 我需要能够知道窗口滚动了多远 以便我可以使用该图来计算固定元素的高度 相对于视口顶部 和相对对象的高度 相对于顶部 之间的差异文件的内容
  • MySQL 查询计算上个月

    我想计算上个月的订单总额 我收到了从当前日期获取当月数据的查询 SELECT SUM goods total AS Total Amount FROM orders WHERE order placed date gt date sub c
  • 没有输入的 jQuery 日期选择器

    我有一个相当复杂的网络应用程序 我想向其中添加一些日期选择 UI 我遇到的问题是我无法从文档中弄清楚如何真正控制日期选择器的出现方式和时间 不涉及任何表单元素 不 我不会添加秘密表单字段 因此简单的开箱即用方法根本行不通 我希望有人可以提供
  • PrimeFaces 对话框参考父级

    我有一个 xhtml 页面 显示带有条目的数据表 我还有一个用于插入新条目的按钮 该按钮显示一个包含表单的对话框 插入表格用作
  • 类型或命名空间“MyNamespace”不存在等

    我有通常的类型或命名空间名称不存在错误 除了我引用了程序集 using 语句没有显示为不正确 并且我引用的类是公共的 事实上 我在不同的解决方案中引用并使用相同的程序集来执行相同的操作 并且效果很好 顺便说一句 这是VS2010 有人有什么
  • Pandas 与 Numpy 数据帧

    看这几行代码 df2 df copy df2 1 df 1 df 1 values 1 df2 ix 0 0 我们的教练说我们需要使用 values属性来访问底层的 numpy 数组 否则我们的代码将无法工作 我知道 pandas Data
  • Mono 应用程序在非阻塞套接字发送时冻结

    我在 debian 9 上的 mono 下运行一个服务器应用程序 大约有 1000 2000 个客户端连接 并且应用程序经常冻结 CPU 使用率达到 100 我执行 kill QUIT pid 来获取线程堆栈转储 但它总是卡在这个位置
  • 将第三个表链接到多对多关联中的桥接表

    设计这个数据库的正确方法是什么 这是我设置表格的方式 我在名为 教师 的表和名为 仪器 的表之间存在多对多关系 然后我有一个连接两者的桥接表 我想将另一个表与 BRIDGE 表关联起来 意思是乐器 老师的组合 该表有 3 行 指定老师可以教
  • Amazon RDS for SQL Server 是否支持 SSIS?

    从谷歌搜索中读到一些相互矛盾的答案 不确定答案是是 否还是可能 我觉得读的时候已经很清楚了this http docs aws amazon com AmazonRDS latest UserGuide CHAP SQLServer htm
  • NSArrayController 无需将大型数据集加载到数组中

    我想使用 NSArrayController 向 NSTableView 提供数据 我面临的问题是我不想将所有数据预先加载到数组中 然后使用数组控制器setContent 方法 我的数据模型是一个管理数百万条记录的大型现有代码库 它包含有效
  • 一种无需 JavaScript 即可在 PHP 中确定浏览器宽度的方法?

    首先有吗 或者我必须使用javascript 我希望能够更改使用的 CSS 因此 frex 我可以为移动设备或其他设备加载较小的字体 不幸的是 仅使用 PHP 无法检测用户分辨率 如果您使用 Javascript 则可以在 cookie 中
  • 从 mvc 控制器使用 Web api 控制器操作

    我有两个控制器 一个mvc控制器和一个api控制器 它们都在同一个项目中 HomeController Controller DataController ApiController 如果我想从 HomeController 中使用 Dat
  • 如何确定 CultureInfo 实例是否支持拉丁字符

    是否可以确定是否CultureInfo http msdn microsoft com en us library system globalization cultureinfo aspx我正在使用的实例是否基于拉丁字符集 我相信你可以使
  • 使用 WGL 创建现代 OpenGL 上下文?

    我正在尝试使用 Windows 函数创建 OpenGL 上下文 现代版本 基本上代码就是 创建窗口类 注册班级 创建一个窗口 choose PIXELFORMATDESCRIPTOR并设置它 创建旧版 OpenGL 上下文 使上下文成为当前
  • 禁用允许文本选择的

    残疾人可以吗

随机推荐

  • 在函数式程序中获取 I/O

    所以我知道你不能在函数式程序中直接从用户那里获取输入 因为它显然不是纯粹的 但如果用户只有 4 个选项可供选择 这仍然适用吗 例如 如果你要求头发颜色 并且有四种选项可供选择 棕色 黑色 金色 红色 那么它是否仍然不纯 如果用户点击与他们的
  • 结合基于多个条件的观察结果

    目前我正在撰写硕士论文 但是 在多个条件下组合行时遇到一些问题 我在下面说明了我的问题和期望的结果 我希望你可以帮助我 这是我的数据集的示例 df lt data frame userID c 1 1 1 1 1 2 2 3 3 3 3 s
  • 什么是流处理中的背压?

    我开始学习 NodeJS 流似乎是人们经常使用的东西 在我读过的大多数文档中都提到了处理大文件时发生的 背压问题 但我还没有找到这个问题到底是什么的明确解释 我还读到使用管道可以帮助解决这个问题 但是管道到底如何解决背压问题呢 感谢您提前的
  • 向自定义验证器添加错误消息

    我有一个自定义验证器 我试图在失败时输出错误消息 但无法这样做 有人可以告诉我我是否在正确的地方执行此操作 class User lt ActiveRecord Base self table name user attr accessib
  • 当给定“const char *”作为第一个参数时,为什么 C 标准库函数“strchr”返回指向非常量的指针?

    使用 gcc g 成功编译给定的代码示例 没有错误strchr调用 这显然分配了const char to char 我发现了strchr被声明为char strchr const char int 在两个不同的来源pubs opengro
  • 如何向上下文添加透明渐变蒙版

    我正在使用quartz 2d 绘制饼图 我使用图层在底部绘制饼图的反射 我想在反射中添加透明的 alpha 渐变 使其变得越来越透明 直到它变得不可见 有人有主意吗 编辑 更多细节 我的饼图位于 CGLayerRef 中 我首先将此层绘制到
  • 找不到从 cronjob 命令运行的 bash 脚本

    我的 crontab 如下 SHELL bin bash PATH sbin bin usr sbin usr bin MAILTO root HOME 01 04 root home sphinx scripts daily update
  • 最终与易失性保证对象的安全发布

    来自 Java并发实践 一书 为了安全地发布对象 对对象的引用和 对象的状态必须可见 同时其他线程 A 正确构造的对象可以是 安全发布者 从静态初始化器初始化对象引用 将对它的引用存储到易失性字段或 AtomicReference 中 将对
  • 在 Vue.js 应用程序上使用 Google (GIS) 登录

    显然谷歌将停止服务gapi oauth2 我正在尝试使用他们的新 使用 Google 登录 工具 但它们非常令人困惑 项目结构我有一个 Vue 前端 我需要允许用户使用 google 登录 然后 我需要使用 OIDC 服务器流在我的后端对它
  • Django数据库:按相关数据库中最新对象的字段排序

    我在 django 中有两个数据库表 Device 表用于存储实际设备 DeviceTest 表用于存储每个设备的测试检查 对一个设备进行多次测试 class Device models Model created at models Da
  • 在 .net4 上升级到 EF6 - System.Data.MetadataException:指定的架构无效

    我有一个在 net v4 下运行的 asp net 网站 我已从 Entity Framework v5 升级到 v6 02 并且使用 nuget 提供的 EntityFramework v4 dll 在 IIS Express 和 net
  • Java中如何正确获取线程名称?

    我有这个类用于在 Java 中创建线程 package org vdzundza forms import java awt Graphics import java awt Graphics2D public class DrawThre
  • CSS如何使div水平居中

    我正在努力使 div 水平居中 我有以下代码将我的 div 垂直和水平地居中在 body 标记中 但似乎只有垂直部分有效 我怎样才能让水平部分也能工作 提前致谢 body background color 081418 font size
  • 定义一个不可见的类方法是“public”的简写吗?

    我经常看到没有可见性关键字定义的函数代码 例如 class Foo function bar 是不是的简写public功能 省略它是一个好习惯吗 class Foo public function bar 是的你是对的 当您省略可见性修饰符
  • vue.js 应用程序中静态资源的路径

    我正在开发一个基于 vue cli webpack 模板的单页面应用程序 由于我们也必须使用静态资源 因此我们需要在样式表中引用它们 官方文档建议使用绝对路径 如下所示 background image url assets images
  • 观察其他观察者未看到的值

    我有一个可观察的值 它发出独特的值 例如 var source Observable Range 1 100 Publish source Connect 我想观察它的价值 例如两个观察者 但每个观察者仅收到其他观察者未看到的值的通知 因此
  • opencv中有没有相当于matlab conv2的函数

    matlab函数conv2有直接的opencv函数吗 我尝试使用 cvFilter2D 但它似乎给出了与 conv2 不同的结果 例如 CvMat Aa cvCreateMat 2 2 CV 32FC1 CvMat Bb cvCreateM
  • 如何在R中按两列进行分组

    我有一个数据框 我试图对其进行分组 然后根据两列求和 两列是字符 其中一列是月份 另一列是变量 以下是数据框架和结构的示例 row names month variable amount 1 1 Jan x 1000 2 1 Jan x 3
  • 在R中将两列合并为一列[重复]

    这个问题在这里已经有答案了 我有以下数据框 并尝试将两列合并为一列 同时替换NA与数值 ID A B 1 3 NA 2 NA 2 3 NA 4 4 1 NA 我想要的结果是 ID New 1 3 2 2 3 4 4 1 提前致谢 在编写答案
  • 在 pyspark databricks 中并行执行多个笔记本

    问题很简单 master dim py calls dim 1 py and dim 2 py并行执行 这在 databricks pyspark 中可能吗 下图解释了我想要做什么 由于某种原因它出错了 我在这里遗漏了什么吗 仅供其他人使用