程序员经验分享-hwhale

如何将表转换为 Spark Dataframe

2024-01-20

在 Spark SQL 中，可以使用以下命令将数据帧作为表进行查询：

sqlContext.registerDataFrameAsTable(df, "mytable")

假设我有的是mytable，我如何获取或访问它作为 DataFrame？


最干净的方法：

df = sqlContext.table("mytable")

文档 http://spark.apache.org/docs/2.3.0/api/python/pyspark.sql.html?highlight=table#pyspark.sql.SQLContext.table

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

apachespark

PySpark

apachesparksql

如何将表转换为 Spark Dataframe 的相关文章

随机推荐

  • python 组合数据框中的行并将值相加

    我有一个数据框 Type Volume Q 10 Q 20 T 10 Q 10 T 20 T 20 Q 10 我想将类型 T 合并到一行中 并且仅当两个 或更多 T 连续时才添加音量 即 Q 10 Q 20 T 10 Q 10 T 20 2

  • 我如何近似“你的意思是？”不使用谷歌？

    我知道这个问题重复 谷歌 你是说吗 是怎么回事 算法工作 https stackoverflow com questions 307291 how does the google did you mean algorithm work 如何

  • 错误“virtualenv：找不到命令”，但安装位置位于 PYTHONPATH 中

    在过去的两天里 这让我发疯 我在 Macbook 上安装了 virtualenvpip install virtualenv 但是当我尝试使用创建一个新的 virtualenv 时virtualenv venv 我收到错误消息 virtua

  • 如何使用 Java/Swing 旋转图像，然后将其原点设置为 0,0？

    我能够旋转已添加到 JLabel 的图像 唯一的问题是 如果高度和宽度不相等 旋转后的图像将不再出现在 JLabel 的原点 0 0 处 这就是我正在做的事情 我还尝试使用 AffineTransform 并旋转图像本身 但结果相同 Gra

  • 在 WPF DataGrid 中使用 Enter 键作为 Tab

    我有一个DataGrid in WPF I want to move to the NextCell when i hit Enter and when the LastColumn is reached it should have th

  • Android Studio - 恐慌：无法打开 AVD

    经过几个小时修复 Gradle 问题后 我能够在 Android Studio 中构建我的测试应用程序 但是当我尝试在 AVD 中运行它时 它就是打不开 这是日志 Waiting for device C Users Rahaman App

  • 如何在不使用 len 的情况下知道列表是否仅包含 1 个元素

    我想知道列表是否只包含一个元素 而不使用len 在这两种解决方案之间 最Pythonic的方法是什么 或者也许这些都不是Pythonic的 如果是的话那又是什么 解决方案a 删除位置1处的项目 除了IndexError所以我知道只有 1 件

  • Python 求解一个变量的方程

    我正在尝试使用 SymPy 求解 python 中的方程 我有一个生成的方程 类似于function y 8 0 y 3 0 我将其与 SymPy 一起使用来创建一个如下所示的新方程 eq sympy Eq function 2 哪个输出y

  • 如何反序列化动态Json对象？

    我目前从我的 api 收到以下 JSON 响应 Lastname ERRLASTNAMEEMPTY Firstname ERRFIRSTNAMEEMPTY 请注意 上述响应是动态的 即有时我可以有名字 有时可以有姓氏 有时两者都有 此响应基

  • 如何从 Kafka 主题获取最近的消息

    我们是否有任何选项 例如从 Kafka 主题获取最近 10 20 等消息 我可以看到 from beginning 选项从主题中获取所有消息 但如果我只想获取第一个 最后一个 中间或最新的几条消息 10 我们有一些选择吗 前 N 条消息 您

  • 在哪里可以找到张量流预训练模型（列表或下载链接）

    我开始使用英特尔 movidius 神经计算棒 就我而言 要开始工作 有必要下载预训练的模型 在他们提到的教程中http download tensorflow org models http download tensorflow org

  • 整数对的唯一哈希公式

    我想我可以使用 Cantor 创建一个独特的哈希 n x y x y x y 2 但我可以反转这个哈希值吗 如果没有 有人可以为可逆哈希提供类似的公式对吗 Thanks 如果 x y 和 n 都是相同的数据类型 n x y x y x y

  • Python 与 matplotlib - 重用绘图函数

    我对此有一个后续问题question https stackoverflow com questions 1401102 python with matplotlib drawing multiple figures in parallel

  • 本地化组名称

    我想通过向 Everyone 组分配权限来配置互斥访问规则 当我创建规则时 它看起来类似于以下内容 new MutexAccessRule Everyone MutexRights Modify MutexRights Synchroniz

  • 使用 CUPS 进行 Zebra 打印，不打印 ZPL 或 EPL

    我有一台 Zebra GK420d 通过 CUPS 连接到 OS X 但是 当我向其发送以 ZPL 或 EPL 编写的文件时 它们仅以纯文本形式打印 我需要更改打印机模式吗 与其他人所说的相反 您不需要专门添加原始队列 相反 您可以使用以下

  • 理解 SwiftUI 中的 @Binding

    我观看了一些关于数据绑定的WWDC视频和Apple文档 根据我目前的理解 State作为属性委托将提供视图和带注释的属性之间的绑定连接 例如 State var myText String var body some View VStack

  • PyGame 使 Linux 陷入困境？

    当我运行 pygame 代码时 它会使系统陷入困境 PyGame 变得无响应 并且它使 Ubuntu 的速度大大减慢 以至于我不得不强制关闭两次 我在这里发布了一个非常相似的问题 为什么我的基本 PyGame 模块这么慢 https sta

  • 如何内嵌文本旋转 90 度

    如何在不使用样式表的情况下将文本旋转 90 度 我已将以下说明放置在页面的标题区域中 然后我在相关段落周围放置了以下内容 div p My paragraph p div 但它不起作用 因此我的问题 这是一个小的视觉示例 rotate te

  • 谷歌地图不显示

    我需要在我的 php 页面地图上实现 我有容器 div div 它位于其他 div 内 我将这段代码放入其中标签 但根本不显示 有谁能够帮助我

  • 如何将表转换为 Spark Dataframe

    在 Spark SQL 中 可以使用以下命令将数据帧作为表进行查询 sqlContext registerDataFrameAsTable df mytable 假设我有的是mytable 我如何获取或访问它作为 DataFrame 最干净

热门标签