将 RDD 写入 csv

2023-11-25

我有一个 RDD，其形式为

org.apache.spark.rdd.RDD[(String, Array[String])]

我想将其写入 csv 文件。请建议我如何做到这一点。

执行 myrdd.saveAsTextFile 会得到如下输出。

(875,[Ljava.lang.String;@53620618)
(875,[Ljava.lang.String;@487e3c6c)

你可以试试：

myrdd.map(a => a._1 + "," + a._2.mkString(",")).saveAsTextFile

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

scala

apachespark

将 RDD 写入 csv 的相关文章

Spark SQL 广播提示中间表

我在使用广播提示时遇到问题可能是缺乏 SQL 知识我有一个查询例如 SELECT broadcast a FROM a INNER JOIN b ON INNER JOIN c on 我想要做 SELECT broadcast a F
Scala 性能问题

In the 丹尼尔科泽夸 Daniel Korzekwa 撰写的文章 http blog danmachine com 2011 01 moving from java to scala one year html 他说以下代码的性能
了解如何使用 apply 和 unappy

我试图更好地理解的正确用法apply and unapply方法考虑到我们想要序列化和反序列化的对象这是正确的用法吗即斯卡拉方式的使用apply and unapply case class Foo object Foo appl
Spark RDD默认分区数

版本 Spark 1 6 2 Scala 2 10 我正在执行以下命令spark shell 我试图查看 Spark 默认创建的分区数量 val rdd1 sc parallelize 1 to 10 println rdd1 getNum
Sparklyr - 在 Apache Spark Join 中包含空值

问题在 Apache Spark Join 中包含空值 https stackoverflow com questions 41728762 including null values in an apache spark join有 Sc
自定义 NIO 文件系统无法通过 SBT 的测试任务加载

为了进行测试我使用内存中的 NIOFileSystem执行 memoryfs https github com openCage memoryfs 我以前已经利用过它并且它似乎运行良好例如梅文然而现在在SBT项目中不可能初始化
宏：knownDirectSubclasses 被嵌套类型破坏？

我有一个宏它枚举密封特征的直接子类型 import scala reflect macros Context import language experimental macros object Checker def apply A U
Scala Array.apply 有何魔力

来自 scala 2 10 4 的 array scala Array定义为 final class Array T length Int extends java io Serializable with java lang Clonea
Spark SQL如何读取压缩的csv文件？

我尝试过使用apispark read csv读取带有扩展名的压缩 csv 文件bz or gzip 有效但在源代码中我没有找到任何可以声明的选项参数codec type 即使在这个link https github com databr
有没有办法捕获 Spark 中使用通配符读取的多个 parquet 文件的输入文件名？

我使用 Spark 将多个 parquet 文件读取到单个 RDD 中并使用标准通配符路径约定换句话说我正在做这样的事情 val myRdd spark read parquet s3 my bucket my folder parq
使用 scala 从 Spark 中的数组数组中的结构中提取值

我正在使用 scala 将 json 数据读入 Spark 数据帧架构如下 root metadata array nullable true element struct containsNull true playerId strin
不支持的身份验证令牌，仅当禁用身份验证时才允许 schema='none'：{ schema='none' } - Neo4j 身份验证错误

我正在尝试使用 neo4j spark connector 从 Spark 连接到 Neo4j 当我尝试连接到 Neo4j 时遇到身份验证问题org neo4j driver v1 exceptions AuthenticationExce
Spark 结构化流中具有不同计数的聚合抛出错误

我正在尝试在 Spark 结构化流中获取 Parentgroup childgroup 和 MountingType 组的唯一 id 代码下面的代码抛出错误 withWatermark timestamp 1 minutes val ag
为什么《Scala 中的函数式编程》一书的“无异常处理错误”一章中没有提到“scala.util.Try”？

在 Scala 中的函数式编程一书中的无异常处理错误一章中作者给出从函数体抛出异常的问题 Use Option如果我们不关心实际的异常 Use Either如果我们关心实际的异常 But scala util Try没有提到从我
在 Spark 2.1.0 中启用 _metadata 文件

Spark 2 1 0 中保存空 Parquet 文件似乎已损坏因为无法再次读入它们由于模式推断错误我发现从 Spark 2 0 开始写入 parquet 文件时默认禁用写入 metadata 文件但我找不到重新启用此功能的配置设
Scala 和变量中的模式匹配

我是 Scala 新手有点想知道模式匹配是如何工作的想象一下我有以下内容 case class Cls i Int case b Cls i gt Ok case e Cls gt Ok case f Cls gt Ok case s
pyspark 中的 Pandas UDF

我正在尝试在 Spark 数据帧上填充一系列观察结果基本上我有一个日期列表我应该为每个组创建缺失的日期在熊猫中有reindex函数这是 pyspark 中不可用的我尝试实现 pandas UDF pandas udf schema
Spark的distinct()函数是否仅对每个分区中的不同元组进行洗牌

据我了解 distinct 哈希分区 RDD 来识别唯一键但它是否针对仅移动每个分区的不同元组进行了优化想象一个具有以下分区的 RDD 1 2 2 1 4 2 2 1 3 3 5 4 5 5 5 在此 RDD 上的不同键上所有重复键
使用 scala 集合 - CanBuildFrom 麻烦

我正在尝试编写一个接受任何类型集合的方法CC 并将其映射到一个新的集合相同的集合类型但不同的元素类型我正在挣扎基本上我正在尝试实施map but 不在集合本身上问题我正在尝试实现一个带有签名的方法它看起来有点像 def map
Scala 中的 Shapeless 结构编程：如何正确使用 SYB 实现？

我想使用SYB http research microsoft com en us um people simonpj papers hmap 实施于无形图书馆 https github com milessabin shapeless编写

随机推荐

在 PyTorch 中使用 None 索引张量

我在 PyTorch 中看到过这种用于索引张量的语法但不确定它的含义 v torch div t n None where v t and n是张量的作用是什么 None 在这里我在文档中似乎找不到它与 NumPy 类似您可以插入
需要使用 RegEx 和 BeautifulSoup 查找文本

我正在尝试解析一个网站以提取存储在正文中的一些数据如下所示 b INFORMATION b Hookups None Group Sites No Station No b Details b Ramp Yes 我想使用 Beautifu
统计模型汇总到乳胶

我是乳胶新手我想导入一个统计模型 python package 我的乳胶报告摘要我发现可以使用以下方法将摘要转换为乳胶表格 Latex as 表格到目前为止一切正常现在我必须存储表格但我不太明白这是如何工作的我想我必须使用以下
根据名称选择变量（简单正则表达式）

我想合并暗示我应该如何处理它们的变量名称我想象一个数据框调查 library Rlab Needed for rbern function survey lt data frame cbind id seq 1 10 likert th
Python - 如何在 Windows 10 上完全卸载 Anaconda？

由于某种原因我安装的 Anaconda 出现了问题当我尝试打开 Jupyter 时我注意到了这一点开始菜单快捷方式已损坏当我点击它时我得到了臭名昭著的命令行窗口的打开和关闭我可以通过单击可执行文件来启动它但这最终会导致笔记本在
python从列表中的字符串中删除空格

我有一个清单我想删除它们的前导和尾随空格这strip 方法返回不带前导空格和尾随空格的字符串副本单独调用该方法不会产生更改通过这个实现我得到了 array index out of bounds error 在我看来列表 0 l
纯 CSS 可点击下拉菜单？

本教程解释了如何使用 hover用于在悬停时设置 HTML 元素样式的伪类以及如何在将鼠标悬停在纯 CSS 中的特定元素上时创建下拉菜单不使用任何 JavaScript 是否可以在纯 CSS 中创建与下面示例中的下拉菜单相同的下拉菜单
为 Google 表格运行 Max ArrayFormula

我有一个手动输入的数字列表 1 100 100 10 1 1000 10 1000 1 1000 100 10 我想获取运行最大值初始数字数组的每个子数组的最大值我所说的子数组是指来自的数字 A1 to A2 from A1 to A3
c++ 当迭代器结束时，迭代器 + 整数的结果是什么？

假设你有一个随机访问迭代器例如std vector myVector when iter someInt是过去结束迭代器 iter someInt myVector end 或者它的值可能与myVector end 这是未定义的行为任何
是否可以在不使用 setTimeout() 函数的情况下获取粘贴的文本？

我发现在粘贴文本时即Hello 通过使用鼠标以下函数将抛出一个空的弹出窗口 input text onpaste function alert input text val 问题是当 onpaste 事件被触发时文本尚未实际粘贴到输
如何在 Xamarin.forms 项目中调试 .a libs（c++ 并且我有源代码）？

我有一个 Xamarin Forms 项目还有一些 a libs C 在 Xamarin iOS 项目中引用 Xamarin Forms project codes Xamarin iOS project codes a libs c 我
如何检索 Ember.js 模型的所有属性

我正在 Ember js 中使用表单我想检索所有模型属性的列表以便我可以在不同时刻拍摄表单状态的快照有没有办法获取模型所有属性的列表例如如果我的模型是 App User DS Model extend name DS attr s
我如何处理/规避 Rust 中的“无法分配给……位于 & 引用后面”？

我会实现一个简单的链表这是我到目前为止的工作代码 pub struct LinkedList
在声明函数之前调用函数[重复]

这个问题在这里已经有答案了以下代码在 PHP 中运行 Output chocolate milkshake 看到这个Demo http codepad viper 7 com ToApZa 这段代码运行没有错误并打印指定的输出为什么我
在 Swing Java 中向 JList 添加元素

我有一个在单击按钮时执行的函数假设有一个循环将 1 加 10 到 aJList 我将该数据添加到DefaultListModel 它工作完美并且数字被添加然后我添加了一个Thread sleep 1000 循环内但输出不同我想每秒添
使用 Flask 的 Python 装饰器

我需要向 Flask 路由函数添加一个 python 装饰器基本上我编辑了代码 here def requires admin f def wrapper f wraps f def wrapped args kwargs if not
为什么我无法将 List
作为参数传递给接受 List
的方法？
下面的代码给了我这个错误无法转换自系统集合通用列表到系统集合通用列表如何向编译器表明 Customer 确实是从 object 继承的或者它只是不使用通用集合对象进行继承发送一个List

Javascript - 从对象 - >数组时保持键顺序

我知道 JS 对象中不能保证键顺序但是我的数据结构来自我无法控制的后端我可以做些什么来保留以下位置时的关键顺序 var obj foo bar bar foo to Object keys obj hoping for foo bar

如何使 iframe 上的控制台输出静音

我的页面正在使用 iframe 来显示一些内容但现在我正在主页上工作 iframe 的输出使我的控制台变得混乱使其难以调试有什么办法可以让控制台静音吗我尝试将控制台设置为无操作 var CONSOLE LOG window cons

将 RDD 写入 csv

我有一个 RDD 其形式为 org apache spark rdd RDD String Array String 我想将其写入 csv 文件请建议我如何做到这一点执行 myrdd saveAsTextFile 会得到如下输出 875

热门标签

django后端

Unity3DUE4

用户权限

hash crc32

crc32碰撞

链性表

stylecop

环路补偿

开关电源传递函数

闭环控制

文字接口下载器

浏览器下载

下载目录下所有文件

一番码客软件开发实战

MFCC编程

pid是滞后超前校正

工厂解析依赖项

Powered by Hwhale

将 RDD 写入 csv

将 RDD 写入 csv 的相关文章

随机推荐

热门标签