程序员经验分享-hwhale

Apache Spark 移动平均线

2023-11-21

我在 HDFS 中有一个巨大的文件，其中包含时间序列数据点（雅虎股票价格）。

我想找到时间序列的移动平均值，我该如何编写 Apache Spark 作业来做到这一点。


您可以使用 MLLIB 中的滑动函数，它可能与丹尼尔的答案做同样的事情。在使用滑动功能之前，您必须按时间对数据进行排序。

import org.apache.spark.mllib.rdd.RDDFunctions._

sc.parallelize(1 to 100, 10)
  .sliding(3)
  .map(curSlice => (curSlice.sum / curSlice.size))
  .collect()
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

TimeSeries

HDFS

movingaverage

apachespark

Apache Spark 移动平均线 的相关文章

随机推荐

  • 如何在 C# 中将 UTC 时间转换为任何其他时区的时间

    我正在 C net 中工作 Net fx 是 2 0 不支持不同时区之间的转换 我已经编写了一个基于 UTC 的调度程序 但它在伦敦的 DTS 周期中给出了 1 小时的错误 我需要一些解决方案 以便我可以通过正确的 DST 调整来获得相对于

  • 将 int 转换为 4 字节 char 数组 (C)

    嘿 我希望将用户输入的 int 转换为 4 个字节 并将其分配给字符数组 如何才能做到这一点 Example 将用户输入 175 转换为 00000000 00000000 00000000 10101111 到目前为止所有答案都有问题 转

  • 查看单个文档中单个字段的原始 Solr 标记

    我正在调试我的 Solr 架构 我想查看标记特定字段的结果 举一个简化的例子 如果我有

  • sudo E选项不起作用？ [关闭]

    Closed 这个问题不符合堆栈溢出指南 目前不接受答案 在我看来 如果我写一个shell脚本 HOME path to script myscript and export PATH PATH HOME path to script th

  • 在单活动架构中设置片段的横向方向

    如何实现只锁定一个屏幕方向Fragment 在单活动架构中 只有一个Activity对于整个应用程序 有没有比在每个中指定请求的方向更好的解决方案Fragment 我试图避免放置activity requestedOrientation A

  • 在 scrapy 中运行多个蜘蛛

    例如 在 scrapy 中 如果我有两个包含不同 HTML 的 URL 现在我想分别编写两个单独的蜘蛛 并希望同时运行这两个蜘蛛 在 scrapy 中可以同时运行多个蜘蛛 在scrapy中编写多个蜘蛛后 我们如何安排它们每6小时运行一次 可

  • 依赖于子目录同级的介子目标

    这是我的项目结构 include src abc include src def include src ghi include src vendor bar include src foo 16 directories 我想将我的构建移植

  • 如何从其他应用程序向 Microsoft 团队发布消息

    我正在尝试在我的桌面应用程序中创建一个自定义方法 使用 C 以向 Microsoft 团队发布消息 但我还是不知道用什么样的工具或者服务来完成 有可能实现吗 如果是 怎么办 我在 Visual Studio 中找到了一个有关 MS Team

  • 在 matplotlib 中重用 patch 对象而不移动它们的位置

    我想自动生成一系列被剪裁成补丁的图 如果我尝试重复使用补丁对象 它会在画布上移动位置 该脚本 基于 Yann 对之前问题的回答 演示了正在发生的情况 import pylab as plt import scipy as sp import

  • 需要使用 StreamReader.ReadLine() 获取行终止符

    我编写了一个 C 程序来读取 Excel xls xlsx 文件并输出为 CSV 和 Unicode 文本 我编写了一个单独的程序来删除空白记录 这是通过读取每一行来完成的StreamReader ReadLine 然后逐个字符地遍历字符串

  • 如何使用 jQuery 模拟打字？

    就像如何click 可以用来触发元素上的点击事件 有什么方法可以模拟字符串的输入吗 您可以根据需要使用这些事件 keydown keypress keyup

  • 将日期增加一个月

    假设我有以下格式的日期 2010 12 11 年 周一 使用 PHP 我希望将日期增加一个月 并且希望年份在必要时自动增加 即从 2012 年 12 月增加到 2013 年 1 月 Regards time strtotime 2010 1

  • PayPal REST API 返回信用卡令牌的 500 服务器错误

    我正在尝试让 PayPal REST api 使用存储在保险库中的信用卡创建付款 但是 每当我尝试使用金库中的卡进行付款时 PayPal 的 API 都会挂起大约半分钟 然后给出以下 500 错误 Exception Got Http re

  • 我在控制器中的辅助方法

    我的应用程序应该呈现 html 以便在用户单击 ajax 链接时进行响应 我的控制器 def create user user User new params if user save status success link link to

  • 在 Node.js 中使用 JSON.stringify 会导致“进程内存不足”错误

    使用 Node 我尝试从 LDAP 服务器收集用户数据 然后将该数据写入 JSON 文件 我使用以下代码来执行此操作 fs writeFile data json JSON stringify data null 4 问题是JSON str

  • iOS 8：键盘扩展。添加弹出按键的问题

    我正在构建我的键盘扩展应用程序 并且当用户点击按钮时 我在按钮上添加了按键弹出动画 它适用于内部图像 但对于顶行图像 弹出区域会在剪辑子视图时被隐藏 我尝试使用 ClipToBound 属性并将其设置为 False 但仍然不起作用 有人知道

  • javascript 在逗号后截断字符串

    我正在寻找一种方法来删除字符串中的逗号及其后面的所有内容 例如 重要 又不那么重要 我想删除 不太重要 有任何想法吗 提前致谢 你可以这样做substring and indexOf str str substring 0 str inde

  • 如何在 Sitecore 中关闭 XHTML 验证？

    如何在工作流程中关闭 Sitecore 6 5 XHTML 页面验证 我正在开发并在尝试发布测试页面时不断遇到问题 因为它们出错了 我更愿意在浏览器中将错误作为堆栈跟踪获取 我不确定在此之前我是否已更改某些内容 但我最近承担了一个将 Sit

  • 刷新物化视图：并发、事务行为

    PostgreSQL 9 3 官方文档REFRESH MATERIALIZED VIEW尚未对其进行详细描述 引述自此blog Postgres 9 3 中的物化视图有一个严重的限制 即在刷新它时使用独占锁 这基本上会阻止在使用来自其父关系

  • Apache Spark 移动平均线

    我在 HDFS 中有一个巨大的文件 其中包含时间序列数据点 雅虎股票价格 我想找到时间序列的移动平均值 我该如何编写 Apache Spark 作业来做到这一点 您可以使用 MLLIB 中的滑动函数 它可能与丹尼尔的答案做同样的事情 在使用

热门标签