ffmpeg直接输出到HDFS

2024-07-01

我有一个要求,我必须将 RTSP 流转换为 mp4 视频或帧(视情况而定)并希望将它们保存在 HDFS(Hadoop 文件系统)中。

为此,我尝试使用 ffmpeg 将 RTSP 流转换为 mp4 视频/帧并将视频/帧保存在本地文件系统中。就像下面这样——
ffmpeg -i rtsp://10.0.37.150:8554/big_bunny.mkv -r 1 -f image2 frames/big_frame-%3d.bmp
ffmpeg -i rtsp://10.0.37.150:8554/big_bunny.mkv big_bunny.mp4

然后使用 put 命令将视频/帧(存储在本地文件系统中)保存到 hdfs 中 -
hadoop fs -put frames/ /user/maddy/
hadoop fs -put big_bunny.mp4 /user/maddy/

这是有效的。但我想直接执行此操作(即一步操作,而不将所需的文件保存在本地文件系统中)

我尝试了一些东西(如下面的命令)但它不起作用
ffmpeg -i rtsp://10.0.37.150:8554/big_bunny.mkv hdfs://localhost:9000/user/maddy/big_bunny.mp4

我收到这个错误 -
hdfs://localhost:9000/user/maddy/big_bunny.mp4: Protocol not found

那么有什么方法可以使用 ffmpeg 直接将这些文件保存到 hdfs 中,而无需先保存在本地文件系统中。
或者还有其他工具可以帮助我实现这一目标吗?

EDIT :

Tried ffmpeg -i rtsp://10.0.37.150:8554/big_bunny.mkv - | hadoop fs -put - /user/maddy/
正如@incBrain建议的

但收到这个错误 -
[NULL @ 0xce37a0] Unable to find a suitable output format for 'pipe:' pipe:: Invalid argument


您可以重定向输出ffmpeg到管道并使用hadoop fs -put - /user/... to 读取输入stdin https://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/FileSystemShell.html#put像这样:

ffmpeg -i rtsp://10.0.37.150:8554/test.mkv -f avi - | hadoop fs -put - /user/maddy/test.avi

请注意,您将需要-f <format> option https://ffmpeg.org/ffmpeg.html#Main-options since ffmpeg由于我们使用管道,因此无法从文件扩展名猜测输出格式。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

ffmpeg直接输出到HDFS 的相关文章

  • 使用ffmpeg转换文件时PHP内部服务器错误500

    我有一个 PHP 脚本 在我的服务器中通过 cron 作业调用它来运行上传的视频转换 它对于某些视频效果很好 但是当视频稍大一点 例如 21MB 时 我会得到一个500 Internal Server Error并且没有其他输出 我认为这个
  • HBase中删除多行的有效方法

    有没有一种有效的方法可以删除 HBase 中的多行 或者我的用例是否不适合 HBase 有一个表称为 图表 其中包含图表中的项目 行键的格式如下 chart date reversed ranked attribute value reve
  • 从猪的单行输入生成多行输出

    我的要求是通过在 Pig 脚本中使用单行输入来生成多行输出 可能的解决方案有哪些 这个想法是将你的输入线转换成一个袋子 然后将其压平 这里可能有两种情况 阅读文字 txt load pig fun input text txt using
  • Matplotlib动画无法保存

    我正在尝试学习如何使用创建 matplotlib 动画Jake Vanderplas 的基本示例 http jakevdp github io blog 2012 08 18 matplotlib animation tutorial 但我
  • enableHiveSupport 在 java Spark 代码中引发错误[重复]

    这个问题在这里已经有答案了 我有一个非常简单的应用程序 尝试使用 Spark 从 src main resources 读取 orc 文件 我不断收到此错误 无法实例化具有 Hive 支持的 SparkSession 因为找不到 Hive
  • 在 Android 上下载时播放视频

    是否可以使用安全的 asp net 应用程序在 Android 上下载视频时流式传输视频 我有一个 https 安全的 ASP NET Web 应用程序 该应用程序专门为移动设备 例如 Iphone BB Android 等 制作 称为 M
  • Apache Spark 本机库

    我最近能够构建具有本机 64 位支持的 Apache Hadoop 2 5 1 因此 我摆脱了烦人的本机库警告 我正在尝试配置 Apache Spark 当我启动 Spark shell 时 出现相同的警告 14 09 14 18 48 4
  • ffmpeg直接输出到HDFS

    我有一个要求 我必须将 RTSP 流转换为 mp4 视频或帧 视情况而定 并希望将它们保存在 HDFS Hadoop 文件系统 中 为此 我尝试使用 ffmpeg 将 RTSP 流转换为 mp4 视频 帧并将视频 帧保存在本地文件系统中 就
  • 在 HIVE 中运行查询时如何更改 Tez 作业名称

    当我使用 Tez 提交 Hive SQL 时 如下所示 hive default gt select count from simple data 在资源管理器 UI 中 作业名称显示类似HIVE 9d1906a2 25dd 4a7c 9e
  • 使用协处理器HBase创建二级索引

    我一直在尝试编写自己的协处理器 使用 prePut 挂钩创建二级索引 首先 我只是尝试让 prePut 协处理器工作 到目前为止 我可以将协处理器添加到传递给它的 put 对象中 我发现我无法让协处理器写入与传入的 put 对象正在写入的行
  • 忽略非 Spark 配置属性:hive.exec.dynamic.partition.mode

    如何运行 Spark shellhive exec dynamic partition mode nonstrict 我尝试 如在这里建议 https stackoverflow com a 53581393 287948 export S
  • FFMPEG:如何从 mpd 清单中手动选择视频质量?

    我想问我应该使用什么命令从 mpd 清单中选择视频质量 mpd 清单链接 https anevia115 dot mncnow dot id vod eds kiko season1 eps1 mobil kabur anv6 sa das
  • 如何使用 Apache Spark 读取/写入协议缓冲区消息?

    我想使用 Apache Spark 从 HDFS 读取协议缓冲区消息 向 HDFS 写入协议缓冲区消息 我发现了这些建议的方法 1 使用Google的Gson库将protobuf消息转换为Json 然后通过Spark Sql读取 写入它们
  • 为简单的 hadoop mapreduce 作业运行两个映射器和两个减速器

    我只是想更好地了解如何使用多个映射器和化简器 我想使用一个简单的 hadoop mapreduce 字数统计作业来尝试一下 我想为这个字数统计作业运行两个映射器和两个化简器 我是否需要这样做在配置文件上手动配置 或者仅对 WordCount
  • 使用 Avplayer 在后台播放视频

    在我的 iPhone 应用程序中 我想在应用程序进入后台模式时继续播放视频 我正在使用 AVPlayer 但没有找到任何在后台播放视频的方法 如果有人能在这方面帮助我 我将非常感激 谢谢 我可以惊讶地说这是可以实现的 而且我刚刚做到了 此方
  • 如何将PNG透明背景转换为JPG白色背景?

    我正在将 PNG 转换为 JPG 透明背景默认变为黑色 我需要它是白色的 将 alpha 通道设置为颜色的 FFmpeg 命令是什么 我认为这与 alphamerge 和 alphaextract 过滤器有关 ffmpeg i image
  • 如何将 Hive 并发映射器增加到 4 个以上?

    Summary 当我在 hive 中从表查询运行简单的 select count 时 大型集群中只有两个节点用于映射 我想使用整个集群 Details 我正在使用一个运行 hdfs 和 Hive 1 2 1 IBM 12 的大型集群 数十个
  • 如何通过 Android 设备中的 .sdp 文件在 Android 设备中流式传输视频

    我有一个要流式传输的应用程序video without audio from android device Blaze board 到电脑 为此 我使用 vlc 播放器通过在命令行中使用以下命令来查看流媒体视频 vlc stream sdp
  • HBase 无法在 Windows 上以独立模式启动

    我下载了HBase 1 0 1在我的 Windows 机器上 无法启动它 我收到以下错误消息 C Users admin Downloads hbase 1 0 1 gt bin start hbase cmd Error Could no
  • iPad html5 视频没有控件?

    这让我苦恼了一整天 但我不知道如何让 html5 视频播放器在没有本机控件的情况下工作 我不想要任何控件 但如果我不包含它们 视频似乎不想播放 即使我在下面添加一些 javascript 试图强制它播放 它也适用于 iPhone 和多个浏览

随机推荐

  • 将自定义 javascript 添加到 Python 中的 FastAPI Swagger UI 文档网页

    我想将自定义 javascript 文件或代码加载到 FastAPI Swagger UI 网页 以便在创建 FastAPI 对象时添加一些动态交互 例如 在文档网页上的 Swagger UI 中 我想 or I tried api Fas
  • 类中私有构造函数的使用

    如果有私有构造函数 JVM 是否会插入对超级构造函数的调用 我指的是super 调用该私有构造函数 class Alpha static String s protected Alpha s alpha class SubAlpha ext
  • 将base64数据url转换为angularjs中的图像文件

    我的 angularJs 控制器中有 base64 数据 URL 我需要其中的图像文件 以便我可以通过 ajax 将其作为多部分数据发送到服务器 我正在寻找类似 angularjs 中的文件编写器的东西 有人可以帮我吗 您可以从 Base6
  • 为什么不能添加 PPA 死蛇?

    我有 ubuntu 版本 20 04 我想从 shell 安装 python 3 6 后sudo apt install software properties common我正在尝试使用add apt repository ppa dea
  • Android Wi-Fi Direct:onPeersAvailable

    我正在为 Android 开发一个基于 WiFi Direct 的简单应用程序 该应用程序必须连接两个设备 为此 我需要调用函数 onPeersAvailable myPeerListListener 但我不知道如何调用 我的应用程序有两个
  • Oracle 免费桌面客户端? [关闭]

    就目前情况而言 这个问题不太适合我们的问答形式 我们希望答案得到事实 参考资料或专业知识的支持 但这个问题可能会引发辩论 争论 民意调查或扩展讨论 如果您觉得这个问题可以改进并可能重新开放 访问帮助中心 help reopen questi
  • ASP.NET 会员更改密码不起作用

    我有这段代码 用于在用户单击密码重置按钮时更改用户的密码 使用额外的代码登录 ELMAH 以便我可以尝试找出问题所在 这是在 ASP NET MVC 2 中 使用标准的 aspnet 成员资格提供程序 具有如下简单的视图 New Passw
  • 错误 TS2342:索引表达式参数必须为“字符串”、“数字”或“任意”类型

    我的代码中有一些地方看起来像这样 var array MyClass myObject new MyClass array myObject something 基本上我使用对象作为数组中的键 我没有考虑太多 因为感觉很自然 代码编译得很好
  • 为什么 std::count 和 std::find 没有针对使用 memchr 进行优化?

    我正在读书瑟赫的回答 https stackoverflow com a 17925143 2970186 to 这个问题 https stackoverflow com q 17925051 2970186并惊讶地发现 sehe 发现使用
  • 如何将Suricata日志发送到Kafka?

    根据文档安装并配置 Suricata 5 0 2 后https suricata readthedocs io https suricata readthedocs io 我尝试通过添加以下内容来更改 suricata yaml 中的一些配
  • ASP.NET Core:为所有模型生成 Razor 页面

    我使用 数据库优先 方法和 Razor Pages 无 MVC 创建了一个 ASP NET Core 2 1 项目 我的所有模型都是从数据库上下文生成的 我使用如下命令行成功为我的模型之一创建了 CRUD Razor 页面 dotnet a
  • 通过 TCP/IP 将 .txt 文件从一台计算机简单发送到另一台计算机

    有两个 C 项目 一个项目用于客户端 另一个项目用于服务器 第一步是运行服务器 然后选择一个目标文件夹 然后运行客户端项目 选择一些text txt发送到服务器的目标文件夹 只有客户端可以向服务器发送文件 Demo 1 choosing f
  • 列表视图自定义布局的适配器

    我正在开发一个android项目 其中我必须从一组字符串数组 例如标题 描述 id 加载到列表视图项TextView 我使用这样的游标对数据库做了类似的事情 String from new String medicine healthsys
  • 如何更改“用户帐户控制设置”中的从不通知? [复制]

    这个问题在这里已经有答案了 可能的重复 以编程方式禁用 UAC https stackoverflow com questions 682182 disabling uac programmatically 如何通过 C 更改 用户帐户控制
  • PHP Foreach数组转表格显示

    我有一个数组 day并希望以表格形式显示该数组 我正在使用 CI Array START EXECUTION gt Array 0 gt 27 OCT 14 1 gt 28 OCT 14 2 gt 29 OCT 14 NUM OF POPU
  • typescript 将属性添加到 Vue 库定义

    我使用包含类型的 vue 但是我想使用某些插件添加的一些属性 e g Vue ga Vue router Typescript 抱怨 Vue 没有这些属性 我可以以某种方式将它们全局添加到 Vue 定义中吗 是的你可以 import Vue
  • 为什么我收到此错误:地图不是函数

    当我使用以下代码的地图函数来显示 newTicket 时 出现错误 地图不是函数 import Button Dialog Grid Slide Typography from material ui core import React u
  • 如何在控制台中正确显示二叉搜索树?

    我正在尝试在控制台中显示 BST 这是我的代码 这是此处找到的代码的修改版本 打印级别顺序二分搜索树格式 https stackoverflow com questions 13186941 printing level order bin
  • 如何将远程master合并到本地分支

    我有一个项目的本地分支 configUpdate 它是我从其他人的项目中分叉出来的 并且我已经对其进行了大量更改 并且希望将他们所做的更改合并到我的本地分支中 我试过了 git pull rebase origin configUpdate
  • ffmpeg直接输出到HDFS

    我有一个要求 我必须将 RTSP 流转换为 mp4 视频或帧 视情况而定 并希望将它们保存在 HDFS Hadoop 文件系统 中 为此 我尝试使用 ffmpeg 将 RTSP 流转换为 mp4 视频 帧并将视频 帧保存在本地文件系统中 就