节省消息中的大文件

2023-12-01

我使用 thrift 通过 tcp 进行二进制协议,用于发送和读取文件(最大大小为 64MB)。 节俭能做到这一点吗?

我曾想过使用:

struct SomeMessage {
 1: byte data
}

节俭的效率如何?编组/解组/通过电线发送?


Thrift是有能力的,推荐的数据类型是binary. Using byte只会传输一个有符号的 8 位数字,并且list<byte>效率低得多。

问题是,将负载负担到 Thrift 服务上是否有意义。例如,对于下载,通过传递链接或某物来推迟传输可能更有意义。与客户端类似,并且通过某种其他机制传递(静态)文件。但这取决于您的场景,并且当客户端将数据发送到服务器时它可能不起作用。

关于整体效率,可以在Google代码上找到一些很好的比较。同样,您获得的性能是否满足您的需求,取决于问题和您面临的限制。对此没有有限的答案。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

节省消息中的大文件 的相关文章

  • python 连接 hive

    由于版本的不同 Python 连接 hive 的方式也就不一样 在网上搜索关键字 python hive 的时候可以找到一些解决方案 大部分是这样的 首先把hive 根目录下的 HIVE HOME lib py拷贝到 python 的库中
  • Thrift - 从简单的 JSON 转换

    我创建了以下 Thrift 对象 struct Student 1 string id 2 string firstName 3 string lastName 现在我想从 JSON 中读取这个对象 根据这个post这个有可能 所以我写了下
  • 节省消息中的大文件

    我使用 thrift 通过 tcp 进行二进制协议 用于发送和读取文件 最大大小为 64MB 节俭能做到这一点吗 我曾想过使用 struct SomeMessage 1 byte data 节俭的效率如何 编组 解组 通过电线发送 Thri
  • 如何使用 python pyhs2 连接到 hive?

    我正在尝试使用访问配置单元pyhs2 我尝试了以下代码 示例 py import pyhs2 conn pyhs2 connect host localhost port 10000 authMechanism None user None
  • 如何定义一个地图接受 Thrift 中不同类型的值?

    我用 thrift 定义了一个结构 struct QuerySetRecord 1 string recordId 2 string crawlerName 3 string recordType 4 map
  • Thrift无法从json反序列化为java对象

    我从以下 thrift 对象生成了一个 java 对象 struct Account 1 required string accountType 2 bool accountActive 我编写了一个java代码 尝试将java对象序列化为
  • Thrift HBase 客户端 - 支持过滤器和协处理器

    遗憾的是 我的 hbase 客户端语言是 Python 我现在使用 happybase 它基于 thrift AFAIK 我知道到目前为止 thrift 仍然不支持过滤器 协处理器 如果我错了 请纠正我 有人可以给我指出任何可以跟踪计划 进
  • Thrift TSimpleServer 在多次成功请求后变得无响应

    我有一个 Thrift API 由在 Linux 上运行的 Java 应用程序提供服务 我正在使用 NET 客户端连接到 API 并执行操作 对该服务的前几次调用工作正常 没有错误 但随后 看似随机 调用将 挂起 如果我强制退出客户端并尝试
  • 运输例外

    我正在尝试导入 happybase 但在连接时收到以下错误消息 我已经运行了 Hadoop 伪节点集群和 Hbase 安装的组件版本如下 Hadoop 版本 1 0 4 Hbase 版本 0 94 4 快乐基地 0 4 有人可以查看下面的例
  • Hbase 客户端因 /hbase 错误导致连接丢失

    我快要疯了 安装了Hadoop Hbase 一切都在运行 opt jdk1 6 0 24 bin jps 23261 ThriftServer 22582 QuorumPeerMain 21969 NameNode 23500 Jps 23
  • Thrift - 每个 Socket 都有不同的 Handler 实例

    我正在 Thrift 中开发一个 代理 服务器 我的问题是 传入代理的每个连接都使用相同的处理程序实例 代理的客户端实现位于处理程序中 因此所有客户端都通过同一连接与终端服务器进行通信 我有 n 个客户端 gt n 个套接字 gt 1 个处
  • 如何使用spark/scala +代码+配置通过远程hive存储(s3 orc)在sparksql中加载文件

    intellij spark gt Hive Remote 存储在S3上 orc格式 无法通过 Spark scala 读取远程 Hive 表 能够读取表架构 但无法读取表 线程 main java lang IllegalArgument
  • 如何在 Java 中对 Hive 进行异步调用?

    我想以异步方式在服务器上执行 Hive 查询 Hive 查询可能需要很长时间才能完成 因此我不想阻止调用 我目前正在使用 Thirft 进行阻塞调用 在 client execute 上阻塞 但我还没有看到如何进行非阻塞调用的示例 这是阻止
  • Apache Thrift 中的对称加密 (AES)

    我有两个使用 Thrift 进行交互的应用程序 他们共享相同的密钥 我需要加密他们的消息 使用对称算法 例如 AES 是有意义的 但我还没有找到任何库来执行此操作 所以我做了一个研究并看到了以下选项 使用内置 SSL 支持 我可以使用内置的
  • Haskell Thrift 库在性能测试中比 C++ 慢 300 倍

    我正在构建一个包含两个组件的应用程序 用 Haskell 编写的服务器和用 Qt C 编写的客户端 我正在使用 thrift 来传达它们 我想知道为什么它运行得这么慢 我做了性能测试 这是我机器上的结果 Results C server a
  • 停止 Thrift 服务器(TSimpleServer)

    我有一个 Thrift 服务器的简单用例 TSimpleServer 其中我生成了几个线程 除了主线程之外 新生成的线程之一进入 Thrift 事件循环 即server serve 在主线程中收到信号后 我调用server stop 这导致
  • thrift:generate-python 在 SBT 中不生成 Python 文件

    I use sbt 节俭 https github com bigtoast sbt thrift 0 6我在构建定义中有以下内容 thriftPythonEnabled true thriftPythonOutputDir lt lt s
  • 从 Windows 中的 C++ 应用程序进行 Thrift 调用

    正如标题所示 我有一个用 C 编写的 Windows 应用程序 我需要从中调用远程 Thrift 服务 说实话 我对这个主题有点迷失 http wiki apache org thrift ThriftInstallationWin32 h
  • Thrift 与 Protocol Buffers 最大的区别是什么? [关闭]

    Closed 这个问题是基于意见的 help closed questions 目前不接受答案 最大的优点和缺点是什么阿帕奇节俭 http incubator apache org thrift vs Google 的协议缓冲区 http
  • 是否可以在没有 RPC 的情况下使用 Apache Thrift?

    我在互联网上搜索但找不到任何有用的东西 首先 我想使用 Protocol Buffers 但它不提供内置功能来跟踪多个消息 其中一个消息完成 第二个消息开始 或消息自我定界 但我在 Thrift 白皮书中读到了此功能 它看起来不错大部头书

随机推荐

  • 实施重试例程

    我有以下想法 是否可以在 python 中实现重试例程 这是我所做的一个简单示例 我想要一个更灵活的解决方案 独立于功能 因此 将removeFile 与任何其他函数切换 并摆脱main 中的while 循环 import os impor
  • 显示git中每个分支的最新提交

    有没有办法显示git中每个分支的最新提交 我在 git 中有一个代码库 我已经设置了一段时间了 其中有几个分支用于不同的功能 我需要进去更新 排除一些代码的问题 但是我选择将它们命名得太笼统 现在我不知道我最后在处理哪一个 甚至不知道哪一个
  • 不能直接使用Function.prototype.call

    function f a return a f 1 gt 1 f call null 1 gt 1 Function prototype call f null 1 gt undefined 为什么最后一行返回undefined 我以为它们
  • 批处理脚本列出本地硬盘驱动器,然后在每个驱动器上执行 dir 命令

    我尝试根据这个主题制作一个脚本 用于查找已安装设备的驱动器号的批处理脚本 但并没有真正的成功 这是脚本 SETLOCAL EnableDelayedExpansion for f usebackq tokens 1 i in fsutil
  • 无法通过多处理同时调用多个函数

    我试图弄清楚如何在同一时间多次运行相同的函数 我可以使用基于其他问题的多处理来实现一些东西 但不幸的是它不能按我想要的方式工作 实际上 当我运行它时 我得到类似这样的东西 函数在每个其他函数之后运行 Worker1 0 1 1 1 2 1
  • delphi中的多种形式

    在我的Delphi项目中 我想要一个 设置 按钮 单击该按钮时 会打开第二个表单 我认为这是正确的术语 我本质上想要打开一个新窗口 进行设置 当用户完成更改此新表单上的设置后 我希望单击按钮即可关闭该表单 用户输入的设置也需要能够被第一个
  • UITextView最大高度

    I use a UITextView在我的应用程序中 我根据文本的大小设置它的框架 然而 如果UITextView size height大于 8192 0 文本就会消失 Does UITextView有最大高度吗 EDIT 我很感谢到目前
  • Android TrafficStats.getTotalRxBytes() 低于预期

    我正在尝试获取真实的流量统计数据 但是 TrafficStats getTotalRxBytes 小于每个已安装应用程序的 TrafficStats getUidRxBytes 之和 我通过每 30 秒运行一次这段代码 在 Wi Fi 网络
  • 如何将数据从免安装应用程序恢复到已安装的应用程序?

    应用安装后保留用户状态 https developer android com topic instant apps ux best practices html keep user state after app installation
  • 通过 Swig 在 C++ 和 Lua 之间传递变量

    我正在开发一个包含大量类 150 的 C 项目 每个类都有 10 到 300 个字段左右 我真的希望能够提供一个用于测试目的的脚本接口 以便我可以编写不需要任何重新编译的回调代码 我想在 Lua 中执行此操作 因为我对它的 C API 比对
  • 以编程方式扩展 BIML 文件

    有没有人尝试过以编程方式将 BIML 文件编译成 dtsx 包 我目前正在 C NET 中编写一个应用程序 用户可以在其中更新元数据 更新此数据后 需要重新编译 BIML 文件 因为重新编译时将添加 删除 SSIS 包 在另一个SO问题中
  • 使用“rle”函数和“dplyr”“group_by”命令来映射分组变量

    我有一个包含三列的数据框 其信息类似于下面给出的数据框 现在我希望根据列中的信息提取信息搜索模式a 基于少数开发人员 thelatemail 和 David T 的支持 我能够识别该模式rle函数 请看这里 使用 rle 函数识别模式 现在
  • 正则表达式 match() 在 FF/Chrome 中有效,但在 IE 8 中无效

    我有以下 jQuery 调用 它在 FF Chrome 中返回匹配项 但在 IE 8 中返回 null 这是小提琴如果您想亲自尝试一下 这是不可解决的 不灵活的 任性的代码 var m somediv text match d d sof
  • 如何锁定 InnoDB 表以防止在复制该表时进行更新?

    我想暂时锁定一个表以防止其他并发进程对其进行更改 原因是该表将被复制到临时表 进行更改 然后复制回来 实际上原始表被删除 新表被重命名 然后 在所有这些完成之后 我想解锁该表 并希望在锁定恢复期间尝试进行任何操作 我还需要能够从已锁定的表中
  • Odoo 9继承js文件

    我需要更改标题addons web static src js web client js this set title part zopenerp Odoo 是否可以在新的自定义模块中继承js文件并将 Odoo 更改为 Odoo 9 您可
  • Delphi IDE 不可见

    我双击Delphi上的图标desktop 但是IDE没有出现 展望Task Manager列出BDS exe出现在Processes列表 而它应该出现在Applications列表 有谁知道为什么会发生这种情况 注 IDE我目前使用的版本是
  • 如何在java中检查用户是否属于某个AD组

    我知道这一定是一个非常简单的问题 但我是 java 新手 发现很难获得我需要的确切代码 我需要做的是从 Windows 获取当前登录的用户名 并检查该用户是否属于需要在某些配置文件中定义的特定 AD 用户组 在C 中很容易做到 但我不知道如
  • 如何判断一个点是在线的右侧还是左侧

    我有一组要点 我想将它们分成两组不同的组 为此 我选择两点 a and b 并在它们之间画一条假想线 现在我想将这条线左边的所有点放在一组中 将这条线右边的点放在另一组中 我如何判断任何给定点z是在左边还是在右边 我试图计算之间的角度a z
  • 使用 DBCP 池以服务器模式远程连接到 H2 数据库

    我正在尝试创建一个嵌入式 H2 服务器 我也可以远程访问该服务器并使用 Tomcat DBCP 池 这是我生成 dataSource 的代码 Produces ApplicationScoped public DataSource getD
  • 节省消息中的大文件

    我使用 thrift 通过 tcp 进行二进制协议 用于发送和读取文件 最大大小为 64MB 节俭能做到这一点吗 我曾想过使用 struct SomeMessage 1 byte data 节俭的效率如何 编组 解组 通过电线发送 Thri