程序员经验分享-hwhale

一百一十、Hive时间转换——from_unixtime踩坑（不要用from_unixtime，而是用from_utc_timestamp）

2023-05-16

1.详情

从kettle转换任务得到时间戳为13位，1683701579457。想看看这个时间戳与createTime字段的关系，于是一开始使用了from_unixtime，结果踩坑了

 2.运行问题（晚8个小时）

hive> select from_unixtime(cast(1683701579457/1000 as int));
OK
2023-05-10 06:52:59
Time taken: 0.595 seconds, Fetched: 1 row(s)
问题：hive的结果比正常时间晚8个小时

3.查看Linux的时间（系统时间正常）

[root@hurys22 conf]# date
2023年 05月 10日 星期三 14:57:18 CST
Linux系统时间正常

4.解决方法（使用from_utc_timestamp）

hive> select from_utc_timestamp(1683701579457/1000,'PRC');
OK
2023-05-10 14:52:59.457
Time taken: 0.204 seconds, Fetched: 1 row(s)
 

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

hive

from

unixtime

UTC

timestamp

一百一十、Hive时间转换——from_unixtime踩坑（不要用from_unixtime，而是用from_utc_timestamp） 的相关文章

  • 计算 pyspark df 列中子字符串列表的出现次数

    我想计算子字符串列表的出现次数 并根据 pyspark df 中包含长字符串的列创建一个列 Input ID History 1 USA UK IND DEN MAL SWE AUS 2 USA UK PAK NOR 3 NOR NZE 4

  • 将 Java 字符串转换为 sql.Timestamp

    收到以下格式的字符串 YYYY MM DD HH MM SS NNNNNN 时间戳来自 DB2 数据库 我需要将其解析为 java sql Timestamp 并且不丢失任何精度 到目前为止 我一直无法找到现有的代码来解析远至微秒的数据 S

  • 通过 SOAP 的 Gmt php 或 UTC C# 等效项

    is C DateTime UtcNow和 PHPdate c 是等价的 我怀疑 因为当我肥皂时 我得到了 C

  • 如何将 DateTime 格式化为 Web UTC 格式？

    我有一个日期时间 我想将其格式化为 2009 09 01T00 00 00 000Z 但是下面的代码给了我 2009 09 01T00 00 00 000 01 00 两行 new DateTime 2009 9 1 0 0 0 0 Dat

  • 如何从纪元微秒或纳秒创建 Java Instant？

    我正在尝试标准化我的项目的时间戳格式 其中源以微秒精度报告 我试图找出是否有一种干净或最小的方法不需要使用手写常量 感谢您的建议 这是我能想到的最干净的 static Instant getInstantFromMicros long mi

  • 如何将 Pandas 数据框保存到配置单元表？

    我有 pandas 数据框 我正在尝试找到将数据框数据保存到配置单元表的最佳方法 一种方法是保存到 csv 文件并将其加载到 hive 表 有一个更好的方法吗 None

  • 谷歌表格在一行上的不同单元格范围上添加时间戳

    我一直试图在与该行上两个不同单元格范围相对应的行上放置两个时间戳 我已成功使用此脚本对行上的任何更改 第 5 列之后 添加时间戳 我想要的是 如果单元格范围 F 到 L 发生任何更改 则在 E 列中放置一个时间戳 然后 如果从 N 列到 Z

  • MySQL 创建和更新时的 CURRENT_TIMESTAMP

    我想定义一个有 2 个 TIMESTAMP 字段的表 如下所示 CREATE TABLE msgs id INT PRIMARY KEY AUTO INCREMENT msg VARCHAR 256 ts create TIMESTAMP

  • 为什么我们需要将外部表移动到托管 Hive 表？

    我是 Hadoop 新手 正在学习 Hive 在 Hadoop 权威指南第 3 版中 第 12 页 第428章 最后一段 我不明白下面关于 HIVE 中外部表的段落 一种常见的模式是使用外部表访问存储在 HDFS 中的初始数据集 由另一个进

  • C 代码获取相对于 UTC 的本地时间偏移（以分钟为单位）？

    我没有找到一种简单的方法来获取本地时间和 UTC 时间之间的时间偏移 以分钟为单位 起初我打算使用tzset 但它不提供夏令时 根据手册页 如果夏令时有效 它只是一个不为零的整数 虽然通常是一个小时 但在某些国家 地区可能是半小时 我宁愿避

  • Aws Athena - 重命名列名称

    我正在尝试更改 AWS Athena 表中的列名称 从old name to new name 普通的DDL命令不会影响表 它们无法执行 是否可以更改列名而不从头开始删除并重新创建表 我错了 雅典娜使用HIVE DDL语法所以正确的命令是

  • 为 Spark Thrift 服务器提供仓库目录的路径

    我已经设置了 Spark 集群 并且成功通过 Spark SQL 连接器连接 Tableau 我从 Spark shell 创建了表 并使用 saveAsTable 如何访问从 Tableau 保存的表 启动spark thrift服务器时

  • scala/spark 代码不允许在 hive 中添加列

    如果源数据有新列 我尝试在 Hive 表中添加一列 所有新列的检测都运行良好 但是 当我尝试将列添加到目标表时 我收到此错误 for f lt df schema fields if f name chk spark sqlContext

  • hive 中的授予权限在 hdp2.2 上不起作用

    我正在 CentOS 6 5 上使用 Ambari 设置来试验 HDP2 2 集群 但在运行 Hive GRANT 查询时遇到问题 例如 一个查询 grant select on Tbl1 to user root 给了我一个看起来像这样的

  • 将时间戳变量添加到应用程序属性中的文件夹路径值

    所以我需要在 app properties 文件中设置一个文件夹路径名称值 我还想以当前时间戳命名它 这样当它用于创建文件时 它也会创建文件夹 我目前拥有的不起作用 screenshot events STARTED SUCCEEDED F

  • java.sql.Timestamp 到微秒精度的字符串

    我正在将时间戳列从数据库读取到 java sql Timestamp 对象中 然后我想将时间戳的值转换为 String 对象 但保持微秒精度 调用 toString 方法让我接近 但它似乎在微秒内丢失了尾随零 如果时间戳以非零数字结尾 则一

  • 如何在Oracle中使用Timestamp_to_scn和Scn_to_timestamp？

    我的查询结果是这样的 select cast to date a start time mm dd yyyy hh mi ss pm as timestamp date of call ora rowscn from calling tab

  • Javascript 中的 OADate 到毫秒时间戳

    我尝试做与以下完全相反的事情 JavaScript 中 DateTime ToOADate 的等效项是什么 https stackoverflow com questions 7348805 what is equivalent of da

  • 需要按天分割日期时间范围

    我有一个需要根据日期时间拆分的表 输入表 ID Start End A 2019 03 04 23 18 04 2019 03 04 23 21 25 A 2019 03 04 23 45 05 2019 03 05 00 15 14 所需

  • 有没有办法避免自动更新 Rails 时间戳字段？

    如果您有数据库列created at and updated at当您创建和更新模型对象时 Rails 将自动设置这些值 有没有办法在不接触这些列的情况下保存模型 我正在引入一些旧数据 我想根据 不同名称的 旧数据字段中的相应值设置这些值

随机推荐

热门标签