跨多个用户共享 BigQuery 的缓存

2023-12-13

据我了解,BigQuery 的caching机制是基于每个用户的。但我们希望能够在项目/数据集/表级别上共享缓存。

例如,约翰和玛丽都在同一个 Google 项目上工作XYZ。他们喜欢使用 BigQuery,并且都查询表Bar在数据集中Foo i.e. XYZ:Foo.Bar从他们的数据中获得美丽的见解。

约翰登录并写入查询XYZ:Foo.Bar执行需要 10 秒。几分钟后,玛丽登录并撰写了exact相同的查询XYZ:Foo.Bar。这也需要 10 秒,但她没有获得缓存命中。

是否可以采取任何措施来在用户之间(即在项目/数据集/表级别)共享查询缓存?或者我错过了一些明显的事情?


出于隐私原因,BigQuery 不会在用户之间共享缓存 - 但这可能是一个有趣的功能请求,建议:https://code.google.com/p/google-bigquery/.

您现在可以实施的另一种选择是使用代理,该代理将代表您的用户使用服务帐户连接到 BigQuery。例如,使用时您会获得 BigQuery 本机缓存和应用程序级缓存http://demo.redash.io。与相同Datalab- 由于它默认使用服务帐户,因此会为同一项目中的用户缓存结果。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

跨多个用户共享 BigQuery 的缓存 的相关文章

  • BigQuery 表中可以按小时进行分区吗?

    谷歌文档只讨论日常分区 但是模型中是否有任何东西阻碍人们将分区填充到具有其他时间段 例如 小时或周 的表中 在 小 表中进行分区是否有任何限制或缺点 现在only DAY支持分区表 不支持按小时或按月 有几个对新功能的功能请求 但没有实施时
  • Google BigQuery:检索每行的最后版本

    我有一个 Google BigQuery 表 其中包含所有版本的资源 每次创建 更新 删除资源时 都会添加一个新行 并递增版本号 该数字将是添加行时的时间戳 ID ResourceID Action Count Timestamp ABC
  • 如何使用 CLI bq 命令创建一次性数据集副本(无计划重复)

    我想使用 bash 脚本在 BigQuery 中制作一次性数据集复制 来自source dataset A to target dataset B This operation is easy to do in BigQuery Conso
  • 大查询中有没有办法执行动态查询,例如sql server中的“EXEC”?

    我有一个包含 200 多个列名的表 这些列名是使用临时名称创建的 例如 custColum1 custColum200 我有一个映射表 其中包含 custColum1 custColumn200 的列表 它必须映射到该名称 例如 Table
  • 将大型 CSV 加载到 Google BigQuery 时出错

    将大型 CSV 加载到 bigquery 时出现错误 我在网上阅读的所有地方都发现压缩文件有 5GB 大小限制 但 CSV 没有限制 加载操作中的 BigQuery 错误 处理作业 bqjob r3016bbfad3037f 0000015
  • 从 BigQuery 中删除停用词?

    我有一大堆来自 reddit 的评论 这些字符串被分割成单词 删除标点符号 并进行量化以显示特定 subreddit 上最常用的单词 SELECT word COUNT as num words FROM FLATTEN SELECT SP
  • 如何在 BigQuery 中将列数据拆分为每 6 个字符并形成行

    我需要将列数据拆分为每 6 个字符 Input col1 col2 d1 X11 F11 1000KG123456 d2 X22 F22 3500Kabcdefgh Expecting col1 col2 d1 X11 d1 F11 d1
  • BigQuery - 可以查询列数据类型

    是否有一个函数可以让我们查询 BigQuery 中列的数据类型 我想找到这样的东西 WITH basket AS SELECT apple AS fruit 10 AS qty UNION ALL SELECT pear AS fruit
  • 如何解密 BigQuery 中的列?

    我在 BigQuery 中有一些加密列 我想使用 BigQuery 函数对其进行解密 用于加密它们的机制是 AES 256 使用的向量以 UTF8 编码 生成的数据采用 Base64 加密 我想要做的是使用函数解密 BigQuery 中传递
  • Google BigQuery 底层架构

    所以我大约 10 分钟前才开始摆弄 Google BigQuery 我想知道是否有人知道他们用来存储数据的底层架构 例如 这只是他们自己的下一代 BigTable 基础设施吗 另外 他们在索引 索引重建等方面使用什么样的策略是否清楚 我只是
  • 在bigquery中比较两个表的有效方法

    我有兴趣比较两个表是否包含相同的数据 我可以这样做 standardSQL SELECT key1 key2 FROM SELECT table1 key1 table1 key2 table1 column1 table2 column1
  • BigQuery 类型有多少字节

    以下类型在 BigQuery 中占用多少字节 时间戳 Datetime Date 我的猜测是日期可以存储在 2 个字节中 时间戳可能是 8 个字节 但我不确定这一点 并且在https cloud google com bigquery do
  • 从字符串到日期的日期格式

    我正在使用上传的 csv 进行日期格式化 其中日期是具有以下格式的字符串 10 30 2021 8 41 PM 我试图在谷歌大查询中将其更改为 mm dd yyyy 但不断收到错误消息 提示 无效日期 或 无效日期时间 我尝试过使用子字符串
  • 从哪里获取 Google Bigquery 使用信息(主要是处理后的数据)

    我知道 BigQuery 每月免费提供第一批 已处理的 1 TB 数据 但我不知道在仪表板上的何处查看我的每月使用情况 我曾经能够 恢复 到包含信息的旧仪表板 但在过去的几周内 旧仪表板 无法访问 在项目的 Google Cloud Con
  • pyspark读取bigquery时出错:java.lang.ClassNotFoundException:org.apache.spark.internal.Logging$class

    我创建了一个 dataproc 集群 并尝试提交我的本地作业进行测试 gcloud beta dataproc clusters create test cluster region us central1 zone us central1
  • 外部表和加载表时遇到 Bigquery 错误 (ASCII 0)

    我收到这个错误 错误 解析从位置 4824 开始的行时检测到错误 错误 遇到错误字符 ASCII 0 数据未压缩 我的外部表指向多个 CSV 文件 其中一个包含几行带有该字符的行 在我的表定义中 我添加了 MaxBadRecords 但这没
  • Google BigQuery 与 PHP 集成

    我需要帮助将 google bigquery 代码集成到 PHP 中 所以我可以从 php 代码本身执行查询和其他类型的操作 需要您的帮助并建议我一些工作示例链接 提前致谢 这是一段代码 正确地创建一个Google Client using
  • Firebase 导出到 BigQuery:保留群组查询

    Firebase 通过 Firebase 远程配置提供拆分测试功能 但缺乏使用用户属性 实际上具有任何属性 过滤群组部分中的保留的能力 为了寻求此问题的解决方案 我正在寻找 BigQuery 因为 Firebase Analytics 提供
  • 使用 Apache Beam 的 Dataflow 批量加载的性能问题

    我正在对数据流批量加载进行性能基准测试 发现与 Bigquery 命令行工具上的相同负载相比 加载速度太慢 文件大小约为 20 MB 包含数百万条记录 我尝试了不同的机器类型并获得了最佳的负载性能n1 highmem 4加载目标 BQ 表的
  • Python BigQuery 存储。并行读取多个流

    我有以下玩具代码 import pandas as pd from google cloud import bigquery storage v1beta1 import os import google auth os environ G

随机推荐