数据仓库模式:在DWH中直接链接事实表可以吗?

2023-12-15

在DWH中直接链接事实表可以吗?

据我了解,在星系模式中事实表没有链接,它们只是有共同的维度表。但是,如果有一个 DWH 模式假设直接链接它们呢?


IMO,他们不应该这样做,即使他们可以。事实表通常很大,可能有数十亿行,并以一定的粒度保存度量。

链接两个或多个事实表可能需要连接数十亿行表,这将非常昂贵。

如果您需要链接不同事实表中的事实(所有维度都是通用的),您最好只进行一次联接,存储结果并使用结果表。如果这可以在 ETL 级别完成,您可以批量加入,那就更好了。

如果您将事实连接到两个表中,其中一个表的维度是另一个表的超集,那么您最好将最精细的事实聚合到另一个表的粒度并应用上面的解决方案。

如果两组维度都不是另一组维度的超集,那么您可能需要在共同级别上聚合这两个维度。

我的立场背后的原因是,我宁愿拥有存储冗余并避免查询时间计算,也不愿让我的用户等待很长时间才能让这些连接产生结果。此外,非常大的连接需要大量内存,这通常比存储更昂贵。

最后,请记住,DWH 通常包含由 ETL 进程加载的数据。它们批量运行,并且可以在每次运行时检查一致性,这与 OLTP 不同,在 OLTP 中,避免多次写入相同数据对于防止不一致至关重要。

对此的看法不同,您很可能会对此事有不同的看法。最后,这两种方法都有其优点和缺点,研究这两种方法并选择你最舒服的一种。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

数据仓库模式:在DWH中直接链接事实表可以吗? 的相关文章

  • 使用 DATE 字段作为 MySQL 日期维度的主键

    我想处理 MySQL 数据仓库中的日期维度 我是DW世界的新手 我用谷歌进行了一些搜索 看到了很多表结构 大部分 日期维度 其中主键是一个简单的UNSIGNED INTEGER 为什么不使用DATE字段作为主键 因为对于 MySQL 它是
  • Oracle中是否可以部分刷新物化视图?

    我有一个非常复杂的 Oracle 视图 基于其他物化视图 常规视图以及一些表 我无法 快速刷新 它 大多数时候 此视图中的现有记录基于日期并且是 稳定的 新记录集具有新日期 有时 我会收到回溯日期 我知道这些是什么以及如果我维护一张桌子如何
  • 事实表是标准化形式还是非标准化形式?

    我对事实表做了一些研究和开发 无论它们是标准化的还是非标准化的 我发现了一些让我困惑的发现 根据Kimball 维度模型结合了规范化和非规范化的表结构 描述性信息的维度表是高度非规范化的 在同一个表中具有详细且分层的汇总属性 同时 具有性能
  • 在星型模式中,事实和维度之间的外键约束是否必要?

    我第一次接触数据仓库 我想知道事实和维度之间是否有必要有外键约束 没有它们有什么主要缺点吗 我目前正在使用关系星型模式 在传统应用程序中 我习惯了它们 但我开始怀疑在这种情况下是否需要它们 我目前在 SQL Server 2005 环境中工
  • 将 SQL Server 数据库数据移至 SAP BW

    我读过一些关于将数据从 SAP BW 移入 SQL Server 的文章 我找不到任何有关将数据从 SQL Server 移动到 SAP BW 的文章 这是否可能 如果可以 处理此问题的最佳方法是什么 在搜索这个主题后 我发现了许多解决这个
  • 设计数据仓库、事实表和维度表的逻辑模型

    你好 我是数据仓库的新手 作业要求我实现逻辑设计 物理和实现 你会如何在数据仓库中对此进行建模 我希望设计一个数据仓库来给出与棒球联盟相关的统计数据的答案 对于玩家 进攻中 击球手击球次数 得分是多少 安打次数 双打和三打数 打了多少个本垒
  • Oracle 中的分组依据与分区依据

    我正在编写一个查询来从 Oracle 仓库中获取记录 它是一个简单的选择查询 在几个表上进行连接 并且我有几个要聚合的列 因此我最终在其余列上使用 Groupby 假设我选择了大约 10 列 其中 5 列是聚合列 所以我需要对其他 5 列进
  • 在 hive 中生成星型模式

    我来自 SQL 数据仓库世界 我通过平面提要生成维度和事实表 在一般的数据仓库项目中 我们将数据源分为事实和维度 前任 我对 Hadoop 完全陌生 我开始知道我可以在 hive 中构建数据仓库 现在 我熟悉了使用 guid 我认为它可以用
  • 无法为 Visual Studio 2017 Professional 安装 SSDT

    需要你的帮助 我已经在我的电脑上成功安装了VS2017 但是当我尝试安装 SQL Server 数据工具 15 6 0 或 15 5 1 时 出现如下错误 设置失败 无法打开配置注册表项 0x800703F3 谢谢大家 SSDT 的最新版本
  • 如何获取(通过 GET)所有 JIRA 问题?我要转到“搜索”节点吗?

    看起来 api 2 project 可以轻松以 JSON 格式返回 JIRA 实例中的所有项目 我想对问题做同样的事情 但这似乎不存在 api 2 search 是进行此类批量转储的标准方法吗 定期更新数据库的最佳方法是什么 我会做一些类似
  • 如何对数据仓库中的流程和状态历史进行建模?

    假设我们有D PROCESS D WORKER and D STATUS作为尺寸和事实F EVENT将流程 内容 与工作人员 负责人 和 当前 状态联系起来 进程状态随时间而变化 我们应该存储在F EVENT每个进程 状态 工作人员一行 或
  • 使用 SSIS 将 SQL Azure 联合数据库提取到数据仓库

    我正在尝试将我们的生产数据传输到数据仓库以用于报告目的 我尝试按照 导入到联盟 部分进行操作用于 Azure 和混合数据移动的 SSIS http msdn microsoft com en us library jj901708 aspx
  • 添加/组合标准差

    简洁版本 可以添加 组合标准差吗 IE if StdDev 11 14 16 17 X and StdDev 21 34 43 12 Y can we calculate StdDev 11 14 16 17 21 34 43 12 fro
  • 在pentaho中..如何传递包含作业中所有连接参数定义的文本文件?

    我正在使用 jdbc 连接 并使用示例 sample db connection 传递参数 并且该参数已在服务器中的文本文件中定义为sample db connection localhost 并且我想在作业步骤中传递文本文件 以便每当作业
  • 创建实时数据仓库

    我正在做一个个人项目 其中包括创建数据仓库 DWH 的完整架构 在本例中 作为 ETL 和 BI 分析工具 我决定使用 Pentaho 它具有许多功能 从允许轻松创建仪表板到完整的数据挖掘流程和 OLAP 多维数据集 我读过数据仓库必须是关
  • 什么是多维 OLAP CUBE 并给出超过 3 维的多维数据集示例

    由于我是 SSAS 的新手 一直在阅读有关多维 OLAP 多维数据集的文章 并努力理解多维数据集的概念 据说虽然术语 多维数据集 表示三个维度 但多维数据集最多可以有 64 个维度 你能解释一下这在立方体上怎么可能吗 除了 3 Dim 示例
  • Microsoft Azure 数据仓库和 SqlAlchemy

    我正在尝试使用 python 的 sqlalchemy 库连接到 microsoft azure 数据仓库 并收到以下错误 pyodbc Error HY000 HY000 Microsoft ODBC SQL Server Driver
  • 在哪里可以下载可用作数据仓库的示例数据库? [关闭]

    Closed 这个问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 help closed questions 目前不接受答案 在哪里可以下载可用于创建数据仓库的示例数据库 它不应该是来自 Microsoft Northwind
  • 当所有维度值都具有 100% 重要性时处理多对多维度

    我至少会尽力保持简洁 假设我们正在跟踪一段时间内的账户余额 所以我们的事实表将包含诸如 账户余额情况表 FK 账户ID FK 日期ID Balance 显然你有一个账户维度表 and a 日期维度表 所以现在我们可以轻松地过滤帐户或日期 或
  • 更改表分布(Azure 数据仓库)

    在急着下班的过程中 我在一个采用循环分配的新桌子上运行了一个大型插入 我知道这不太可能 但是有没有办法将表的分布从循环更改为哈希分布 很遗憾ALTER TABLE不支持更改 Azure SQL 数据仓库中表的分布 您可以做的下一个最好的事情

随机推荐

  • 学习使用 Xcode 和 Objective-C 基础知识进行 iPhone 开发的最佳地点是哪里? [关闭]

    Closed 这个问题是基于意见的 目前不接受答案 当我说最好的地方时 我指的是实体课程 研讨会 讲习班等 它可能遍布世界各地 Thanks 我会避开神学院来学习 Objective C 我听说过关于大书呆子牧场培训班
  • C++ 多重继承转换如何工作?

    这个问题帮助我理解了一些 但我的问题与他们的略有不同 据我了解 C 中的基本类型转换涉及将内存中的结构重新解释为不同的结构 例如 class Building int sqFootage class Office public Buildi
  • RMarkdown 生成 HTML 文档注释/评论窗格

    我正在从 Word 文档报告转向使用 RMarkdown 生成的 HTML 文件 然而 我的客户在放弃 Word 后会错过的一大功能是能够轻松地直接向文档添加注释 是否存在一些 HTML Java 等代码片段 可以在 HTML 文档的一侧添
  • ASP GridView 在按钮单击时获取行值

    我正在做什么 单击图像按钮时重置用户密码 到目前为止已完成 添加了 GridViewCommandEventHandler 它正确触发 使用代码来自MSDN 我的 e CommandArgument 得到一个空字符串 并且在运行时抛出错误
  • 运行节点应用程序时 bcrypt 无效的 elf 标头

    我正在为学校开发一个 Nodejs 项目 我无法使用 npm 安装 bcrypt 所以我安装了 bcrypt nodejs 并且该项目昨天运行良好 但是今天 当我做 节点应用程序 时 我遇到了这个错误 node modules bcrypt
  • PHP $_REQUEST 作为数组

    我有一个搜索表单 我想将搜索词作为数组 REQUEST 这样我就可以列出每个搜索词 将每个搜索词包装在一个跨度中以进行样式设置 我怎么做 编辑 这是请求的代码
  • Swift 3.0 无法解析 DispatchQueue 的标识符

    我几个小时以来一直试图找到这个问题的答案 但仍然无济于事 我正在尝试使用以下代码 func fetchPosts ref child Amore child Posts observeSingleEventOfType Value with
  • 我正在尝试将 SFTP 文件(SAS 数据集或令牌)从一台服务器传输到 SAS 中的另一台服务器

    这是我第一次尝试使用 SAS 对文件进行 SFTP 我尝试使用文件名语句 但出现了一些错误 let user userid filename source sftp input sas7bdat user user pass passwor
  • 如何使用多部分实体将图像上传到服务器?

    我正在创建一个应用程序 并在我的应用程序中添加了一个选项来从图库浏览图像 然后上传到服务器 我之前问过这个问题 但没有得到好的答案 为了上传图像 我正在遵循本教程http mayanklangalia blogspot in 2014 04
  • 在 DLL 上使用 WPF 动态创建图像(而不是 GDI+)

    我需要动态生成图像 在阅读教程后here我意识到我可以使用 WPF 中的所有控件和布局来生成渲染 然后将其另存为 JPG 这个想法是使用它来代替 GDI 这是相当原始的 问题是 如何创建一个常规 dll 文件 该文件将以编程方式生成 WPF
  • 使用进程构建器执行两个命令

    我正在尝试编写一个程序 从命令提示符编译另一个 java 文件 不过我有一个问题 此时 它已成功执行编译 Mocha java 的第一部分 但是 我希望它也执行该文件并显示它的输出内容 它什么也没显示 有什么建议么 pb new Proce
  • 以编程方式将加载项宏添加到快速访问工具栏

    我有一个用于格式化 Excel 报告的宏 该宏需要在许多不同的工作簿上运行 因为每天都会生成报告并将其保存到新文件中 这已经在我的个人作业簿中了 我现在需要分享这个宏 我的计划是将该加载项放在我的本地加载项文件夹中 在那里进行任何更新并运行
  • 为Nextjs动态路由添加前缀

    我定义了很多路由 其中 一条路由专用于用户配置文件 每个用户都有一个可通过 HTTP example com username 访问的公共配置文件 我尝试过创建文件pages username js但它似乎不起作用 有没有办法在不通过用户名
  • 当主键具有不同名称时,如何使用 TPT 继承模型?

    针对旧数据库使用 Entity Framework 4 1 我无法生成一组非复数的 TPT 继承模型工作集 并且对公共主键使用不同的名称 我正在使用数据库表 组织 帐户 和 公司 如下所示 Organization Organization
  • 在 VBScript 中读取音乐文件长度

    我只是想知道是否有一种方法可以通过 VBScript 将 mp3 文件的长度以秒为单位获取到变量中 改编自我的答案关于 JScript 的类似问题 您可以使用GetDetailsOfWindows Shell 的方法Folder对象获取音频
  • 将 WordPress jQuery 添加到自定义页面模板

    我有一个插件 它有一个下面的自定义页面模板 该模板需要 jQuery 我有一个变量 link to js 喜欢 google 库 但我希望它将它链接到 WordPress 内部 jQuery 库
  • 如何在 html 片段的 X 段之后插入文本字符串? [复制]

    这个问题在这里已经有答案了 可能的重复 如何用PHP解析和处理HTML content p This is the first paragraph p p This is the second paragraph p p This is t
  • WCF 服务的 SOAP 消息的服务器端跟踪

    我正在努力追随本教程为我的 WCF 服务配置服务器端 SOAP 跟踪 以及MSDN 文档 当我运行测试时 我在 Microsoft 服务跟踪查看器中看到活动 00000000 但消息选项卡为空 C temp Web tracelog svc
  • 排除CDH中spark-core的依赖

    我正在使用 Structured Spark Streaming 写入来自 Kafka 的 HBase 数据 我的集群发行版是 Hadoop 3 0 0 cdh6 2 0 我使用的是 Spark 2 4 0 我的代码如下 val df sp
  • 数据仓库模式:在DWH中直接链接事实表可以吗?

    在DWH中直接链接事实表可以吗 据我了解 在星系模式中事实表没有链接 它们只是有共同的维度表 但是 如果有一个 DWH 模式假设直接链接它们呢 IMO 他们不应该这样做 即使他们可以 事实表通常很大 可能有数十亿行 并以一定的粒度保存度量