《The Book of Why》 — Chapter7

2023-11-07

第七章 超越统计调整:征服干预之峰

CHAPTER 7 — Beyond Adjustment: The Conquest of Mount Intervention

  • 因果之梯的第二层:对未尝试过的行动和策略的效果进行预测。混杂因子是导致我们预测混淆的主要障碍。在用“路径阻断”工具和后门标准消除这一障碍后,就能精确而系统地绘制出登上干预之峰地路线图。(路径阻断工具是d-separation)(195)
  • do演算允许研究者探索并绘制出通往干预之峰的所有可能的路线。(195)
最简单的路线:后门调整公式
  • 最常用的预测干预效果的方法是使用统计调整公式“控制”混杂因子,如果确定已经掌握了变量的一个充分集(去混因子)的数据就可以用来阻断干预和结果之间的所有后门路径,就可以使用此方法。为了做到这一点,需要首先估计去混因子在每个“水平”或数据分层中产生的效应,并据此测算出干预的平均因果效应。然后需要计算这些层的因果效应的加权平均值,为此需要对每个层都按期在总体中的分布频率进行加权。(195-196)

  • 后门准则在估算平均因果效应的过程中所起的作用是,保证去混因子在各层中的因果效应与我们在这一层观察到的趋势相一致。据此可以从数据中逐层估计出因果效应,若没有后门准则,研究者就无法保证所有的统计调整都是合理的。(196)

  • 当有多个混杂因子和多个数据分层时,就很难将所有的可能性都罗列出来,一个补救办法是将数值分成有限并且数目可控的类别,但是这种分类方式的选择上可能存在主观性,如果需要进行统计调整的变量比较多,那么类别的数量就会呈指数增长,这将使计算过程变得难以执行,更糟糕的是,在分类完成后,很可能会发现许多层缺乏样本,因此无法对其进行任何概率估计。为应对“维度灾难”问题,设计了数据外推法,即通过一个与数据拟合的光滑函数来填充空的层所形成的洞。运用最为广泛的光滑函数是线性近似,使用时每个因果效应都可以用一个数字(因果系数)来表示,并且根据统计调整公式进行计算的过程非常简单。(197)

  • 无论是否经过统计调整,回归系数只表示一种统计趋势,其自身并不能传递因果信息。(198)

    回归系数有时可以体现因果效应,有时则无法体现,而其中的差异无法仅依靠数据来说明。还需要具备另外两个条件才能赋予偏回归系数rYXZ 以因果合法性:

    ​ (1)所绘制的相应的因果图能够合理地解释现实情况;

    ​ (2)需要据其进行统计调整的变量Z应该满足后门准则。(198)

  • 基于回归的统计调整只适用于线性模型:

    (1)一旦使用了线性模型,就失去了为非线性的相互作用建模的能力;(2)即使不知道图中箭头背后的函数是什么,后门调整仍有效。(199)

  • 后门准则和后门调整公式的关系:

    后门准则用于判定哪些变量集可以用来去除数据中的混杂;

    后门调整公式所做的实际上就是去混杂。(199)

  • 如果因缺乏必要的数据而无法阻断某条后台路径,统计调整公式就会完全失灵。(199)

前门准则
  • 由于缺乏混杂因子的数据,不能阻断“吸烟 <— 混杂因子 —> 癌症”的后门路径,因此不能使用后门调整来控制混杂因子的影响。(200)

    前门指的是直接的因果路径“吸烟 —> 焦油沉积 —> 癌症”。(201)

  • 可以用纯数学的方式在不引入do算子本身(不进行实际干预)的情况下算出概率结果。(202)

  • 在不引入do算子的前提下表示 P(癌症 | do (吸烟)) 就被称作前门调整(202)

  • 依据上图,设X代表吸烟,Y代表癌症,Z代表焦油沉积,U代表不可观测的变量(未出现在公式中),公式如下

    • 前门调整公式:

      ​ P(Y|do(X)) = Σz P(Z=z,X)Σx P(Y|X=x,Z=z)P(X=x)

    • 后门调整公式:

      ​ P(Y|do(X)) = Σz P(Y|X,Z=z)P(Z=z)

    • 从前门公式中可知:

      (1)在公式的任何地方都看不到U,这是整个问题的关键;

      (2)将被估量视为一种针对问题中的目标量的计算方法。

  • 因果图的一个主要优势就算让假设变得透明,以供专家和决策者探讨和辩论。(203)

  • 在假设正确的情况下,即使没有混杂因子的数据,仍然可以用数学方式消除混杂因子的影响。(203)

  • 前门调整是一个强大的工具,因为:

    它允许我们控制混杂因子,并且这些混杂因子可以是我们无法观测(如“动机”)甚至无法命名的。也正是因为同样的原因,随机对照试验被认为是估计因果效应的黄金标准。(206)

do演算,或者心胜于物
  • 前门调整公式和后门调整公式的最终目标是根据P(Y|X,A,B,Z,……)此类不涉及do算子的数据估算干预的效果,即P(Y|do(X))。

    如果可以成功消除计算过程中的do概率,就可以利用观测数据来估计因果效应,就可以从因果关系之梯的第一层踏上第二层。(206)

  • 三条合法的do表达式变换⭐:(209)

    • 规则1:如果我们观察到变量W和Y无关(其前提可能是以其他变量Z为条件),那么Y的概率分布就不会随W而改变。等式成立的条件是,在删除了指向X的所有箭头之后,变量集Z会阻断所有从W到Y的路径。

      句法解释:允许增加或删除某个观察结果。

      P(Y|do(X), Z, W) = P(Y|do(X),Z)

    • 规则2:如果变量Z阻断了X到Y的的所有后门路径,那么以Z为条件(对Z进行变量控制),则do(X)等同于see(X)。即在控制了一个充分的去混因子之后,留下的相关性就是真正的因果效应。

      句法解释:允许用观察替换干预。

      P(Y|do(X),Z) = P(Y|X,Z)

    • 规则3:如果没有从X到Y的因果路径,就可以将do(X)和从P(Y|do(X))中移除。即如果我们实施的干预行动(do)不会影响Y,那么Y的概率分布就不会改变。

      句法解释:允许删除或添加干预。

      P(Y|do(X)) = P(Y)

  • 有了上述三条规则,就可以推导出前门调整公式。这是一个不以控制混杂因子为手段来估计因果效应的方法。(210)

  • 如果我们在规则1到3中找不到根据数据估计P(Y|do(X))的方法,那么对于这个问题,解决方案就是不存在的。

    在此情况下,除了进行随机对照试验别无选择。这三条规则还能告诉我们,对于某个特定的问题,什么样的额外假设或实验可以使因果效应从不可估计变为可估计。(212)

  • 伊利亚·斯皮塞=>发现可以用于确定某个解决方案是否存在“多项式时间”的算法。(213)

案例:斯诺医生的离奇案例
  • 工具变量(222)如图,Z就是一个工具变量:

    (1)Z和U之间没有箭头(二者独立)

    (2)Z和X之间有一个箭头

    (3)Z和Y之间没有直接箭头

  • 工具变量允许我们执行与前门调整相同的处理:在无法控制混杂因子或收集其数据的情况下估计X对Y的效应。(223)

  • 路径图所体现的假设在本质上是因果关系。(223)

好胆固醇与坏胆固醇
  • “未履行问题”,如受试者虽然随机地接受了药物安排,但实际上并没有复用被分配的药物。(226)

  • 当变量都是二元变量,而不是数值变量时,意味着不能使用线性模型,因此工具变量公式也不适用。在这种情况下,通常可以使用被称为“单调性”的弱相关来代替线性假设。但在这么做之前,需要先确保工具变量的三个假设都是有效的(226-227):

    (1)工具变量Z独立于混杂因子

    (2)Z到Y无直接路径

    (3)Z和X之间存在强关联

  • 取最好和最坏情况的做法通常会得到一个估计结果的取值范围。(228)

  • 在做任何干预研究之前,都要看我们实际操作的变量(如低密度脂蛋白的终生水平)是否与我们认为自己正在操作的变量(如低密度脂蛋白的当前水平)相同。

    工具变量是一个重要的工具,他能我们帮助我们揭示do演算无法解释的因果信息,do演算强调的是点估计,而非不等式。

    相比工具变量,do演算具有更强大的灵活性,因为在do演算中,我们不需要对因果模型中函数的性质做任何假设。而如果我们的确有足够的科学依据证实类似单调性或线性这样的假设的话,那么像工具变量这种针对性更强的工具就更值得考虑。(230-231)

《THE BOOK OF WHY: THE NEW SCIENCE OF CAUSE AND EFFECT》

——JUDEA PEARL AND DANA MACKENZIE

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

《The Book of Why》 — Chapter7 的相关文章

  • CausalEGM安装使用

    1代码来源 github https github com SUwonglab CausalEGM tree main src pip Tutorial for Python Users CausalEGM documentation 安装
  • 因果推断——图的三种基本结构

    因果推断入门笔记 V Structure Chain链状 Fork叉状 Collider碰撞 1 Chain 链状结构 X gt Y gt Z X和Y相关 Y和Z相关 X和Z相关 但是 如果condition在Y上 则X和Z是统计独立的 这
  • 用观测数据推断因果的问题(一文搞懂混杂因素、辛普森悖论)

    聊到因果推断与相关性的关系 大家其实都已经有一个认知叫做 相关性 因果性 但学界从统计推断发展到后来因果推断是经历了一个漫长的过程 直到今天 我们仍然基础的对数据的处理和认知离不开统计推断的方法 所以学习了解用观测数据做因果推断可能导致的问
  • Casual inference 综述框架

    A survey on causal inference 因果推理综述 A Survey on Causal Inference 一文的总结和梳理 因果推断理论解读 Rubin因果模型的三个假设 基础理论 理论框架 名词解释 individ
  • 因果推断(三)各种效应和它们之间的关系:ATE、ATT、ATC、ITE、CATE、LATE

    文章目录 1 思维导图 2 效应 3 ITE ICE Individual Treatment Causal Effect 4 ATE ACE Average Treatment Causal Effect 5 ATT ATC Averag
  • 因果系列文章(1):因果推断及相关论文

    序 大家好 好久没有更新因果技术的文章了 从今天开始 我会开启一个新的专栏 和大家聊聊因果推断 一方面是给自己做一个技术沉淀 另一方面也是希望可以制造一个场 让对因果有兴趣的朋友们一起来讨论技术 前一篇因果入门的文章中已经为大家简单的介绍了
  • 因果推断 - 基础知识

    目录 因果关系之梯 因果图的路径结构 阻断 d 分离 混杂 结构因果模型 SCM 版权 转载前请联系作者获得授权 声明 部分内容出自因果关系之梯 已获得原作者授权 参考书籍 The Book of Why Judea Pearl 因果关系之
  • Double Machine Learning

    1 从线性回归说起 从观测数据获得因果效应的一个简单方式是使用线性回归 控制confounders的影响 S a l e s i
  • 因果推断理论框架 Potenial Outcomes Framework

    1 Potenial Outcomes Framework 因果效应通常无法直接计算 无法同时观测一个样本施加和不施加干预的结果 所以通常是通过观测数据推断 由于相关性 neq 因果性 观测结果不直接等于ATE Potenial Outco
  • 因果推断(四)——后门调整、前门调整、逆概率加权

    在因果推断 三 中 我们介绍了干预的相关概念 在本文中 我们对一些方法进行介绍 这些方法可用于利用干预分析变量之间的因果关系 在因果推断 三 中 我们得出了调整公式 如上式 假设PA为A节点的所有父节点的集合 则上 式可以修改为 其中b为P
  • 因果推断综述-A Survey on Causal Inference

    最近读到一篇讲述很全面的综述文献 A Survey on Causal Inference 对于接触因果推断不久的同学而言是特别详细的介绍和科普 文献很长 我会分成几部分介绍 目录 摘要 第一部分 简介 第二部分 因果推断基础知识 第三部分
  • 《The Book of Why》 — Chapter7

    第七章 超越统计调整 征服干预之峰 CHAPTER 7 Beyond Adjustment The Conquest of Mount Intervention 因果之梯的第二层 对未尝试过的行动和策略的效果进行预测 混杂因子是导致我们预测
  • 因果推断----必要因和充分因

    必要因 或 若非因 和充分因 必要因 已知张三堵住消防通道 X 1 并且李四死了 Y 1 假如X为0 那么李四还活着 Y 0 的概率是多少 必要性概率 P N PN PN为 P
  • 图灵奖得主Judea Pearl:因果推断论文本周推荐(2022.8.8)

    刚刚 图灵奖得主 因果科学之父Judea Pearl 在推特上推荐了本周值得一读的10篇近期发表的因果推断相关论文 推荐列表下载 他评价道 他看到了人们对于 公平 责任 主题的兴趣日益浓厚 为帮助大家快速了解这些文章的主旨内容 我将推荐列表
  • 因果系列文章(9)——反事实(下)

    4月4日 新冠病毒全球累计确诊已经突破100万 其中美国已超过24万 4月2日 外交部新闻发言人华春莹在新闻发布会上质问美国 如果当初最先发生疫情的国家是美国 而不是中国 美国会处理的比中国更好吗 我们难以假设那种情况的存在 但是从美国现在
  • 因果推断 - 反事实

    目录 基础知识 案例实战 版权 转载前请联系作者获得授权 声明 部分内容出自因果关系之梯 已获得原作者授权 参考书籍 The Book of Why Judea Pearl 基础知识 定义 对于包含外生变量 U U U和内生变量 X X
  • 因果推断-【The MineThatData E-Mail Analytics And Data Mining Challenge】思路分析与Python实现代码

    目录 一 数据集介绍 二 问题及分析思路 1 问题 2 分析思路 三 代码 一 数据集介绍 数据集来源于用户在网上的购物行为 涵盖了过去一年有购买行为的64000个用户 这些用户被用于电子邮件营销活动的实验分析 实验的目的是衡量哪个版本的电
  • 推荐系统(四)——因果效应uplift model系列模型S-Learner,T-Learner,X-Learner

    在之前的文章中我们介绍了使用因果推断中的去除混杂和反事实的相关理论来纠正推荐系统中的偏差问题 在这篇文章中主要和大家分享uplift model相关知识和方法 例子 小夏的商铺在上次请了明星代言后 销量有所上升 但是他不清楚是不是每个人都对
  • 因果推断-PSM的原理及python实现

    目录 一 背景 员工技能培训真的是浪费时间吗 二 PSM的原理及python实现 1 PSM的原理 1 1 计算倾向性得分 1 2 匹配对照组样本 1 3 平衡性检查 1 4 敏感度分析 2 PSM的python实现 一 背景 员工技能培训
  • dubbo配置提供者和消费者

    1 找到对应的文件 提供者 消费者 参考dubbo官网 http dubbo apache org zh cn docs user quick start html

随机推荐

  • FastAdmin的一个小BUG,无法正常识别驼峰命名法的控制器名

    FastAdmin中内置了权限管理模块 在应用的过程中 控制器名经常会是两个单词 比如NotifyMessage 这是控制器名 在设置权限时 我们需要写成 notify message 可是这样设置后 会提示没有权限 而写成notifyme
  • PTA题选

    判断题 任何表达式语句都是表达式加分号组成的 True C语言语句都有结束符 指向结构体变量的指针可以作函数参数 实现传址调用 True 结构体成员的类型必须是基本数据类型 False if a 5 是允许的 True a 5 永远为真 假
  • 关于自定义标签报空指针异常:"at org.apache.jasper.compiler.TldCache.getTaglibXml(TldCache.java:97) "...

    tomcat8对相对路径路径的不是很好 可以在web xml文件中设置好tld的路径 然后JSP中直接 web xml文件添加以下配置
  • java面试题个人总结宝典1-java基础篇

    前言 前段时间换工作 用了5天时间整理了一大堆小白面试题 注 本人19年毕业 都是一些个人总结 希望能帮到有需要的人 如果你和我一样也是正准备踏入社会 或者工作还不到2年的 亦或是最近在找 java工程师 之类工作的 那我觉得这个系列非常适
  • Cpp学习——string模拟实现

    目录 一 string的成员变量 二 string的各项功能函数 1 构造函数 2 析构函数 3 扩容函数 4 插入与删除数据的函数 5 运算符重载 6 打印显示函数 7 拷贝构造 8 find函数 一 string的成员变量 在模拟实现s
  • 等保2.0 安全计算环境 ——Windows服务器(三级系统)

    1 身份鉴别 A 应对登录的用户进行身份标识和鉴别 身份标识具有唯一性 身份鉴别信息具有复杂度并要求定期更换 1 核查用户是否需要输入用户名和密码才能登录 2 核查Windows默认用户名是否具有唯一性 3 选择 控制面板 gt 管理工具
  • vscode中设置webpack js alias提示

    vscode 中设置 webpack alias 路径提示 1 根目录下创建 jsconfig json 文件 ts 中 把 文件修改为 tsconfig json 即可 2 添加如下配置 参考着 修改下配置即可 compilerOptio
  • Manjaro/Arch 软件配置安装

    记录一下自己配置 M a n j a r o A
  • 【论文阅读 07】Anomaly region detection and localization in metal surface inspection

    比较老的一篇论文 金属表面检测中的异常区域检测与定位 总结 提出了一个找模板图的方法 使用SIFT做特征提取 姿态估计看差异有哪些 Hough聚类做描述符筛选 仿射变换可视化匹配图之间的关系 提出一个搜索方法 降低图像分辨率 设定对比度和匹
  • kafka3.1集群部署

    kafka依赖zookeeper负责broker的注册 所以需要提前安装好zookeeper 1 安装zookeeper集群 https blog csdn net xiaohanshasha article details 1240083
  • k8s跨主机网络方案之Flannel

    什么是overlay network Overlay 技术是在现有的物理网络之上构建一个虚拟网络 上层应用只与虚拟网络相关 Overlay 在网络技术领域 指的是一种网络架构上叠加的虚拟化技术模式 其大体框架是对基础网络不进行大规模修改的条
  • Python知识点整理,图文结合近三万字(史上最全)

    Python知识点 一 Python精华知识点手册 完整版 下载 Python知识点 二 Python知识点 三 Python对csv的处理 edcoding utf 8 import pandas as pd import csv df
  • [C语言]计算某字符出现次数

    目录 题目 代码 题目 代码 include
  • java IO模型

    目录 IO模型 BIO NIO AIO io多路复用模型 BIO NIO 引出netty IO模型 BIO NIO AIO io多路复用模型 BIO NIO AIO Java中的NIO就是多路复用 linux中的NIO是指普通的非阻塞IO
  • 【精】HDFS无需重启NN进行动态刷新拓扑信息

    本文实现了一个HDFS的Feature 无需滚动重启Namenode即可实现动态加载机架信息 变更集群网络拓扑和机架感知信息 本文会从功能必要性 实现原理 实现源码 测试结果 以及过程中遇到的问题这几个角度来介绍 通过本文可以get如下知识
  • 机器学习(五)—— 决策树回归模型和集合算法

    决策树回归模型和集合算法 1 决策树概述 决策树 Decision Tree 是在已知各种情况发生概率的基础上 通过构成决策树来求取净现值的期望值大于等于零的概率 百度百科 决策树就是我们通常所说的多叉树 决策树回归模型的核心思想 相似的输
  • 《数据挖掘概念与技术》第二章

    数据挖掘概念与技术 第二章 认识数据 目录 认识数据 2 1 数据对象与属性类型 2 1 1 什么是属性 2 1 2 标称属性 2 1 数据对象与属性类型 数据对象组成数据集 一个数据对象是一个实体 数据对象用属性描述 还被称为样本 实例
  • Python基础—文件操作(二)

    Python基础 文件操作 二 CSV格式文件 逗号分隔值 以纯文本形式存储表格数据 由任意数目的记录组成 记录间以换行符分隔 每条记录由字段组成 字段间用逗号或制表符分隔 每条记录都有同样的字段序列 如有列名 位于文件第一行 每条记录数据
  • 精准广告投放

    一 技术层面 1 Paper 雅虎研究院的publication 二 业务层面 1 精准广告定向 一篇总结 该文介绍了User Agent Cookie 各种定向技术和网络广告反作弊 并侧重在业务介绍 该文博主的首页 2 在线展示广告 在线
  • 《The Book of Why》 — Chapter7

    第七章 超越统计调整 征服干预之峰 CHAPTER 7 Beyond Adjustment The Conquest of Mount Intervention 因果之梯的第二层 对未尝试过的行动和策略的效果进行预测 混杂因子是导致我们预测