状态下的最优动作的Q价值 看作一个 随机性由动作决定的随机变量 来隐式地估计 policy improvement 步骤，然后将随机变量的估计期望上界作为此状态下最优动作的
Q
Q
Q 价值，这利用了函数近似器的泛化能力来估计给定状态下的最佳可用动作的价值，而无需直接查询这个 unseen 动作的
Q
Q
Q 价值。我们的算法在拟合这个上期望值函数和将其备份为一个
Q
Q
Q 函数之间交替，没有任何显式的策略。然后我们通过 advantage-weighted behavioral cloning 来提取策略，这也避免了查询 OOD 样本的操作。我们将我们的方法称为 implicit Q-learning (IQL)，它易于实现，计算效率高，并且只需要额外训练一个具有非对称 L2 损失的 Critic。IQL 在 D4RL 数据集上表现出 SOTA 的性能，我们还演示了 IQL 在 Offline 初始化后使用 Online 交互实现了很强的 fine-turn 性能Offline RL 是这样一种问题设定：Learner 可以获取由一批 episodes 或 transitions 构成的固定交互数据集，要求 Learner 直接利用它训练得到一个好的策略，而且禁止 Learner 和环境进行任何交互，示意图如下
distribution shift / extrapolation error 问题，如果是迭代的 multi-step off-policy 评估，还会受到 Iterative error exploitation 问题影响，在 one-step 论文 中这些都有了详细分析。过去的方法从各种角度出发缓解这两个问题，可以如下分类
目标是只在数据集上所含的
(
s
,
a
)
(s,a)
(s,a) 上进行应用 Bellman optimal operator，从而回避 OOD 的
a
′
a'
a′ （文章所谓的 “SARSA-like”）
L
(
θ
)
=
E
(
s
,
a
,
s
′
)
∼
D
[
(
r
(
s
,
a
)
+
γ
max
a
′
∈
A
s.t.
π
β
(
a
′
∣
s
′
)
>
0
Q
θ
^
(
s
′
,
a
′
)
−
Q
θ
(
s
,
a
)
)
2
]
(1)
L(\theta)=\mathbb{E}_{\left(s, a, s^{\prime}\right) \sim \mathcal{D}}\left[\left(r(s, a)+\gamma \max _{\substack{a^{\prime} \in \mathcal{A} \\ \text { s.t. } \pi_{\beta}\left(a^{\prime} \mid s^{\prime}\right)>0}} Q_{\hat{\theta}}\left(s^{\prime}, a^{\prime}\right)-Q_{\theta}(s, a)\right)^{2}\right] \tag{1}
L(θ)=E(s,a,s′)∼D
r(s,a)+γa′∈A s.t. πβ(a′∣s′)>0maxQθ^(s′,a′)−Qθ(s,a)
2
(1) 其中
Q
θ
^
Q_{\hat{\theta}}
Qθ^ 是 target 网络，
β
\beta
β 是 behavior policy
作者如下使用 expectile regression（期望回归） 方式实现这个操作
L
(
θ
)
=
E
(
s
,
a
,
s
′
,
a
′
)
∼
D
[
L
2
τ
(
r
(
s
,
a
)
+
γ
Q
θ
^
(
s
′
,
a
′
)
−
Q
θ
(
s
,
a
)
)
]
(2)
L(\theta)=\mathbb{E}_{\left(s, a, s^{\prime}, a^{\prime}\right) \sim \mathcal{D}}\left[L_{2}^{\tau}\left(r(s, a)+\gamma Q_{\hat{\theta}}\left(s^{\prime}, a^{\prime}\right)-Q_{\theta}(s, a)\right)\right] \tag{2}
L(θ)=E(s,a,s′,a′)∼D[L2τ(r(s,a)+γQθ^(s′,a′)−Qθ(s,a))](2) 其中
L
2
τ
(
u
)
=
∣
τ
−
1
(
u
<
0
)
∣
u
2
L_{2}^{\tau}(u)=|\tau-\mathbb{1}(u<0)| u^{2}
L2τ(u)=∣τ−1(u<0)∣u2 是一个非对称 L2 损失，如下所示
当
τ
=
0.5
\tau=0.5
τ=0.5 时
L
2
0.5
L_{2}^{0.5}
L20.5 退化为 MSE；
τ
\tau
τ 越接近 1，模型就越倾向拟合那些 TD error 更大的 transition，从而使
Q
Q
Q 估计靠近数据集上的上界；当
τ
→
1
\tau\to 1
τ→1 时可认为得到了
Q
∗
Q^*
Q∗
直接使用 (2) 的问题在于引入了环境随机性
s
′
∼
p
(
⋅
∣
s
,
a
)
s'\sim p(·|s,a)
s′∼p(⋅∣s,a)，一个大的 TD target 可能只是来自碰巧转入的 “好状态”，即使这个概率很小，也会被 expectile regression 找出来，导致
Q
Q
Q 价值高估。为此作者又学习了一个独立的
V
V
V 价值
L
V
(
ψ
)
=
E
(
s
,
a
)
∼
D
[
L
2
τ
(
Q
θ
^
(
s
,
a
)
−
V
ψ
(
s
)
)
]
(3)
L_{V}(\psi)=\mathbb{E}_{(s, a) \sim \mathcal{D}}\left[L_{2}^{\tau}\left(Q_{\hat{\theta}}(s, a)-V_{\psi}(s)\right)\right] \tag{3}
LV(ψ)=E(s,a)∼D[L2τ(Qθ^(s,a)−Vψ(s))](3) 这里
V
ψ
(
s
)
V_\psi(s)
Vψ(s) 会近似
max
Q
θ
^
(
s
,
a
)
\max Q_{\hat{\theta}}(s,a)
maxQθ^(s,a)，然后使用如下 MSE loss 来消除
s
′
s'
s′ 的随机性
L
Q
(
θ
)
=
E
(
s
,
a
,
s
′
)
∼
D
[
(
r
(
s
,
a
)
+
γ
V
ψ
(
s
′
)
−
Q
θ
(
s
,
a
)
)
2
]
(4)
L_{Q}(\theta)=\mathbb{E}_{\left(s, a, s^{\prime}\right) \sim \mathcal{D}}\left[\left(r(s, a)+\gamma V_{\psi}\left(s^{\prime}\right)-Q_{\theta}(s, a)\right)^{2}\right] \tag{4}
LQ(θ)=E(s,a,s′)∼D[(r(s,a)+γVψ(s′)−Qθ(s,a))2](4) 总的来看，就是使用 (3) (4) 实现 (2)，达成 (1) 的思想，这里 (3) (4) 可以多步迭代计算实现 multi-step DP，且整个过程不需要访问
a
’
a’
a’
价值收敛得到
Q
∗
Q^*
Q∗ 后，直接用 AWR 方法，通过最大化下式来提取策略
L
π
(
ϕ
)
=
E
(
s
,
a
)
∼
D
[
exp
(
β
(
Q
θ
^
(
s
,
a
)
−
V
ψ
(
s
)
)
)
log
π
ϕ
(
a
∣
s
)
]
L_{\pi}(\phi)=\mathbb{E}_{(s, a) \sim \mathcal{D}}\left[\exp \left(\beta\left(Q_{\hat{\theta}}(s, a)-V_{\psi}(s)\right)\right) \log \pi_{\phi}(a \mid s)\right]
Lπ(ϕ)=E(s,a)∼D[exp(β(Qθ^(s,a)−Vψ(s)))logπϕ(a∣s)] 其中
β
∈
[
0
,
∞
)
\beta\in[0,\infin)
β∈[0,∞) 是一个逆温度系数，取值较小时类似 BC；取值较大时会试图做加权 BC 来恢复
max
Q
θ
^
(
s
,
a
)
\max Q_{\hat{\theta}}(s,a)
maxQθ^(s,a)，注意这个过程也无需访问
a
′
a'
a′
将上诉过程总结为如下伪代码
注意这里 “策略评估” 和 “策略提取” 是互相解耦的，提取出的策略不会以任何方式影响值函数，因此二者可以同时执行，也可在评估完成后执行，个解耦思路也出现了后来的 POR 方法中。另外，本文使用 Clipped Double Q-Learning 来缓解 Q 价值的高估
