Lecture 11 | Approximation¶

近似算法¶

在上一章中我们介绍了 P/NP 问题，而大家普遍认为 P ≠ NP，这就意味着对于某些问题，我们无法使用多项式时间解决，而在问题规模变大时，越发不可接受。

因此，我们考虑能否退而求其次，在多项式时间内求一个比较优的解。更具体的来说，我们尝试寻找一种多项式算法，使得其结果始终在关于准确解的可接受偏差范围内，对于这种算法，我们称之为近似算法(approximation algorithm)。

我们设 \(f(n, x)\) 是对输入大小为 \(n\) 的情况下，对结果 \(x\) 的最坏情况的一个直观量化（例如 dist, weight...），若设 \(x^*\) 为准确解，\(x\) 为给定算法结果，则我们定义近似比(Approximation Ratio)\(\rho\)：

则称给定算法为 \(\rho\) 近似算法(\(\rho\)-approximation algorithm)。

近似范式¶

近似范式(approximation scheme)指的是对于某个优化问题的一族相同模式的算法，它们满足对于确定的 \(\epsilon > 0\)，算法的近似比为 \(1+\epsilon\)。

可以粗糙地理解为：“范式”是一个输出为算法的特殊函数，而 \(\epsilon\) 是“范式”的一个参数，对于特定的 \(\epsilon\)，“范式”输出一个特定的算法（这些算法有着相同的模式），而这些“范式”输出的算法，都解决同一个问题，并且对于任意固定的 \(\epsilon\) 其近似比为 \(1+\epsilon\)。

而关于 \(\epsilon > 0\) 这个约束，是因为近似比必定大于 1。

而此时，这一族的算法的复杂度可以表示为 \(O(f(n, \epsilon))\)，如 \(O(n^{2/\epsilon}), O((\frac{1}{\epsilon})^2n^3)\)。当 \(f(n, \epsilon)\) 关于 \(n\) 是多项式时，我们称其为多项式时间近似范式(polynomial-time approximation scheme, PTAS)。当 \(f(n, \epsilon)\) 关于 \(n\) 和 \(\frac{1}{\epsilon}\) 都是多项式时，我们称其为完全多项式时间近似范式(fully polynomial-time approximation scheme, FPTAS)。

为什么要区分 PTAS 和 FPTAS 呢？我们观察 \(\epsilon\) 对算法的影响：随着 \(\epsilon\) 的减小，近似比逐渐变小，即准确度提高；而 \(\frac{1}{\epsilon}\) 变大，而通常来说 \(\frac{1}{\epsilon}\) 与算法复杂度都是正相关的，因此会导致算法复杂度升高。如果说这个近似范式是 FPTAS，那么为了提高准确度而缩小 \(\epsilon\)，导致的复杂度变化是相对可接受的（多项式级的变化，如 \((\frac{1}{\epsilon})^2n^3\) 关于 \(\frac{1}{\epsilon}\) 是多项式级的）；然而如果它不是 FPTAS，那么 \(\epsilon\) 的缩小可能带来恐怖的复杂度增加（如 \(n^{2/\epsilon}\) 关于 \(\epsilon\) 是指数级的）。

[案例] Approximate Bin Packing¶

装箱问题指的是，给定 \(N\) 个 item，第 \(i\in [1,N]\) 个 item 的 size 为 \(S_i \in (0,1]\)，一个 bin 的大小为 \(1\)，尝试寻找最少的，能够装载所有 item 的 bin 的数量。

这是一个 NP hard 问题，现在我们考虑三种近似解法。需要注意的是，这三种都是在线(online)解法，即处理 \(item_i\) 时我们不知道 \(item_{i+1}\sim item_{N}\) 的情况。之后我们会再讨论离线(offline)做法，也就是我们知道所有 item 的情况以后再给出策略。

(online) Next Fit (NF)¶

NF 策略总是选择当前最后一个 bin，若能够容纳，则将当前 item 放入其中，否则新开一个 bin。

NF 策略总是使用不超过 \(2M-1\) 个 bin，其中 \(M\) 表示准确解的 \(\#bin\)。

(online) First Fit (FF)¶

FF 策略总是选择第一个能放下当前 item 的 bin，若所有 bin 都无法容纳当前 item，则新开一个 bin。

NF 策略总是使用不超过 \(\lfloor 1.7M \rfloor\) 个 bin，并且存在一族能对边界取等的输入，其中 \(M\) 表示准确解的 \(\#bin\)。

(online) Best Fit (BF)¶

BF 策略总是选择能够容纳当前 item 且剩余空间最小的 bin（即 tightest），若所有 bin 都无法容纳当前 item，则新开一个 bin。

NF 策略也总是使用不超过 \(\lfloor 1.7M \rfloor\) 个 bin，并且存在一族能对边界取等的输入，其中 \(M\) 表示准确解的 \(\#bin\)。

虽然在线做法由于对信息把握的不全面，在不特殊构造输入的情况下甚至几乎不可能达到最优解，但是现实世界中有很多能建模为装箱问题的问题，都要求使用在线做法解决。因此，研究在线做法还是有其意义的。

此外，关于在线做法，有一个结论：

(offline) First Fit Decreasing (FFD)¶

离线做法的优势在于它能够获得所有 item 的信息以求统筹规划。这里给出的近似做法是，将 item 按照 size 降序排序，而后使用 FF（或 BF，由于单调性，两者等价）。

FFD 策略总是使用不超过 \(\frac{11}{9}M + \frac{6}{9}\) 个 bin（为啥就连 wiki 也不约 6/9），并且存在一族能对边界取等的输入，其中 \(M\) 表示准确解的 \(\#bin\)。

[案例] Knapsack Problem¶

一个与装箱问题很像的问题是背包问题。其大致描述如下：给定一个容量为 \(M\) 的背包，以及 \(N\) 个 item，第 \(i\) 个 item 的重量为 \(w_i\)，其利润为 \(p_i\)。要求在不超过背包容量的前提下，使得背包中的利润最大化。（我也不知道为什么 PPT 上会把容量和重量关联起来，anyway，容量限制了 item 的重量和。）

而根据每一个物品能否自由拆分，背包问题分为 fractional version 和 0-1 version 两类。

Fractional Version¶

如果我们记 \(x_i\in[0,1]\) 为第 \(i\) 个 item 的选中量（即假设 item 都是连续可分的），则约束条件可以表述为 \(\sum_{i}^N w_ix_i \leq M\)，现在求 \(\sum_{i}^{N} p_ix_i\) 的最大值。

由于 \(x_i\in[0,1]\)，给了我们极大的选择自由，我们可以选择任意多的某个物品。那么非常朴素的一个想法就是，尽可能多地选择“性价比”高的物品。也就是说，我们可以按照 \(\frac{p_i}{w_i}\)（PPT 称之为 profit density）降序排序，而后从大到小依次选择物品，直到背包装满为止。

不过该做法已经是准确解了，所以我们不对它进行关于近似算法的讨论。

0-1 Version¶

相较于 fractional version，0-1 version 要求 \(x_i \in \{0,1\}\)，换句话说每一个物品要么选要么不选。这是一个经典的 NPC 问题，我们尝试使用近似算法来求较优解。

贪心做法¶

我们可以使用贪心算法，贪心策略可以是总是选可以放得下的、还没放入中的，利润最大的或 \(\frac{p_i}{w_i}\) 最大的。这些做法的近似比都是 2。

补充结论：背包问题具有 FPTAS。

动态规划做法¶

（真是混乱）

如果 \(p_\text{max}\) 很大，可以考虑将它们近似取整，类似于将浮点数向上取整。

[案例] The K-center Problem¶

（二维）K 中心问题指：给定平面上的一系列 site（即点），在平面中找出 \(k\) 个不同的 center，记 \(site_i\) 到离它最近的 center 的距离为 \(dis_i\)，求 \(\max \{dis_i\}\) 的最小值。

很绕，非常绕。接下来开始说人话。

平面的问题我们就用平面的思路来看，就是一个平面上有一堆点，现在我要在上面找 \(k\) 个中心去画圆，使得这 \(k\) 个圆能覆盖所有的点。现在要求最大的那个圆的半径最小能多小。

接下来我们来尝试解决的这个问题。

Naive Greedy¶

一个做法是，我们每次都选择最可能成为中心的那个点，具体来说：

1. 如果是第一个点，就选取所有点的中心；
2. 如果不是第一个点，就选取能一个最能让 \(r(C)\) 下降的；

这个做法的 bug 比较大，假设我们的点是聚类非常明显的两个点云，那么第一个点就会落在两个点云之间，这很蠢，所以我们不浪费过多时间在这个方法上。

注意，随着 center 的增加，原来以 \(c_i\) 为 center 的 site 很可能以最新插入的 \(c_j\) 为 center。

2r-Greedy¶

既然正向做很困难，那我们能不能反着做呢？有一种套路叫二分答案，即先猜答案，再验证是否是答案。在这个问题中我们可以迁移这个思想，即先猜一个 \(r\)，然后尝试用 \(k\) 个半径为 \(r\) 的圆去覆盖剩下的所有点。

更具体的来说，假设准确解对应的一个 center 集合为 \(C^*\)，那么 \(\forall r(C_x) \geq r(C^*)\) 的 \(C_x\) 都必定存在覆盖方案；反过来说，如果我们能够验证对于 \(C_x\) 能够覆盖所有的点，那么就可以约束准确解 \(r(C^*) \leq r(C_x)\)。

首先，我们再次梳理一下这个算法，它包含内外两层，首先外部通过在答案的候选区间（即 \((0, r_\text{max}]\)，\(r_\text{max}\) 为最远的两个点的距离）二分候选值，接着通过判定算法来判定接下来的二分方向。

然而，由于我们很难在多项式时间实现准确的“判定”，所以我们采取这样一个启发式的策略来进行宽泛的必要条件筛选：

现在对其做进一步解释。这是一个启发式的做法，旨在每次寻找还没被覆盖的点作为新的 center，用一个半径为 \(2r_x\) 的圆去覆盖剩下的点。通过判断这样所需要的 center 数量是否超过 \(k\) 来判断是否能够覆盖。接下来很绕，请一步一步的看：

1. 当这个启发式搜索成功时，说明 \(2r_x \geq r(C^*)\)，即 \(k\) 个 \(2r_x\) 的圆可以覆盖所有点；
2. 当这个启发式搜索失败时，不能说明 \(2r_x \geq r(C^*)\)，即 \(k\) 个 \(2r_x\) 的圆不能覆盖所有点，因为启发式方案并不是最优方案；但是能说明必定不存在 \(r_x\) 的覆盖，即 \(r_x \leq r(C^*)\)（证明见下方 lemma）；

lemma

假设半径为 \(r\)，以 \(c\) 为圆心的圆 \(C\) 覆盖了 \(S\) 中的所有点。

那么，对于固定的半径 \(r'\)，要想取任意的 \(s_i \in S\) 为圆心，形成的圆 \(C_i\)，总是能覆盖 \(S\) 中的所有点，则 \(r' \geq 2r\)。

lemma 的证明就不在这里展开了，证明的关键是考虑两点分布在直径两端的情况。

这个引理的附加结论就是：

\[ \forall i \quad C \subset C_i \]

即以 \(r\) 为半径的最优覆盖圆，一定能被以任意 \(s_i\) 为圆心、\(2r\) 为半径的圆所覆盖。

当我们发现我们处于情况 1. 时，我们开心的发现我们确实得到了一个距离 \(r(C^*)\) 更近的上界 \(2r_x\)，由于二分的性质，我们每次通过 1. 确定的上界，总是越来越紧的。

当我们处于情况 2. 时，我们不知道 \(2r_x\) 和 \(r(C^*)\) 的大小关系，但是知道 \(r_x\) 和 \(r(C^*)\) 的关系，由于二分的性质，我们每次通过 2. 确定的下界，也总是越来越紧的。

而最终，我们会得到一个最终的 \(r_{x_0}\)，满足：\(r_{x_0} \leq r(C^*) \leq 2r_{x_0}\)（式中哪边能取等取决于最后落在 1. 还是 2.）。

而我们最终给出的答案是 \(2r_{x_0}\)（因为 \(r_{x_0}\) 不满足条件，不是解，更不是近似解）。

现在，我们来计算近似比：

Smarter Greedy¶

我们关注到，上面那个做法总是随机的选取新的 \(c_i\)，但是对于 center 的选取，我们其实可以总是选择距离已有的 center 最远的点，此外，当 \(|C| > k\) 时，我们也没必要继续做了。

由于这个做法实际上只是优化了一下启发式的策略，并没有改变内核，所以其近似比仍然是 \(2\)。

总结¶

关于算法的设计，我们考虑这三个维度：

1. 最优性(optimality)：即能求准确解；
2. 高效性(efficiency)：即算法是否高效；
3. 普遍性(all instances)：即算法是否普遍适用于所有的情况；

倘若一个解法：

1. 同时满足最优性和高效性，那么这个算法对特殊情况能高效求准确解；
2. 同时满足最优性和普遍性，那么这个算法对所有情况都能求准确解；
3. 同时满足高效性和普遍性，那么这个算法可能是个近似算法；

就算 N=NP 成立，我们仍然无法保证三个愿望一次满足。

不是很明白最后一句话如何理解，但是这一部分应该就是看个眼熟，不是很重要。

激励

评论