背包问题九讲 2.0 beta1.2
崔添翼 (Tianyi Cui)*
2012-05-08†
本文题为《背包问题九讲》,从属于《动态规划的思考艺术》系列。
这系列文章的第一版于 2007 年下半年使用 EmacsMuse 制作,以 HTML 格式发布
到网上,转载众多,有一定影响力。
2011 年 9 月,本系列文章由原作者用 LATEX 重新制作并全面修订,您现在看到的是
2.0 beta 版本,修订历史及最新版本请访问 https://github.com/tianyicui/pack 查阅。
本文版权归原作者所有,采用 CC BY-NC-SA 协议发布。
Contents
1 01 背包问题
1.1 题目 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2 基本思路 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3 优化空间复杂度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.4 初始化的细节问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.5 一个常数优化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.6 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2 完全背包问题
2.1 题目 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.2 基本思路 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.3 一个简单有效的优化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.4 转化为 01 背包问题求解 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.5 O(V N ) 的算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.6 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3 多重背包问题
3.1 题目 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.2 基本算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.3 转化为 01 背包问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.4 可行性问题 O(V N ) 的算法 . . . . . . . . . . . . . . . . . . . . . . . . . .
*a.k.a. dd_engi
†Build 20120508120900
3
3
3
3
4
4
5
5
5
5
5
6
6
7
7
7
7
7
8
1
3.5 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9
4 混合三种背包问题
9
9
4.1 问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9
4.2
01 背包与完全背包的混合 . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.3 再加上多重背包 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9
4.4 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
5 二维费用的背包问题
10
5.1 问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
5.2 算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
5.3 物品总个数的限制 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
5.4 复整数域上的背包问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
5.5 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
6 分组的背包问题
11
6.1 问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
6.2 算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
6.3 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
7 有依赖的背包问题
12
7.1 简化的问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
7.2 算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
7.3 较一般的问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
7.4 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
8 泛化物品
13
8.1 定义 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
8.2 泛化物品的和 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
8.3 背包问题的泛化物品 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
8.4 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
9 背包问题问法的变化
14
9.1 输出方案 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
9.2 输出字典序最小的最优方案 . . . . . . . . . . . . . . . . . . . . . . . . . . 15
9.3 求方案总数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
9.4 最优方案的总数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
9.5 求次优解、第 K 优解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
9.6 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2
1 01 背包问题
1.1 题目
有 N 件物品和一个容量为 V 的背包。放入第 i 件物品耗费的费用是 Ci
1,得到的
价值是 Wi。求解将哪些物品装入背包可使价值总和最大。
1.2 基本思路
这是最基础的背包问题,特点是:每种物品仅有一件,可以选择放或不放。
用子问题定义状态:即 F [i; v] 表示前 i 件物品恰放入一个容量为 v 的背包可以获得
的最大价值。则其状态转移方程便是:
F [i; v] = maxfF [i 1; v]; F [i 1; v Ci] + Wig
这个方程非常重要,基本上所有跟背包相关的问题的方程都是由它衍生出来的。所
以有必要将它详细解释一下:“将前 i 件物品放入容量为 v 的背包中”这个子问题,若
只考虑第 i 件物品的策略(放或不放),那么就可以转化为一个只和前 i 1 件物品相关
的问题。如果不放第 i 件物品,那么问题就转化为“前 i 1 件物品放入容量为 v 的背
包中”,价值为 F [i 1; v];如果放第 i 件物品,那么问题就转化为“前 i 1 件物品放
入剩下的容量为 v Ci 的背包中”,此时能获得的最大价值就是 F [i 1; v Ci] 再加上
通过放入第 i 件物品获得的价值 Wi。
伪代码如下:
F [0; 0::V ] 0
for i 1 to N
for v Ci to V
F [i; v] maxfF [i 1; v]; F [i 1; v Ci] + Wig
1.3 优化空间复杂度
了,但空间复杂度却可以优化到 O(V )。
以上方法的时间和空间复杂度均为 O(V N ),其中时间复杂度应该已经不能再优化
先考虑上面讲的基本思路如何实现,肯定是有一个主循环 i 1 : : : N ,每次算出来
二维数组 F [i; 0 : : : V ] 的所有值。那么,如果只用一个数组 F [0 : : : V ],能不能保证第 i
次循环结束后 F [v] 中表示的就是我们定义的状态 F [i; v] 呢?F [i; v] 是由 F [i 1; v] 和
F [i 1; v Ci] 两个子问题递推而来,能否保证在推 F [i; v] 时(也即在第 i 次主循环中
推 F [v] 时)能够取用 F [i 1; v] 和 F [i 1; v Ci] 的值呢?
事实上,这要求在每次主循环中我们以 v V : : : 0 的递减顺序计算 F [v],这样才
能保证计算 F [v] 时 F [v Ci] 保存的是状态 F [i 1; v Ci] 的值。伪代码如下:
F [0::V ] 0
for i 1 to N
for v V to Ci
F [v] maxfF [v]; F [v Ci] + Wig
1也即占用背包的空间容量,后文统一称之为“费用 (cost)”
3
其中的 F [v] maxfF [v]; F [v Ci] + Wig 一句,恰就对应于我们原来的转移方程,因
为现在的 F [v Ci] 就相当于原来的 F [i 1; v Ci]。如果将 v 的循环顺序从上面的逆
序改成顺序的话,那么则成了 F [i; v] 由 F [i; v Ci] 推导得到,与本题意不符。
事实上,使用一维数组解 01 背包的程序在后面会被多次用到,所以这里抽象出一
个处理一件 01 背包中的物品过程,以后的代码中直接调用不加说明。
def ZeroOnePack(F; C; W )
for v V to C
F [v] max(F [v]; F [v C] + W )
有了这个过程以后,01 背包问题的伪代码就可以这样写:
F [0::V ] 0
for i 1 to N
ZeroOnePack(F; Ci; Wi)
1.4 初始化的细节问题
我们看到的求最优解的背包问题题目中,事实上有两种不太相同的问法。有的题目
要求“恰好装满背包”时的最优解,有的题目则并没有要求必须把背包装满。一种区别
这两种问法的实现方法是在初始化的时候有所不同。
如果是第一种问法,要求恰好装满背包,那么在初始化时除了 F [0] 为 0,其它
F [1::V ] 均设为 1,这样就可以保证最终得到的 F [V ] 是一种恰好装满背包的最优解。
如果并没有要求必须把背包装满,而是只希望价格尽量大,初始化时应该将 F [0::V ]
全部设为 0。
这是为什么呢?可以这样理解:初始化的 F 数组事实上就是在没有任何物品可以放
入背包时的合法状态。如果要求背包恰好装满,那么此时只有容量为 0 的背包可以在什
么也不装且价值为 0 的情况下被“恰好装满”,其它容量的背包均没有合法的解,属于
未定义的状态,应该被赋值为 -∞ 了。如果背包并非必须被装满,那么任何容量的背包
都有一个合法解“什么都不装”,这个解的价值为 0,所以初始时状态的值也就全部为 0
了。
这个小技巧完全可以推广到其它类型的背包问题,后面不再对进行状态转移之前的
初始化进行讲解。
1.5 一个常数优化
上面伪代码中的
for i 1 to N
for v V to Ci
中第二重循环的下限可以改进。它可以被优化为
for i 1 to N
for v V to max(V N
i Wi; Ci)
这个优化之所以成立的原因请读者自己思考。(提示:使用二维的转移方程思考较易。)
4
1.6 小结
01 背包问题是最基本的背包问题,它包含了背包问题中设计状态、方程的最基本思
想。另外,别的类型的背包问题往往也可以转换成 01 背包问题求解。故一定要仔细体
会上面基本思路的得出方法,状态转移方程的意义,以及空间复杂度怎样被优化。
2 完全背包问题
2.1 题目
有 N 种物品和一个容量为 V 的背包,每种物品都有无限件可用。放入第 i 种物品
的费用是 Ci,价值是 Wi。求解:将哪些物品装入背包,可使这些物品的耗费的费用总
和不超过背包容量,且价值总和最大。
2.2 基本思路
这个问题非常类似于 01 背包问题,所不同的是每种物品有无限件。也就是从每种
物品的角度考虑,与它相关的策略已并非取或不取两种,而是有取 0 件、取 1 件、取 2
件……直至取 ⌊V /Ci⌋ 件等许多种。
如果仍然按照解 01 背包时的思路,令 F [i; v] 表示前 i 种物品恰放入一个容量为 v
的背包的最大权值。仍然可以按照每种物品不同的策略写出状态转移方程,像这样:
F [i; v] = maxfF [i 1; v kCi] + kWi j 0 kCi vg
这跟 01 背包问题一样有 O(V N ) 个状态需要求解,但求解每个状态的时间已经不
),是
),总的复杂度可以认为是 O(N V V
Ci
是常数了,求解状态 F [i; v] 的时间是 O( v
Ci
比较大的。
将 01 背包问题的基本思路加以改进,得到了这样一个清晰的方法。这说明 01 背包
问题的方程的确是很重要,可以推及其它类型的背包问题。但我们还是要试图改进这个
复杂度。
2.3 一个简单有效的优化
完全背包问题有一个很简单有效的优化,是这样的:若两件物品 i、j 满足 Ci Cj
且 Wi Wj,则将可以将物品 j 直接去掉,不用考虑。
这个优化的正确性是显然的:任何情况下都可将价值小费用高的 j 换成物美价廉的
i,得到的方案至少不会更差。对于随机生成的数据,这个方法往往会大大减少物品的
件数,从而加快速度。然而这个并不能改善最坏情况的复杂度,因为有可能特别设计的
数据可以一件物品也去不掉。
这个优化可以简单的 O(N 2) 地实现,一般都可以承受。另外,针对背包问题而言,
比较不错的一种方法是:首先将费用大于 V 的物品去掉,然后使用类似计数排序的做
法,计算出费用相同的物品中价值最高的是哪个,可以 O(V + N ) 地完成这个优化。这
个不太重要的过程就不给出伪代码了,希望你能独立思考写出伪代码或程序。
5
2.4 转化为 01 背包问题求解
题来解。
01 背包问题是最基本的背包问题,我们可以考虑把完全背包问题转化为 01 背包问
最简单的想法是,考虑到第 i 种物品最多选 ⌊V /Ci⌋ 件,于是可以把第 i 种物品转
化为 ⌊V /Ci⌋ 件费用及价值均不变的物品,然后求解这个 01 背包问题。这样的做法完
全没有改进时间复杂度,但这种方法也指明了将完全背包问题转化为 01 背包问题的思
路:将一种物品拆成多件只能选 0 件或 1 件的 01 背包中的物品。
品,其中 k 取遍满足 Ci2k V 的非负整数。
这是二进制的思想。因为,不管最优策略选几件第 i 种物品,其件数写成二进制后,
总可以表示成若干个 2k 件物品的和。这样一来就把每种物品拆成 O(log⌊V /Ci⌋) 件物
更高效的转化方法是:把第 i 种物品拆成费用为 Ci2k、价值为 Wi2k 的若干件物
品,是一个很大的改进。
2.5 O(V N ) 的算法
这个算法使用一维数组,先看伪代码:
F [0::V ] 0
for i 1 to N
for v Ci to V
F [v] max(F [v]; F [v Ci] + Wi)
你会发现,这个伪代码与 01 背包问题的伪代码只有 v 的循环次序不同而已。
为什么这个算法就可行呢?首先想想为什么 01 背包中要按照 v 递减的次序来循环。
让 v 递减是为了保证第 i 次循环中的状态 F [i; v] 是由状态 F [i 1; v Ci] 递推而来。
换句话说,这正是为了保证每件物品只选一次,保证在考虑“选入第 i 件物品”这件策
略时,依据的是一个绝无已经选入第 i 件物品的子结果 F [i 1; v Ci]。而现在完全背
包的特点恰是每种物品可选无限件,所以在考虑“加选一件第 i 种物品”这种策略时,
却正需要一个可能已选入第 i 种物品的子结果 F [i; v Ci],所以就可以并且必须采用 v
值得一提的是,上面的伪代码中两层 for 循环的次序可以颠倒。这个结论有可能会
这个算法也可以由另外的思路得出。例如,将基本思路中求解 F [i; v Ci] 的状态转
递增的顺序循环。这就是这个简单的程序为何成立的道理。
带来算法时间常数上的优化。
移方程显式地写出来,代入原方程中,会发现该方程可以等价地变形成这种形式:
F [i; v] = max(F [i 1; v]; F [i; v Ci] + Wi)
将这个方程用一维数组实现,便得到了上面的伪代码。
最后抽象出处理一件完全背包类物品的过程伪代码:
def CompletePack(F; C; W )
for v C to V
F [v] maxfF [v]; f [v C] + Wg
6
2.6 小结
完全背包问题也是一个相当基础的背包问题,它有两个状态转移方程。希望读者能
够对这两个状态转移方程都仔细地体会,不仅记住,也要弄明白它们是怎么得出来的,
最好能够自己想一种得到这些方程的方法。
事实上,对每一道动态规划题目都思考其方程的意义以及如何得来,是加深对动态
规划的理解、提高动态规划功力的好方法。
3 多重背包问题
3.1 题目
有 N 种物品和一个容量为 V 的背包。第 i 种物品最多有 Mi 件可用,每件耗费的
空间是 Ci,价值是 Wi。求解将哪些物品装入背包可使这些物品的耗费的空间总和不超
过背包容量,且价值总和最大。
3.2 基本算法
这题目和完全背包问题很类似。基本的方程只需将完全背包问题的方程略微一改
即可。
因为对于第 i 种物品有 Mi + 1 种策略:取 0 件,取 1 件……取 Mi 件。令 F [i; v]
表示前 i 种物品恰放入一个容量为 v 的背包的最大价值,则有状态转移方程:
F [i,v] = maxfF [i 1; v k Ci] + k Wi j 0 k Mig
复杂度是 O(V Mi)。
3.3 转化为 01 背包问题
另一种好想好写的基本方法是转化为 01 背包求解:把第 i 种物品换成 Mi 件 01
背包中的物品,则得到了物品数为 Mi 的 01 背包问题。直接求解之,复杂度仍然是
O(V Mi)。
但是我们期望将它转化为 01 背包问题之后,能够像完全背包一样降低复杂度。
仍然考虑二进制的思想,我们考虑把第 i 种物品换成若干件物品,使得原问题中第
i 种物品可取的每种策略——取 0 : : : Mi 件——均能等价于取若干件代换以后的物品。
另外,取超过 Mi 件的策略必不能出现。
方法是:将第 i 种物品分成若干件 01 背包中的物品,其中每件物品有一个系
数。这件物品的费用和价值均是原来的费用和价值乘以这个系数。令这些系数分别为
1; 2; 22 : : : 2k1; Mi 2k + 1,且 k 是满足 Mi 2k + 1 > 0 的最大整数。例如,如果 Mi
为 13,则相应的 k = 3,这种最多取 13 件的物品应被分成系数分别为 1; 2; 4; 6 的四件
物品。
分成的这几件物品的系数和为 Mi,表明不可能取多于 Mi 件的第 i 种物品。另外
这种方法也能保证对于 0 : : : Mi 间的每一个整数,均可以用若干个系数的和表示。这里
算法正确性的证明可以分 0 : : : 2k1 和 2k : : : Mi 两段来分别讨论得出,希望读者自己思
考尝试一下。
7
这 样 就 将 第 i 种 物 品 分 成 了 O(logMi) 种 物 品, 将 原 问 题 转 化 为 了 复 杂 度 为
O(V logMi) 的 01 背包问题,是很大的改进。
下面给出 O(logM ) 时间处理一件多重背包中物品的过程:
def MultiplePack(F ,C,W ,M)
if C M V
CompletePack(F ,C,W )
return
k 1
while k < M
ZeroOnePack(kC,kW )
M M k
k 2k
ZeroOnePack(C M,W M)
希望你仔细体会这个伪代码,如果不太理解的话,不妨翻译成程序代码以后,单步执行
几次,或者头脑加纸笔模拟一下,以加深理解。
3.4 可行性问题 O(V N ) 的算法
当问题是“每种有若干件的物品能否填满给定容量的背包”,只须考虑填满背包的
可行性,不需考虑每件物品的价值时,多重背包问题同样有 O(V N ) 复杂度的算法。
例如,可以使用单调队列的数据结构,优化基本算法的状态转移方程,使每个状态
的值可以以均摊 O(1) 的时间求解。2
下面介绍一种实现较为简单的 O(V N ) 复杂度解多重背包问题的算法。它的基本
思想是这样的:设 F [i; j] 表示“用了前 i 种物品填满容量为 j 的背包后,最多还剩
下几个第 i 种物品可用”,如果 F [i; j] = 1 则说明这种状态不可行,若可行应满足
0 F [i; j] Mi。
递推求 F [i; j] 的伪代码如下:
F [0; 1 : : : V ] 1
F [0; 0] 0
for i 1 to N
for j 0 to V
if F [i 1][j] 0
F [i][j] = Mi
F [i][j] = 1
for j 0 to V Ci
else
if F [i][j] > 0
F [i][j + Ci] maxfF [i][j + Ci]; F [i][j] 1g
最终 F [N ][0 : : : V ] 便是多重背包可行性问题的答案。
2我最初了解到这个方法是在楼天成的“男人八题”幻灯片上。
8