|
bit：位byte：字节1 byte= 8 bit int 类型为 4 byte，共32位bit，unsigned int也是2^32 byte = 4G 1G= 2^30 =10.7亿 海量数据处理概述： , ^) H& J2 v7 t# b, h3 `
所谓海量数据处理，就是指数据量太大，无法在较短时间内迅速解决，或者无法一次性装入内存。而解决方案就是：针对时间，可以采用巧妙的算法搭配合适的数据结构，如 Bloom filter/Hashmap/bit-map/堆/数据库/倒排索引/trie树；针对空间，大而化小，分而治之（hash映射），把规模大化为规模小的，各个击破。所以，海量数据处理的基本方法总结起来分为以下几种： 分而治之/hash映射 + hash统计 + 堆/快速/归并排序；Trie树/Bloom filter/Bitmap数据库/倒排索引；双层桶划分；外排序；分布式处理之Hadoop/Mapreduce。一、分而治之/hash映射 + hashmap统计 + 快速/归并/堆排序 0 L2 n: T" n. x3 F
这种方法是典型的“分而治之”的策略，是解决空间限制最常用的方法，即海量数据不能一次性读入内存，而我们需要对海量数据进行的计数、排序等操作。基本思路如下图所示：先借助哈希算法，计算每一条数据的 hash 值，按照 hash 值将海量数据分布存储到多个桶中。根据 hash 函数的唯一性，相同的数据一定在同一个桶中。如此，我们再依次处理这些小文件，最后做合并运算即可。 7 b3 d: Z3 t& Y. G1 v) M" A
* Y. z% {+ Y: `5 I7 {, k$ [) k& w, `
问题1：海量日志数据，统计出某日访问百度次数最多的那个IP 3 S2 y4 W) U( S" {
解决方式：IP地址最多有 2^32 = 4G 种取值情况，所以不能完全加载到内存中进行处理，采用 hash分解+ 分而治之 + 归并 方式： , T5 C; H( E: k
（1）按照 IP 地址的 Hash(IP)%1024 值，把海量IP日志分别存储到1024个小文件中。这样，每个小文件最多包含4MB个IP地址；
- g: m& x6 Y& E1 S# B* [3 s （2）对于每一个小文件，构建一个IP为key，出现次数为value的Hash map，同时记录当前出现次数最多的那个IP地址
3 m2 J- D1 D4 h2 w （3）然后再在这1024组最大的IP中，找出那个频率最大的IP
3 k0 N7 @0 @% d% ~, V& P: q 问题2：有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词。
7 [7 y. X5 v9 d* [1 ^ 解决思想： hash分解+ 分而治之 + 归并 ) G8 U1 F, f7 \7 K, z
（1）顺序读文件中，对于每个词x，按照 hash(x)/(1024*4) 存到4096个小文件中。这样每个文件大概是250k左右。如果其中的有的文件超过了1M大小，还可以按照hash继续往下分，直到分解得到的小文件的大小都不超过1M。
7 h. Q% [% o; d$ c8 g- g/ ?% { （2）对每个小文件，可以采用 trie树/hashmap 统计每个文件中出现的词以及相应的频率，并使用 100个节点的小顶堆取出出现频率最大的100个词，并把100个词及相应的频率存入文件。这样又得到了4096个文件。
0 s! i6 [, W( t6 X （3）下一步就是把这4096个文件进行归并的过程了 7 b& U5 W: p4 E
问题3：有a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？
$ E. H l* H8 ]. E 解决方案1：如果内存中想要存入所有的 url，共需要 50亿 * 64= 320G大小空间，所以采用 hash 分解+ 分而治之 + 归并 的方式：
# C; P2 j6 i+ F8 Z8 Q& |# ` （1）遍历文件a，对每个 url 根据某种hash规则，求取hash(url)/1024，然后根据所取得的值将 url 分别存储到1024个小文件（a0~a1023）中。这样每个小文件的大约为300M。如果hash结果很集中使得某个文件ai过大，可以在对ai进行二级hash(ai0~ai1024)，这样 url 就被hash到 1024 个不同级别的文件中。 6 G3 f# r) `2 Z6 L
（2）分别比较文件，a0 VS b0，…… ，a1023 VS b1023，求每对小文件中相同的url时：把其中一个小文件的 url 存储到 hashmap 中，然后遍历另一个小文件的每个url，看其是否在刚才构建的 hashmap 中，如果是，那么就是共同的url，存到文件中。 ! b4 O, l3 ?) ?' L
（3）把1024个文件中的相同 url 合并起来
5 P5 N; w d0 ?( c 解决方案2：Bloom filter ! \& I9 T) e4 s! v2 C0 g' j# N$ G$ R
如果允许有一定的错误率，可以使用 Bloom filter，4G内存大概可以表示 340 亿bit，n = 50亿，如果按照出错率0.01算需要的大概是650亿个bit，现在可用的是340亿，相差并不多，这样可能会使出错率上升些，将其中一个文件中的 url 使用 Bloom filter 映射为这340亿bit，然后挨个读取另外一个文件的url，检查是否与Bloom filter，如果是，那么该url应该是共同的url（注意会有一定的错误率）
3 ?% V' y/ [4 ^ 问题4：有10个文件，每个文件1G，每个文件的每一行存放的都是用户的 query，每个文件的query都可能重复。要求你按照query的频度排序。
' x, ~; i! d( Z* k: w1 n3 A* N 解决方案1：hash分解+ 分而治之 +归并 & ~% K! o& O! Z' s
（1）顺序读取10个文件 a0~a9，按照 hash(query)%10 的结果将 query 写入到另外10个文件（记为 b0~b9）中，这样新生成的文件每个的大小大约也1G
S0 C9 {9 k& R* _ （2）找一台内存2G左右的机器，依次使用 hashmap(query, query_count) 来统计每个 query 出现的次数。利用 快速/堆/归并排序 按照出现次数进行排序。将排序好的query和对应的query_cout输出到文件中。这样得到了10个排好序的文件c0~c9。
" @ X2 q F' M# Y4 e1 d （3）对这10个文件 c0~c9 进行归并排序（内排序与外排序相结合）。每次取 c0~c9 文件的 m 个数据放到内存中，进行 10m 个数据的归并，即使把归并好的数据存到 d结果文件中。如果 ci 对应的m个数据全归并完了，再从 ci 余下的数据中取m个数据重新加载到内存中。直到所有ci文件的所有数据全部归并完成。
" R: q- X4 D0 m$ R; Z1 j: Z* R$ f* s 解决方案2：Trie树
, J. t7 l) q$ Q8 |$ Q% J) R: Q 如果query的总量是有限的，只是重复的次数比较多而已，可能对于所有的query，一次性就可以加入到内存了。在这种情况下，可以采用 trie树/hashmap 等直接来统计每个query出现的次数，然后按出现次数做快速/堆/归并排序就可以了。
/ i* [/ @8 G: h9 O) M: \) s' {2 n 问题5：海量数据分布在100台电脑中，请高效统计出这批数据的TOP10 ' Z; X: `1 S `: {6 `$ s, b
解决思想： 分而治之 + 归并 1 n, e1 k. d- B% }; n5 m8 \" t- l
（1）在每台电脑上求出TOP10，采用包含10个元素的堆完成（TOP10小，用最大堆，TOP10大，用最小堆）
. t/ o. l& R P) L0 r （2）求出每台电脑上的TOP10后，把这100台电脑上的 TOP10 合并之后，共1000个数据，在采用堆排序或者快排方式 求出 top10 1 |2 x' D1 b c0 `- S
（注意：该题的 TOP10 是取最大值或最小值，如果取频率TOP10，就应该先hash分解，将相同的数据移动到同一台电脑中，再使用hashmap分别统计出现的频率）
" |2 g) H9 |3 R, v% C0 C 问题6：在 2.5 亿个整数中找出不重复的整数，内存不足以容纳这2.5亿个整数 + R9 o" o$ A0 f2 x k
解决方案1：hash 分解+ 分而治之 + 归并 6 ^* H4 r0 X' H' Y- v
（1）2.5亿个 int 类型 hash 到1024个小文件中 a0~a1023，如果某个小文件大小还大于内存，进行多级hash ( c6 ?# D, Y, L2 u, H
（2）将每个小文件读进内存，找出只出现一次的数据，输出到b0~b1023 ) _, D' r- l! m! l# {) W2 V( }
（3）最后数据合并即可
3 N) N+ x& f/ `* z8 k# i 解决方案2 ： 2-Bitmap ! _2 h u! A$ n" s! ~% w6 D
如果内存够1GB的话，采用 2-Bitmap 进行统计，共需内存 2^32 * 2bit = 1GB内存。2-bitmap 中，每个数分配 2bit（00表示不存在，01表示出现一次，10表示多次，11无意义），然后扫描这 2.5 亿个整数，查看Bitmap中相对应位，如果是00，则将其置为01；如果是01，将其置为10；如果是10，则保持不变。所描完成后，查看bitmap，把对应位是01的整数输出即可。（如果是找出重复的数据，可以用1-bitmap。第一次bit位由0变1，第二次查询到相应bit位为1说明是重复数据，输出即可）
5 G3 |) q, e3 |. K1 ~+ [6 C 二、Trie树+红黑树+hashmap
, s: I8 g0 w4 S Trie树、红黑树 和 hashmap 可以认为是第一部分中分而治之算法的具体实现方法之一。 # d/ w# V/ P2 r6 h# n s, Z% d
其中，Trie树适合处理海量字符串数据，尤其是大量的字符串数据中存在前缀时。Trie树在字典的存储，字符串的查找，求取海量字符串的公共前缀，以及字符串统计等方面发挥着重要的作用。
6 B; \) d q2 [1 P' C# d* l/ o" r 用于存储时，Trie树因为不重复存储公共前缀，节省了大量的存储空间；
2 L3 h) H+ Z- W- n 用于以字符串的查找时，Trie树依靠其特殊的性质，实现了在任意数据量的字符串集合中都能以O(len)的时间复杂度完成查找（len为要检索的字符串长度）； - c! |* C4 V0 M, g) p) F
在字符串统计中，Trie树能够快速记录每个字符串出现的次数
+ f# v! ?* ^8 U4 l4 a 问题1：上千万或上亿数据（有重复），统计其中出现次数最多的前N个数据。 1 q( M& h& Y( b8 ~4 t
解决方案： hashmap/红黑树 + 堆排序 6 H0 z8 `) L8 @
（1）如果是上千万或上亿的 int 数据，现在的机器4G内存能存下。所以考虑采用 hashmap/搜索二叉树/红黑树 等来进行统计重复次数 - d* s/ t ^ Y" v" ~/ @
（2）然后使用包含 N 个元素的小顶堆找出频率最大的N个数据 # R4 L5 k5 i( {/ i
问题2：一个文本文件，大约有一万行，每行一个词，要求统计出其中最频繁出现的前10个词，并给出时间复杂度
7 @& s" Q2 H3 |, {+ i6 B; a& x, h 解决思路： trie树 + 堆排序 . E5 b; ~8 z1 ^
用 trie树 统计每个词出现的次数，时间复杂度是O(n*len)（len表示单词的平均长度）。 9 F' f: _8 G8 u
然后使用小顶堆找出出现最频繁的前10个词，时间复杂度是O(n*lg10)。
* R; P" g1 U. G! O, v( w; X 总的时间复杂度，是O(n*le)与O(n*lg10)中较大的那一个。 3 v! v; q0 \ U" G
问题3：有一千万个字符串记录（这些字符串的重复率比较高，虽然总数是1千万，但是如果去除重复和，不超过3百万个），每个查询串的长度为1-255字节。请你统计最热门的10个查询串（重复度越高，说明越热门），要求使用的内存不能超过1G。
3 t# @# b1 U, F8 z 解决方案：
+ A# s$ [$ l! R6 Y 内存不能超过 1G，每条记录是 255byte，1000W 条记录需要要占据2.375G内存，这个条件就不满足要求了，但是去重后只有 300W 条记录，最多占用0.75G内存，因此可以将它们都存进内存中去。使用 trie树（或者使用hashmap），关键字域存该查询串出现的次数。最后用10个元素的最小堆来对出现频率进行排序。总的时间复杂度，是O(n*le)与O(n*lg10)中较大的那一个。
$ l f& ~4 S7 _, m 问题4：1000万字符串，其中有些是重复的，需要把重复的全部去掉，保留没有重复的字符串。 & B) v6 f" z# M; F6 `/ b
解决方案：trie树 + x1 z! w2 T0 k$ j' U4 T
三、BitMap 与 Bloom Filter： : J' Z& a/ w5 {
1、BitMap 就是通过 bit 位为 1 或 0 来标识某个状态存不存在。可用于数据的快速查找，判重，删除，一般来说适合的处理数据范围小于 8bit *2^32。否则内存超过4G，内存资源消耗有点多。 / B! b% L4 i- M* P9 d7 F
2、Bloom Filter 主要是用于判定目标数据是否存在于一个海量数据集 以及 集合求交集。以存在性判定为例，Bloom Filter 通过对目标数据的映射，能够以 O(k) 的时间复杂度判定目标数据的存在性，其中k为使用的hash函数个数。这样就能大大缩减遍历查找所需的时间。
! r% V* R0 a# v% r: h+ _ 问题1：已知某个文件内包含一些电话号码，每个号码为8位数字，统计不同号码的个数。
9 K) p2 M, F- ?) e9 [( L 解决思路：
7 X) k/ ?1 @0 {* `9 n 8位最多99 999 999，需要 100M个bit 位，不到12M的内存空间。我们把 0-99 999 999的每个数字映射到一个Bit位上，这样，就用了小小的12M左右的内存表示了所有的8位数的电话
5 e, [6 C4 E! m! K 问题2：2.5亿个整数中找出不重复的整数的个数，内存空间不足以容纳这2.5亿个整数。 $ c% J. X3 q4 K1 y6 ?. K# o. r$ D
解决方案：使用 2-bitmap，详情见上文
% d$ H) a/ F- x4 x4 J 问题3：给40亿个不重复的 unsigned int 的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那40亿个数当中
- R' r, F* [: ], W 解决方案：使用 Bitmap，申请 512M 的内存，一个bit位代表一个 unsigned int 值。读入40亿个数，设置相应的bit位，读入要查询的数，查看相应bit位是否为1，为1表示存在，为0表示不存在。
0 d3 e2 n& H6 G; V# h 问题4：现有两个各有20亿行的文件，每一行都只有一个数字，求这两个文件的交集。
! q$ m% N, Q" c0 G$ E 解决方案：采用 bitmap 进行问题解决，因为 int 的最大数是 2^32 = 4G，用一个二进制的下标来表示一个 int 值，大概需要4G个bit位，即约4G/8 = 512M的内存，就可以解决问题了。
3 P4 [; I+ w+ h1 v* b7 u4 t- Y# b) o ① 首先遍历文件，将每个文件按照数字的正数，负数标记到2个 bitmap 上，为：正数 bitmapA_positive，负数 bitmapA_negative 6 D4 D' ?2 M' i+ @
② 遍历另为一个文件，生成正数：bitmapB_positive，bitmapB_negative 0 m# X; U% J3 f+ W3 D
③ 取 bitmapA_positive and bitmapB_positive 得到2个文件的正数的交集，同理得到负数的交集。 9 d# C/ j# k/ S) p! C2 P9 }+ I
④ 合并，问题解决 ( ?/ J0 g* T' [" \4 k$ W
这里一次只能解决全正数，或全负数，所以要分两次
: I D# p) b5 H% S+ e 问题5：与上面的问题4类似，只不过现在不是A和B两个大文件，而是A, B, C, D….多个大文件，求集合的交集
; V. ^# z+ ^5 A) I2 Z4 ?8 R# {; O 解决方案： " O) c1 @4 I6 [) v7 S
（1）依次遍历每个大文件中的每条数据，遍历每条数据时，都将它插入 Bloom Filter； . U0 E. w9 G! p- |+ t$ E5 T
（2）如果已经存在，则在另外的集合（记为S）中记录下来； - w0 C1 d" m. t* h
（3）如果不存在，则插入Bloom Filter； & o4 P) b* b7 ?
（4）最后，得到的S即为所有这些大文件中元素的交集
2 p) Q. J/ |9 D0 C8 T+ o 四、多层划分：
# h9 y6 T+ I, ]: x4 i6 H 多层划分本质上还是分而治之的思想，重在“分”的技巧上！因为元素范围很大，需要通过多次划分，逐步确定范围，然后最后在一个可以接受的范围内进行。适用用于：第k大，中位数，不重复或重复的数字
. {4 |, }- F. T3 c 问题1：求取海量整数的中位数 ; P- ~8 n0 P' V9 a
解决方案：
; i. g- y0 G! k( z% b, U 依次遍历整数，按照其大小将他们分拣到n个桶中。如果有的桶数据量很小，有的则数据量很大，大到内存放不下了；对于那些太大的桶，再分割成更小的桶；
+ f( P1 [, U! T } 之后根据桶数量的统计结果就可以判断中位数落到哪个桶中，如果该桶中还有子桶，就判断在其哪个子桶中，直到最后找出目标。
- }; M. [3 d _0 k 问题2：一共有N个机器，每个机器上有N个数，每个机器最多存 N 个数，如何找到 N^2 个数中的中数？
/ n8 N4 d0 G( I( Z$ z8 H% U 解决方案1： hash分解 + 排序 & M- a% U8 N8 M* ]5 o
按照升序顺序把这些数字，hash划分为N个范围段。假设数据范围是2^32 的unsigned int 类型。理论上第一台机器应该存的范围为0~(2^32)/N，第i台机器存的范围是(2^32)*(i-1)/N~(2^32)*i/N。hash过程可以扫描每个机器上的N个数，把属于第一个区段的数放到第一个机器上，属于第二个区段的数放到第二个机器上，…，属于第N个区段的数放到第N个机器上。注意这个过程每个机器上存储的数应该是O(N)的。 1 M1 w' s* F B& G$ ^. z
然后我们依次统计每个机器上数的个数，依次累加，直到找到第k个机器，在该机器上累加的数大于或等于（N^2）/2，而在第k-1个机器上的累加数小于（N^2）/2，并把这个数记为x。那么我们要找的中位数在第k个机器中，排在第（N^2）/2-x位。然后我们对第k个机器的数排序，并找出第（N^2）/2-x个数，即为所求的中位数的复杂度是O（N^2）的。 7 S9 }- w( @% C
解决方案2： 分而治之 + 归并 ; _% Q: E3 @6 X0 m6 L
先对每台机器上的数进行排序。排好序后，我们采用归并排序的思想，将这N个机器上的数归并起来得到最终的排序。找到第（N^2）/2个便是所求。复杂度是O（N^2 * lgN^2）的 . j+ D/ h* L. p/ p
: G9 {8 L4 i, _3 o. m9 L0 d5 y
- {4 M( }# C$ \* H$ T& @6 @3 W; ?; ]
4 u# |( D; n8 x* U: G | 
