中国计算机学会通讯

我们正处于大数据时代，人们言必及“大数据”，这里需要正视两个事实：一是当今的数据规模随时间以指数级增长；二是当今的算力也随着时间以指数级在增长。从这个意义上讲，大数据并没有给计算带来严峻挑战，两者在同一数量级上。但这种论断只在一种假设条件下成立，即数据样本之间相对 独立。在这种情况下，数据量增大一倍，我们就可以用增大一倍的算力来解决。假如数据样本之间并不相对独立，而是存在错综复杂的关联（即关联大 数据），那么，处理一个样本时就需要同时考虑关联样本，迭代多次后甚至需要遍历所有样本，因此算力需求与数据规模便呈指数关系。如果数据规模 随时间呈指数增长，则在时间尺度上对于关联大数据的有效分析与处理所需的算力随时间呈“双指数(double exponential)”增长趋势。在双指数增长的算力需求与指数增长的算力供给之间产生了不可逾越的鸿沟，从而给关联大数据处理带来了严峻挑战