大数据的存储和搜索面临很大挑战-CDA数据分析师官网

热线电话：13121318867

大数据的存储和搜索面临很大挑战

2018-04-10

大数据的存储和搜索面临很大挑战

大数据并非是一个全新的概念，早在1980年，阿尔文托夫勒就在《第三次浪潮》一书中预言了由数据构成的“碎片化未来”，并将海量数据赞颂为“第三次浪潮的华彩乐章”。然而，大数据真正流行起来是在2011年之后，数据量呈几何指数上升，物联网、云计算等技术的日渐成熟使得数据的获取、存储和处理的成本急剧下降，促使大数据一时间成为了各方视线的焦点。
    首先，伴随着移动终端、传感器的迅速普及以及社会化媒体等互联网应用的日益多样化，数据量呈现出爆发式的增长，数据集的规模已经达到了TB甚至是PB的级别。这些海量的、碎片化的数据不仅能够较为完整地刻画出人们在线行为，还可以通过各类传感设备的数据来记录实体经济的运行状况。
    其次，数据的种类也愈发丰富，不仅包含文本内容，还包括图片、音频、视频等非结构化数据，为数据的存储和搜索带来了很大挑战，这意味着传统意义上适用于文本内容存储和分析的数据库关联算法、语义分析等手段已经渐渐失效。
    第三，大数据蕴含着巨大的价值，但相比于庞大的数据规模，其价值密度却是非常稀疏的，可谓是“浪里淘沙、弥足珍贵”。例如，公安视频监控系统需要7×24小时的记录，但用于犯罪证据获取的也许只是短短数秒；对于零售产业的推荐系统，也只有通过海量数据的分析，才能进行较为精准的预测。
    第四，大数据需要实时的记录与响应，如动态的股价、路况信息以及电子商务的交易数据等，都需要实时的调用和处理，才能够充分体现出数据的价值所在。此外，社会化媒体、社交网站中的关系数据成为了大数据的价值倍增器，这是因为人们已经不可避免地镶嵌于人际关系网络中，个体的影响力会经由社交网络快速蔓延。
    不久前，作为全球最大零售商的沃尔玛也充分意识到了关系数据的重要性，在其社交基因组（Social Genome）计划中整合了用户在Facebook、Twitter中的关系数据，用以更精准地推测消费者的偏好。综上所述，大数据的基本特征可以概括为规模化（Volume）、多样性（Variety）、高价值（Value）、速度快（Velocity）以及社会化（Social）等五个特点，即“4V 1S”的特点。这样的大数据浪潮，也深刻的影响了各个传统行业的发展轨迹，变革一触即发。