本篇文章主要为我们介绍了大数据的概念、发展以及相关应用。

人类从来不缺数据，缺的是对数据进行深度价值挖掘与利用。可以说，从人类社会有了文字以来，数据就开始存在了，现在亦是如此。这其中唯一改变的是数据从产生，到记录，再到使用这整个流程的形式。

"大数据"是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。简单的说就是超级存储，海量数据上传到云平台后，大数据就会对数据进行深入分析和挖掘。

每人每天都会产生海量数据，如视频数据，电商数据，社交数据等等。

YB（Yotta Byte）— 尧字节，也就是1024ZB

2）有对海量数据进行挖掘的需求；

大数据就是多，就是多。原来的设备存不下、算不动。

大数据是什么，作为数据采集团队 ，我们很长的时间里一直也在思考，什么是大数据，大数据的前景和价值在哪里。

设备管理

欺诈行为分析&检测

————啪菠萝·毕加索

ZB（Zetta Byte）— 泽字节，也就是1024EB

中国的犯罪率是很低的，收集并存储如此多的数据，就是为了进行大海捞针，可见大数据的价值密度之低。

 

虽然大数据是一个泛泛的概念词，但是关于大数据，关于大数据处理分析的话题近来持续升温，现在基本成了新一轮工业革命级别的话题。

 

 

 

<strong>大数据与被遗忘权

如果放在以前，计算机的硬件（存储，计算）等资源还很金贵的情况下，这些数据只能是经过简单汇总之后就被丢掉。

自然资源部提出，到2025年，地级以上城市初步形成数字空间与现实空间实时关联互通能力，50%以上的政府决策、生产调度和生活规划可通过线上实景三维空间完成。

由于大数据分析需要对大量的数据进行分解，统计，汇总，一台机器肯定搞不定，于是就有了分布式计算的方法。

目前人工智能的主流算法是深度学习，其能够大展身手需要两个条件：强大的计算能力和高质量的大数据。其中最具有代表性的系统，就是著名的「谷歌大脑」。

（二）大数据的实践

陈国青教授特别提到，当个人数据被大量搜集和记录，被遗忘的权利也变得重要起来。

大数据杀熟合适吗？

我们不必纠结于事件之间具体的前因后果，只要知道它们之间是有正向或者负向联系的，只需照着做就能体现数据分析的价值了。这是一种实用主义的态度。

1.数据量大（Volume）

第一个特征是数据量大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。

2.类型繁多（Variety）

第二个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。

3.价值密度低（Value）

第三个特征是数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值"提纯"，是大数据时代亟待解决的难题。

4.速度快、时效高（Velocity）

第四个特征是处理速度快，时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。

既有的技术架构和路线，已经无法高效处理如此海量的数据，而对于相关组织来说，如果投入巨大采集的信息无法通过及时处理反馈有效信息，那将是得不偿失的。可以说，大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。 [2]

随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

截止到2012年，数据量已经从TB（1024GB=1TB）级别跃升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB(1024EB=1ZB)级别。国际数据公司（IDC）的研究结果表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增长为1.2ZB，2011年的数量更是高达1.82ZB，相当于全球每人产生200GB以上的据。而到2012年为止，人类生产的所有印刷材料的数据量200PB，全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。而到了2020年，全世界所产生的数据规模将达到今天的44倍。这样的趋势会持续下去。我们现在还处于所谓"物联网"的最初级阶段，而随着技术成熟，我们的设备、交通工具和迅速发展的"可穿戴"科技将能互相连接与沟通。科技的进步已经使创造、捕捉和管理信息的成本降至2005年的六分之一，而从2005年起，用在硬件、软件、人才及服务之上的商业投资也增长了整整50%，达到了4000亿美元。 [3]

上一篇：美国道琼斯指数(道琼斯理论的主要观点)

下一篇：炒黄金白银攻略(炒黄金骗局)