Joe对于大数据的几点浅见（科普向）

       马年就这么莫名其妙地开始了几个月，时代前进的步伐比彩旗酱的旋转还要“根本停不下来”，小伙伴们也纷纷随之告别“学生党”，都在努力实现在自己领域一马当先。
       人类在面对新旧时代交替时，通常表现出惶恐与紧张，甚至会因此引发战争和杀戮。但纵观历史，在这种“苍天已死黄天当立”（可能比喻得不是很恰当）的阶段里，看清时代脉络的人往往能够在新时代里如鱼得水。正如《三体》里描写的宇宙战争一样，要想战胜对手，就要比对手更先进化出能够在新环境中生存的能力，然后拉着全宇宙一起向新环境（维度）跃迁，结果对手死了，自己活了下来。
       自从年后转入云计算部门担任技术选型和预研工作，Joe在工作学习的过程中偶然有所感悟，在这里提几点对大数据的浅见，希望能够抛砖引玉，如果能对某些小伙伴提供一些帮助，那当然最好了~

数据，一种新的资源

       人类的历史进程说白了就是资源争夺的过程。人类由于动物的本能，一代一代地努力为自己族群争取更多资源，这种生来有之的冲动和欲望推动着人类不断发展。而在于新时代，一种新的资源诞生了，那就是数据（其实也不能绝对地说是一种新的资源，但在新时代，这种资源真正成为了一种主要资源，甚至能与土地、能源、食物比肩）。
       这种资源有着其独有的特性：对它的使用不会造成消耗，但它却有着时效性。换句话说人类利用这一资源创造其衍生物不会对其造成损耗，但其特有的时效性意味着过时的数据即使数量再庞大也没有任何价值（什么样的数据算是过时数据不可一概而论，而应该根据使用目标进行定义）。由此可以衍生得出，在新的时代里，对数据的收集和利用是新一轮竞争的主旋律。正如工业化之后阿拉伯的兄弟们因为石油成为了最没技术含量的土豪一样，在新的时代里，假如你掌握了数据，然后你懂的...

生活，一切开始不一样

       谈谈对于生活的变化。可以说现在时代变迁的浪尖已经打在了小伙伴们的脑门上了，变革悄悄地到来。为什么说是“悄悄地”呢？举个例子，我们照着一直以来的方法，上学放学、上班下班、吃喝玩乐，看起来好像和过去没什么两样，但在各位没有注意到的角落里，我们的一举一动正在被新时代的先行者捕获。他们可能是利用一个监控摄像头，可能是你手机里的某个APP，可能是潜伏在你常去的购物网站中的一个网络机器人……总之你不会明白这一切是从什么时候开始的，也不会清楚这一切是怎么运作的，但我在此可以明确地说，这都是存在的。
       以上都是有人怀着各自的目的在收集数据，好像没有改变什么，那么为什么说对的生活有影响呢？其实可以冷静下来仔细想想，与十年前相比，是不是多了很多让你觉得更加开心的变化呢？为何你的购物网站往往能在首页显示你正好想买的东西？为何装摄像头最多的区域往往都是发生犯罪可能性最大的地方？为何美剧《纸牌屋》能让几乎所有人都high起来？其实这一切都是根据从你身上获取到的数据经过分析计算后对客观世界的反馈。还有一个例子可能会更加直观：十年前你想利用word写一封表达你心中愤怒的信件，那个眼睛很大长得很萌的回形针（帮助助手，你可以把它换成其他形状）会傻傻地在你信件的开头帮你写上“亲爱的XXX”，根本不考虑你的心态。现在，这种看起来很愚蠢地辅助在数据的影响下会变得十分贴心，助手能知道你写信时的心情（通过捕获你的行为数据进行分析）从而在文法上进行辅助！《纸牌屋》为何如此受欢迎？那是因为制片方搜集了大量观众观看电视剧的行为数据，并据此分析得出观众的“爱好点”，在此指导下形成最完美的剧本。

工作，新的时代形成新的模式

       对于工作，数据新时代最大的变化在于无论哪个行业，每个人都有机会获得一个助手，一个伟大的助手。新的时代下，计算机表现出的最重要能力将不再是一件强大的工具，而是一个冷静沉着并且很靠谱的顾问。举个例子，我上学的时候从小学开始就已经兴起所谓的多媒体教学，无非就是老师利用计算机的多媒体特性和使得课堂更加有趣多彩，在这个过程中PPT、WORD等办公软件是计算机最重要的功能。而在新时代，通过在学校里部署各种各样的感知设备（监控摄像头，各类传感器等）收集学生数据存放在数据中心之中，再通过计算机大量的计算和分析，可以获得对每个学生的性格定义和行为预测，从而辅助老师实现真正的因材施教，并在成长的关键点进行适当地干预。

云计算，新瓶装旧酒的时代骄子

        对于遵从摩尔定律发展的计算机硬件技术而言，对于行业外的人来说这已经是一个非常快的速度了。像我这个年纪的人来说，经历了windows95时代到现今windows7&8这样酷炫的个人系统的转变。而如果有心关注PC后一些指标，例如CPU主频，内存大小、主频等指标都有成数量级的提升。但是如果计算机不用来玩游戏写文档上QQ，而是试图处理整个人类社会的信息，那么这些当今的计算机统统都无能为力。那么前面提到的这些改变又是如何达成的呢？
        我们的祖先在遇到一头牛无法拖动石块的时候，往往想到的是再拉一头牛过来，而不是培育一头更大更强壮的牛。计算机领域的思维也是如此。假设一台计算机无法装下所有数据，无法在可以忍受的时间范围内处理完任务，那么我们就用一堆计算机来完成，我们称这一堆计算机（加上能够同时运行在多台计算机上的软件任务）为——集群。
        集群的力量是令人生畏的，比如谷歌能够处理互联网上几千万亿网页的搜索引擎，比如淘宝能够顶住双11可怕访问压力的支付系统，他们单内存就需要几T~几十T，远远高于小伙伴们个人电脑硬盘的容量。而集群的硬盘存储空间轻轻松松可以达到以P为单位的级别（1000T=1P）。集群中几万几十万个CPU同时工作，为人类社会的加速式进步提供澎湃动力。
        云计算是在集群基础上发展而来的生态系统：它不仅包含集群管理、集群计算算法，较之前更多的是新的应用新的运作模式。感谢谷歌发布的论文和在这些论文上实现的开源系统（以hadoop、storm等为代表），使现在的企业实现云计算门槛大大降低，使越来越多没有受过世界顶尖计算机科学教育的技术爱好者能够参与到这项技术的发展中，使其在近些年发挥出无与伦比的活力。