书生云王东临：大数据催生产业变革

　　大数据的产业链：第一，搜集数据。第二，存储和处理数据。第三，大数据分析。

　　在大数据时代，所有的数据都尽可能记录下来，并长期保存，现在的IT技术发达，使得把数据的搜集和记录，从原来的不可能变成现在的可能。所以既可服务于科研和工程，也能服务于商业。

　　IT与基础的革命使大数据发展有什么样的支撑。IT基础架构是什么呢?是摆在机房的东西，网络、存储。目前的规模大概在5000亿美元以上，以后还会更大。全世界有几个巨头把持着。对小米来说做出来手机不是难事，难的是一下子能卖出来。这个基础架构是靠势力的，有IBM、HP、Del/EMC、Sisco，在中国像华为、联想这种已经迎头赶上，经过很多年的发展进入了第二梯队。

　　IT行业目前正在发生一场技术革命，这些革命对我们大数据发展起到一个很强大的技术支撑作用。这个革命有八个趋势，这八个趋势中任何一个都足以颠覆整个行业。这八个加起来对行业的颠覆革命是毫无疑问的。

　　1、全部升级为云架构

　　云通过虚拟化，可以实现资源的复用。

　　没有虚拟化的传统主机，被称为“烟囱式物理架构”，这是一种垂直而不互通的模式。这种模式下， CPU的使用率2%很常见，峰值也不过10%，这是一种巨大的算力浪费。

　　虚拟化正等同于把多个计算机构架在同一个物理机底层上，这样就可以使得 CPU 利用率成倍增加，从而使得生产成本急剧下降，用几个机柜就能代替原来几十个机柜的设备。

　　云通过资源池化，可以大大提高资源利用率。

　　以大型商场沃尔玛为例，如果每个顾客都有一个自己的固定车位，这就是传统架构。在这种不灵活的架构中，如果沃尔玛总共有五万名顾客，就需要有五万个车位。而真实的情况是，车位是可以“资源池化”的，在沃尔玛前面，只要有一个可以容纳此刻在沃尔玛之中购物的顾客数量的停车位，就足够了。也许这个数字只是500。这个停车场就是典型的资源池。

　　实际上，云架构带来的优势还很多，扩展性、弹性、自助服务、可度量、低成本、故障容错等，每一个都价值非凡。“我认为未来只要有机房，就一定都是云平台架构。”王东临说。

　　2、昂贵的企业级设备将死

　　传统概念：

　　企业级=更可靠

　　企业级=更高性能

　　企业级=贵得要死

　　分布式系统：

　　多台廉价设备组成

　　设备故障视为常态

　　只要不同时都坏就行

　　增加设备即可提高性能

　　IOE从行业规律上即将被淘汰

　　之所以企业级设备能够一直存在，是因为由廉价设备组成的分布式系统的技术在不断完善中。而目前，这些分布式开源技术已经足够成熟，在未来无论是成本还是可靠性。企业级设备都将丧失优势。

　　实际上，大多数大型互联网公司，并不会选用“企业级设备”。以谷歌为例，谷歌从第一天起就搭建了甚至没有机箱的由“地摊货”组成的数据中心。直到发展到巨无霸，他们的发展路径仍然是采用先进的冗余技术而不是提高单点可靠性。

　　3、开源软件势不可挡

　　开源，始于人们的“共产主义理想”，这也使得很多开源程序员在很长时间内生活拮据。但是，这个“共产主义理想”在结合了商业和市场的力量后，就迸发出了巨大的力量，至少体现在如下两个方面：

　　①开源通过免费带来流量，通过增值服务挣钱。这和互联网、移动互联网的商业模式是一样的。例如著名的 Redhat 公司，旗下的 Linux 和 Openstack 都是开源产品，却靠增值服务年收入超过 20 亿美金。

　　②开源可以打造一个生态系统。例如谷歌的 Android 系统，在智能手机领域把神一样的苹果公司挤到只有百分之十几的市场份额。

　　4、闪存带来“蒸汽机革命”

　　闪存的成本正在快速下降，很快将达到跟今天硬盘接近的价格，从而代替硬盘成为常规存储。除了闪存制程(从70纳米降到10纳米)和架构(从每个cell 1bit的SLC到每个cell 4bit的QLC)的进步外，最关键的技术飞跃在于 3D 层面的层层叠加，从32层、48层已经发展到了64 层，再加上中国投资200亿美元建闪存生产线，闪存价格降到白菜价已经指日可待了。而当闪存价格的临界点来临时，会导致一系列巨大的改变。