存储一体化将主导未来？

趋势已经很明显了：不管你的应用是什么，云、Hadoop或者是文件系统，一体化都是你的未来之选。如果你遇到了一个存储难题，至少有一家厂商可以提供能即插即用的解决方案。

数据中心整合，不管是在企业内部还是到公共云，都是当前IT场景的一部分。那么，你应该如何做以保证未来不会丢掉工作呢？

我的建议是：加入一体化大军，走在趋势前沿。

当企业将IT基础设施的全部或者部分外包了，这是因为有其他人可以从中赚到钱。据我了解和听到的消息，这种外包的利润最高可以达到25%。试问一下自己，为什么其他一些公司或者其他一些云提供商可以购买到所需的所有硬件和软件，同时仍然可以通过公司内部IT部门获得利润？在我看来，部分原因是内部政策往往阻碍着数据中心的效率提高。每个部门都希望以自己希望的方式做事。

但是一体化模式正在改变着人们思考IT的方式，它将改变企业机构的组织结构。

如果你的IT基础设施，没有存储、虚拟化和计算的集成，那么未来几年你的环境就需要迅速改变，否则，你可能需要寻找一份新工作了，因为很多厂商会进来，通过外包或者IT承包商的形式交给云提供商，从而让你的环境现代化。

我的看法是，你需要有计划和有准备，因为“隧道尽头的一点光也许是一辆疾驰的火车”。让我们来谈一谈你可能需要熟悉的几种存储一体机吧：

Hadoop一体机

就目前来说，这些类型的一体机主要分为三种：

1、标准Hadoop

2、共享文件系统Hadoop

3、高速存储一体机Hadoop

标准Hadoop

如果是标准的一体机，你可以购买预加载、预配置、针对Hadoop硬件优化了的节点。

你可以从很多厂商那种购买到这种类型的硬件和软件。在有些情况下，你只是为你自己的集群购买软件，在其他情况下，你从一家集成商那里购买硬件和软件。无论哪一种途径，这都是标准的Hadoop，带有针对运行Hadoop优化配置了的硬件和软件。

共享文件系统Hadoop

共享文件系统一体机通常有Lustre或者GPFS文件系统，优化了Hadoop中的Shuffle阶段。这起到了一定效果，因为用户可以从各个节点全局访问数据，而不用跨网络分布数据或者读取数据。所有节点都是连接到这个共享文件系统的，可以直接从存储中读取数据，而不用从服务器到网络到服务器再到存储。

这已经被证明在某些情况下要比标准配置的Hadoop明显更快一些。此外，你获得了RAID的可靠性和故障转移功能（如果架构是这么设计的）。厂商对可靠性的研究显示，如果是RAID化了，那么在存储中就不要三重复制机制了。

高速存储一体机

不少厂商都有或者正在开发用户Hadoop的固态盘，已经有很多产品出现未来还会有更多，这些都是针对Hadoop优化的，易于管理。

哪个最好？

当然，答案取决于数据的量和类型，有多少数据流入以及查询量。多问自己一些问题，你就可以找到答案。

大型文件系统一体机

就目前来说，有两种不同的个性共享文件系统用于大型存储一体机——GPFS和Lustre。很多厂商都提供这种一体机。Lustre是一个开源项目，而GPFS是来自IBM的产品。

这些文件系统的规模远远超过现有的任何一款NAS产品。这些文件系统可以扩展到数千个客户端，提供数百GB/s。哪一家NAS厂商在具有可扩展性的单一命名空间内有30+ PB的空间？

现在的问题是，在大多数情况下，文件系统是围绕着用户应用对大数据块、连续I/O的要求设计的。这并不是说，硬件和软件就无法支持更小的块。我不是说，小数据块性能在NAS设备中就表现更好，但是当你向管理层展示你的共享文件系统时，你可能想要问的一些问题：

1、 关于你的工作负载，需要了解以下几个方面：

-      有多少I/O请求正在同时被处理？

-      读/写率是多少，读和写的情况大小是？

-      有多少打开/创建正在同时进行？

-      需要多少存储空间？

2、 问问厂商关于端到端的可靠性：

-      使用了ANSI T10 DIF/PI吗？

-      使用了其他一些方法吗？

-      是否使用校验或者纠错码？

-      厂商是如何解释哪块磁盘导致了故障？

3、 问问厂商关于RAID重建的问题：

-      RAID是分簇的吗？

-      在重建时性能是否受到影响？

这只是针对这些类型设备必须要问到的一些问题。当你进行纵向扩展的时候，你需要确保其他不会受到影响，而且确保你可以完成任务。

其他一体机

现在还有很多其他数据分析产品和数据库产品，未来还会出现更多，满足你企业机构的需求，这些新的一体机设备可能会使用某种方法将信息关联起来，或者使用图形分析找出关系或者其他方法。

遇到的问题都是一样的：如果你不能利用现有的技术做到更快更廉价，那么可能就需要把你的工作外包给云了。

我们的工作危在旦夕

如果CIO和员工们没有相应的计划，其他人就会抢先一步。然后，别人就会取代你的工作。随着市场的发展，我们不得不学习一些新的技能，包括公司管理层。

如果不这样的话，就做好自己的工作被外包给云或者其他部门的准备吧。

现在有很多新技术可以解决新老问题，我们都需要了解这些技术以保住饭碗。

我认为如今存储领域我们越来越多地关注点集中在专有的一体机上。现在有90%的数据访问是通过POSIX文件系统接口的，10%是通过对象接口，未来十年这个情况将发生改变。

做好准备，这有点类似于20世纪90年代的微处理器，从专有的大型处理器转向微处理器，从DEC、MIPS到Intel和其他。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友