大数据时代 企业需要注意两件事

随着信息时代的到来，非结构化数据文件开始急剧增长，充斥在企业数据中心存储设备及网络传输中。对于公司来说，这意味着更多的视频，相片和图像。按照常理，非结构化数据文件越来越多，所需存储也会大幅增加，但是最近的一次网络计算存储情况调查表明，大部分受访者都表示存储的年增长率大约为10%—24%。而且目前的内部存储设备和传输带宽都是为日常事务处理所需的小型文件设计的，并不能满足处理大数据的需求。在这样的硬件和大数据相遇时，这种供需矛盾肯定会擦出火花。

处理这种矛盾，企业可以从两方面下手：你需要足够的带宽，这样你才能最优化大文件的传输速率，以满足业务需求。另外，存储设备升级计划也要及时改变，以便满足不断增长的大文件。

光纤公用事业集团是一家私有的网络外包管理公司，它有超过8000英里的光纤网。它的客户服务经理戴夫·卢纳曼说：“现在一提到私有网络总会引发人们的争论，因为跟许多年前不同，现在有太多的公司依赖于公用网络来满足它们的广域网需求。”

但这种趋势现在已经开始转变，大型企业或公司主要的业务已经开始聚焦到它们每天处理的大型数据文件上。卢纳曼说：“大型企业对服务质量，安全，延迟和冗余的要求非常高。这就是为什么它们回归到私有网络的原因，因为标准网络的带宽并不能满足它们的需求。”

私有网络的表现令人印象深刻：光纤专用网络的响应时间非常快，举个例子，用户在美国犹他州，他借助专用网络查看在爱荷华州的一个银行就像银行在本地一样，这对于处理业务来说非常方便。位于西海岸的基因研究小组可以向东海岸的伙伴发送一个非常大的文件，而且又快又安全，绝对不会浪费科学家们一丁点儿的时间。一个广泛分布于多个国家的医疗公司可以轻松传输核磁共振及X光图像，为病人提供医疗服务。

The Mill是一家位于伦敦的视觉效果公司，它的设计师们位于伦敦，纽约及洛杉矶，它的客户包括Nike，特纳经典电影频道及BBC。它的电脑系统管理员乔纳森·博兹亚说：“实际上我们使用了一个私有的MPLS（多协议标签交换）网络把我们所有的办公室都连接了起来。”

当然，公司在大文件管理方面的困境不仅仅表现在网络带宽的限制。公司下一步要做的就是精心设计数据中心，选择好的存储策略，允许快速访问数据，实现最有效率的资源利用。

Ilion是一家西班牙视频制作公司，它制作的动画故事片面向全球市场。Ilion的CTO及技术主管贡萨罗·卢埃达说：“在最忙的时候，我们有超过350名工人。”Ilion平时只需20到40名员工，在忙的时候会增加大量工人，这样就会有大量的动画文件，给视频处理系统带来非常大的压力。

他说：“我们雇佣咨询顾问，并利用多种方法来应对大型文件存储的需求。比起IOPS是多少，我们对存储系统的处理能力及吞吐量速度更感兴趣。我们需要的解决方案要能满足我们业务的需求。对我本人来说，这意味着我们要仔细考虑我们的存储架构，以便能充分适应我们的业务需求。”

最终，Ilion决定升级存储架构，采用的是双机头的BluArc Titan 2200存储集群。卢埃达说：“在我们活跃的网络站点上，要处理大约90TB的数据，还有110TB的数据不需要频繁访问，就要存储在归档中。我们还要重新定义最好的数据以便实现冗余和热备份。”

结果就是：联合使用FC硬盘和SATA硬盘。把元数据及频繁访问的数据放在更快，但价格更贵的FC硬盘上，不活跃的数据则被存储到速度更慢，但是价格便宜的SATA硬盘上。

卢埃达表示：”自从我们采用了这套方案之后，我们的处理速度是原来的3到4倍，我们向FC和SATA硬盘分配数据的做法也表现不错。这使得我们能承受更大的工作负载，70个动画师可以同时工作，文件能即时响应。我们系统的可扩展性也大大提高，这种能力是我们不断增长的业务所需要的。

像Ilion这样的视频制作公司有特殊的需求，但是其它的中小企业未必有这样的需求。同样的，大企业对带宽要求很高，而跨国银行对带宽的要求就稍低一些，但是，所有的企业都要面对管理大数据文件的挑战，这是科技发展的必然结果。媒介内容越来越丰富，网络的使用也越来越频繁，还有新兴的网络论坛，比如说社交网络，所有这些都会产生大文件，处理它们都需要相当大的带宽。

对于企业IT部门来说这意味着什么？这意味着如果现在还没有做好应对大数据的准备的话，那是时候认真考虑存储及网络策略了。数据中心财政保守主义在最近还不会发生什么变化，所有几乎没有公司会丢掉目前所有的东西再去买新的。但是，现在就要仔细研究以后的路线图了，要考虑现有的硬件和软件资源淘汰周期，还要展望以后的数据中心存储及带宽，以及业务发展需求，要不然，现在所做的预算计划就毫无意义了！

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友