扫描二维码

订阅畅享网微信

【演讲实录】浪潮集团企业推进部总经理刘志勇:大数据时代中的工业仿真

来源:畅享网  作者:畅享网
2018/11/5 14:32:41
浪潮集团企业推进部总经理刘志勇主题为:大数据时代中的工业仿真的演讲实录,由畅享网整理发布。

本文关键字: 大数据

【导语:10月18日,由上海市计算机用户协会主办,上海市国有资产信息中心协办、畅享网承办的以“创新 走进IT架构新时代”为主题的第三届创新技术CIO高峰论坛在上海隆重举行。共同探索如何将创新技术与业务相结合。以下为浪潮集团企业推进部总经理刘志勇主题为:大数据时代中的工业仿真的演讲实录,由畅享网整理发布。】

各位嘉宾大家好。很荣幸跟大家分享关于工业仿真的话题,仿真是一门大的话题,我们主要从什么是仿真以及仿真的基本情况给大家做一个简单的分享。


浪潮集团成长之路


在讲仿真之前,我想简单介绍一下浪潮,浪潮1945年成立于上海。最早是做学校教学用的仪器、教具。1960年从上海迁到济南,开始做电子元器件。浪潮生产的晶体管用到东方红一号卫星上,这是我们最早跟电子方面的节点。1983年, 80年代初有一个微机是浪潮做的。93年国内第一台小型机服务器。再后来07年成立了国家的高性能服务器和存储技术国家重点实验室,这是我们在技术上的一个积累。2008年承担国家端容错服务器和海量存储服务项目,2014年已经做到服务器出货量中国第一,全球第五。2015年天梭K1荣获国家科技进步一等奖,王恩东当选中国工程院院士。2017年服务器比较稳定的占到中国服务器市场份额第一的位置,第一次进入全球第三名,专利数全国第一,发明专利占到83%。


2018年第一季度X86服务器出货量,我们是红色的位置,去年第四季度,第三名和第四名的差距非常小,大概差了几千台。但是今年第一季度我们数字已经慢慢的拉开。这个数据没有更新,在2018年第二季度浪潮还是在第三的位置。光从份额上看,只是维度第一。第二个唯度是连续多年高速增长。最近一年,因为我们在全球领域看到的对计算的要求越来越高,光服务器出货量增长第一季度35%,行业里面的30%的市场增长非常小,这样来看,随着大数据、人工智能和云的发展,未来几年大家对IT重视程度越来越高。


讲到仿真,在一百年前甚至更早之前就出现了。最早叫仿真的系统是在一百年前上世纪20、30年代出现的,典型应用的系统是用作飞行模拟,三个维度能动的一个机械设备。那个时候只是一个物理阶段的仿真。当时是应用在飞行器,飞机制造商。从那个时候开始就已经在制造领域里起到比较重要的作用。

到了40、50年代的时候是模拟计算机的仿真,到了上世纪60年代、80年代数字仿真出现了,数字仿真能够实现,是基于浮点运算的提高。新型仿真谈了很多年,但很多东西还是玩具,不能做商用。实际上虚拟仿真的技术未来肯定会有大规模的应用,主要还是游戏还是飞行员模拟训练。我相信未来会出现这样的场景,做高压输变电的检修,培养工程师去修,这样的情况下基本是模拟环境,把整个环境模拟完之后,站在地面上能够看到整个真实的环境。这样的技术还需要一些时间的发展,目前在这方面还不是特别够。

工业仿真具有重要意义

一、缩短研发周期


我们研发一件产品,比如做一辆车,进行撞击。但是在研究的过程中,不可能生产很多车一个一个去撞击,因为原型车撞完以后要等两个月再生产一个再进行测试,所以仿生的出现使研发周期大幅度的缩短,是有好处的。

二、降低研发成本


降低研发成本,最大的就是核、导弹现在都是用仿真的技术来算,不可能真的点很多的导弹去进行实验,现在几个大国不允许小国做实验。

三、提升整个综合效益


比如说系统会很大程度上重复利用,重复使用多次。另外就是保障人员安全,有一些实验环境对人体有害,仿真是可以提升综合的收益。仿真是基于IT技术,计算技术,算的越快,能力越强,仿真技术越好。

仿真环境设计——硬件部分


一、运算节点

主要提高服算性能,里面可以加GPU。这是两优四节点。可以通过算法,增加CPU,增加核数,增加GPU,用MIC的方式,而且支持混合部署。

二、胖节点

最常见的仿真系统的计算的节点,俗称叫胖节点,就是内容比较多的节点。主要用在对内存要求特别高的仿真软件里面,比如在气象里面算台风轨迹的时候,基本上是要用到大内存胖节点。因为在算的过程中是迭代的过程,它看到飓风在这个位置,飓风往前走,每走一步,前一个数据要留下,叠加到下一个节点,之后一个一个迭代,意味着不能释放内存。如果这个数据存在硬盘里读起来太慢了,在这种情况下基本上用大内存的计算的单元是比较合适的。

三、IO节点

IO节点是指什么呢?运算过程中频繁的在计算机里面,有一两百台服务器的时候,需要很多的服务器分别算,算完之后把数据收集起来起来,放到一起,再进行分发,需要不断的读写,在这种情况下需要有一个很好的跟节点部署有关的一个服务器,去管理这些IO的节点。只有在这种情况下,才能确保整个运算是流畅的。


数据有不同的存储方式,左边是光纤存储,特点是读的速度快,传输速度很快。我们在使用结构化数据的时候,如果算力里面使用的数据大量是结构化的数据,基本上会用到光纤存储,这样能够保证整个读的效率。

还有一种存储方式,是分布式的存储,意味着文件没有什么结构化的数据,主要是单个大理念,如果读的每一个文件都是单个大文件,需要在数据单元的一头,从不同的位置去读,分布式的文件存在不同的位置,同时读,读之后放在一起再变成一个数据导过去。这种情况下,会用到分布式的存储,在不同的场合用的东西是不一样的,跟用的软件直接相关。

交换机,基本上就是用mellanox100G或者56G的,都是这么用,而且没有什么选择。

仿真环境设计——软件部分


一、软件有两部分

一部分是很专业的仿真软件本身,上图中就是常见几种CFX,Fluent,Gauss算不同场景的仿真的软件。上面三行一个是作业的提交,高性能运算的时候需要形成一个一个项目作业,把这些作业,有效的提交给软件,让软件去计算。在算的过程中,如果发现性能不好,要去调,所以需要有不同checkpoint的监控,还要做系统的监控,哪个地方内存是瓶颈,哪个地方CPU是瓶颈,这些需要调整,因为每个算力情况不一样。

系统报警,报表统计,系统管理,实时监控,调度作业管理软件,所有加在一起是上面三行作业的调度管理软件再加上底层前端的仿真软件,计算软件本身加在一起,构成一个仿真系统的软件层。

二、软件层面向三种客户

普通用户

就是纯粹使用者,通过调度软件和作业软件把应用预算的数据库服务提供给使用者,然后进行实时应用使用情况的分析,要有一些checkpoint的支持。

科研专家

他们对系统了解的程度,以及领域内了解的比较深一点,不是简单的算了。这种情况,超算大型的集群的科研工作流的平台上,我们要提供服务。还有就是加速整个科研的进程。

管理员

整个调度,整个系统整合等等这些内容。一个完整的仿真的软件环境是要提供刚才说这些功能,同时面对这三类的客户。

仿真软件特点分析


简单介绍一下不同仿真软件对硬件需求的差异。比如流体力学,或者在水下潜艇等等的算法都是网络密集型的,对网络要求比较高,对IO要求比较高。在机电仿真里面,切断下增加CPU,再增加多核,就增加内存,这是机电仿真,内存依赖型的工业仿真。IO密集型的,动漫渲染类的,都是一帧一帧算出来的,这种情况下动漫渲染要用IO密集型。


我们做了一个简单的分类。左边的软件名称是最常见的仿真软件。右边列的是整个求解的特性。所有软件都是基于公式的,在右边把功能也一一列出了。像starCD,ansys Flunt,有算疲劳的,有专门算结构的等等。仿真的构成,就是这样发展起来的。


这是浪潮的T-Eye。T-Eye是怎么实现功能的?在运算的过程中,跟英特网提供源代码,抓取在运算过程中内存CPU的使用情况。图中能看到,它的浮点运算速度,CPU速率等。其实是根据客户实际的算力测试过程。左边的图就是对内存的要求相对比较高,对网络这一部分实时比较低。右边对存储密集型的一个算力。这个软件在两种情况下起作用,给用户提供帮助。第一种是在选型的时候。这种几百万的设备不能贸然对硬件,对多少硬件合适?通过T-Eye的软件,可以帮大家在前期初步的测一下,用的这个软件,去算这个算力大约内存怎么配,CPU怎么配,网络怎么配,这个会有一个指导性的东西。第二种情况会在什么情况有帮助,算的时候比较慢,效率不高的时候看这个,你可以通过这个调内存,调整CPU的个数。

我们刚刚提到大数据的环境下仿真的应用。我跟很多企业探讨过一个很有意思的话题,像他这样的企业到底怎么改善自己的产品呢?无非三种可能性,第一个是自己想到的,我们研发工程师想到做这么一个东西更好。第二种是竞争对手出现了,竞争对手有,所以我也应该有。第三种是客户应该是需要什么样的东西。这个里面,公司从研发的角度来讲已经基本上快做到根据客户的需求改进产品了。他们的研发,因为数据给他们数据中心,会看到它到底哪有问题,于是通过仿真的集群进一步提升产品质量和研发的进度。

涉及到另外仿真的话题就是工业互联网。现在已经在用,一千万的仿真系统,未来是要对外开放的,但是要收费的,收费的费用很低。要开放给下游供应商,没有钱买仿真系统,可以用云的方式,去使用他的仿真的系统,每次收很少的费用。就是大企业的责任,小企业的技术创新,光靠自己也不容易,有了大企业的支持,一方面改善他自己的产品,因为供应商的能力更强了,另外一方面确实对整个社会的创新会起到一个非常好的推进的作用。


这是示意图。刀片或者高密度的服务器,加上大内存的节点,加上管理节点,这是一个比较标准的仿真最简单的拓扑图。

最后我们说回这个案例,给这个公司带来的收益,计算资源部足的问题解决了,仿真运算速度整体提升300%,研发周期缩短约10%,研发创新效率大幅度提升,运维效率大幅度的提升了。仿真话题很大,只能花时间讲这么多,如果对这个话题感兴趣,可以后面再交流。

谢谢大家!

责编:畅享精灵
vsharing微信扫一扫实时了解行业动态
portalart微信扫一扫分享本文给好友

著作权声明:畅享网文章著作权分属畅享网、网友和合作伙伴,部分非原创文章作者信息可能有所缺失,如需补充或修改请与我们联系,工作人员会在1个工作日内配合处理。
畅享
首页
返回
顶部
×
    信息化规划
    IT总包
    供应商选型
    IT监理
    开发维护外包
    评估维权
客服电话
400-698-9918