1导言
网格(grid)是20世纪90年代中期展开起来的一项技能,其标志性运用为全球范围内的大规模科学核算(E-science)[1]。它将坐落不同地理位置的科学仪器、高功用核算机、散布式数据库、传感器、长途设备等组合起来,以处理杂乱的科学问题,如全球气候模仿、高能物理、基因图谱的测绘、核试验模仿、新药的研发、虚拟专家会诊、大规模信息和决议方案支撑系统等。网格技能使人们能够同享核算资源、存储资源和相关服务,因而它在地理、航空航天、交通、轿车制作、气候、钢铁生成、核反应堆等许多范畴的科研方案和工业展开中起着至关重要的效果。
在网格运用中,传感器、长途设备、高功用核算机及可视化设备之间需求实时传送terabyte乃至petabyte量级的海量数据,网络在网格运用中占有十分重要的位置。传统互联网无法供给低延时确保下海量数据的高速传输,一起其尽力而为的服务办法无法满意用户的QoS要求。因而,构建在传统互联网上的网格运用存在着许多的局限性,如数据传输速度慢、可靠性差、用户交互性差、运用界面不行友善等,极大地影响了运用系统的功率。
光子网格(opticalgrid)是近年来在上述布景下展开起来的一种新式技能[2~3]。其根本思想是将散布在不同地理位置的高功用并行核算机、核算机集群、大型存储设备、高清晰显现设备、大型科学仪器以及各种类型的个人核算机、服务器等经过光网络彼此相关起来。因为光网络具有大带宽、高度通明、低延时、低本钱、高可靠性和动态带宽调整才干,因而光子网格在满意用户同享网格信息资源的一起,还可为网格运用供给海量数据的快速传输、高可靠性办理及资源的灵敏调度和操控。
光子网格网络的施行,可打破网格运用中的网络瓶颈问题,使网格用户能够与高端核算资源坚持同步并保持令人满意的互动功用,然后加快运用范畴的科研进程,促进相关工业的展开。另一方面,光子网格的施行,使得高功用核算资源、存储资源及科学仪器的具有者能够更有效地拓宽运用商场,前进资源的运用率。由此可见,光子网格是使网格运用真实走向有用的可行技能。
2 光子网格发生的布景
近年来,跟着大规模科学核算运用的不断展开,其对核算机处理才干、存储才干及高功用可视化的要求在不断添加。核算机处理或存储才干受技能及本钱等要素的约束,为每个用户装备高功用核算、存储及可视化设备既不经济也不实际。一种可行的处理办法是将核算及存储使命分配给不同的核算机,经过同享不同研讨安排的核算、存储及可视化资源来完结大规模科学核算及可视化运用。这种办法能够有效地节约本钱,前进资源的运用率。
与此一起,当今科学核算问题的杂乱性在不断添加,它需求不同范畴、不同国家的科学家一起协作才干获得打破性的效果。因而,有必要构建一个高速网络将这些科学研讨作业者、高功用核算及存储设备、高精细仪器及可视化设备相关起来,完结不同地理位置之间海量数据的高效传送。上述运用导致了对网络的连通性及带宽要求的不断添加。
光纤及光网络传输设备的大范围敷设及广泛运用为互联高功用核算机、大型存储设备、高清晰显现设备及大型科学仪器供给了或许。现在,在10Gbit/s及更高速率上,与IP交流机比较,光交流机具有更低的功耗和本钱。光网络能够供给低本钱、高带宽、高可靠性光衔接,已被绝大多数研讨安排乃至一些个人用户所承受。
光子网格便是在上述布景下发生的,它经过光网络将终端用户、核算、存储等资源相关起来,然后完结长途海量数据的高速传输。
3光子网格研讨的关键问题
光子网格不等于简略地用光网络来供给大数据传输。要有效地支撑网格运用,传统的光通讯网络及网格技能面临着一系列的应战。
首要,要支撑网格运用,需求为许多的用户和终端设备供给从Mbit/s至Tbit/s量级的传输带宽。用户对带宽的恳求具有突发性、并行性、大规模、多种粒度并存的特色,而光网络的带宽资源及网格的核算与存储资源均是有限的。很显然,为每个用户使命供给专用的光通路既不经济也不实际。因而,光通讯系统需求支撑不同类型、多粒度、突发性带宽需求,具有按需分配带宽的才干;供给组播和播送才干;一起,系统为满意运用需求,还需求为用户或运用供给自安排、自办理和自操控散布式网络资源的才干,支撑灵敏、快速的通道树立。
其次,网格运用不同于通讯网络上的点到点通讯事务,它具有散布式、多使命流的作业特色,多个使命能够分配至不同的核算资源上并行运转,不同的使命分配办法会导致不同的光网络资源分配办法。即便核算资源分配方案是确认的,因为光通道源、宿节点对之间能够有不同的路由挑选,因而光网络资源将有不同的调度方案。而不同的使命分配办法又会导致不同的使命完结时刻。因而,要在给定的约束条件下高效地完结一个给定的事务,系统有必要支撑大规模的散布式并行网络服务,有必要合理地描绘各事务流程之间的彼此关系,并经过一种全新的办法来协同调度核算资源及光网络资源,否则将直接导致系统运转功率及资源运用率的下降。
再者,现在网格核算在完结资源发现、使命调度的过程中,一般不考虑网络资源的约束及可用性,而且短少从网络中获取可用的网络资源信息的发现机制。而在实践运用中,网络资源是一个影响系统功率和运用成效的重要要素。因而,有必要寻觅一种新的资源描绘、资源发现及资源更新机制,以完结对核算资源和网络资源的统一办理和合理运用。
最终,网格运用的多事务流、大数据量特性要求通讯网络具有更高的安全性及数据正确性确保。尽管网格具有必定的容错机制,网络也具有必定的维护/恢复才干,可是怎么依据用户的QoS需求,经过光网络和网格的协同操作来完结更高等级的系统容错,以确保网络的安全性及网格用户与通讯网络接口的安全性,也是需求处理的问题。
针对上述关键问题,国内外研讨安排及相关学者就光子网格及其运用要点从以下几个方面展开了研讨。
·光子网格系统结构及完结技能:要点研讨制作光子网格的技能、光子网格的根本组成与功用、光子网格各组成部分的彼此关系、各部分集成的办法或办法以及它们与网格运用之间的彼此关系。
·操控与办理协议:要点研讨光子网格的操控及办理机制,包含用户网络接口、核算资源调用及操控机制、光网络突发带宽的动态调用及调整、信令和路由协议、域间和层间操控协议、光子网格中间件的接口技能及完结办法等。
·光子网格资源发现及调度机制:要点研讨光子网格环境下网格信息资源和光网络资源的描绘、注册、发布、更新、服务布置、资源发现和资源调度机制,并在此根底上研讨不同作业形式下网格信息资源与光网络资源的协同优化调度机制、完结算法及功用指标剖析。
·光子网格容错及安全拜访机制:要点研讨光子网格权限办理机制、用户身份认证技能以及跨域调度的安全和权限办理技能,研讨在光子网格发生光纤链路中止、设备节点毛病、服务器宕机或服务程序中止情况下,怎么树立不同等级的容错战略,在确保数据传输的准确性和及时性的一起,运用户发觉不到系统毛病,以满意不同用户的QoS要求。
·事务模型及运用试验:要点研讨多种网格运用模型下事务类型的分类和收拾办法,对不同类型事务,依据用户的QoS要求,制定不同的事务等级机制,给出不同类型、不同等级下事务作业流的描绘办法,并供给一种辅佐用户进行流程界说、生成描绘文件的可视化东西,在此根底上针对高功用核算及可视化、大规模协同规划、实时数据传输等典型运用,讨论多事务运用形式下光子网格的完结技能、运用流程和展开远景。
由此可见,构建一个新式的网络架构,集成网络、网格信息资源和服务,完结对终端用户、网络资源和网格信息资源的协同办理,不管在理论研讨或实践运用中都存在许多问题有待进一步讨论。
4光子网格研讨进展
现在,国内外相关安排已在光子网格范畴展开了一系列研讨作业,具有代表性的研讨方案或项目包含:
·美国的OptiPuter项目[4],它经过多个波长来互连核算机集群系统、可视化及协同操作东西,并经过扩展的GMPLS协议及接口完结对光网络的操控;
·由日本和美国协作研讨的G-lambda项目[5],其意图是在网格资源调度器(gridresourcescheduler,GRS)和网络资源办理(network resource management,NRM)系统之间树立一个规范的Web服务接口(GNS-WSI),以确保GRS和NRM之间信息的协同交互,并在此根底上完结动态跨域衔接的树立及相关运用;
·加拿大CA*net4研讨网络的UCLP(usercontrolled lightpath)方案[6],其方针是倡议“用户使能的网络”,旨在为用户供给动态分配网络资源的功用,颁发用户更大的才干改造根据网络的运用;
·欧盟的Phosphorus项目[7],其意图是规划和完结一种新的网络服务平面结构,以供给网格网络服务,完结对网络和非网络(核算、存储)资源的集成办理。
与此一起,国际规范化安排,如互联网工程使命组(IETF)、散布式办理使命组(DMTF)、敞开网格论坛(OGF),就网格核算的网络运用和编程环境、系统结构、数据办理、信息系统和功用、P2P、调度和资源办理以及安全等问题展开了一系列研讨。OGF的网格高功用网络(gridhighperformancenetwork,GHPN)研讨组已提出多个协议草案,如面向网格的光网络根底结构(draft-ggf-ghpn-opticalnets-2)、网格根底结构的联网问题(draft-ggf-ghpn-netissues-4)、传送协议总述(draft-ggf-ghpn-transportsurvey-1)、网格网络服务的用例(draft-ggf-ghpn-netservices-usecases)和网格网络服务(draft-ggf-ghpn-netservices-2)以及网格光突发交流网络(draft-ggf-ghpn-GOBS)等。全球光网格论坛(GLIF)也在近期就光网络操控平面及网格网络接口技能启动了一系列的规范化研讨作业。
此外,一些企业(如HP、IBM、Intel等)也在大力展开光子网格相关技能及运用研讨(如云核算、云存储等),他们在国际各地正在投巨资树立数据中心,这些都对光子网格技能及运用起到了或多或少的推进效果。
我国也对光子网格技能给予了高度重视,国家“863”方案、国家自然科学基金已树立多个项目展开了相关技能的研讨,现在一些重要的研讨技能包含:光网络集成核算环境[8,9]、网格与网络资源协同调度[10,11]、光子网格容错技能等[12]。
现在常见的光子网格系统结构主要有:根据密布波分复用、暗光纤和低本钱光交流机的波长网格;根据光突发交流网络(OBS)的网格;根据主动交流光网络(ASON)的网格。图1所示为典型的根据ASON的光子网格系统结构。
该系统结构结构分红3个层次。第1层为运用层,包含一切运转在光子网格上的散布式运用。第2层为服务层,是该系统结构的实体,包含作业流和网格中间件两个部分。作业流封装多种不同的运用事务并对外发布服务。网格中间件担任向下调度、封装资源,具有资源监控、资源发现、资源调度、容错及安全操控等多种功用。第3层为物理资源层,它分为两个部分:一部分为传统的网格信息资源,包含核算资源、存储资源、显现设备等;另一部分为光子网格特有的资源,包含端口资源、节点资源、链路带宽资源、光路资源等。
其根本作业流程为:首要,服务层经过相关接口获取物理资源层的相关信息;当服务层接收到运用层的用户恳求时,它调用资源办理和调度模块,将核算、存储、显现等使命分配至不同的可用资源上,当需求进行数据传送时,调用光网络的操控平面,动态地树立光通道衔接。经过上述过程,可有效地完结资源的最优化运用并最大极限地满意用户的QoS需求。
5光子网格技能的运用
众所周知,E-science对许多范畴的科研方案和工业展开起着至关重要的效果,例如:地理范畴中的行星流体与磁流体动力学核算;新一代无毒、无污染运载火箭的核算和仿真;飞机规划中数值风洞、载荷疲惫核算;轿车制作中的虚拟制作、整车空气动力学规划;钢铁出产中钢板磕碰功用核算、钢管成型仿真剖析;核反应堆堆芯热工水力剖析、核反应堆维护和操控剖析、核级设备应力剖析与抗震力学剖析等。在这些运用中,坐落不同区域的用户需求同享数据资源、进行大规模协同核算和剖析并完结大数据流的数据交互和传送。
一个典型的光子网格运用实例是欧洲原子能研讨安排CERN展开的高能物理试验,它的方针是处理大型粒子对撞机连绵不断发生的petabyte量级试验数据。这些数据的剖析和处理超出了现在国际上任何一台超级核算机或集群系统的才干,因而,CERN核算机中心担任将这些数据经过高速网络分配给欧洲、北美、日本等国的区域中心,后者再将使命进一步分化到物理学家的桌面上,经过不同区域物理学家的核算和协同剖析来一起完结相关试验。现在,已有坐落国际60多个国家和地区的近万名科学家参加到该试验中,不同区域间选用的是10Gbit/s的光网络通道进行数据交互和传输。
另一个运用比如是实时甚长基线干与测量法(electronic-verylongbaselineinterferometry,e-VLBI)运用。e-VLBI是选用网络将地理望远镜的观测数据实时传送到数据处理中心进行处理的射电干与技能。它在航天器精细盯梢、航天测控、精细时刻比对、深空观测、人造地球卫星、月球探测器、太阳系行星际探测器等范畴均有重要的科学含义和有用价值。鄙人一代e-VLBI系统中,其观测站的射电望远镜的采样速率将到达10 Gbit/s,数据处理中心的数据会聚速率将到达40 Gbit/s,数据需求从坐落偏远地区的观测站经过超长间隔的高速光网络实时传送至数据处理中心进行相关处理。面临上述运用需求,欧洲、美国、日本、韩国、澳大利亚等国的科学家正在展开一系列根据高速光网络的e-VLBI技能研讨,如欧洲EXPRES研讨方案和东亚e-VLBI研讨方案。美国自然科学基金赞助的GRAGON研讨项目也针对e-VLBI运用就光通路动态树立、大文件数据传输等进行了相关研讨及现场试验[13]。
光子网格能够打破E-science运用的网络瓶颈,使得高功用核算广泛运用成为实际,用户和用户之间、用户和高功用核算机之间可便利、实时地完结数据交流和信息互动,这些将加快用户的科研进程,促进相关工业的展开,给科研作业者及高功用核算资源的具有者带来光亮的远景。
光子网格可用来办理散布在各地的宝贵仪器,经过供给长途拜访仪器设备的手法,可前进仪器的运用率,大大便利用户的运用。一起,它还能够用于结构网络化虚拟实际环境,完结对高功用核算结果或数据库的可视化,使散布在各地的运用者能够在相同的虚拟空间协同作业。该环境能够广泛运用于交互式科学可视化、医疗、教育、练习、艺术、文娱、工业规划、信息可视化等许多范畴,如长途医疗、长途教学、虚拟历史博物馆、协同学习环境等。
从上述剖析能够看出,光子网格具有宽广的运用远景。光子网格代表着光传送网展开的一个方向,表现了网络和事务运用交融的一个大趋势。光子网格技能及运用系统研讨将有助于推进网格运用的展开和光网络技能的前进。能够预见,光子网格具有十分重要的理论研讨价值和社会含义,一起有着宽广的商场运用远景,在经济建设和社会展开中将起着极为重要的效果。