1 导言
网格是继万维网之后呈现的一种新式网络核算渠道,它已成为信息技术领域的热门研讨课题。开发网格中,使命办理是网格核算体系与运用主体交互的要害枢纽,是网格研讨根底且中心的环节。可是现有的网格使命办理办法在充沛、合理运用资源,较好地满意网格用户的使命要求,保证使命的服务质量上仍存在许多问题,无法很好处理网格环境中资源的异构性、动态性和自治性,以及使命的多样性和动态性所带来的困难。本文根据网格使命办理的这些特色与问题。提出三组件三行列式的散布式使命调度模型,T2DSM(Triple-component and Triple-queue Distributed Schedule Model),并将经济学中的价格调控机制运用于网格使命的调度战略之中,完结使命的合理调度与资源的科学分配。
2 网格使命调度难点剖析
现在,网格使命调度首要存在以下问题与难点:
(1)任何一个网格调度器只针对必定规模内的网格资源进行办理,无法面向一切网格资源;
(2)网格资源动态改动,资源信息的收集和组织对调度影响很大。
(3)网格中对各种资源的束缚许多,有些对错线性的,要抵达调度方针也许多,比方要求时刻最少、价值最小、资源运用率最高级,有些方针会存在彼此对立之处,关于这种多方针多束缚的问题找到满意一切束缚和方针的大局最优解是很困难的。
(4)由于其他运用引起的资源竞赛对功用影响很大,并且呈现频率较高。网格资源的杂乱多样。不同类型的资源展现不同功用特性,并且相同类型的资源由于同享等原因所展现的功用也随时刻改动。网格的调度需求树立随时刻改动的功用猜测模型,充沛运用网格的动态信息,表明网格功用的动摇。
(5)网格的调度有必要考虑到资源的多种办理特点以及调用资源所规划的商业买卖等要素。后者是指网格的调度还有必要考虑到怎么和谐网格用户和详细资源提供者之间的利益,即怎么运用户所需求付出的开支最小且使资源提供者取得效益更大。
3 网格使命调度模型规划
T2DSM运用场景描绘如下:每个站点包含许多节点,且每个节点都有必定量的存储器。有些运用程序需求拜访许多数据(数据密集型),且可能是可并行的。必定量的数据首要被输入到核算网格中的节点,用户使命也提交到该节点。核算网格是由各种不同类型的被连接到局域网和/或广域网的节点组成。运用程序在本地具有必要的数据后才干开端被履行。当用户恳求履行程序时,调度器被启用。图1为T2DSM模型结构图,描绘整个T2DSM以及调度器内首要组件和调度器间的相互效果。
这儿调度器分为两级,尖端是大局调度器GS(Clobal Scheduler),下级是局域调度器Ls(Local Scheduler)。与广域网某段相对应的GS担任被提交的使命应被送到详细的局域调度器。相反LS担任本地局域网的使命调度。整个调度模型选用一种根据非直接全互连通讯办法的非集中式结构一散布式结构。每个LS仅在其地点局域网中查找资源信息,相似地。每个GS仅在其所担任的社区中处理资源信息。在相邻GS节点间直接交流信息,非街坊GS依托街坊GS直接通讯。假设使命没有被调度,调度器将会检索资源、程序和用户信息,然后激活其相应组件协同做出使命履行调度和数据仿制的决议。每个调度器都有三个组件和三个行列,其功用和联系描绘如下:
(1)使命调度组件TSC运用特定算法,使命调度组件TSC(Task Scheduling Component)在有关资源和使命信息的根底上做出调度决议计划,若有必要,将一些有关数据传输的指令音讯传送给数据传输组件DTC(Data Fransferring Compo-nent)。TSC坚持活动情况且会对提交使命行列ATQ(Arrived Task Queue)中的一切人物拟定调度战略,然后将已被调度的使命放进已调度使命行列STQ(Scheduled Task Queue)和指示其使命在被挑选的资源上履行。假设局域调度器的。TSC不能给出“最好的”调度,它就会把该使命交付给相关大局调度器的ATO并选用相似办法调度此使命,仅仅不能完结其调度,它就会把该使命恳求传送给相邻大局调度器的TSC,并且这些TSC会选用相似的办法持续下去直到完结使命调度。
(2)数据传输组件DTC能够追寻每一个数据集的本地有用散布情况,假设条件满意,它就会为使命仿制或许移动相应的数据集。
(3)价格反响组件PFC根据完结使命的履行信息调整完结该使命所对应的各个资源节点价格参数信息。一起,关于在使命过程中没能履行职责的资源节点进行相应赏罚,令其补偿完结该使命的价格亏本。
(4)提交使命行列 ATQ和已调度使命行列STQ及其使命反响行列TFQ(Task Feedback Queue)。ATQ存储被传送到本地调度器的一切未调度使命。当一个使命恳求抵达时,该使命就会存入ATQ,而当一个使命被调度时它就会从ATQ取出,一旦调度成功将从此行列中移走。STQ存储那些被本调度器所成功调度的使命,而当这些使命履行完结时,将使命转交到TFQ,对使命完结质量进行点评反响,然后移出行列。
4 根据价格反响机制的调度战略
在提交使命行列ATQ中,改动传统的先来先服务(FCFS)和短作业优先(SJFS)的调度思维,在使命进入提交行列时,对使命的履行时刻进行预算,详细完结为:
式中,k为使命需求资源的数量;mi为该资源的使命需求量;fi为需求资源量级权重,是由资源的需求量的规模等级决议;vi为该资源的均匀履行速率。
在得到使命的预算时刻后,根据使命描绘的时刻要求,进行差值运算,所得到的剩余时刻作为调度使命的根据。每次选取提交行列中剩余时刻最少的使命进行调度。
在TSC的调度战略中引进经济学的价格凋控机制,在使命调度时,挑选可满意使命的价格最低资源进行调度。在使命的调度过程中,首要有两个要害要素:一个是有用资源,其界说为:关于各个资源节点,根据使命描绘,过滤该节点的一切闲暇资源,但凡契合使命需求的资源称为有用资源;二是价格拟定。价格的构成取决于许多要素,关于一个使命来说,其定价公式:
式中,A是资源的价格因子;M是资源的根本因子;η1、η2、η3、η4分别是使命完结好、中、差及未完结的质量因子;n、m、k、l是与质量因子对应的次数:α是资源的服务等级;P是当时资源的调度价格;ω是资源联合作业办法系数,β是联合作业资源节点的数量;t为该资源节点的网络传输情况权重。
根据这两个要害要素,TSC在每次使命调度时,首要对各个资源节点的资源进行挑选,获取具有有用资源的资源节点信息,然后根据各个资源节点的资源价格参数、服务质量参数及其当时各节点的网络情况等参数拟定使命调度价格,然后选取价格最小的资源分配计划进行使命调度。假设没有任何一个资源节点能够满意使命中单一资源需求,则先获取每个资源节点该资源的单位价格,然后依照由低到高的次序,将使命发放到各个资源节点直到彻底满意需求停止。
经过TSC调度过的使命从ATQ中移出投放到STQ行列中去。此刻,DTC根据各个使命的调度组织,将相应的数据集的副本传输到相应的资源节点。使命在各个资源节点履行时,假设产生反常,并在规则的时刻内无法持续履行,则中止使命,向该使命的使命调度节点发送过错报告。该使命调度节点根据过错报告,首要从头调度STQ行列中的中止使命,此刻该使命的调度优先级大于ATQ中任何使命的优先级。成功调度后,在STQ行列中康复该使命的履行,一起在TFO行列中参加中止使命信息及其相应中止过错信息。若使命成功完结,则将STQ行列中的对应使命移出,一起将使命及其相关完结情况信息参加到TFQ行列中。
TFQ行列即使命反响行列,首要记载各个已完结使命的反响信息。PFC根据这些信息,调整各个节点的价格参数,其首要功用是将完结质量好、履行功率高的资源节点的价格参数下降,使其更简单被调度;提高完结质量低、履行功率低的资源节点的价格参数,使其难以调度;在履行使命时,由于本身反常产生过错而中止使命履行的资源节点。不只大幅度提高其价格参数,还要对其在该使命履行中形成价格亏本进行赏罚处理。价格反响机制尽管改动资源节点的价格参数,但它对使命调度的选取没有肯定决议效果,由于在调度过程中,资源的选取不只与各个资源节点的一系列价格参数有关,还与网络情况、资源闲暇率以及是否是有用资源等要素有关。关于由联合参数决议的价格,它不只反映当时时刻段内各个资源节点的服务质量(QoS),并且反映各个资源节点间的负载均衡及其网络传输效应。这样服务质量欠好,价格参数高的资源节点也会伴跟着网格环境中使命的数量添加而从头被调度,然后经过使命履行,改动本身的价格参数。因而,各个资源节点同类资源的价格参数不尽相同,也是动态改动,它总是跟着使命的履行而不断改动,是资源站点服务近期服务质量的标志。
在该调度模型中,资源的选取所根据的价格并不等同于网格服务计费中的实践价格。它仅仅一种服务质量与负载平衡反响的测度。经过价格的调控,使需调度的使命总是选取当时归纳功用最合理的资源节点,而不是单一的功用最好或是资源闲暇率最大的节点。
5 结束语
T2DSM网格调度模型的规划以及根据价格反响机制的调度战略,是将网格使命调度时的各个要素经过经济学中的价格机制来反响,经过不一起刻下各个资源节点的价格的动态改动以及使命完结后资源的价格反响调整,完结使命与资源的实时、科学合理匹配,契合网格环境下资源运用的负载平衡及用户对使命的服务质量需求。