您的位置 首页 观点

根据FPGA的实时金融指数行情并行计算

本项目的研究成果除股票交易的并行加速模型与系统设计外,还包括对股票交易系统其它业务处理的硬件加速论证方案,根据计算任务特点不同,给出合理的硬件加速平台建设方案,股票指数实时更新只是其中的一个应用场景。

一、立项依据

(1)面对的问题与应战

我国金融市场现已是全球最大的金融市场之一,跟着市场规模的不断扩大,金融市场的功用发挥日益显着,服务相关工业和国民经济的才能不断进步。金融是现代经济的中心,金融现代化、市场化和国际化程度不断进步,与社会主义市场经济体系相适应的金融体系开始树立,并在优化资源装备、支撑经济改革、促进经济持续开展和保护社会经济稳定方面发挥了重要作用。

金融买卖体系(例如股票买卖体系)具有买卖时刻相对会集、买卖指令和数据密布的特色,对买卖体系处理速度具有很高的要求。近年来,资本市场的快速开展和算法买卖技能(尤其是高频买卖)在全世界规模内的运用,使得买卖地点低买卖延时范畴面对着巨大的技能应战。

买卖所关于买卖体系延时丈量监控需求也越来越火急,一起关于大规模数据密布型核算的实时性要求也越来越高。关于买卖体系及环节的高精度延时丈量,到达近实时的剖析功用根本能够准确快速的监测股票买卖体系功用和状况,但关于大规模实时买卖数据剖析,则需求到达更快的处理速度,实时性要求更高,直接联系到买卖体系的服务质量(QoS)。传统的软件技能或以软件为中心的软硬件加快技能难以满意微秒级实时剖析和实时呼应的要求,选用FPGA专用硬件结构完结大规模数据密布型核算的并行加快称为进步买卖体系服务质量的火急需求。

金融买卖所通过加快运用软件来取得市场竞争优势.对金融运用软件加快,金融买卖所能够比竞争对手更快更好地完结买卖,更少犯错,大幅度进步收益.要进步功用首要得进步处理才能,全面进步功用 要求处理才能至少进步一个数量级。我国股票买卖体系的现状,本项目将环绕股票买卖的规矩和办法,以上证50指数的数据剖析为典型运用场景,通过专用硬件渠道完结大规模实时并行数据处理,依据特定核算模型完结快速进行股票信息承受、数据处理、指数核算、行情更新等功用。拟选用FPGA为中心器材,研讨买卖数据的并行调度战略和核算模型,将相应速度进步3-4个数量级,并给出FPGA随股票数据数量、核算模型复杂度进步的并行加快功用剖析。

(2)与体系建造长时刻规划的联系

本项意图研讨成果除股票买卖的并行加快模型与体系规划外,还包含对股票买卖体系其它事务处理的硬件加快证明计划,依据核算使命特色不同,给出合理的硬件加快渠道建造计划,股票指数实时更新仅仅其间的一个运用场景。

本项研讨成果能够集成或独立运用与股票买卖事务运用,具有理论研讨价值和实践运用推行价值,一起将为股票买卖所下一代买卖体系中心促成引擎在硬件并行加快方面的技能革新奠定根底。

二、国内外研讨现状

在网络以及网络数据包处理相关问题上,链路带宽的剧增给高速网络数据包处理带来了极大的应战。传统的纯软件网络数据包处理在功用上已不能满意需求。当时网络处理器、多核芯片等针对高功用网络数据包处理供给了硬件加快技能,对大都网络运用供给了高功用完结办法。 在对数据处理时延、 吞吐量、 丢包率等功用目标有更高要求的运用场合,还需求专用的加快硬件。现在依据现场可编程逻辑门阵列(FPGA)的通用高速网络数据包处理硬件加快架构对数据收集通路进行硬件加快,完结了高速链路数据报文的线速收集,通过专用硬件进行数据包转发和流量操控,针对后端多核服务器的并行处理进行优化,完结了操控和剖析平面的高功用处理。该架构在流量收集、高精度时钟同步、高速包分类和流量操控等方面,充沛卸载了服务器的处理负荷,能有用地进步运用体系的功用.

针对金融网络数据处理的技能研讨而言,国外现已预言或完结了许多相关硬件加快和并行核算的FPGA完结,其间Altera公司2008年面向蒙特卡罗算法(QMC)的FPGA加快模型树立,对价格衍生证券的实时准确估量判别做出了很大的促进作用。此外,2009年英国帝国理工学院和英国金融加快处理计划供货商Celoxica协作,提出完结了一种叫“低推迟买卖数据反应核算模型”。针对现在越来越大的买卖市场的改变数据(乃至超越gigabit),他们为出资者供给了网络传输数据剖析的FPGA加快处理计划,运用FGPA的可装备特色,可挑选地完结对买卖数据的紧缩,过滤,挑选。其功用优越,每秒最多处理高达3.5M条信息,处理推迟也操控在微秒量级上。不光激活了出资者的出资热心,一起也极大促进了金融市场流动性。

  1. FPGA的特色与运用

FPGA是20世纪80年代中期呈现的一种新式的现场可编程逻辑器材,用户能够自己编写程序装备FPGA,然后完结预订的逻辑功用。因为FPGA具有大规模数据并行处理才能、开发周期短、可靠性高和现场可装备等特色,所以在短短的几十年里,现场可编程逻辑嵌入式体系规划技能现已成为信息工业最抢手的技能之一,运用规模广泛金融、航空航天、医疗、网络通讯、安防、轿车电子、工业等多个抢手范畴。在特定范畴与传统PC机比较,FPGA能够将处理速度进步几个数量级。

如图1所示,FPGA首要由逻辑操控块(CLB)、输入输出操控块(IOB)和内部连线三大部分组成,一起芯片内部集成块状存储器(BlockRAM)以及数字信号处理单元DSP以满意高速数据处理运用环境的需求。

图1 FPGA内部原理图

三、项目内容与研讨方针

3.1研讨内容

  1. 实时金融指数行情核算模型与并行调度战略

研讨实时金融指数(本计划书以股票ETF50为例)股票推导的核算模型与核算办法,依据数据核算类型的特色规划专用硬件处理单元的结构模型;

研讨有限核算资源条件下的行情数据缓存与并行调度战略,研讨硬件核算资源区分与同享技能;

研讨通明数据接口技能,包含输入端旁路高速数据获取技能与完结办法以及输出端的运用接口技能。

  1. 依据FPGA的并行加快技能

研讨依据FPGA的硬件千兆以太网数据获取技能,完结彻底硬件的TCP/IP协议栈解析和数据包过滤;

研讨行情驱动的大规模专用套利数据处理单元结构、数据缓存与并行分发机制以及数据流水调度算法。

研讨面向同构核算单元(同种核算模型)和异构核算单元(异种推导模型)协同的FPGA资源区分技能,对资源进行优化装备,在有限核算资源条件下取得最高的并行加快性价比。

实时金融指数行情的可装备与可扩展技能,充沛考虑FPGA专用逻辑特色供给核算模型的装备与合约推导的扩展计划。

研讨实时金融指数行情数据的高速分发及运用接口技能,选用高速传输总线结构完结实时金融指数行情数据的提取和办理。

3.2研讨方针

(1)完结实时金融指数的大规模硬件并行加快,将数据处理的功用进步3-4个数量级。给出数据获取、数据剖析、数据发布的总时刻开支的最大加快比以及资源扩展性价比剖析。

(2)完结依据FPGA的千兆以太网数据获取与硬件协议栈解析,打破软件协议栈解析的功用瓶颈;规划并完结行情驱动的硬件数据缓存、数据分发、并行调度与办理;完结依据FPGA的异构与同构核算单元相结合的大规模数据并行处理,完结多粒度流水操控和资源复用。

(3)提出加快渠道集成办法,规划集成渠道的芯片级与板级的动态扩展结构;给出FPGA并行处理功用随核算模型复杂度、股票信息数量、数据传输速率改变的评测剖析陈述,以及股票买卖体系事务类型的硬件加快适应性剖析陈述。

四、施行计划与技能道路

本项目施行首要别离选用FPGA规划实时金融指数行情的并行处理结构,并通过测验数据和简化核算模型验证体系的可用性,比照剖析硬件并行的加快比并给出随输入条件改变的功用进步剖析,然后规划依据FPGA加快渠道的体系结构和中心调度战略。

本项意图首要方针是下降“实时金融指数行情”的核算和传输推迟,到达实时的目标数据剖析,因而功用点评是对数据获取时刻Tg、数据处理时刻Ta、数据发布时刻Ts的总时刻Tt的点评公式(1)所示:

(1)

其间,依据FPGA的规划计划除选用并行结构下降Ta,还完结硬件的协议栈解析,然后大大下降Tg,一起也选用硬核办法下降Ts的推迟;而FPGA在内存交流的优势将有用下降Ts

4.1依据FPGA的并行加快技能计划

(1)依据FPGA的并行加快整体结构

图3-1为体系结构图,首要由数据接纳模块、股票信息并行处理模块、数据发送模块组成。数据接纳模块首要担任协议包的跨层解析以及包过滤。股票信息并行处理模块是整个体系的算法中心,选用高速并行办法剖析股票信息,核算相关指数,并通过数据发送模块快速发布。在股票信息并行处理模块中,算法定向单元担任调度基层的异构逻辑块,异构逻辑块通过同构逻辑晶格完结最根底的数据核算。在股票信息并行处理模块中,将一切的数据存储于FPGA内部的分布式RAM中,打破了IO传输的瓶颈。

图7 FPGA核算体系结构图

关于数据核算,每一种股票指数都有自己的指数核算的办法(本计划书以上证50指数为例):

上证 50 指数选用派许加权办法,依照样本股的调整股本数为权数进行加权核算。计

算公式为:

Ip = Pa / base * 1000 (1)

Ip:陈述期指数 Pa:陈述期成份股的调整市值 base:基 期

其间,Pa = Σ(Pi× St) (2)

Pi:市价 St:调整股数。

调整股本数选用分级靠档的办法对成份股股本进行调整。

上证50 指数的分级靠档方

法如下表所示。

流转份额(%) ≤10 (10,20] (20,30] (30,40] (40,50] (50,60] (60,70] (70,80] >80

加权份额(%) 流转份额 20 30 40 50 60 70 80 100

将上面核算办法进行笼统能够得到:

(2)

其间xn为从股票信息中笼统出的向量,即为Pa。为多项式系数,将表明为如公式(3)所示的向量办法:

(3)

关于向量以及 (),界说假如其间,则同构算法,不然异构算法。对一切的异构算法进行等价类区分得到m个调集。如图2所示,在用FPGA完结时,对m个异构算法选用并行完结办法。关于同构算法,在各异构结构中完结多个同构的核算晶格来进步同构算法的并行处理才能。若用[Tm]表明调集Tm中元素的数量,用表明各异构结构中同构结构的完结数量,用表明每一种同构核算晶格核算一次的时刻,用ta表明分配k个核算序列所耗费的时刻,那么整个核算进程所需时刻tlogic如公式(4)所示:

(4)

2)可装备性与可扩展性规划

为了便于用户自界说核算规矩和事务扩展,从规划架构上选用读入装备文件的办法并且供给扩展空间,完结装备性和扩展性。

可装备性:为用户规划图形化的装备界面软件,当软件承受用户核算恳求后会主动生成相应的装备文件,来装备FPGA中的装备寄存器,完结不同要求不同需求、不同用处的运算。

可扩展性:在体系规划中,预留新合约扩展空间,以哈希表等数据结构存储运算。运算进程中,行情数据包到来时,FPGA会通过哈希函数查找哈希表,确认数据的有用性和核算规矩,进行逻辑判别进行挑选。

(3)依据FPGA的硬件以太网协议跨层解析

在数据剖析获取进程中,以太网的协议解析占有了很大的时刻份额。假如选用一般的软件解包办法,时刻一般推迟包含每一网络层的解包时刻和中心数据的传输时刻,时刻推迟可达毫秒级乃至更高。考虑到下降整个体系的数据传输推迟,从而进步处理功用,提出以下两种处理计划。

1)运用FPGA集成的可装备IP核。FPGA的IP核依据硬件原理完结,在数据传输推迟和网络数据解包才能上都大大优于传统的软件处理进程,并且极大缩短了开发周期,其可靠性,可装备性,通用性都适当超卓。适合在项意图中前期作为数据输入的模仿测验。可是详细面向此项目IP核也会有本身的冗余,在MAC层不能进行自界说的协议解析,总的推迟大约在几十微秒至几百微秒。

2)针对本运用规划依据跨层解析的以太网数据剖析模型。因为套利核算的数据源的包格局固定,封装简略,并且归于旁路数据,彻底能够自行规划针对本运用的专用数据解析功用部分,计划优势和立异点在于在MAC层跨层解析数据以及包过滤,数据接纳与解析时刻重叠。选用状况机逐层进行包过滤,在有限机器周期内便可取得需求核算的数据,时刻推迟可操控在微秒级。

依据FPGA的硬件以太网协议跨层解析能够下降传统软件协议栈的数据包处理固有推迟(或许占有整个推迟的80%以上开支),大大进步数据获取和预处理功率。

(4)高速运用接口规划计划

板级数据输出选用PCI-Express接口,PCI-Express接口具有扩展性强、低成本、低推迟、高速率等明显长处。单根链路速率为2.5Gb/s,为了处理本体系的IO瓶颈,在体系输出端拟选用8根链路与PC机通讯。那么理论上速度可到达20Gb/s,能够满意体系的速度要求,一起也能够满意体系升级后的速率要求。PCI-Express与PC机衔接办法由图8所示,可见PCI-Express的扩展性极强。

图8 PCI-Express拓扑图

在本体系中首要选用单点的PCI-Express Endpoint与PC机通讯,PCI-Express Endpoint功用结构与接口如图9所示,数据首要顺次通过Transaction Layer、Data Link LayerPhysical Layer三层传输到另一端。用户能够通过Configuration Interface对PCI-Express进行装备。

图9 PCI-Express

在数据传输密布时,能够装备PCI-Express为突发传输形式,这样,只需通过开始的握手后,便可快速的进行数据传输。如图10所示,在PC机端拟选用乒乓数据缓冲池作为PCI-Express的数据接纳缓冲区,当其间一个缓冲区满时,会发生DMA中止告诉PC机操作体系,PC机即可对数据进行处理。这种乒乓缓冲池能够在打破PC机处理速度与本体系传输速度不一致的IO瓶颈的一起,削减本体系的IO传输推迟等候。

图10 PC端PCI-Express乒乓数据缓冲池

4.2关键技能与立异点

(1)依据FPGA的实时金融指数并行剖析技能

依据FPGA的硬件跨层协议解析与包过滤技能,在接纳缓冲网络数据包的一起完结期货套利信息提取,大大下降软件协议栈数据包解析的固有推迟。

行情驱动的专用异构与同构核算单元的协同核算模型,充沛发掘信息核算的并行性,并具有可扩展性和可装备性。

灵敏高速的套利合约发布运用接口技能,有用确保信息发布的实时性。

声明:本文内容来自网络转载或用户投稿,文章版权归原作者和原出处所有。文中观点,不代表本站立场。若有侵权请联系本站删除(kf@86ic.com)https://www.86ic.net/news/guandian/199370.html

为您推荐

联系我们

联系我们

在线咨询: QQ交谈

邮箱: kf@86ic.com

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

返回顶部