根据高带宽的PXI Express渠道，完成高速数据记载

Test Systems for High Speed Data Streaming Applications
凌华科技（我国）有限公司

摘要
如今的电子体系需求负荷越来越很多的数据，包括模仿及数字数据。因而关于研究者与体系开发商来说，其最大的应战便是怎么整合、测验与保护更高速且精准的测验体系来处理日益添加的数据量。关于某些运用类型，例如视频信号剖析，其需求是怎么接二连三搜集高速模仿与数字信息以进行实时剖析。因而在规划或选用这类型量测体系时，若能清楚了解数据流向以及或许的问题所在，就能削减开发本钱，加快上市时刻，也能防止贵重的体系从头规划本钱。

频谱监控、信号剖析、光达信号搜集、光纤测验、雷达及卫星信号搜集等运用，归于典型高速及高精确度数据搜集运用。这些运用对工程师们最大的应战便是要怎么满意高带宽的体系需求。本文将共享以PXI Express渠道在建构高带宽体系时所需求考虑的细节，例如数字化仪或波型发生器的板载内存、PXI Express机箱内的PCIe信号架构、核算机操作体系、内存及贮存设备的挑选。

简介
传统桌面型仪器的数据传输接口为GPIB、RS-232或是LAN，这些接口的优点在于十分简略操作运用，但在传输很大都据时其功率并不抱负。当要搜集很多接连数据时，数据长度就会因为内部存储器巨细而受限。现在市面上新款的高档仪器，例如示波器、波型发生器或逻辑剖析仪，选用x86的架构，因而在高速、很大都据搜集的长度上则基本上没有约束。但若要跨仪器同步到达多通道搜集时，便是个困难且杂乱的课题。

自从1998年第一版的PXI规范面世后，PXI渠道与其模块现已被很多运用于军工、电子制作及科学研究运用中。第一版的PXI规范选用了PCI总线的高速传输特性，而后续的PXI规范更选用了PCI Express总线，承继了其低推迟(Low Latency)、高带宽及点对点传输的特性，别的再加上特有的触发与时序同步的接口，使得PXI渠道与PXI模块特别适宜运用于高速数据传输。

当以PXI渠道规划适用于高速数据记载的体系，不管是将数据接连由模块化仪器传送至体系内存或存储设备，或许相反的数据流向，都能够运用PXI Express的高速总线、点对点传输的特性以及特有的触发与时序信号，轻松地完结完成。接下来的文章内容将进一步评论，在规划、完成数据记载体系的过程中，需求考虑的几个关键与方向。

数据记载体系的架构及其考量要素
下图一简略的暗示了一组PXI Express渠道中数据的流向，组成的组件包括了PXI Express机箱、PXI Express控制器及模块化仪器，包括数字化仪及波形发生器。以高速数字化仪为例，模仿信号被ADC搜集转化成数字量数据后，会搬移到板载内存上暂存，接下来再经由总线控制器及PCI Express接口，传送到PXI Express控制器的体系内存上，做后续的核算及处理。若数据的流向目的地是存储设备，则会在未经任何处理核算的情况下，被直接搬移到存储设备，以保持高速、接二连三的数据记载。在PXI Express背板上，选用了PCIe switch使得体系得以扩展出更多槽位。因为不同的PXI Express机箱有不同的槽位型态，因而每个PCIe switch的绕线方法都不同，从而影响到数据传输功率。如模块化仪器－波形发生器，其数据流则以相反方向运转。

图一、PXI Express渠道与模块化仪器全体架构简化图，显现PXI Express体系的数据记载传输的方向

接下来咱们会评论数据记载体系的每个环节及关于数据带宽的影响。

模块化仪器的板载内存
大约十多年前，高速的PCI数字化仪都需求装备很多的板载内存以暂存来自高速ADC的数据，首要原因是其时的PCI总线仅能供给约132MB/s的数据带宽(大都体系仅能到达约80MB/s)。PCI总线的带宽，无法满意于8位1GS/s或14位200MS/s的数字化仪所需求的数据带宽。为了要添加记载或搜集时刻，512MB、1GB或乃至4GB的板载内存就会被运用于数字化仪之上。现在尽管高速PCIe总线接口可供给数倍于PCI总线的带宽，但数字化仪一般仍是会装备有很多的板载内存深度(大于100MB)，用于当作数据暂存，以防止CPU或DMA控制器过于繁忙而无法实时传输数据。举例来说，一个单通道8位500MS/s的数字化仪，在彻底不将数据传回体系内存情况下，能够记载高达1秒的时刻，若装备有2GB内存则可记载高达4秒。

在挑选数字化仪时，别的一个需求留意的便是其板载内存控制器的数据处理带宽。作为ADC与体系内存之间的桥梁，内存控制器需求有两倍的数据传输量，以能一起敷衍来自ADC的数据流入，以及将数据经过PCIe总线传送至体系内存。若存储设备控制器的带宽小于两倍数据流量，则数据会被暂存在板载内存上，持久下来就会形成数据溢出，而使数据接连性受损。

图二、数字化仪内的数据流

模块化仪器的总线接口
PCI总线供给132MB/s (32位、33MHz)传输速率，针对低速(小于80MB/s)且贱价的数据记载运用来说，PCI接口仍可满意，不过需求留意的是，PCI是并行的总线接口，若有多个设备置于同一总线时，带宽则会被共享。差异于PCI总线，PCI Express接口具有点对点的特性，每个link在每个方向上可供给高达250MB/s传输速率。若要添加带宽，最简略的方法便是将多个link结合起来，成为x4、x8乃至x16通道。而2003年推出的PCIe 1.0a规范、2007年推出的PCIe 2.0规范，PCI-SIG在2010年11月再度提出PCIe 3.0规范，继续推动更新的编码方法及强化的信号完整性以大幅度提高其传输速率，因而关于需求高速数据记载的运用来说，选用PCIe接口的模块化仪器是一大利器。清楚明了，选用PCI Express为模块化仪器的总线接口能够得到优化的体系功率。

PXI Express机箱内PCIe总线的绕线架构
在PXI Express机箱的体系槽中，为了让外围槽的扩展及规划更有弹性，体系槽衔接到背板上的接口有4-Link及2-Link两种架构。4-Link架构中每个link具有有4个通道，而2-Link架构中则答应其间一个link有8个通道，而别的一个link则可有高达16通道。为了要到达最高的传输速率，在PXI Express机箱内的PCI Express总线的走线方法、架构也是需求考虑的要点。以凌华科技PXES-2780机箱为例，这是一款具有18个槽位的机箱，含1个体系槽位、1个体系时序槽位(System Timing slot)、6个PXIe外围槽位(PXIe Peripheral Slot)及10个混合式槽位(Hybrid Slot)。当该机箱的体系槽位规划成4-Link接口时，能够供给每个槽位相对高速及平衡的传输速率。因为此机箱内的PCI Express接口为PCIe Gen2， 因而对整个体系来说能够供给高达8GB/s的体系带宽，独自关于第8与12槽这种具有x8接口来说，能够具有4GB/s的带宽，而其他单个的PXI Express外围槽来说，则可具有2GB/s的带宽。该机箱的4-Link规划暗示图如下:

图三、装备为4-Link的凌华科技PXES-2780机箱暗示图

若将PXI Express体系槽位设置成2-Link x8， 则可得到更高的传输带宽。凌华科技的PXES-2780机箱，其体系槽位可经过软件设置成2-Link x8接口，其架构如下图4。运用该架构，槽位8与槽位12能够供给x8的带宽。

图四、规划成2-Link的凌华科技 PXES-2780机箱暗示图

运用者若能了解PXI Express机箱的规划架构，将能使模块化仪器在传输很大都据上取得更佳的传输功能。

体系内存与操作体系(OS)
在PXI Express体系控制器上，若能配有大容量的体系内存，则可延伸数据记载的时刻。但是调配不同的操作体系(Operating System)或许会有不同的内存上限。例如关于32位的操作体系，其内存寻址空间一般不能超过4GB，而关于64位操作体系而言，一般可达512GB或许1TB的内存寻址。因而运用者需依据自身的需求来挑选适宜的操作体系，以支撑所需的内存空间。

存储设备
要能安稳的履行大数据的读写作业，挑选适宜的存储设备极为重要。硬盘(HDD)是一种具有特别的机械设备，内含有高速旋转的磁盘以及具有磁性的读写头，来回于磁盘表面上，用以读取磁盘内所存储的数据单元。由此可知，读或写的速度将会受限于读写头的移动速度。为了添加读写的速度，几个硬盘一般会被组合起来成为一个虚拟的硬盘，这也是咱们所熟知的RAID(Redundant Array of Independent Disks)，即磁盘阵列。别的最近越来越盛行的固态磁盘则因为没有读写头的机械移动问题，因而能供给较硬盘更好的读写功率。若考虑到最佳的读写功能的话，固态磁盘将会是最佳的挑选。

运用示例一、数据记载至体系内存
资料结构测验的高速数据记载

计划需求
某体系集成商想要开发一套多通道资料轰动监控设备，并能够完成从不同的传感器一起进行1MS/s~50MS/s采样率的数据搜集，一起将搜集进来的数据记载到体系内存中，以直接进行后续的处理，而不需求将数据记载到磁盘上做存储。别的该体系集成商期望每个搜集通道能够记载至少5~10秒的时刻。接下来咱们会针对这些运用条件进行评价，并评论运用PXI Express渠道完成这类型运用时，不同的采样率在规划上会遇到的瓶颈有哪些。

评价
下面是咱们用来评价这个高速数据记载体系会运用到的组件:

• PXI Express机箱: 凌华科技PXES-2780，18槽PXI Express机箱
• 数字化仪: 凌华科技PXIe-9848，高速8通道100 MS/s 14位PXI Express数字化仪

首要咱们先考虑PXI Express机箱中只要单一数字化仪的情况。下表是单一数字化仪在不同采样率下，以不同搜集时刻所需求的内存评价表。

当只要一张PXIe-9848时，以100MS/s进行8通道的采样时，总数据带宽为1.6GB/s。但是PXIe-9848其接口为PCIe x4且为Gen 1，因而若要进行接二连三的数据记载时，其发生的数据量最好能低于1GB/s。若将采样率下降至50MS/s，则PXIe-9848能发生800MB/s数据量。因为PXES-2780机箱选用PCIe Gen2规范，因而能够负荷800MB/s的数据量。若要以50MS/s采样率进行10秒长度的采样，则进一步的约束会落在体系内存巨细上，以此情况下，需求8GB体系内存。若体系内存无法分配出高达8GB的体系内存供数字化仪运用，则有必要减缩采样时刻的长度。

接下来，咱们再来考虑多张卡片设备于同一体系的情况。若想要到达最多采样通道，那么最多则能够把17张PXIe-9848数字化仪，设备于机箱内，那么此刻除了考虑PXI Express控制器的体系带宽外，还要把PXI Express背板上的PCIe衔接装备也考虑进去。

咱们调查PXES-2780机箱的衔接装备，如图四所示，它上面的PCIe switch#1上游有两个x4的衔接通道，下流有三个x4衔接通道，因而以均匀来说，每个下流通道可从上游通道分得约1.33GB/s的带宽(4GB/s ÷ 3 ports)。PCIe switch#2也可用相同的核算方法来换算其下流带宽。至于PCIe switch#3与#4的下流通道约可别离分得222MB/s (1.33GB ÷ 6 ports)及190MB/s (1.33GB/s ÷ 7 ports)的带宽。若每个数字化仪都运用相同的采样率，则带宽瓶颈会出现在坐落第10、13~18插槽的数字化仪上。

图五、装备成PCIe x4 link的机箱带宽预估暗示图

若咱们依据第10、13~18槽的带宽约束，来核算不同采样时刻长度所需的体系内存，其成果如下表:

由上表评价成果可知，若以5MS/s采样率进行5秒钟接连采样，17张数字化仪共需体系内存达6.8GB巨细。若采样率达10MS/s，则记载时刻会减缩至2秒(需5.44GB内存)，若仍需求加长记载时刻，则数字化仪上的板载内存将可延成某个程度的记载时刻。

运用示例二、数据记载至磁盘
激光监控中高速光二极管的信号搜集

计划需求
客户的运用是有关激光信号监控，需求搜集光二极管的信号且需为便携式的规划。只需求搜集一个通道，但采样率需高达200MS/s。

解决计划
因为客户需求高达200MS/s的单通道采样率，因而以凌华PXIe-9842及便携式的PXI Express机箱PXES-2590为运用组合，以此供给高达400MB/s的数据记载速率。因为需求将数据记载至磁盘，而PXI Express控制器上的磁盘设备一般很难供给高达400MB/s的带宽，即便运用SSD也很难，因而运用外部的RAID存储设备来进行数据存取。咱们运用的RAID模块是PXI Express接口且具有4个SATA III界面的SSD。

• PXI Express体系控制器: 凌华科技PXIe-3975，3U Intel® CoreTM i5-520E 2.4GHz 双核 PXI Express体系控制器
• PXI Express机箱: 凌华科技PXES-2590，9槽全混和式PXI Express机箱
• 数字化仪: 凌华科技PXIe-9842，14位200 MS/s采样率的PXI Express数字化仪
• RAID存储设备: Conduant DM-425

定论
要以PXI Express渠道来完成数据记载的运用，需求考虑的不只是模块化仪器自身的条件，更要考虑到PXI Express渠道的数据传输带宽。经过本文中所讨论的规划上的细节及运用典范，用户将能有用构建更高功能的丈量测验渠道、大幅提高开发功率。