周斌 , 邱志昌
清华大学 精密仪器系, 导航工程中心, 北京 100084

收稿日期：2017-02-16
基金项目：总装备部预研基金项目（9140A09011514JW01123）
作者简介：周斌(1976-), 男, 副研究员。E-mail:zhoub@tsinghua.edu.cn


摘要：该文提出了一种用于微机电（micro electro mechanical system，MEMS）陀螺的PCIe（PCI express）实时测控平台。系统通过对PCIe和现场可编程门阵列（field programmable gate array，FPGA）驱动以及延时环节进行加速优化，实现了陀螺驱动频率闭环和驱动幅度闭环控制，使线振动陀螺工作在谐振频率上且幅值稳定。针对测控系统的实时性和稳定性特性，从硬件和软件两个层面进行了分析。首先在PCIe总线方面，优化了FPGA硬件，对总线传输控制和PCIe IP核接口控制进行了加速处理，将单次读数耗时降至1.8 μs；其次在系统软件方面，完成对底层驱动和算法的精简，减少内核层和用户层之间的数据传输延时，并通过制定高效的数据时序控制方案，实现数据稳定传输，最终将系统的采样频率稳定在100 kHz。
关键词：微机电(MEMS)陀螺PCIe (PCI express)现场可编程门阵列(FPGA)实时性
Design of PCI express real-time measurement and control platforms for MEMS gyroscopes
ZHOU Bin, QIU Zhichang
Engineering Research Center for Navigation Technology, Department of Precision Instrument, Tsinghua University, Beijing 100084, China


Abstract: APCI Express (PCIe) real-time measurement and control platform was developed for micro electro mechanical system(MEMS) gyroscopes. The PCIe, the field programmable gate array (FPGA) driver and the delay link were optimized and accelerated to give closed-loop control of the gyro for both the driving frequency and the driving amplitude. Consequently, the linear vibration gyroscope operates at the resonant frequency and the amplitude is stable. The real-time performance and stability of the measurement and control system are analyzed. The FPGA hardware was optimized for the PCIe bus transmission. The single readout time was reduced to 1.8 μs by accelerating the bus transmission control and the PCIe IP core interface control. The driver was streamlined to reduce the data transmission delay between the kernel layer and the user layer. Efficient data transmission timing control stabilized the data transmission. The gyroscope operating frequency was then stable at 100 kHz.
Key words: micro electro mechanical system (MEMS) gyroscopePCI expressfield programmable gate array (FPGA)real-time
微机电(MEMS)陀螺广泛应用于航空、汽车自动化和消费类电子产品等领域，按照振动结构的不同^[1]，主要分为线振动陀螺和旋转振动陀螺。随着MEMS陀螺成本功耗不断降低、体积重量逐渐减小，对其数字化方案也提出了新的要求如高精度、高采样频率等。为使MEMS陀螺能在高频率下工作，数字化电路就需要具备高采样频率，而目前MEMS陀螺的数字化主要是通过采用嵌入式现场可编程门阵列(FPGA)^[2-4]、数字信号处理器(DSP)^[5]芯片或者它们的组合来实现。清华大学导航中心^[4]曾采用可编程片上系统(SOPC)多核技术，在一片FPGA内分布了多核并行的三轴实时计算系统，获得了48 kHz的工作频率。同样，加州大学MicroSystems实验室^[5]展示了一个基于DSP芯片的通用可编程的信号处理单元，该处理单元可应用于各种类型的MEMS陀螺中。FPGA和DSP方式的陀螺数字化控制电路虽然都能实现较高的采样率，但它们大都是针对特定的MEMS陀螺而设计的数字控制电路，不具备通用性；同时两者的前期准备工作较长，推迟了核心控制算法工作的进度。因此，设计一款实时的、高效的、用户友好的MEMS陀螺数字化测控系统就成为发展的必然需要。而基于PC (personal computer)平台的陀螺数字化控制平台能满足上述要求，并具备3个额外的优势：其一是运算速度快，可以为研究复杂控制算法提供硬件基础；其二是大容量存储有利于数据分析；其三是丰富的输入输出接口有利于软件调试和优化。缺点是未经过加速优化的PC测控系统不能保证低延时特性。密西根大学WIMS中心^[6]基于GNURADIO的开源软件，在普通笔记本电脑上就能实现对陀螺的信号解调和控制，但是它的延时在(7±1) ms，很难满足对高频陀螺的实时控制。另外，对于不同系统，实时性也不尽相同^[7]，Dedicated System Experts公司在2012年的RTOS评估项目^[8]中表示，1.6 GHz主频的Atom平台上，Win CE 7的中断延时最大不超过12 μs，加入实时核补丁的普通Linux最大不超过30 μs，而QNX 6.5最大延时不超过10 μs。当MEMS陀螺的特征频率在10~20 kHz时，其实时控制系统的采样率一般要求达到100 kHz，上述方案的延时无法满足。中断延时过长阻碍了PC平台下对陀螺高速控制的实现。另外，由于PC环境的复杂性，中断延时时间的不确定性将直接造成系统的不稳定。为了保证测控平台控制的实时性和稳定性，需要高效的数据传输控制进行辅助。
为此本文搭建了一个实时的MEMS陀螺数字测控平台，通过分析产生延时的关键环节，并逐个进行优化设计，利用高效的时序控制传输提高系统的鲁棒性，使实时性和稳定性达到设计要求。最终使用MEMS陀螺在该平台上进行测试验证，使陀螺的信号解调和控制能在PC端实现，实际的使用过程比一般的FPGA或者DSP更加便捷。通过PCIe(PCI express)总线，实现PC和采集卡的高速传输，最大控制延时小于10 μs。
1 计算机实时控制系统稳定低延迟优化设计实时性作为陀螺测控系统的关键指标，本节将着重设计和优化控制系统的低延时性和稳定性。第一部分低延迟性优化主要包括硬件优化和软件优化。硬件优化需要考虑高速总线的类型和高速总线的传输控制方式；而软件优化则主要涉及到操作系统驱动层面的优化以及控制算法优化。第二部分稳定性优化是让计算机实时控制系统稳定地产生输出信号，在实际工程中则是避免该系统对陀螺设备的控制受到中断延时和传输延时波动的影响。
1.1 数据传输的低延优化图 1a展示了实时测控平台的软硬件框架和数据流向。硬件中断发出后，AD采集到的数据需要经过接口转换层、FPGA的PCIe IP核、PCIe总线等才能到达计算机IO内存空间。完成内存地址映射后，用户程序就可以从该内存读取数据，进行数据处理。在实际多线程的数据传输中，还会产生额外的延时，如图 1b中所示，有中断延时、线程延时和线程上下文切换延时等。其中中断延时定义为计算机端硬件中断产生到中断服务程序(ISR)中第一条指令执行的时间差，主要与内核架构、CPU主频和负载有关。由于线程之间的调度，内核需要准备时间，用于保存和恢复线程上下文环境、获取或释放信号量等。线程延时定义为ISR中从产生唤醒正在等待的线程信号，到线程执行第一条指令的时间差。线程上下文切换时间则为一个线程运行完到第二个线程第一条指令执行的时间差。

图 1 实时测控平台低延迟优化方案

图选项

考虑到本实时测控平台的数据量小，数据处理耗时短的特点，因此将陀螺控制代码全部在内核ISR中完成，从而消除了线程延时和线程上下文切换所耗费的时间，同时也间接消除了用户空间和内核空间数据传输的耗时，以此来满足数据的高速传输，如图 1c所示。除了中断延时，数据传输时间和数据处理时间都是数据传输过程中必要的耗时。在硬件方面，硬件延时包括AD时序控制延时和总线传输延时。协调好软件和硬件通信时序，AD时序控制和软件就可以并行运行，并不会占用总时间。而总线延时则与总线类型和传输控制方式密切相关。在软件方面，软件延时主要是读IO内存和数据处理所花费的总时间。一般情况下计算机读IO内存耗时相差不大，而代码量、CPU指令集类型、CPU主频等都会影响代码处理的时间，因此需要对数据处理进行优化。为了实现数据低延迟传输，下文将具体针对系统总线、传输控制方式、驱动程序(硬件和软件)、数据处理等逐个进行优化。
1) 高速总线的类型优化。
在测控系统中，总线是采集卡和计算机之间的桥梁，而总线的速度、带宽等因素对系统的性能至关重要。本测控系统高速可靠的数据采集和传输依赖于计算机和采集卡之间的传输效率，因此选择合适的总线可为后续板卡的进阶优化提供保证。随着计算机技术发展，总线技术也在不断革新，应用范围也从低、中速IO设备逐渐扩大到中高速设备。
为了验证不同总线在不同PC平台下实际的传输速率，此处测试了4种情况(仅对目前已有的测试平台)：DOS系统下的PC104总线、Windows XP下的PCI总线、Windows 7以及Linux(内核4.2)下的PCIe总线。其中本测试平台的ISA总线和PCI总线挂在相应的桥接芯片上，Windows 7下的PCIe驱动是采用Jungo公司的Windriver工具自动生成的标准代码。结果如表 1所示。
表 1 不同PC总线的IO读写延时测试

总线	测试方式	编译环境	延时/μs
			W+R-8b	W+R-32b
PC104	IO方式	DOS+TC	~15	-
PCI	双口RAM	WinXP+VC	11.5	-
PCIe	PIO方式	Win+VC	15	-
		Linux	-	1.8

表选项






表 1中“W+R-8b”代表读和写一个8位的数，“W+R-32b”代表读和写一个32位的数。通过测试发现，PCIe总线在传输速率上优于PC104和PCI总线。对于不同系统下PCIe总线的延时结果显示，Windows下IO读写各1字节延时，耗时已达到15 μs，而Linux下IO读写各4字节都只需1.8 μs，原因是：Linux系统的实时性优于Windows系统的；另外，Windows下的驱动是Windriver工具自动生成的，并没有针对性的进行过优化。后文中的测试结果都是在Linux系统下完成。
PCIe2.0的单向通道的传输速率能达到5 Gb/s；采用数据包的方式进行数据传输，这种方式除去了PCI总线中存在的边带信号，保证了数据传输的高可靠性。由于采用的是PCIe2.0协议，本测控平台对计算机的硬件要求比较高，本实验PC机配置的CPU为Intel i7 6700，主频为3.408 GHz，主板使用华硕B150m plus，带有两个PCI-E 3.0-X16插槽和一个PCI-E 3.0 X1插槽。
2) 传输控制方式优化。
该测控平台要求单次传输的数据量虽然比较少，但采样频率较高，对测控系统的动态响应能力提出了较高的要求。为满足以上要求，需要一种快速的数据传输方式，常见的PCIe总线数据传输方式是PIO(programmed input/output)和DMA(direct memory access)。DMA方式因不需要依赖CPU过量的中断负载，一般在处理图像等大数据传输中广泛应用，但是在对小数据量高速、高动态响应的情况下，却无法保证数据传输的及时性。
测试结果如表 2所示，在Linux下，DMA方式读16字节的数据，传输时间就已经超过了10 μs。而PIO方式能实现小数据量高速传输，更适合本测控平台。但是还需要对PC端PCIe驱动进一步优化，保证实时性。
表 2 DMA和PIO传输时间对比

μs
传输方式	4 b	8 b	16 b	32 b
DMA	~15	13	10	9
PIO	1.8	3.4	6.5	-

表选项






另外，PC和采集卡通信有2种常见的方式：一种方式是轮询状态寄存器，另一种方式是使用中断。当轮询频率过快的情况下，PC负载也会大，此时无法保证CPU能及时响应，必然会产生较大的延时；而中断方式能明显缓解PC负载过重的情况。硬件中，外围芯片FPGA中的PCIe IP核支持两种不同的中断方式：MSI中断和Legacy中断。MSI中断是基于消息机制的，相比Legacy中断更高效更快速。为此，在FPGA中单独编写了一个中断处理模块，就能实现将硬件的MSI中断请求通过PCIe总线发送到PC端。下文搭建了一个产生MSI控制信号的仿真环境，对MSI中断进行了仿真验证。模拟仿真了两个设备：RC(Root Complex)和EP(EndPoint Device)，分别由PC机和PCIe板卡模拟，仿真结果如图 2所示。

图 2 MSI中断

图选项

图 2中，cfg_interrupt为EndPoint Device产生的中断信号，中断发生后，Root Complex接收到数据包m_axis_rx_tdata，其中01a00004为消息头，数据为0x01020304。
3) PC端PCIe驱动优化。
通常情况下，内核层PCIe驱动编写好以后，开发者会给用户提供一个通用的应用库，用户可以在用户层完成相关算法的编写，方便研究人员更快速地进行开发工作。考虑到用户层权限低，用户和内核空间的数据传输存在延时会影响系统稳定性，降低数据传输速率。因此，本平台将控制算法的实现搬移到内核层，同时也给用户提供了一个相应的库，方便用户修改控制算法中的参数。
4) 控制算法的优化。
前面提到算法在内核层实现，陀螺闭环控制中，需要产生正弦余弦信号。为了解决内核浮点兼容性和减少指令计算时间，本平台采用查表的方式，自制了一个正余弦表，将浮点运算转换为定点运算。因为PC机CPU主频高，所以查表的方式也能加速代码的运行。
1.2 稳定的实时数据传输设计低延迟优化能使数据在最短时间里从硬件传输到PC端。但是由于PC安装的是多任务的操作系统，无法保证每次都能在一个周期的同一个时间点响应中断，这一特性决定了这个最短时间不是一个固定值，而是一个范围。在实际中，取值不定的这个最短时间会引发数据传输的不稳定，从而导致对陀螺的控制不连续。
针对陀螺控制的不连续问题，以中断延时为例，分析了由该现象产生的负面影响，并设计了一套可靠的控制时序，如图 3所示。假设它们都发生在ISR中，在一个周期中，进中断函数后，先读取下位机中AD的数据，进行数据处理，将解析完的数据再经过总线返回DA的值。图 3a表示在中断和传输延时都固定时，正常的数据传输过程。而实际应用中，中断和传输延时都会波动。以中断延时为例，图 3b中第二个中断信号到达时，假设已延时△t1，后续的读写操作相应的也会延迟△t1。当FPGA(下位机)往DA2寄存器写数据的时刻，写入的是上一周期中的DA1里的值，因为PC端并没有及时返回DA2的值(延时△t1)，导致数据没有实时更新；另外，还有丢失中断的可能性，如图 3b中的中断3。这两个问题都将加大陀螺控制的不稳定性。

图 3 数据传输控制时序优化

图选项

由此可知，为了达到陀螺数据传输的稳定性和可靠性要求，除了要优化MSI中断控制方式和PIO方式传输方式，还需要上位机即PC和下位机即FPGA之间制定一套高效的握手协议。因此，重新制定传输控制时序可以避免由中断延时和传输延时的不确定性导致的系统不稳定。图 3c为改进后的时序，预设中断延时固定，控制系统也能很稳定地工作。图 3d当第二个中断产生了Δt₂的延时，后续的读写操作相应的也会延迟Δt₂。此时，中断延时并不影响下位机往DA1寄存器写数据，因为需要写到DA1寄存器的数据已经在上一个周期中准备完成，这样可以保证下位机数据的实时更新。为避免中断丢失的现象，将下位机中断申请的时刻改为浮动的。只有下位机接受到了上位机更新的数据，才允许申请中断，保证PC端不丢失中断。同时，设置一个Δt₃参数(正常情况下，它会使一个周期总时间变长一些)，当存在中断延时或者传输延时，后续每个周期都会自动补偿Δt₃的时间，直到Δt₃ ×N≤Δt₂(N为运行周期数)，经过N次循环后，最终中断申请时间点也能稳定在一个固定值上。
2 陀螺控制系统根据陀螺的工作原理，陀螺数字控制系统详细的总框图如图 4所示。陀螺数字控制系统由4个部分组成：陀螺表头(包括前置处理电路)、ADC与DAC调理电路及FPGA外围电路、系统总线PCIe的控制和PC端的陀螺控制算法。

图 4 陀螺数字控制系统框图

图选项

第1部分是和陀螺直接连接的前置放大电路，前置电路产生陀螺的驱动电压并对陀螺输出的信号做初步的放大处理，用于提高信号的信噪比。第2部分是AD和DA数据采集卡。由于既要采集AD的数据和控制DA的数据输出，又要与PC端进行高速的通讯，在这里采用能支持PCIe2.0的Xilinx Artix7 FPGA，FPGA大大简化了数字电路的设计难度，便捷地处理AD和DA的时序还能提升PCB板的集成度。需要注意的是，这里的FPGA主要用于简化数字电路的设计以及实现和计算机进行高速通信，并不涉及陀螺控制信号的处理。第3部分是FPGA和PC进行高速通信的PCIe总线。第4部分则是PC端的陀螺算法实现，主要包括陀螺驱动轴频率闭环和幅度闭环控制。经过最小均方差(least squared mean difference，LSMD)解调以后的驱动轴检测信号分为正交分量和同相分量：其中正交分量与参考信号有90°的相位差，可以近似反映陀螺本身的幅值信息；而同向分量与参考信号同相位，可以近似反映陀螺本身的相位信息。低通滤波用于除去二倍频分量，在实际的闭环过程中，首先给陀螺驱动轴频率设定一个预估值，此时陀螺的驱动轴检测信号和驱动信号相位差接近-90°，并通过PI控制器作为反馈量，闭环控制驱动轴的输入频率，最终使其稳定在谐振频率。
在实际的MEMS陀螺闭环振荡系统中，往往需要通过驱动轴幅值闭环控制来稳定陀螺的振动幅度，从而获取稳定的角速度测量。与频率闭环唯一不同的是，将经过PI调节控制器校正以后的驱动幅值作为反馈量，闭环控制驱动轴的输入振幅，最终达到驱动轴稳幅的目标。
3 实验结果及分析图 5a为PCIe的采集板卡：底板上主要是Xilinx Artix 7芯片和PCIe的接口，主要功能是用于简化外围电路和PCIe总线的逻辑控制；AD/DA转换板上是AD和DA的调理电路，用于高精度陀螺信号的采集和控制信号的发生。图 5b是用于测试的MEMS陀螺。

图 5 采集卡和陀螺实物

图选项

3.1 总延时时间消耗分布测试为了进一步了解程序运行时各部分功能所占用的时间，对数据读写以及代码量进行了延时测试。
图 6中，“read”代表PC端读4字节所占用的时间，“write”代表PC端写4字节到板卡所占用的时间，“read+write”代表读和写各4字节所占用的时间，“gyro-code”代表单轴陀螺代码(小于1 000条指令)运行占用的时间。

图 6 传输耗时分布图

图选项

可以看出，计算机读取板卡数据是最耗时的，约为1.6 μs；相反计算机写数据到板卡则不超过150 ns。这是由于PCIe工作方式决定的，PC读数据是属于存储器读请求(属于Non-Posted请求)，PC写数据属于存储器写请求(属于Posted请求)，PC发出存储器读请求后，会等待设备端返回的完成包，而存储器写请求则不需要等待。因此，在编写陀螺控制算法的时候，应尽量避免PC端读请求的发生，以此来提高传输速率。在本系统中也对需要读写的数据进行了压缩处理，预留了约4 μs的时间，用于陀螺控制算法的实现。假设CPU主频为3 408 MHz，在4 μs的时间里可以运行将近12 000条指令，相当于目前单轴陀螺控制代码量的12倍，为实现更复杂的控制算法奠定了基础。
3.2 陀螺控制测试结果为了验证测控平台的可行性，本系统对陀螺控制程序进行简化，仅有陀螺驱动轴闭环控制(包括幅值闭环和频率闭环控制)，检测轴开环，无自补偿环路。实测的频率闭环控制过渡过程如图 7所示，大概在0.3 s以后，驱动频率最终稳定在3 067 Hz，频率闭环控制达到了很好的控制效果。

图 7 频率闭环控制曲线

图选项

实测的幅值闭环控制过渡过程如图 8所示，幅值最终稳定在1 V左右，与设定值相符。

图 8 幅度闭环控制曲线

图选项

4 结论本文提出了一个用于MEMS陀螺的PCIe实时测控平台。通过硬件和软件优化，减少数据传输延时，并且利用高效的数据传输时序，实现了陀螺驱动频率闭环和幅度闭环控制，使线振动陀螺工作在谐振频率上且幅值稳定，最终将测控系统的数据传输延时降低至10 μs。下一步将通过优化实时内核，提高该测控系统的采样频率，为更高工作频率的陀螺提供高速、可靠、稳定的数据传输方案。

参考文献

[1]	Guo Z S, Cheng F C, Li B Y, et al. Research development of silicon MEMS gyroscopes:A review[J]. Microsystem Technologies, 2015, 21(10): 2053–2066. DOI:10.1007/s00542-015-2645-x
[2]	Xia D Z, Hu Y W, Ni P Z. A digitalized gyroscope system based on a modified adaptive control method[J]. Sensors, 2016, 16(3): 321–342. DOI:10.3390/s16030321
[3]	Taheri-Tehrani P, Izyumin O, Izyumin I, et al. Disk resonator gyroscope with whole-angle mode operation[C]//2015 IEEE International Symposium on Inertial Sensors and Systems (ISISS). Kauai, HI, USA:IEEE Press, 2015:1-4.
[4]	严杰, 周斌, 张嵘. 基于多核技术的三轴陀螺数字测控系统[J]. 微计算机信息, 2010(11): 29–31. YAN Jie, ZHOU Bin, ZHANG Rong. Digital measurement and control system of three-axis gyroscope based on multi-core technology[J]. Microcomputer Information, 2010(11): 29–31. DOI:10.3969/j.issn.2095-6835.2010.11.013(in Chinese)
[5]	Trusov A A, Chepurko I, Schofield A R, et al. A standalone programmable signal processing unit for versatile characterization of MEMS gyroscopes[C]//Sensors, 2007 IEEE. Atlanta, GA, USA:IEEE Press, 2007:244-247.
[6]	Gregory J A, Cho J, Najafi K. MEMS rate and rate-integrating gyroscope control with commercial software defined radio hardware[C]//201116th International Solid-State Sensors, Actuators and Microsystems Conference. Beijing, China:IEEE Press, 2011:2394-2397.
[7]	Proctor F. Introduction to Linux for Real-Time Control[R]. Gaithersburg, MD, USA:National Institute of Standards and Technology, Intelligent Systems Division, 2002.
[8]	Dedicated Systems Encyclopaedia. Free downloadable reports[Z/OL].[2017-02-01]. http://www.dedicated-systems.com/1ViewSamplereports.aspx.