本文提出一种基于条件生成对抗网络(CGAN)[9]的避扰通信决策网络离线式训练方法，称为OFFLINE_ADRLA。具体过程是：首先，通过Ettus USRP B210采集真实环境频谱数据作为CGAN训练数据集。然后，基于真实环境频谱数据训练出的CGAN网络能够生成符合真实频谱瀑布(Spectrum Waterfall，SW)图分布的逼真合成SW图。最后，利用产生的合成SW图作为决策网络的训练数据集，训练出避扰通信决策网络模型。实验结果表明，本文方法能够快速训练模型，并且在实际应用中达到较好效果。本文主要贡献如下：
1) 提出一种离线式快速避扰决策网络训练方法。与大多数基于数值仿真的研究成果不同，本文面向真实电磁环境，避免了实际决策网络在线训练受环境反馈速率制约的问题，快速灵活，具有实际应用价值。
2) 基于CGAN技术，创造了一个频谱虚拟环境生成器，能够快速生成大量逼真的合成SW图，短时间内构造丰富多样的训练数据集，从而提高网络模型泛化能力，同时使训练时间大大减少。
1 基于强化学习的避扰通信技术 ADRLA[3]是一种典型的基于深度学习和强化学习技术的避扰通信算法，其本质是一个最优频点决策网络。该网络以当前环境SW图作为输入，并输出无干扰的当前最优通信频点。其网络模型的训练方法借鉴了DQN(Deep Q learning Network)[10-11]的训练思想，训练过程如图 1所示[3]。图中:状态S和S′均为SW图，大小为T×N的二维矩阵(T为频谱数据的历史采样时长，N为频谱采样点数)；D为固定大小的经验池，用于存储训练过程中的成败经验；e为存储在经验池D中的一个经验元组。
 |
| 图 1 ADRLA训练过程图[3] Fig. 1 Training process of ADRLA[3] |
| 图选项 |
ADRLA中有2个相同结构的神经网络(3个卷积层、2个全连接层)，分别称为目标网络和评估网络。目标网络中的输出值Qtarget表示当用户在状态S下选择动作a时的衰减得分，即
 | (1) |
式中：r和S′分别为用户在状态S下采取动作a时的得分和对应的下一个状态；γ为衰减因子；a′为评估网络输出的Q值向量表中在状态S′能获取到最大Qeval值的动作；θ′为目标网络的权重参数。
评估网络的输出值Qeval表示当用户在状态S时采取动作a的价值，即
 | (2) |
式中：θ为评估网络的权重参数。
ADRLA训练过程分为3个阶段：
1) 初始阶段。这时经验池D未满，在每一个时刻t中随机选择行为获取经验元组et=(St, at, rt, St+1)，然后将每一步的经验元组存储至经验池Dt=(e1, e2, …, et)。这个阶段主要用来积攒经验，此时ADRLA的2个网络均不进行训练。
2) 探索阶段。这一阶段采用了ε-贪心策略(ε从1至0逐渐减少)获取动作a，在网络产生决策的同时，又能以一定的概率探索其他可能的最优行为，避免了陷入局部最优解的问题。这个阶段中不断更新经验池中的经验元组，并作为评估网络、目标网络的输入，得到Qeval和Qtarget。然后将Qtarget与Qeval差值作为损失函数，以梯度下降法更新评估网络的权重参数。为了使训练收敛，目标网络的权重参数更新方式为：每隔一段固定的迭代次数，将评估网络的权重参数复制给目标网络。
3) 利用阶段。这一阶段ε降为0，即用户选择的动作全部来自评估网络的输出。评估网络和目标网络的更新方法与探索阶段相同。
这一方法在实验室仿真环境下有着出色的表现，然而其离实用相去甚远，这是因为其训练过程存在如下致命问题：
1) 训练效率低、速度慢。避扰通信的本质属于动态最优决策问题，与分类和回归问题不同，其训练的每一步都要求有环境反馈。因此，此类网络训练的每一步耗时完全取决于每一次决策后的环境反馈时间。以电磁环境频谱信号活动模式重复周期为10 s为例(通常远远大于10 s)，如果模型训练需要5 000个独立模式样本(实际需要样本数量远大于5 000)，则采集样本将耗时约13.9 h。假设有足够强大的计算能力，模型训练时间为0，则模型产生时间为13.9 h，这种小时级别的模型产生时间，对于在线应用来说是不可接受的，尤其是电子对抗。
2) 模型参数更新、调整困难。实际应用中，训练好的模型通常需要在应用现场采集样本数据，通过迁移学习调整更新模型参数。然而，由于电磁频谱的多样性，现场需要采集大量新的样本数据，因此常规的在线训练方式通常没有足够的时间采集和标注足够多的样本。
综上所述，由于ADRLA这一类基于强化学习的避扰通信技术模型训练受与环境交互速度制约，限制了其在真实环境中的应用。
为此，本文以ADRLA为典型代表，解决其实际应用中存在的训练耗时严重问题，提出一种新颖的离线式快速训练框架，加速认知无线电领域强化学习类算法的模型训练。
2 离线式快速避扰通信模型训练框架 本文所提框架包含两部分。第1部分：基于CGAN技术构建频谱虚拟环境生成器。环境生成器可以快速生成符合真实SW图分布的合成SW图，为避扰通信决策网络提供实时交互的训练数据。第2部分：利用第1部分得到的频谱虚拟环境生成器模拟真实电磁环境的反馈频谱图，对避扰通信决策网络进行离线式快速训练。具体框架如图 2所示。
 |
| 图 2 离线式快速避扰通信模型训练框架 Fig. 2 An offline fast model training framework for anti-jamming communication |
| 图选项 |
2.1 基于CGAN的频谱虚拟环境生成器 本节利用CGAN能够生成逼真合成图的特点，将其应用于电磁频谱环境虚拟中，生成逼真的合成SW图。由于合成SW图可被计算机快速生成，进而可快速离线式训练出避扰通信模型。考虑到防止CGAN发生模式崩溃(生成的图没有多样性)，本文提出一种保障频谱多样性的随机采样及其自动标注方法，该方法以“随机跳频”方式采集多样真实频谱图，结合所设计的一套面向多信号建模的自动标注方法，能够制作出丰富多样的真实频谱图及其相应标注图，从而产生丰富多样的CGAN训练数据集。基于该训练数据集训练出的CGAN生成器网络，可以作为频谱虚拟环境生成器，快速生成各种符合预设条件的SW图。产生频谱虚拟环境生成器的细节如图 3所示。图中：随机跳频是指控制实际收发机Ettus USRP B210随机选择中心频率和驻留时间。
 |
| 图 3 产生频谱虚拟环境生成器的细节 Fig. 3 Details of making spectrum virtual environment generator |
| 图选项 |
如果对随机生成的真实SW图进行手动标注，将是一项非常繁琐的工作。为此，本文提出一种面向多信号建模的自动标注方法。本文将电磁频谱环境中的信号标签进行如下建模：随机跳频程序控制下收发机信号的标签可以表示为
 | (3) |
式中：ft, crandom为在t时刻的随机发射中心频率; B0.5为带宽的一半; fi为在采集频段里的第i个采样点，i=0, 1, …, N，N为总采样点数。
通常，空间中还存在其他一些信号，这些背景信号的标签可以表示为
 | (4) |
式中：ft, uj和ft, lj分别为第j类背景信号的上下频率界限。
如果存在M类不同的背景信号，则可以表示为
 | (5) |
由于背景信号的能量和频点未知，没有先验知识将其从SW图中分割出来，因此引入阈值来分割背景信号。阈值函数定义为
 | (6) |
式中：St(fi)为采样点fi的信号能量值，dB；THR为分割背景信号的阈值。
最终标签表示为
 | (7) |
上面参数中，ft, crandom和B0.5均已预先知道，而参数ft, lj、ft, uj和M则能够自动被计算出。
对真实SW图自动标注后，基于制作出的真实SW图和相应标注图，建立CGAN训练数据集。其中一对真实的SW图及其相应标注图如图 4所示。图中：纵轴频谱采样时刻表示第几次采集给定带宽内频谱数据。
 |
| 图 4 真实的SW图和相应的标注图 Fig. 4 Real SW image and corresponding labeled image |
| 图选项 |
目前，CGAN算法[12-13]种类很多。本文基于pix2pix[14]算法构建虚拟频谱环境生成器。pix2pix包含一个生成器G和一个判别器D，如图 5所示。其中，判别器D用来判别输入图片的真假，生成器G用来生成符合真实图片分布的合成图，两者相互对抗进而各自提升能力。
 |
| 图 5 pix2pix中生成器和判别器功能作用 Fig. 5 Functions of generator and discriminator in pix2pix |
| 图选项 |
2017年, Martin等提出的WGAN(Wasserstein GAN)[15-16]对传统CGAN进行了4点改进：①判别器最后一层去掉sigmoid激活函数；②生成器和判别器的损失函数不取对数值；③每次更新判别器的参数之后把它们的绝对值截断到不超过一个固定常数C(本文取0.01)；④没有使用基于动量的优化算法(如Adam)，使用RMSProp优化算法。
为了获得更逼真的SW图，本文将WGAN思想应用于pix2pix。增强后的pix2pix与原始pix2pix相比，能够生成更高质量的SW图，效果展示如图 6所示。
 |
| 图 6 增强后的pix2pix生成的合成SW图和原始pix2pix生成的合成SW图对比 Fig. 6 Comparison between synthesis SW image generated by enhanced pix2pix and synthesis SW image generated by original pix2pix |
| 图选项 |
可以明显看出，增强后的pix2pix生成的合成SW图纹理细腻清晰，原始pix2pix生成的合成SW图略显粗糙。
在pix2pix模型收敛后，取其生成器作为训练出的频谱虚拟环境生成器。下面将实验证明这一频谱虚拟环境生成器能够保证产生的SW图具有多样性。所谓多样性，一方面指信号形态的多样性(如QPSK信号、WIFI信号等)，另一方面指频谱信号工作模式的多样性(扫频、梳状等工作模式)。为此, 本文进行一组实验同时模拟合成了WIFI信号和QPSK信号，如图 7所示。
 |
| 图 7 合成SW图和真实SW图 Fig. 7 Synthesis SW image and real SW image |
| 图选项 |
图 7(a)为合成SW图，其中，浅蓝色矩形框为模拟合成的WIFI信号，红色矩形框为模拟合成的QPSK信号。图 7(b)为真实SW图，其中，浅蓝色矩形框为真实的WIFI信号，红色矩形框为真实的QPSK信号。可以看出，虽然真实的WIFI信号和QPSK信号形态迥异(WIFI信号呈细线状，而QPSK信号呈块状)，但本文仍能逼真地模拟合成出这2种不同形态的信号，证明了本文方法能够满足多样性的第一方面。
为了证明本文方法能够产生多样的信号工作模式，随意制造条件图(见图 8(a))，频谱虚拟环境生成器能够产生相应逼真的模拟合成SW图(见图 8(b))。
 |
| 图 8 条件图和合成SW图 Fig. 8 Condition image and synthesis SW image |
| 图选项 |
可见，本文方法可以随意安排信号的工作模式，既能模拟产生多样的信号形态，又能产生多样的信号工作模式。
2.2 避扰通信模型的离线式训练 第2部分是避扰通信决策网络的离线训练过程。利用了第1部分中的频谱虚拟环境生成器来模拟真实电磁环境的反馈频谱图，对避扰通信决策网络进行快速离线训练。其中，频谱虚拟环境生成器要想达到模拟真实环境反馈的目的，则需要一个如图 2所示的模式生成器来控制产生输入条件图，所谓“模式生成器”就是用来控制产生CGAN网络(环境生成器)的输入条件图的程序。基于该程序可预先设置信号工作模式，以生成用户想要模式的合成SW图。以扫频干扰模式为例，模式生成器生成扫频干扰模式的条件图(见图 9(a))，频谱虚拟环境生成器据此生成扫频干扰模式的合成SW图(见图 9(b))。
 |
| 图 9 扫频干扰模式的条件图和合成SW图 Fig. 9 Condition image of sweeping jamming and corresponding synthesis SW image |
| 图选项 |
此条件图中有3类信号：第1类是背景信号，这类信号通常是电磁环境中未知发射机产生的背景信号，它们在条件图中的位置是固定的，本例中这类信号在条件图中像素值为2；第2类是Ettus USRP B210收发机信号，这类信号动作行为通常是变化的，可根据信号所处频点和持续时间自行设计在条件图中的位置，本例为扫频干扰模式，故其中心频点以周期性递增的形式出现，在此条件图中像素值为1；第3类是前两者交叠部分的信号，这类信号的像素值为前两者的和，本例中为3。这些信号的像素值要与训练网络时的标签值保持一致，具体公式详见文中标签定义式(3)~式(7)。
为了产生丰富多变的信号形态，更符合实际的Ettus USRP B210信号样式，本文设计出一种增加信号形态多样性的条件图生成方法：将条件图中的第2类Ettus USRP B210信号每一行的带宽设计成在一定范围的随机值，本例为50~100中的随机数。按这种方法，模式生成器可产生更丰富多样的条件图，条件图作为频谱虚拟环境生成器的输入，进而产生丰富多样的合成SW图。
本文所提离线式训练方法OFFLINE_ADRLA具体如下：
初始化：经验池D，经验池的最大容量N，初始迭代次数i=0, 网络初始权重θ0随机化，Training=True, 初始化状态S0=O(T×N)(模式生成器产生某种干扰模式的条件图I0，然后条件图作为频谱虚拟环境生成器的输入图生成状态S0)，目标网络更新步长为interval。
For时刻t=0, 1, …, ∞ do
If Training do
通过ε-贪心算法选择时刻t的动作at
Else
选择t时刻行为at通过公式：
End If
执行动作at(模式生成器产生选择动作at后下一状态的输入条件图It+1)，计算得分rt，频谱虚拟环境生成器根据输入条件图It+1生成下一个状态St+1
存储经验元组(St, at, rt, St+1)到经验池D
If经验池大小sizeof(D)>N and Training
?从经验池D中随机抽取固定批量大小的经验元组(S, a, r, S′)
?计算目标网络的输出：
?
?计算评估网络的输出：
?
?计算损失函数L=Qeval－Qtarget的梯度ΔθiL(θi), 更新θi
?If i% interval == 0:
??更新目标网络权重θ′i=θi
?i=i+1
?If i>IterationsMax then Training=False
? End If
End For
其中，得分奖励r[3]定义如下：
 | (8) |
式中:如果x为真则δ(x)=1, x为假则δ(x)=0；λ=0.2；ajammer=0, 1, …, M－1，为当前状态下干扰信号位置，M为用户可以选择的动作总数；at和at－1分别为当前状态下采取的动作和上一个采取的动作。
OFFLINE_ADRLA训练的损失函数为
 | (9) |
经过多次迭代后，避扰通信决策网络的损失函数趋于最小。本文采用t时刻的总体得分变化来判断避扰通信决策网络是否收敛。在实验中有3种干扰模式，分别为扫频干扰模式、跟踪干扰模式和梳状干扰模式，训练它们的决策网络的总体得分变化如图 10所示。可以看出，随着步数的增加，避扰通信决策网络的总体得分一直在增加，再也不会减少，这说明决策网络模型已经收敛，训练完成。此后，决策网络模型可以实时将实际电磁环境频谱图作为输入得出无干扰的最优工作频点，进而进行避扰通信。
 |
| 图 10 t时刻总体得分变化 Fig. 10 Total reward variation of time t |
| 图选项 |
3 理论分析 通过数学建模对ADRLA和所提OFFLINE_ADRLA方法的耗时进行评估。ADRLA耗时模型为
 | (10) |
OFFLINE_ADRLA方法耗时模型为
 | (11) |
式中：Toffline_init和Tonline_init分别为OFFLINE_ADRLA和ADRLA的初始化时间；k为迭代次数；TCGAN为CGAN生成一张SW图的耗时；TDQN为ADRLA训练DQN模型一次迭代所需时间；Tsample为使用真实接收机(如Ettus USRP B210)一次采集频谱信息的耗时。
本文OFFLINE_ADRLA方法与ADRLA在不同性能计算机上的时间消耗对比如表 1所示。
表 1 本文方法和ADRLA耗时对比 Table 1 Comparison of time consumption between proposed method and ADRLA
| 计算机性能 | 参数 | TOFFLINE_ADRLA/min | TADRLA/min |
| 低性能(CPU) | Toffline_init =0.5s, TCGAN=0.4s, Tonline_init=40s, Tsample=0.8s, TDQN=0.1s, k=1000 | 8.3 | 15.7 |
| 中等性能(1块GPU) | Toffline_init=0.3s, TCGAN=0.2s, Tonline_init=40s, Tsample=0.8s, TDQN=0.05s, k=1000 | 4.2 | 14.8 |
| 高性能(4块GPU) | Toffline_init=0.1s, TCGAN=0.1s, Tonline_init=40s, Tsample=0.8s, TDQN=0.01s, k=1000 | 1.8 | 14.2 |
表选项
表 1中，由于TCGAN < Tsample，并且TCGAN会随着计算机性能的提升而减少，因此有：在基于CPU计算的低性能计算机上, OFFLINE_ADRLA的训练时间约为8.3 min，ADRLA的训练时间为15.7 min；在基于1块GPU计算的中等性能计算机上, OFFLINE_ADRLA的训练时间大约降低50%，而ADRLA仅仅只降到14.8 min；在基于4块GPU计算的高性能计算机上, OFFLINE_ADRLA的训练时间大大降低，从最初的8.3 min降到1.8 min。由于Tsample不会随计算机性能提升而减少，故导致ADRLA的训练耗时略有降低，从最初的15.7 min仅降到14.2 min。这说明本文提出的OFFLINE_ADRLA方法训练时间远远低于在线方法ADRLA，具有快速性。
4 实验验证 本次实验环境中，设定3种干扰模式，即扫频干扰模式、跟踪干扰模式、梳状干扰模式。实验环境如图 11所示。
 |
| 图 11 实验环境 Fig. 11 Experimental environment |
| 图选项 |
4.1 OFFLINE_ADRLA在真实环境中的实现过程 实验中使用2块Ettus USRP B210收发机采集CGAN的训练数据集，干扰和频谱感知代码均基于开源软件GNURadio。为了保证采集到的数据能充分反映无线信道环境，发射机在随机跳频(随机信道、随机驻留时间)的模式下发射信号，发射机的带宽和功率为200 kHz和30 dBm。接收机每0.026 s在100~1 106 MHz频段内以采样点间隔Δf=6 250 Hz执行频谱感知，连续采集5 120 s，共采集了256 000行1 601列的频谱数据，基于Python的H5Py库将这些频谱数据以矩阵的形式存储起来，然后按256行的间隔依次取出1 000个256×1 601的矩阵(即真实SW图)，因此接收机共采集了1 000张256×1 601大小的真实SW图。按照2.1节提出的快速自动标注方法自动生成相应的标注图，其中背景信号类M为1，分割背景信号的阈值THR为24 dB。最终，取训练完成的CGAN生成器网络作为频谱虚拟环境生成器。
接着利用频谱虚拟环境生成器对ADRLA模型进行离线训练。ADRLA算法参数设置如下：目标网络和评估网络均采用3层卷积2层全连接架构，具体为：输入大小为100×1 601，3层卷积层的卷积核大小依次为8×8、4×4、3×3，3层卷积层的步长大小依次为4×4、2×2、1×1，两层全连接层的输出通道分别为512、19。目标网络的衰减因子γ为0.9，优化器采用RMSProp，其学习率为0.000 25，epochs(训练轮数)为12 000次，batch size(训练的批大小)为128，经验池大小为10 000条，算法初始阶段的迭代次数为1 000步，算法探索阶段的迭代次数为10 000步。训练的每一步迭代中，频谱虚拟环境生成器在模式生成器的控制下产生当前动作下的合成SW图，合成SW图作为OFFLINE_ADRLA神经网络输入，并通过梯度下降法优化网络参数，进而离线式训练ADRLA模型。当OFFLINE_ADRLA方法中总体得分一直上升、不再减少时，即可判断OFFLINE_ADRLA模型已收敛，训练完成。
4.2 真实环境下OFFLINE_ADRLA有效性验证 为验证OFFLINE_ADRLA的有效性，使用3块Ettus USRP B210收发机在100 ~110 MHz频段内构造真实的避扰通信场景(扫频干扰模式下跳频速度为0.5 MHz/s，跟踪干扰模式下跳频速度为1 MHz/s，梳状干扰模式下不进行跳频)。3块收发机分别扮演不同角色：用户、干扰机和接收机。有一台中央PC控制着用户和接收机，一方面控制接收机采集真实SW图，另一方面控制用户设置动作(中心频率)、功率和带宽。本节验证实验中，在扫频干扰模式和梳状干扰模式下，用户信号的功率和带宽分别为30 dBm和200 kHz，在跟踪干扰模式下，用户信号的功率和带宽分别为50 dBm和200 kHz，干扰机信号3种模式下的功率和带宽均为30 dBm和200 kHz。
基于上述实验设置，本文对OFFLINE_ADRLA方法进行实测，干扰机发射不同模式干扰信号的同时，接收机实时采集真实SW图，并连续输入OFFLINE_ADRLA模型。PC基于模型输出最优动作控制用户切换到最佳工作频点。实验结果表明，OFFLINE_ADRLA是一种高效、切实可行的面向基于强化学习的避扰通信训练方法。
验证结果如图 12所示。图中，扫频干扰模式下，由于干扰机信号频率的线性变化导致干扰信号在SW图上以斜线的形式呈现；跟踪干扰模式下，每隔一段时间干扰机信号会跳到用户所在频点；梳状干扰模式下，干扰机信号保持固定不变的频点。由图 12可以看出，扫频干扰模式和跟踪干扰模式下，当用户快碰上干扰信号时，用户就会跳到另一个频点；梳状干扰模式下，用户一直选择无干扰的频点。在没有干扰接近时，3种场景用户一直保持和上一时刻相同的频点，这与OFFLINE_ADRLA的奖惩函数预期效果一致。实测结果表明，OFFLINE_ADRLA训练的避扰通信模型较好适用于真实环境，验证了该方法的有效性。
 |
| 图 12 在真实环境下的验证 Fig. 12 Validation in real environment |
| 图选项 |
图 13给出了本文方法与ADRLA在真实干扰环境下的训练耗时对比。实验表明，与在线训练方法ADRLA相比，离线式训练方法OFFLINE_ADRLA的耗时降低了50%以上。从而证明了OFFLINE_ADRLA比ADRLA具有更快的训练速度。
 |
| 图 13 真实环境下本文方法和ADRLA的耗时对比 Fig. 13 Comparison of time consumption between proposed method and ADRLA for real environment |
| 图选项 |
5 结论 本文研究了基于CGAN的避扰通信决策网络离线式训练方法，提出了一种全新的训练框架OFFLINE_ADRLA来解决ADRLA这一类训练耗时严重问题，总结如下：
1) OFFLINE_ADRLA在真实电磁环境下可实现较为优异的避扰能力，能够促成基于强化学习的智能避扰通信技术落地工程化的目的。
2) OFFLINE_ADRLA利用CGAN网络得到一个虚拟频谱环境生成器，避扰通信决策网络基于这个环境生成器生成的数据进行离线式训练，从而达到减少训练避扰通信模型耗时目的。实验验证，该方法与在线训练方法相比，训练时间减少50%以上。
3) 本文方法如同其他方法一样，当干扰信号模式变化时，或出现新的频谱信号样式，已训练出的模型性能可能下降甚至失效，解决方法是利用频谱虚拟环境生成器生成新的干扰模式或信号样式的频谱数据，重新快速离线式训练避扰通信决策网络模型。
4) OFFLINE_ADRLA是一种“训练框架”，不仅仅局限于ADRLA这类算法，还可应用于样本采集受环境限制的其他应用中。本质上讲，本文是一种基于CGAN虚拟频谱技术的模型加速训练方法。
在未来研究中，为使本文方法能处理更复杂的干扰环境和多干扰任务问题，仍需要优化本文方法CGAN参数，使之能够生成更逼真的频谱图
参考文献
| [1] | DUAN R J, JIA L L, GUO P C.Research on spectrum allocation of HF access network based on intelligent frequency hopping[C]//8th International Symposium on Computational Intelligence and Design(ISCID).Piscataway: IEEE Press, 2015, 2: 295-300. |
| [2] | ZHANG L Y, GUAN Z Y, MELODIA T. United against the enemy:Anti-jamming based on cross-layer cooperation in wireless networks[J]. IEEE Transactions on Wireless Communications, 2016, 15(8): 5733-5747. DOI:10.1109/TWC.2016.2569083 |
| [3] | LIU X, XU Y H, JIA L L, et al. Anti-jamming communications using spectrum waterfall:A deep reinforcement learning approach[J]. IEEE Communications Letters, 2018, 22(5): 998-1001. DOI:10.1109/LCOMM.2018.2815018 |
| [4] | LIU Y, XU Y H, CHENG Y P, et al. A heterogeneous information fusion deep reinforcement learning for intelligent frequency selection of HF communication[J]. China Communications, 2018, 15(9): 73-84. DOI:10.1109/CC.2018.8456453 |
| [5] | RIYAZ S, SANKLE K, LOANNIDIS S, et al. Deep learning convolutional neural networks for radio identification[J]. IEEE Communications Magazine, 2018, 56(9): 146-152. DOI:10.1109/MCOM.2018.1800153 |
| [6] | XIAO L, CHEN T H, LIU J L, et al. Anti-jamming transmission Stackelberg game with observation errors[J]. IEEE Communications Letters, 2015, 19(6): 949-952. DOI:10.1109/LCOMM.2015.2418776 |
| [7] | ERPEK T, SAGDUYU Y E, ERPEK T, et al.Adversarial deep learning for cognitive radio security: Jamming attack and defense strategies[C]//IEEE International Conference on Communications Workshops (ICC Workshops).Piscataway: IEEE Press, 2018, 5: 1-6. |
| [8] | WUNSCH F, PAOSANA F, RAJENDRAN S, et al. DySPAN spectrum challenge:Situational awareness and opportunistic spectrum access benchmarked[J]. IEEE Transactions on Cognitive Communications and Networking, 2017, 3(3): 550-562. DOI:10.1109/TCCN.2017.2745682 |
| [9] | MIRZA M, OSINDERO S. Conditional generative adversarial nets[J]. Computer Science, 2014, 27(8): 2672-2680. |
| [10] | MINH V, KAVUKCUOGLU K, SILVER D, et al.Playing atari with deep reinforcement learning[EB/OL].(2014-11-06)[2019-08-15].https://arxiv.org/abs/1411.1784. |
| [11] | MNIH V, KAVUKCUOGLU K, SILVER D, et al. Human-level control through deep reinforcement learning[J]. Nature, 2015, 518(7540): 529-533. DOI:10.1038/nature14236 |
| [12] | WANG J F, LI X, YANG J, et al.Stacked conditional generative adversarial networks for jointly learning shadow detection and shadow removal[EB/OL].(2017-12-07)[2019-08-15].https://arxiv.org/abs/1712.02478. |
| [13] | ODENA A, OLAH C, SHLENS J.Conditional image synthesis with auxiliary classifier GANs[C]//Proceedings of the 34th International Conference on Machine Learning.Piscataway: IEEE Press, 2017, 70: 2642-2651. |
| [14] | ISOLA P, ZHU J Y, ZHOU T H, et al.Image-to-image translation with conditional adversarial networks[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Piscataway: IEEE Press, 2017: 5967-5976. |
| [15] | MARTIN A, LÉON B.Towards principled methods for training generative adversarial networks[EB/OL].(2017-01-07)[2019-08-15].https://arxiv.org/abs/1701.04862. |
| [16] | MARTIN A, CHINTALA S, LÉON B.Wasserstein GAN[EB/OL].(2017-12-06)[2019-08-15].https://arxiv.org/abs/1701.07875. |
