基于多源数据融合的电磁目标识别方法及相关设备

1.本技术涉及信息融合技术领域，尤其涉及一种基于多源数据融合的电磁目标识别方法及相关设备。


背景技术：

2.日常生活场景下，电磁环境的主要构成是各类电子设备发出的高密度、高强度、多频谱的电磁波以及自然界产生的电磁波等等。在民用频谱管理中，民用电磁设备产生多种全频谱、高密度的电磁辐射信号，以及大量使用电子设备造成的相互影响和干扰，造成时域的突变、空间的偏移、频域的拥挤重叠，这些都严重影响电磁频谱监管的效能。频谱管理的复杂性主要体现在民用电磁使用活动的增加，日常生活对电磁频谱的依赖。随着电磁频谱带逐渐增加，几乎覆盖整个电磁频谱带，其中，大量的人为的滥用电磁频谱资源是影响频谱监测和管理的最大因素。通常，无线感知数据在自由空间传播易受到电磁信道环境干扰，往往接收到的电磁数据具有较大干扰背景环境。同样地，监控摄像头等图像数据容易受到光线明暗，天气等因素的影响。因此，单一数据源条件下的电磁目标识别检测，容易受到各种干扰。


技术实现要素：

3.有鉴于此，本技术的目的在于提出一种基于多源数据融合的电磁目标识别方法及相关设备。
4.基于上述目的，本技术提供了基于多源数据融合的电磁目标识别方法，包括：
5.获取目标电磁设备的电磁信号数据和图像数据；
6.通过预先构建的电磁编码器对所述电磁信号数据进行编码，得到电磁隐层向量；
7.通过预先构建的图像编码器对所述图像样本数据进行编码，得到图像隐层向量；
8.基于所述电磁隐层向量和所述图像隐层向量得到叠加隐层向量；
9.将所述叠加隐层向量输入预先构建的电磁目标分类器，以对所述目标电磁设备进行分类，基于预设的类别标签确定所述目标电磁设备的电磁信号类别。
10.进一步的，所述电磁编码器，包括：卷积神经网络、长短期记忆网络lstm和全连接层。
11.进一步的，所述图像编码器，包括：卷积神经网络和全连接层。
12.进一步的，所述基于所述电磁隐层向量和所述图像隐层向量得到叠加隐层向量，包括：将所述电磁隐层向量和所述图像隐层向量进行相加得到所述叠加隐层向量。
13.进一步的，还包括：所述电磁编码器、所述图像编码器和所述电磁目标分类器是经过预训练的，其预训练的过程为，
14.构建训练样本集，所述训练样本集包括电磁数据样本和图像数据样本；
15.基于所述训练样本集和总损失函数对所述电磁编码器、所述图像编码器和所述电磁目标分类器进行迭代训练，直至所述总损失函数收敛。
16.进一步的，所述基于所述训练样本集和总损失函数对所述电磁编码器、所述图像编码器和所述电磁目标分类器进行迭代训练，直至所述总损失函数收敛，包括：
17.通过所述电磁编码器对所述电磁数据样本进行编码，得到电磁样本隐层向量；
18.通过所述图像编码器对所述图像数据样本进行编码，得到图像样本隐层向量；
19.基于所述电磁样本隐层向量和所述图像样本隐层向量得到叠加样本隐层向量；
20.通过电磁解码器对所述叠加样本隐层向量进行解码，得到重构电磁数据；
21.通过图像解码器对所述叠加样本隐层向量进行解码，得到重构图像数据；
22.将所述叠加样本隐层向量输入所述电磁目标分类器，以对所述训练样本集中的训练样本进行分类，得到所述训练样本的伪标签，基于所述训练样本的真实标签和所述伪标签确定所述电磁目标分类器的检测准确率；
23.基于所述电磁数据样本和所述重构电磁数据构建第一损失函数；
24.基于所述图像数据样本和所述重构图像数据构建第二损失函数和第三损失函数；
25.基于所述训练样本的真实标签和所述检测准确率构建第四损失函数；
26.基于所述第一损失函数、所述第二损失函数、所述第三损失函数和所述第四损失函数构建所述总损失函数，通过对所述总损失函数进行最小化计算以使所述总损失函数收敛。
27.进一步的，所述电磁解码器包括卷积神经网络、长短期记忆网络lstm和全连接层，所述图像解码器包括卷积神经网络和全连接层。
28.基于同一发明构思，本技术还提供了一种基于多源数据融合的电磁目标识别装置，包括：
29.获取模块，被配置为获取目标电磁设备的电磁信号数据和图像数据；
30.电磁编码模块，被配置为通过预先构建的电磁编码器对所述电磁信号数据进行编码，得到电磁隐层向量；
31.图像编码模块，被配置为通过预先构建的图像编码器对所述图像样本数据进行编码，得到图像隐层向量；
32.叠加编码模块，被配置为基于所述电磁隐层向量和所述图像隐层向量得到叠加隐层向量；
33.分类模块，被配置为将所述叠加隐层向量输入预先构建的电磁目标分类器，以对所述目标电磁设备进行分类，基于预设的类别标签确定所述目标电磁设备的电磁信号类别。
34.基于同一发明构思，本技术还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一项所述的方法。
35.基于同一发明构思，本技术还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如上任意一项所述的方法。
36.从上面所述可以看出，本技术提供的一种基于多源数据融合的电磁目标识别方法及相关设备，通过使用自编码器将无线感知数据与图像数据进行编码，将编码后的数据进行融合，最后通过分类器完成电磁目标检测任务。本技术的电磁目标识别方法充分利用电
磁和图像等多信息源，通过数据融合降低单一数据源条件下的外界影响，提高算法在复杂环境下的适应能力，提高分类准确率和模型的鲁棒性。
附图说明
37.为了更清楚地说明本技术或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1为本技术实施例的基于多源数据融合的电磁目标识别方法的流程示意图；
39.图2为本技术实施例的基于多源数据融合的电磁目标识别装置的结构示意图；
40.图3为本技术实施例的电子设备的结构示意图。
具体实施方式
41.为使本技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本技术进一步详细说明。
42.需要说明的是，除非另外定义，本技术实施例使用的技术术语或者科学术语应当为本技术所属领域内具有一般技能的人士所理解的通常意义。本技术实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
43.以下结合附图来详细说明本技术的实施例。
44.本技术提供了一种多源数据融合的电磁目标识别方法，参考图1，包括以下步骤：
45.步骤s101、获取目标电磁设备的电磁信号数据和图像数据。目标电磁设备的电磁信号包括雷达信号和通信信号，将收集到的目标电磁设备的电磁信号作为电磁信号数据，图像数据为采集到的目标电磁设备的图片信息。
46.步骤s102、通过预先构建的电磁编码器对所述电磁信号数据进行编码，得到电磁隐层向量。具体的，输入电磁编码器的数据为正交电磁数据序列
47.s＝[[i1,q1],[i2,q2],
…
,[in,qn]]
[0048]
其中，in表示同相路数据，qn表示正交路数据，n为采样长度，一般取值为1024。
[0049]
在一些实施例中，所述电磁编码器，包括：卷积神经网络、长短期记忆网络lstm和全连接层。通过一维卷积神经网络和lstm对输入的正交电磁数据序列进行隐层向量提取，经由lstm输出的向量为[h1,h2,
…
,hn]，再将向量[h1,h2,
…
,hn]输入至全连接层中进行处理，经由全连接层输出电磁隐层向量vs＝φ1(w
fc1rlstm
)，其中，w
fc1
表示电磁编码器中的全连接层的权重，r
lstm
表示lstm的输出，也即r
lstm
＝[h1,h2,
…
,hn],φ1表示电磁编码器的全连接层，vs表示电磁隐层向量。
[0050]
步骤s103、通过预先构建的图像编码器对所述图像样本数据进行编码，得到图像
隐层向量。具体的，将采集到的目标电磁设备的图像输入至图像编码器中，通过图像编码器的处理输出图像隐层向量。
[0051]
在一些实施例中，所述图像编码器，包括：卷积神经网络和全连接层。图像数据编码器使用卷积神经网络进行训练，并使用全连接层输出图像隐层向量，得到的图像隐层向量维度与电磁信号的隐层向量的维度是一致的。图像隐层向量表示为v
im
＝φ2(w
fc2rcnn
)，其中w
fc2
表示图像编码器中的全连接层的权重，r
cnn
表示卷积神经网络的输出，φ2表示图像编码器的全连接层。我们将总编码器定义为v
enc
＝enc(vs,v
im
,θ)，这里enc(*)表示总编码器，包括了电磁编码器和图像编码器，θ为总编码器的参数。
[0052]
步骤s104、基于所述电磁隐层向量和所述图像隐层向量得到叠加隐层向量。基于步骤s102和步骤s103得到的电磁隐层向量和图像隐层向量通过计算得到叠加隐层向量。
[0053]
在一些实施例中，所述基于所述电磁隐层向量和所述图像隐层向量得到叠加隐层向量，包括：将所述电磁隐层向量和所述图像隐层向量进行相加得到所述叠加隐层向量。因为电磁隐层向量和图像隐层相连给的维度相同，通过简单的向量加法即可得到叠加隐层向量。
[0054]
步骤s105、将所述叠加隐层向量输入预先构建的电磁目标分类器，以对所述目标电磁设备进行分类，基于预设的类别标签确定所述目标电磁设备的电磁信号类别。电磁目标分类器由多个全连接层和激活函数构成，本实施例中采用的激活函数为relu(the rectified linear unit)函数，relu函数是线性的，不存在梯度爆炸的问题，在深度学习中是使用最广泛的一种激活函数。将叠加隐层向量输入至电磁目标分类器中，基于预设的类别标签对叠加隐层向量对应的目标电磁设备进行分类，确定目标电磁设备所属的类别标签，每一个类别标签代表了一种电磁信号类别，因而可以得到目标电磁设备的电磁信号类别。
[0055]
在一些实施例中，还包括：所述电磁编码器、所述图像编码器和所述电磁目标分类器是经过预训练的，其预训练的过程为，
[0056]
构建训练样本集，所述训练样本集包括电磁数据样本和图像数据样本；基于所述训练样本集和总损失函数对所述电磁编码器、所述图像编码器和所述电磁目标分类器进行迭代训练，直至所述总损失函数收敛。
[0057]
具体的，所述电磁编码器、所述图像编码器和所述电磁目标分类器都是经过预训练的，通过训练电磁编码器和图像编码器的学习能力，提高电磁隐层向量和图像隐层向量的表达能力。训练样本集由电磁数据样本和图像数据样本组成，每一条电磁数据样本和对应的图像数据样本两两组合，用来充分训练电磁编码器和图像编码器。将训练样本集划分为训练集和测试集，通过训练集对电磁编码器、图像编码器和电磁目标分类器进行迭代训练，直至损失函数收敛，训练结束后通过测试集对电磁目标分类器的分类结果进行准确性验证，获取电磁目标分类器的检测准确率。
[0058]
在一些实施例中，所述基于所述训练样本集和总损失函数对所述电磁编码器、所述图像编码器和所述电磁目标分类器进行迭代训练，直至所述总损失函数收敛，包括：
[0059]
通过电磁编码器对所述电磁数据样本进行编码，得到电磁样本隐层向量；
[0060]
通过图像编码器对所述图像数据样本进行编码，得到图像样本隐层向量；
[0061]
基于所述电磁样本隐层向量和所述图像样本隐层向量得到叠加样本隐层向量；
modulation)、调频连续波(fmcw，frequency modulated continuous wave)、二进制相移键控(bpsk，binary phase shift keying)、四相移相键控(qpsk，quadrature phase shift keying)、正交振幅调制(qam，quadrature amplitude modulation)，其中lfm和fmcw属于雷达信号，bpsk、qpsk和qam属于通信信号。
[0078]
基于所述第一损失函数、所述第二损失函数、所述第三损失函数和所述第四损失函数构建所述总损失函数，通过对所述总损失函数进行最小化计算以使所述总损失函数收敛。具体的，将上述4个损失函数的损失合并，联合训练编码器、解码器和电磁目标检测识别器，优化的总损失函数定义为
[0079]
loss＝λ1loss1+λ2loss2+λ3loss3+λ4loss4
[0080]
其中，λ1、λ2、λ3和λ4分别为对应损失函数的权重，通过最小化计算不断优化迭代损失值loss，具体为
[0081]
min|λ1loss1+λ2loss2+λ3loss3+λ4loss4|
[0082]
经过多次迭代，直至损失值loss收敛。预训练结束后，保存最优的电磁编码器、图像编码器、电磁解码器、图像解码器和电磁目标分类器。
[0083]
需要说明的是，本技术实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本技术实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
[0084]
需要说明的是，上述对本技术的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0085]
基于同一发明构思，与上述任意实施例方法相对应的，本技术还提供了一种基于多源数据融合的电磁目标识别装置。
[0086]
参考图2，所述基于多源数据融合的电磁目标识别装置，包括：
[0087]
获取模块201，被配置为获取目标电磁设备的电磁信号数据和图像数据；
[0088]
电磁编码模块202，被配置为通过预先构建的电磁编码器对所述电磁信号数据进行编码，得到电磁隐层向量；
[0089]
图像编码模块203，被配置为通过预先构建的图像编码器对所述图像样本数据进行编码，得到图像隐层向量；
[0090]
叠加编码模块204，被配置为基于所述电磁隐层向量和所述图像隐层向量得到叠加隐层向量；
[0091]
分类模块205，被配置为将所述叠加隐层向量输入预先构建的电磁目标分类器，以对所述目标电磁设备进行分类，基于预设的类别标签确定所述目标电磁设备的电磁信号类别。
[0092]
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本技术时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
[0093]
上述实施例的装置用于实现前述任一实施例中相应的基于多源数据融合的电磁
目标识别方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
[0094]
基于同一发明构思，与上述任意实施例方法相对应的，本技术还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的基于多源数据融合的电磁目标识别方法。
[0095]
图3示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
[0096]
处理器1010可以采用通用的cpu(central processing unit，中央处理器)、微处理器、应用专用集成电路(application specific integrated circuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
[0097]
存储器1020可以采用rom(read only memory，只读存储器)、ram(random access memory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
[0098]
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
[0099]
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信。
[0100]
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
[0101]
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
[0102]
上述实施例的电子设备用于实现前述任一实施例中相应的基于多源数据融合的电磁目标识别方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
[0103]
基于同一发明构思，与上述任意实施例方法相对应的，本技术还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的基于多源数据融合的电磁目标识别方法。
[0104]
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读
存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
[0105]
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的基于多源数据融合的电磁目标识别方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
[0106]
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本技术的范围(包括权利要求)被限于这些例子；在本技术的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本技术实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
[0107]
另外，为简化说明和讨论，并且为了不会使本技术实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(ic)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本技术实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本技术实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本技术的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本技术实施例。因此，这些描述应被认为是说明性的而不是限制性的。
[0108]
尽管已经结合了本技术的具体实施例对本技术进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态ram(dram))可以使用所讨论的实施例。
[0109]
本技术实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本技术实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：
1.一种基于多源数据融合的电磁目标识别方法，其特征在于，包括：获取目标电磁设备的电磁信号数据和图像数据；通过预先构建的电磁编码器对所述电磁信号数据进行编码，得到电磁隐层向量；通过预先构建的图像编码器对所述图像样本数据进行编码，得到图像隐层向量；基于所述电磁隐层向量和所述图像隐层向量得到叠加隐层向量；将所述叠加隐层向量输入预先构建的电磁目标分类器，以对所述目标电磁设备进行分类，基于预设的类别标签确定所述目标电磁设备的电磁信号类别。2.根据权利要求1所述的电磁目标识别方法，其特征在于，所述电磁编码器，包括：卷积神经网络、长短期记忆网络lstm和全连接层。3.根据权利要求1所述的电磁目标识别方法，其特征在于，所述图像编码器，包括：卷积神经网络和全连接层。4.根据权利要求1所述的电磁目标识别方法，其特征在于，所述基于所述电磁隐层向量和所述图像隐层向量得到叠加隐层向量，包括：将所述电磁隐层向量和所述图像隐层向量进行相加得到所述叠加隐层向量。5.根据权利要求1所述的电磁目标识别方法，其特征在于，还包括：所述电磁编码器、所述图像编码器和所述电磁目标分类器是经过预训练的，其预训练的过程为，构建训练样本集，所述训练样本集包括电磁数据样本和图像数据样本；基于所述训练样本集和总损失函数对所述电磁编码器、所述图像编码器和所述电磁目标分类器进行迭代训练，直至所述总损失函数收敛。6.根据权利要求5所述的电磁目标识别方法，其特征在于，所述基于所述训练样本集和总损失函数对所述电磁编码器、所述图像编码器和所述电磁目标分类器进行迭代训练，直至所述总损失函数收敛，包括：通过所述电磁编码器对所述电磁数据样本进行编码，得到电磁样本隐层向量；通过所述图像编码器对所述图像数据样本进行编码，得到图像样本隐层向量；基于所述电磁样本隐层向量和所述图像样本隐层向量得到叠加样本隐层向量；通过电磁解码器对所述叠加样本隐层向量进行解码，得到重构电磁数据；通过图像解码器对所述叠加样本隐层向量进行解码，得到重构图像数据；将所述叠加样本隐层向量输入所述电磁目标分类器，以对所述训练样本集中的训练样本进行分类，得到所述训练样本的伪标签，基于所述训练样本的真实标签和所述伪标签确定所述电磁目标分类器的检测准确率；基于所述电磁数据样本和所述重构电磁数据构建第一损失函数；基于所述图像数据样本和所述重构图像数据构建第二损失函数和第三损失函数；基于所述训练样本的真实标签和所述检测准确率构建第四损失函数；基于所述第一损失函数、所述第二损失函数、所述第三损失函数和所述第四损失函数构建所述总损失函数，通过对所述总损失函数进行最小化计算以使所述总损失函数收敛。7.根据权利要求6所述的电磁目标识别方法，其特征在于，所述电磁解码器包括卷积神经网络、长短期记忆网络lstm和全连接层，所述图像解码器包括卷积神经网络和全连接层。8.一种基于多源数据融合的电磁目标识别装置，其特征在于，包括：
获取模块，被配置为获取目标电磁设备的电磁信号数据和图像数据；电磁编码模块，被配置为通过预先构建的电磁编码器对所述电磁信号数据进行编码，得到电磁隐层向量；图像编码模块，被配置为通过预先构建的图像编码器对所述图像样本数据进行编码，得到图像隐层向量；叠加编码模块，被配置为基于所述电磁隐层向量和所述图像隐层向量得到叠加隐层向量；分类模块，被配置为将所述叠加隐层向量输入预先构建的电磁目标分类器，以对所述目标电磁设备进行分类，基于预设的类别标签确定所述目标电磁设备的电磁信号类别。9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。10.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，其特征在于，所述计算机指令用于使计算机执行权利要求1至7任一所述方法。

技术总结
本申请提供一种基于多源数据融合的电磁目标识别方法及相关设备，该方法包括：获取目标电磁设备的电磁信号数据和图像数据；通过预先构建的电磁编码器对所述电磁信号数据进行编码，得到电磁隐层向量；通过预先构建的图像编码器对所述图像样本数据进行编码，得到图像隐层向量；基于所述电磁隐层向量和所述图像隐层向量得到叠加隐层向量；将所述叠加隐层向量输入预先构建的电磁目标分类器，以对所述目标电磁设备进行分类，基于预设的类别标签确定所述目标电磁设备的电磁信号类别。本申请充分利用电磁和图像等多信息源，通过数据融合降低单一数据源条件下的外界影响，提高算法在复杂环境下的适应能力，提高分类准确率和模型的鲁棒性。性。性。


技术研发人员：穆俊生 周全 景晓军 张荣辉 崔原豪 欧阳文江
受保护的技术使用者：北京邮电大学
技术研发日：2021.10.12
技术公布日：2022/3/8