基于卷积神经网络和频域注意力的图像隐写方法

1.本发明研究的是图像隐写和信息隐藏这一领域，提出了一种卷积神经网络和频域注意力在图像隐写中应用的一种方法。


背景技术：

2.图像隐写是信息隐藏的主要内容。发送方将秘密信息隐藏在原始图像中，生成携带秘密信息的含密图像，并通过含密图像完成秘密信息在公共信道上的传输，传输的接收方可以解码出含密图像中携带的秘密信息。而公共信道上的其他侦听器无法监测出含密图像中的秘密信息。
3.经典的数据隐藏方法通常使用启发式算法来决定每个像素需要修改多少。例如，一些算法修改某些选定像素的最低有效位，另一些算法修改频域中的中低频分量。目前，有一些工作将卷积神经网络(cnn)引入到图像隐写技术中，并超越了传统的图像隐写算法。但是这些研究局限在图像的空间域上训练其网络模型，在容量、不可见性和安全性方面仍然存在性能瓶颈。
4.随着深度学习技术的发展，深度学习在图像隐写领域还有很大的改进潜力，需要结合传统启发式算法中的优点，朝着更加新颖和更加综合的研究方向发展。如何让含密图像看起来更加自然，携带更多的秘密信息成为了需要解决的问题。


技术实现要素：

5.本发明的目的在于解决现有技术中存在的问题，并提供一种基于卷积神经网络和频域注意力的图像隐写方法。
6.为了实现上述发明目的，本发明具体采用的技术方案如下：
7.一种基于卷积神经网络和频域注意力的图像隐写方法，其具体步骤如下：
8.s1、在steganogan网络基础上，将多个fca频域模块加入网络的编码器并重构解码器，构建得到包含编码器网络、解码器网络和评估器网络的卷积神经网络；每个fca频域模块均为一个频域注意力网络fcanet，且频域注意力网络 fcanet的频率分量组合选择为中低频率部分；
9.所述编码器网络中，分别在steganogan网络的全连接编码器的第一层卷积层、第二层卷积层和第三层卷积层之后各自插入一个fca频域模块；
10.所述解码器网络中，第一层为卷积层，输入为含密图像；第二层为fca频域模块，输入为解码器网络第一层的输出特征张量；第三层为卷积层，输入为解码器网络第二层的输出特征张量；第四层为fca频域模块，输入为解码器网络第三层的输出特征张量；第五层为卷积层，输入为解码器网络第四层的输出特征张量和第二层的输出特征张量按维度拼接的结果；第六层为fca频域模块，输入为解码器网络第五层的输出特征张量；第七层为卷积层，输入为解码器网络第六层的输出特征张量；第八层为fca频域模块，输入为解码器网络第七层的输出特征张量；第九层为卷积层，输入为解码器网络第八层的输出特征张量；第十层为
fca 频域模块，输入为解码器网络第九层的输出特征张量；第十一层为卷积层，输入为解码器网络第十层的输出特征张量和第八层的输出特征张量按维度拼接的结果；第十二层为fca频域模块，输入为解码器网络第九层的输出特征张量；第十三层为卷积层，输入为解码器网络第十二层的输出特征张量、解码器网络第十层的输出特征张量和第八层的输出特征张量按维度拼接的结果，输出为秘密信息；
11.s2、基于图像数据集对所述卷积神经网络模型进行训练，得到在信息发送方和信息接收方之间进行秘密信息隐写传输的图像隐写网络模型；其中，信息发送方向图像隐写网络模型的编码器模块中输入原始图像和待写入的秘密信息，输出含密图像，并将其发送给信息接收方，而信息接收方将收到的含密图像输入图像隐写网络模型的解码器模块中，输出秘密信息。
12.作为优选，步骤s1中，所述中低频率部分为2维dct频率空间的低频和中频部分。
13.进一步的，所述2维dct频率空间每一维均划分为7等份，一共划分得到 7
×
7个部分，位于左上角的部分坐标为(0,0)，则所述中低频率部分由坐标为(0,0)、 (0,1)、(0,2)、(0,3)、(0,4)、(1,0)、(1,1)、(1,2)、(1,3)、(1,4)、(2,0)、(2,1)、(2,2)、 (3,0)、(3,1)、(4,0)一共16个部分组成。
14.作为优选，步骤s1中，解码器网络中第一层、第三层、第五层、第七层、第九层、第十一层的卷积核大小均为3*3，卷积核数量均为32个，并且均采用 leakyrelu函数作为激活函数。
15.作为优选，步骤s1中，解码器网络的第十三层的卷积核大小为3*3，卷积核数量为3个。
16.作为优选，所述卷积神经网络中，秘密信息均通过字节编码转换为 360*360*3的张量后再输入图像隐写网络模型中。
17.作为优选，步骤s2中，通过对所述图像数据集随机生成大小为360*360*3 的张量作为秘密信息对所述卷积神经网络模型进行训练，且训练的批次大小设置为8，训练轮数设置为300。
18.作为优选，步骤s2中，信息发送方和信息接收方在公共信道上进行含密图像的传输。
19.相对于现有技术而言，本发明的有益效果如下：
20.本发明根据传统信息隐藏在频域空间上应用的启发，在卷积神经网络中增加频域注意力模块，关注于频域空间上的中低频部分。像素域与dct域之间的相互转换不会产生信息的丢失，且dct域空间的能量排布更加紧凑，每个频率分量明确代表了不同频率带的信息，用卷积去进一步融合，使可解释性更好。本发明能有效地将秘密信息嵌入图像中，且含密图像与原始图像的相似度高，人类视觉系统难以察觉，能根据含密图像准确地提取秘密信息。
附图说明
21.图1为本发明实施例中的图像隐写方法训练流程图；
22.图2为本发明实施例中卷积神经网络模型结构图；
23.图3为本发明实施例中频域注意力网络fcanet模型结构图；
24.图4为本发明实施例中频域分量组合选择示意图；
25.图5为本发明实施例中部分图像隐写嵌入结果图；
26.图6为本发明实施例中部分秘密信息提取结果图。
具体实施方式
27.下面结合附图和具体实施方式对本发明做进一步阐述和说明。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。
28.大多数的深度学习方法只在像素域(空间域)进行数字图像的信息隐藏。像素域与频域(本发明指dct域)之间的相互转换不会产生信息的丢失，且频域空间的能量排布更加紧凑，每个频率分量明确代表了不同频率带的信息，用卷积去进一步融合，使可解释性更好。本发明基于卷积神经网络，增加频域注意力机制，关注于频域空间上的中低频部分，同时根据卷积神经网络在频域空间应用时的特点，调整卷积神经网络模型的深度，模型能更好提取到频域上的特征。
29.下面结合附图，对本发明的具体实施方案作进一步详细描述。
30.在本发明的一个较佳实施例中，提供了一种基于卷积神经网络和频域注意力的图像隐写方法，其具体步骤描述如图1所示：
31.步骤1：图像数据集预处理
32.获取用于进行卷积神经网络训练的图像数据集，将图像数据集经过预处理形成尺寸大小一致的样本图像，然后按比例分为训练集和测试集。
33.步骤2：定义卷积神经网络
34.在steganogan网络基础上，将多个fca频域模块加入网络的编码器并重构解码器，构建得到包含编码器网络、解码器网络和评估器网络的卷积神经网络，如图2所示。
35.需事先说明的是，本发明中加入steganogan网络的每个fca频域模块均为一个频域注意力网络fcanet，频域注意力网络fcanet属于现有技术，其模型结构如图3所示，具体结构形式可参见论文fcanet:frequencychannelattentionnetworks，链接为http://arxiv.org/abs/2012.11879。频域注意力网络fcanet需要设定频率分量组合，在本发明中频域注意力网络fcanet的频率分量组合选择为中低频率部分，即2维dct频率空间的低频和中频部分。
36.在本实施例中，对于2维dct频率空间的低频和中频部分可通过空间划分来进行选择。频域分量组合的选择如图4所示，先将整个2维dct频率空间每一维均划分为7等份，一共划分得到7
×
7个部分，设定(x，y)中x表示横坐标，y表示纵坐标，定义位于左上角的部分坐标为(0,0)，则本发明中选择的中低频率部分由坐标为(0,0)、(0,1)、(0,2)、(0,3)、(0,4)、(1,0)、(1,1)、(1,2)、(1,3)、(1,4)、(2,0)、(2,1)、(2,2)、(3,0)、(3,1)、(4,0)一共16个部分组成。
37.steganogan网络属于现有技术，具体可参见论文：steganogan:highcapacityimagesteganographywithgans，链接为https://arxiv.org/abs/1901.03892。steganogan网络分为三个部分：
38.第一部分是编码器(encoder)，输入原始图像coverimage，以及隐写信息data，输出为隐写图像steganographyimage。编码器(encoder)三种不同的架构，分别为基本编码
器basic encoder、残差编码器residual encoder和全连接编码器denseencoder。
39.第二部分是解码器(decoder)，输入是隐写图像steganography image，输出为隐写信息data。
40.第三部分是评估器(critic)，相当于gan的鉴别器，输入为cover image和 steganography image，训练一个二分类器。
41.在本发明中，卷积神经网络的编码器网络是基于原始steganogan网络的全连接编码器dense encoder进行改进的，解码器网络根据改进后的编码器网络进行了重构以适配模型，而评估器网络则采用原始steganogan网络的评估器 (critic)。如图2所示，为卷积神经网络的网络结构示意图，其包含编码器网络、解码器网络和评估器网络三部分。由于评估器网络未做变化，因此下面主要对卷积神经网络的编码器网络和解码器网络进行详述。
42.a)该编码器网络，基于原始steganogan网络的全连接编码器denseencoder进行改进，分别在dense encoder的第一层卷积层、第二层卷积层和第三层卷积层之后各自插入一个fca频域模块。
43.b)该解码器网络直接进行了重构，其包含13层网络层，其中：
44.1)解码器网络第一层为卷积层，输入为含密图像，卷积核大小为3*3，卷积核数量为32个，并且采用leakyrelu函数作为激活函数。
45.2)解码器网络第二层为fca频域模块，输入为解码器网络第一层的输出特征张量。
46.3)解码器网络第三层为卷积层，输入为解码器网络第二层的输出特征张量，卷积核大小为3*3，卷积核数量为32个，并且采用leakyrelu函数作为激活函数。
47.4)解码器网络第四层为fca频域模块，输入为解码器网络第三层的输出特征张量。
48.5)解码器网络第五层为卷积层，输入为解码器网络第四层的输出特征张量和第二层的输出特征张量按维度拼接(concatenation operations)的结果，卷积核大小为3*3，卷积核数量为32个，并且采用leakyrelu函数作为激活函数。
49.6)解码器网络第六层为fca频域模块，输入为解码器网络第五层的输出特征张量。
50.7)解码器网络第七层为卷积层，输入为解码器网络第六层的输出特征张量，卷积核大小为3*3，卷积核数量为32个，并且采用leakyrelu函数作为激活函数。
51.8)解码器网络第八层为fca频域模块，输入为解码器网络第七层的输出特征张量。
52.9)解码器网络第九层为卷积层，输入为解码器网络第八层的输出特征张量，卷积核大小为3*3，卷积核数量为32个，并且采用leakyrelu函数作为激活函数。
53.10)解码器网络第十层为fca频域模块，输入为解码器网络第九层的输出特征张量。
54.11)解码器网络第十一层为卷积层，输入为解码器网络第十层的输出特征张量和第八层的输出特征张量按维度拼接的结果，卷积核大小为3*3，卷积核数量为32个，并且采用leakyrelu函数作为激活函数。
55.12)解码器网络第十二层为fca频域模块，输入为解码器网络第九层的输出特征张量。
56.13)解码器网络第十三层为卷积层，输入为解码器网络第十二层的输出特征张量、解码器网络第十层的输出特征张量和第八层的输出特征张量按维度拼接的结果，卷积核大小为3*3，卷积核数量为3个，输出为秘密信息。
57.另外，为了统一秘密信息的输入，在卷积神经网络中，秘密信息均通过字节编码转换为360*360*3的张量后再输入图像隐写网络模型中。当然，该秘密信息的大小亦可根据实际进行调整。
58.由此，经过将9个fca频域模块插入编码器网络和解码器网络，即可形成如图2所示的卷积神经网络，该卷积神经网络通过训练即可实现信息发送方和信息接收方之间进行秘密信息隐写传输。
59.步骤3：根据数据集对卷积神经网络模型进行联合训练
60.将步骤1中得到的训练集和测试集放入步骤2构建的卷积神经网络模型中，对该卷积神经网络模型进行训练。模型的训练属于现有技术，对此不作详细介绍。在本实施例中，可针对训练集和测试集中的每一张图像随机生成大小为 360*360*3的张量作为待嵌入的秘密信息对模型进行训练，训练的批次大小 batchsize设置为8，训练轮数epoch设置为300进行训练，训练完毕后的模型即可作为图像隐写网络模型，用于在信息发送方和信息接收方之间进行秘密信息隐写传输的图像隐写网络模型。
61.步骤4：信息发送方向图像隐写网络模型的编码器模块中输入原始图像和待写入的秘密信息，输出含密图像，并将其发送给信息接收方。本实施例中，亦需要通过将秘密信息字节编码转换为360*360*3的张量作为图像隐写网络模型的输入，输出含密图像。由于含密图像从视觉上与原始图像基本无异，依次信息发送方可以将含密图像在公共信道上发送给信息接收方。
62.步骤5：信息接收方将收到的含密图像输入图像隐写网络模型的解码器模块中，输出秘密信息，从而完成秘密信息的加密传输。
63.在本实施例中，用训练好的图像隐写网络模型对图像嵌入秘密信息进行测试。部分含密图像示意图如图5所示，从结果中可见本发明嵌入秘密信息后的含密图像色彩自然，不易被人眼察觉，不可见性高。部分秘密信息提取结果示意图如图 6所示，从结果中可见本发明能从含密图像中准确地提取出嵌入的秘密信息。
64.本发明进一步对图像隐写网络模型通过三个指标进行评估：隐藏的数据容量，含密图像和原始图像的相似性，从含密图像中提取的秘密信息的正确率。为了更直观评价本发明的信息隐藏效果，设置了一个对照实验组，对照实验组在本发明基础上不引入频域注意力机制和对应的模型深度调整。两组实验固定隐藏的数据容量这一指标，容量为360*360*3个比特位，比较含密图像的透明性和提取秘密信息的正确率这两个指标。含密图像与原始图像相似性的实验指标使用psnr和 ssim，秘密信息提取成功率的实验指标使用accuracy和rs-bpp，实验结果如下：
65.表1部分指标对比表
[0066] psnrssimaccuracyrs-bpp空间域方法36.520.850.942.63本发明40.780.960.982.86
[0067]
根据实验结果显示，本发明的图像隐写方法，将卷积神经网络和频域空间注意力进行结合调整之后，应用在图像隐写，可以有效的将秘密信息嵌入到图像中，有效地提升了含密图像地透明性，也提升了秘密信息提取的成功率。
[0068]
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有
关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

技术特征：
1.一种基于卷积神经网络和频域注意力的图像隐写方法，其特征在于具体步骤如下：s1、在steganogan网络基础上，将多个fca频域模块加入网络的编码器并重构解码器，构建得到包含编码器网络、解码器网络和评估器网络的卷积神经网络；每个fca频域模块均为一个频域注意力网络fcanet，且频域注意力网络fcanet的频率分量组合选择为中低频率部分；所述编码器网络中，分别在steganogan网络的全连接编码器的第一层卷积层、第二层卷积层和第三层卷积层之后各自插入一个fca频域模块；所述解码器网络中，第一层为卷积层，输入为含密图像；第二层为fca频域模块，输入为解码器网络第一层的输出特征张量；第三层为卷积层，输入为解码器网络第二层的输出特征张量；第四层为fca频域模块，输入为解码器网络第三层的输出特征张量；第五层为卷积层，输入为解码器网络第四层的输出特征张量和第二层的输出特征张量按维度拼接的结果；第六层为fca频域模块，输入为解码器网络第五层的输出特征张量；第七层为卷积层，输入为解码器网络第六层的输出特征张量；第八层为fca频域模块，输入为解码器网络第七层的输出特征张量；第九层为卷积层，输入为解码器网络第八层的输出特征张量；第十层为fca频域模块，输入为解码器网络第九层的输出特征张量；第十一层为卷积层，输入为解码器网络第十层的输出特征张量和第八层的输出特征张量按维度拼接的结果；第十二层为fca频域模块，输入为解码器网络第九层的输出特征张量；第十三层为卷积层，输入为解码器网络第十二层的输出特征张量、解码器网络第十层的输出特征张量和第八层的输出特征张量按维度拼接的结果，输出为秘密信息；s2、基于图像数据集对所述卷积神经网络模型进行训练，得到在信息发送方和信息接收方之间进行秘密信息隐写传输的图像隐写网络模型；其中，信息发送方向图像隐写网络模型的编码器模块中输入原始图像和待写入的秘密信息，输出含密图像，并将其发送给信息接收方，而信息接收方将收到的含密图像输入图像隐写网络模型的解码器模块中，输出秘密信息。2.根据权利要求1所述的基于卷积神经网络和频域注意力的图像隐写方法，其特征在于，步骤s1中，所述中低频率部分为2维dct频率空间的低频和中频部分。3.根据权利要求2所述的基于卷积神经网络和频域注意力的图像隐写方法，其特征在于，所述2维dct频率空间每一维均划分为7等份，一共划分得到7
×
7个部分，位于左上角的部分坐标为(0,0)，则所述中低频率部分由坐标为(0,0)、(0,1)、(0,2)、(0,3)、(0,4)、(1,0)、(1,1)、(1,2)、(1,3)、(1,4)、(2,0)、(2,1)、(2,2)、(3,0)、(3,1)、(4,0)一共16个部分组成。4.根据权利要求1所述的基于卷积神经网络和频域注意力的图像隐写方法，其特征在于，步骤s1中，解码器网络中第一层、第三层、第五层、第七层、第九层、第十一层的卷积核大小均为3*3，卷积核数量均为32个，并且均采用leakyrelu函数作为激活函数。5.根据权利要求1所述的基于卷积神经网络和频域注意力的图像隐写方法，其特征在于，步骤s1中，解码器网络的第十三层的卷积核大小为3*3，卷积核数量为3个。6.根据权利要求1所述的基于卷积神经网络和频域注意力的图像隐写方法，其特征在于，所述卷积神经网络中，秘密信息均通过字节编码转换为360*360*3的张量后再输入图像隐写网络模型中。
7.根据权利要求1所述的基于卷积神经网络和频域注意力的图像隐写方法，其特征在于，步骤s2中，通过对所述图像数据集随机生成大小为360*360*3的张量作为秘密信息对所述卷积神经网络模型进行训练，且训练的批次大小设置为8，训练轮数设置为300。8.根据权利要求1所述的基于卷积神经网络和频域注意力的图像隐写方法，其特征在于，步骤s2中，信息发送方和信息接收方在公共信道上进行含密图像的传输。

技术总结
本发明公开了一种基于卷积神经网络和频域注意力的图像隐写方法，涉及信息隐藏领域，特别是图像隐写这一应用领域。目前的深度学习方法只在空间域进行数字图像的信息隐藏，本发明基于卷积神经网络，增加频域注意力机制，关注于频域空间上的中低频部分，调整卷积神经网络模型的深度，模型能更好提取到频域上的特征。本发明能有效地将秘密信息嵌入图像中，且含密图像与原始图像的相似度高，且能根据含密图像准确地提取秘密信息。图像准确地提取秘密信息。图像准确地提取秘密信息。


技术研发人员：张善卿 李辉 李黎 陆剑锋
受保护的技术使用者：杭州电子科技大学
技术研发日：2021.12.01
技术公布日：2022/3/8