买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉大连理工大学申请的专利一种基于视觉和WiFi的多模态分层交叉融合识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116383761B 。

龙图腾网通过国家知识产权局官网在2026-04-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310327947.2，技术领域涉及：G06F18/25；该发明授权一种基于视觉和WiFi的多模态分层交叉融合识别方法是由卢欣欣;王雷;周志一;樊鑫;韩鑫;覃振权;卢炳先设计研发完成，并于2023-03-30向国家知识产权局提交的专利申请。

本一种基于视觉和WiFi的多模态分层交叉融合识别方法在说明书摘要公布了：本发明属于非接触式人体行为技术领域，公开了一种基于视觉和WiFi的多模态分层交叉融合识别方法，本方法利用常见的商用摄像头和WiFi信号采集设备对人体行为进行采样，配合特有的深度学习网络对视频和WiFi信号进行辨别性特征的提取，利用多模态分层交叉融合方法挖掘两种模态的互补性信息关系，实现异构信息的互补，剔除信息间的冗余性，弥补单模态在不利情况下障碍物、光线灰暗、视角不当等识别不精准等问题，实现人体动作的高精度、高鲁棒识别。填补非接触感知领域多模态融合和互补的空缺，为基于深度学习的无源感知与识别打造应用示例。该方法可广泛应用到精准看护、饮食监测、和入侵检测等领域。

本发明授权一种基于视觉和WiFi的多模态分层交叉融合识别方法在权利要求书中公布了：1.一种基于视觉和WiFi的多模态分层交叉融合识别方法，其特征在于，包括步骤如下： 步骤一、多模态序列数据采集； 多模态序列数据采集包括视频行为序列图像数据采集和WiFi信号数据采集； 步骤二、多模态序列数据预处理； 多模态序列数据预处理包括视频行为序列图像处理和WiFi信号数据处理；视频行为序列图像处理用于去除冗余的视频行为序列图像，从去除冗余后的视频行为序列图像中间断性提取，获得代表性视频行为序列图像；WiFi信号数据处理用于对WiFi信号数据进行去噪、降维，生成信道状态信息相关系数矩阵，重构具有唯一性的WiFi信号数据；具体如下： 所述WiFi信号数据，提取WiFi信道状态信息中的原始振幅信息和原始相位信息；采用天线商方法消除WiFi信号发射端和接收端之间产生的额外时变随机相位偏移；采用hampel滤波器去除由设备缺陷和周围环境造成的噪声和异常值；得到净化的WiFi信号数据后，采用PCA进行降维，过滤由同一天线对子载波间存在高相似性造成的冗余信息；进一步重构WiFi信号数据，沿着时间维度进行分割成M段WiFi信道状态信息子序列，针对每段WiFi信道状态信息子序列，分别求得不同天线对之间的相关系数矩阵并将其进行拼接，得到信道状态信息相关系数矩阵，将得到的信道状态信息相关系数矩阵与自身转置相乘获取M个WiFi信道状态信息子序列间关系，得到重构地具有唯一性的WiFi信号数据C； 所述视频行为序列图像，将对应WiFi信号数据的原有的视频行为序列图像按照帧数分为相同长度的N段视频行为子序列，在各个视频行为子序列上随机提取出一个子图像，构成一个行为序列图像样本V； 步骤三、多模态序列数据特征提取与融合； 多模态序列数据特征提取与融合包括低层次隐式特征提取模块和高层次分层交叉融合模块；低层次隐式特征提取模块中通过深度学习网络分别从代表性视频行为序列图像和重构的WiFi信号数据获取低层次多模态隐式特征，包括视频行为序列图像特征和WiFi数据信号特征，再经过高层次分层交叉融合模块实现视频行为序列图像和WiFi信号数据两模态特征的互补性融合，得到融合特征；具体如下： 在低层次多模态隐式特征提取中，神经学习网络包括视频特征提取网络3DCNN和时空网络DTNet；使用视频特征提取网络3DCNN提取行为序列图像样本V的RGB特征，得到视频行为序列图像的低层次特征，通过由空洞卷积和时间卷积构成的时空网络DTNet提取重构的WiFi信号数据C的相关性特征，得到WiFi信号数据的低层次特征，从而得到低层次的多模态隐式特征； 在高层次多模态交叉融合中，使用基于Transformer的分层交叉融合方式，从低层次的多模态隐式特征中提取高层次特征的同时融合视频行为序列图像和WiFi信号数据两模态的高层次特征，得到融合特征；，，，表示Transformer操作，表示模态维度的contact操作，代表卷积和池化操作，表示经过和Transformer的操作次数； 步骤四、多模态损失优化与分类； 多模态损失优化与分类用于对视频行为序列图像特征的损失、WiFi数据信号特征的损失以及融合特征损失进行整合，确定多模态损失，并利用多模态损失优化多模态序列数据特征提取与融合中的深度学习网络，输出行为分类结果； 具体如下： 对视频行为序列图像特征的损失、WiFi信号数据特征的损失以及多模态融合特征损失进行整合，确定多模态损失优化与分类函数，，通过多模态损失优化与分类函数优化多模态序列数据特征提取与融合的深度学习网络，输出行为分类结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人大连理工大学，其通讯地址为：116024 辽宁省大连市甘井子区凌工路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。