买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华南理工大学;人工智能与数字经济广东省实验室(广州)申请的专利一种视觉Transformer的动态剪枝方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116933859B 。

龙图腾网通过国家知识产权局官网在2026-05-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310697926.X，技术领域涉及：G06N3/082；该发明授权一种视觉Transformer的动态剪枝方法是由郭锴凌;陈灿阳;徐向民设计研发完成，并于2023-06-13向国家知识产权局提交的专利申请。

本一种视觉Transformer的动态剪枝方法在说明书摘要公布了：本发明公开了一种视觉Transformer的动态剪枝方法，涉及深度学习领域，针对现有技术中模型冗余剪枝问题提出本方案，包括以下步骤：在建立模型结构后，对视觉Transformer网络模型进行训练，优化视觉Transformer网络模型中的权重和结构参数，并在训练过程中对模型冗余进行剪枝；本发明采用令牌剪枝和特征稀疏联合工作的方式同时修剪模型中的冗余令牌和冗余通道，可以更加有效地降低模型的浮点计算量，节省模型所需的计算资源，同时，本发明的令牌矩阵的计算仅依赖于的当前层的输入特征，在浅层编码器模块中被误丢弃的令牌可以在后续编码器模块中被重新恢复。

本发明授权一种视觉Transformer的动态剪枝方法在权利要求书中公布了：1.一种视觉Transformer的动态剪枝方法，其特征在于，包括以下步骤： S1、构建图像数据集； S2、建立视觉Transformer网络模型，通过在位置嵌入模块之后堆叠十二层编码器块的方式构建视觉Transformer模型，在第三、第六、第九层编码器块后插入令牌剪枝模块用以对令牌序列进行剪枝，并在每一层编码器块中嵌入通道稀疏模块以对特征通道进行稀疏化； 在位置嵌入模块中，将输入的图像重新处理成二维令牌序列其中H,W是原始输入图像的分辨率，K是原始输入图像的通道数，N是令牌序列的长度，M是令牌的嵌入维度，同时构建一个可学习的位置编码向量用以保留输入图像块之间的空间位置信息，通过将位置嵌入向量与输入嵌入向量相加进行显性的位置编码，最后将得到的令牌序列作为后续编码器块的输入； S3、对视觉Transformer网络模型进行训练，优化视觉Transformer网络模型的权重和结构参数，并在训练过程中修剪模型冗余，令牌剪枝的剪枝对象是令牌序列，特征稀疏的剪枝对象是全连接层的通道参数； S4、选取相应比率的全局信息得分最高的子令牌序列和重要性权重最大的通道，重新构建轻量化网络。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华南理工大学;人工智能与数字经济广东省实验室(广州)，其通讯地址为：510640 广东省广州市天河区五山路381号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。