基本信息:
- 专利标题： 基于实例分割辅助信息的多模态海洋场景视频描述算法
- 申请号：CN202310727600.7 申请日：2023-06-19
- 公开(公告)号：CN116778382B 公开(公告)日：2025-06-10
- 发明人： 赵萌 , 陈薪宇 , 张蒙恩
- 申请人： 天津理工大学
- 申请人地址： 天津市西青区宾水西道391号
- 专利权人： 天津理工大学
- 当前专利权人： 天津理工大学
- 当前专利权人地址： 天津市西青区宾水西道391号
- 代理机构： 北京首捷专利代理有限公司
- 代理人： 梁婧宇
- 主分类号： G06V20/40
- IPC分类号： G06V20/40 ; G06V10/40 ; G06V10/80 ; G06V10/82 ; G06F16/783 ; G06F16/74 ; G06N3/0455 ; G06N3/084 ; G06N3/08
摘要：
本发明提出了一种基于实例分割辅助信息的多模态海洋场景视频描述算法，该方法首先使用特征提取器对视频文本两个模态数据进行特征提取，将两个模态的特征送入多模态交互编码器进行融合、交互、和对齐后得到多模态全局信息特征，同时使用实例分割网络将视频中的前景主体信息和背景信息分割，制作辅助信息字典，对其进行特征提取得到辅助信息特征，多模态全局信息特征和辅助信息特征对比学习后送入语言解码器进行解码，生成描述语句。通过提取海洋视频的多模态全局语义信息和辅助语义信息，加强网络对于视频的理解和认知，增强视频文本之间的关联，促使生成的描述语句涵盖海洋场景视频中的全部内容，并且描述具有高质量、高流畅度的特性。
公开/授权文献:
- CN116778382A 基于实例分割辅助信息的多模态海洋场景视频描述算法 公开/授权日：2023-09-19