基本信息:
- 专利标题： 一种基于蒙特卡洛树与动态检索的多模态推理方法
- 申请号：CN202411826230.3 申请日：2024-12-12
- 公开(公告)号：CN119808941A 公开(公告)日：2025-04-11
- 发明人： 窦志成 , 董冠霆 , 张宬浩 , 邓梦洁 , 朱余韬 , 文继荣
- 申请人： 中国人民大学
- 申请人地址： 北京市海淀区中关村大街59号
- 专利权人： 中国人民大学
- 当前专利权人： 中国人民大学
- 当前专利权人地址： 北京市海淀区中关村大街59号
- 代理机构： 北京中创阳光知识产权代理有限责任公司
- 代理人： 尹振启
- 主分类号： G06N5/04
- IPC分类号： G06N5/04 ; G06N7/01 ; G06F16/903 ; G06F16/9032
摘要：
本公开提供一种基于蒙特卡洛树与动态检索的多模态推理方法。应用于人工智能助手辅助教师判卷场景。具体来说，本框架包括统一的检索模块：所述检索模块包括混合模态检索语料库和多模态检索模块；所述多模态检索模块包括两种检索模块：文本检索模块和跨模态检索模块，采用知识概念过滤来选择关键的解决问题见解，利用蒙特卡罗树搜索和主动检索机制自动获取多模态推理的渐进式多模态推理注释进行数据标注；然后利用标注数据在两个阶段通过课程过程奖励建模逐步对齐过程奖励模型，以实现对多模态大模型推理的细粒度验证。结合了MCTS算法和主动检索策略，以改善多模态推理。该框架能够自动获取高质量的逐步推理注释，从而逐步对齐过程奖励模型，最终实现可靠的自动化多模态推理验证。
IPC结构图谱:
| G | 物理 |
| --G06 | 计算；推算；计数 |
| ----G06N | 基于特定计算模型的计算机系统 |
| ------G06N5/00 | 利用基于知识的模式的计算机系统 |
| --------G06N5/04 | .推理方法或设备 |