3月23日,记者从华中科技大学获悉,由该校联合武汉金山办公软件有限公司研究人员开发的Monkey多模态大模型已被人工智能领域国际顶级会议CVPR2024接收,且该大模型曾在大模型开源开放评测体系——“司南”多模态大模型排行榜中名列开源模型榜首。Monkey在文档领域的“升级版”——文字多模态大模型TextMonkey也于近日发布。
据悉,Monkey突破了通用文档理解能力边界。它在场景文字识别、办公文档摘要生成、数学问题问答、文档版式分析、表格理解、图表问答、电子文档关键信息抽取等12项文档权威数据集,以及国际上规模最大的文档图像智能数据集OCRBench上取得显著突破,通用文档理解性能大幅超越现有模型。
据介绍,多模态大模型是一类可以同时处理和整合多种感知数据的AI架构,在众多场景有广阔的应用潜力。凭借丰富的世界知识和出色的对话能力,多模态大模型能如同人类一样深入理解和感知世界。
TextMonkey能帮助人们理解结构化图表、表格以及文档数据。它可将图像内容转化为轻量级的数据交换格式,方便使用者记录和提取。它也能帮助或代替人类在智能手机上执行各种任务,自主操控智能手机应用程序,无需接触后端。
研发团队表示,TextMonkey可以模拟人类视觉认知。这使它能识别高清文档图像中各部分的关联,并可灵敏地鉴别出图像内关键要素。同时,基于对用户多样化需求的深入理解,TextMonkey通过文本定位技术强化了答案准确性,提升了模型的解释性,减少了模型的幻觉,提高了在处理各类文档任务时的表现。
当前,随着各大企业加速数字化转型,对文档与图像进行多模态结构化分析及内容提取变得尤为重要。无论是处理随意拍摄的图片、电子文档,还是图表分析报告,快速、自动化、精确的数据处理对提升企业生产效率意义重大。研发团队表示,模型有望全面提升通用文档理解能力,推动自动化办公、智慧教育、智慧金融等领域发展。