SQZ Talk | 第9期—专题报告“MiniCPM-V: 部署在手机上的多模态大语言模型”

       多模态大模型深刻地改变了人工智能领域的格局。然而，当前多模态大模型庞大的参数规模使其在学术和工业的实际使用中面临巨大挑战。姚远的最新研究聚焦于提升多模态大模型的知识密度，以构建规模更小、性能更强的模型。基于这些研究，姚远团队开发了高效端侧多模态大模型 MiniCPM-V。最新版本MiniCPM-V 2.6拥有80亿参数，在单图、多图和视频理解这三大核心能力上实现了优于GPT-4V的效果。在本次报告中，姚远从以下三个主要方面介绍支持 MiniCPM-V 的关键研究：（1）高效的模型架构：支持1.8百万像素的高分辨率图像编码，促进多图像和视频建模的高效知识迁移；（2）高效的训练策略：以低成本实现超过30种语言的多模态交互；（3）高质量的数据构建：通过人类与AI反馈减少多模态幻觉。MiniCPM-V在70余万模型中，连续一周排名HuggingFace Trending榜单首位（同期排名前三的其他模型包括Meta的Llama3和微软的Phi-3-vision模型）。此外，它还在GitHub Trending和Papers With Code Trending Research中排名第一。自2024年2月发布以来，MiniCPM-V系列已获得超过1.3万次GitHub星标和340万次下载。