Phi-4-multimodal-instruct

8个月前发布 15 00

Phi-4-multimodal-instruct 是微软开发的多模态基础模型,支持文本、图像和音频输入,生成文本输出。该模型基于Phi-3.5和Phi-4.0的研究和数据集构建,经过监督微调、直接偏好优化和人类反馈强化学习等过程,以提高指令遵循能力和安全性。它支持多种语言的文本、图像和音频输入,具有128K的上下文长度,适用于多种多模态...

收录时间:
2025-06-02
Phi-4-multimodal-instructPhi-4-multimodal-instruct

Phi-4-multimodal-instruct 是微软开发的多模态基础模型,支持文本、图像和音频输入,生成文本输出。该模型基于Phi-3.5和Phi-4.0的研究和数据集构建,经过监督微调、直接偏好优化和人类反馈强化学习等过程,以提高指令遵循能力和安全性。它支持多种语言的文本、图像和音频输入,具有128K的上下文长度,适用于多种多模态任务,如语音识别、语音翻译、视觉问答等。该模型在多模态能力上取得了显著提升,尤其在语音和视觉任务上表现出色。它为开发者提供了强大的多模态处理能力,可用于构建各种多模态应用。

数据统计

相关导航

InternVL2_5-26B-MPO

InternVL2_5-26B-MPO

InternVL2_5-26B-MPO是一个多模态大型语言模型(MLLM),它在InternVL2.5的基础上,通过混合偏好优化(Mixed Preference Optimization, MPO)进一步提升了模型性能。该模型能够处理包括图像、文本在内的多模态数据,广泛应用于图像描述、视觉问答等场景。它的重要性在于能够理解和生成与图像内容紧密相关的文本,推动了多模态人工智能的边界。产品背景信息包括其在多模态任务中的卓越性能,以及在OpenCompass Learderboard中的评估结果。该模型为研究者和开发者提供了强大的工具,以探索和实现多模态人工智能的潜力。
M2RAG

M2RAG

M2RAG是一个用于多模态上下文中的检索增强生成的基准测试代码库。它通过多模态检索文档来回答问题,评估多模态大语言模型(MLLMs)在利用多模态上下文知识方面的能力。该模型在图像描述、多模态问答、事实验证和图像重排等任务上进行了评估,旨在提升模型在多模态上下文学习中的有效性。M2RAG为研究人员提供了一个标准化的测试平台,有助于推动多模态语言模型的发展。
Coval

Coval

Coval是一个专注于AI代理测试和评估的平台,旨在通过模拟和评估来提高AI代理的可靠性和效率。该平台由自主测试领域的专家构建,支持语音和聊天代理的测试,并提供全面的评估报告,帮助用户优化AI代理的性能。Coval的主要优点包括简化测试流程、提供AI驱动的模拟、兼容语音AI,以及提供详细的性能分析。产品背景信息显示,Coval旨在帮助企业快速、可靠地部署AI代理,提高客户服务的质量和效率。Coval提供三种定价计划,满足不同规模企业的需求。
InternVL2_5-1B-MPO

InternVL2_5-1B-MPO

InternVL2_5-1B-MPO是一个多模态大型语言模型(MLLM),它基于InternVL2.5和混合偏好优化(MPO)构建,展示了优越的整体性能。该模型集成了新增量预训练的InternViT与各种预训练的大型语言模型(LLMs),包括InternLM 2.5和Qwen 2.5,使用随机初始化的MLP投影器。InternVL2.5-MPO在模型架构上保留了与InternVL 2.5及其前身相同的“ViT-MLP-LLM”范式,并引入了对多图像和视频数据的支持。该模型在多模态任务中表现出色,能够处理包括图像描述、视觉问答等多种视觉语言任务。
xiaozhi-esp32

xiaozhi-esp32

xiaozhi-esp32 是一个开源的 AI 聊天机器人项目,基于乐鑫的 ESP-IDF 开发。它将大语言模型与硬件设备相结合,使用户能够打造出个性化的 AI 伴侣。项目支持多种语言的语音识别与对话,具备声纹识别功能,能够识别不同用户的语音特征。其开源特性降低了 AI 硬件开发的门槛,为学生、开发者等群体提供了宝贵的学习资源,有助于推动 AI 技术在硬件领域的应用与创新。项目目前免费开源,适合不同层次的开发者进行学习与二次开发。

暂无评论

您必须登录才能参与评论!
立即登录
none
暂无评论...