
Phi-4-multimodal-instruct
Phi-4-multimodal-instruct 是微软开发的多模态基础模型,支持文本、图像和音频输入,生成文本输出。该模型基于Phi-3.5和Phi-4.0的研究和数据集构建,经过监督微调、直接偏好优化和人类反馈强化学习等过程,以提高指令遵循能力和安全性。它支持多种语言的文本、图像和音频输入,具有128K的上下文长度,适用于多种多模态任务,如语音识别、语音翻译、视觉问答等。该模型在多模态能力上取得了显著提升,尤其在语音和视觉任务上表现出色。它为开发者提供了强大的多模态处理能力,可用于构建各种多模态应用。