Aria-Base-64K

8个月前发布 11 00

Aria-Base-64K是Aria系列的基础模型之一,专为研究目的和继续训练而设计。该模型在长文本预训练阶段后形成,经过33B个token(21B多模态,12B语言,69%为长文本)的训练。它适合于长视频问答数据集或长文档问答数据集的继续预训练或微调,即使在资源有限的情况下,也可以通过短指令调优数据集进行后训练,并转移到长文本问答场景...

收录时间:
2025-05-29
Aria-Base-64KAria-Base-64K

Aria-Base-64K是Aria系列的基础模型之一,专为研究目的和继续训练而设计。该模型在长文本预训练阶段后形成,经过33B个token(21B多模态,12B语言,69%为长文本)的训练。它适合于长视频问答数据集或长文档问答数据集的继续预训练或微调,即使在资源有限的情况下,也可以通过短指令调优数据集进行后训练,并转移到长文本问答场景。该模型能够理解多达250张高分辨率图像或多达500张中等分辨率图像,并在语言和多模态场景中保持强大的基础性能。

数据统计

相关导航

SmolVLM-256M-Instruct

SmolVLM-256M-Instruct

SmolVLM-256M 是由 Hugging Face 开发的多模态模型,基于 Idefics3 架构,专为高效处理图像和文本输入而设计。它能够回答关于图像的问题、描述视觉内容或转录文本,且仅需不到 1GB 的 GPU 内存即可运行推理。该模型在多模态任务上表现出色,同时保持轻量化架构,适合在设备端应用。其训练数据来自 The Cauldron 和 Docmatix 数据集,涵盖文档理解、图像描述等多领域内容,使其具备广泛的应用潜力。目前该模型在 Hugging Face 平台上免费提供,旨在为开发者和研究人员提供强大的多模态处理能力。
ViTLP

ViTLP

ViTLP是一个视觉引导的生成文本布局预训练模型,旨在提高文档智能处理的效率和准确性。该模型结合了OCR文本定位和识别功能,能够在文档图像上进行快速准确的文本检测和识别。ViTLP模型的预训练版本ViTLP-medium(380M参数)在计算资源和预训练数据集规模的限制下,提供了一个平衡的解决方案,既保证了模型的性能,又优化了推理速度和内存使用。ViTLP的推理速度在Nvidia 4090上处理一页文档图像通常在5到10秒内,与大多数OCR引擎相比具有竞争力。
InternVL2_5-4B

InternVL2_5-4B

InternVL2_5-4B是一个先进的多模态大型语言模型(MLLM),在InternVL 2.0的基础上进行了核心模型架构的维护,并在训练和测试策略以及数据质量上进行了显著增强。该模型在处理图像、文本到文本的任务中表现出色,特别是在多模态推理、数学问题解决、OCR、图表和文档理解等方面。作为开源模型,它为研究人员和开发者提供了强大的工具,以探索和构建基于视觉和语言的智能应用。
InternVL2_5-26B-MPO-AWQ

InternVL2_5-26B-MPO-AWQ

InternVL2_5-26B-MPO-AWQ 是由 OpenGVLab 开发的多模态大型语言模型,旨在通过混合偏好优化提升模型的推理能力。该模型在多模态任务中表现出色,能够处理图像和文本之间的复杂关系。它采用了先进的模型架构和优化技术,使其在多模态数据处理方面具有显著优势。该模型适用于需要高效处理和理解多模态数据的场景,如图像描述生成、多模态问答等。其主要优点包括强大的推理能力和高效的模型架构。
Aquila-VL-2B-llava-qwen

Aquila-VL-2B-llava-qwen

Aquila-VL-2B模型是一个基于LLava-one-vision框架训练的视觉语言模型(VLM),选用Qwen2.5-1.5B-instruct模型作为语言模型(LLM),并使用siglip-so400m-patch14-384作为视觉塔。该模型在自建的Infinity-MM数据集上进行训练,包含约4000万图像-文本对。该数据集结合了从互联网收集的开源数据和使用开源VLM模型生成的合成指令数据。Aquila-VL-2B模型的开源,旨在推动多模态性能的发展,特别是在图像和文本的结合处理方面。
ModernBERT-base

ModernBERT-base

ModernBERT-base是一个现代化的双向编码器Transformer模型,预训练于2万亿英文和代码数据,原生支持长达8192个token的上下文。该模型采用了Rotary Positional Embeddings (RoPE)、Local-Global Alternating Attention和Unpadding等最新架构改进,使其在长文本处理任务中表现出色。ModernBERT-base适用于需要处理长文档的任务,如检索、分类和大型语料库中的语义搜索。模型训练数据主要为英文和代码,因此可能在其他语言上的表现会有所降低。

暂无评论

您必须登录才能参与评论!
立即登录
none
暂无评论...