MiniMax-Text-01

12个月前发布 21 00

MiniMax-Text-01是一个由MiniMaxAI开发的大型语言模型,拥有4560亿总参数,其中每个token激活459亿参数。它采用了混合架构,结合了闪电注意力、softmax注意力和专家混合(MoE)技术,通过先进的并行策略和创新的计算-通信重叠方法,如线性注意力序列并行主义加(LASP+)、变长环形注意力、专家张量并行(ETP...

收录时间:
2025-05-30
MiniMax-Text-01MiniMax-Text-01

MiniMax-Text-01是一个由MiniMaxAI开发的大型语言模型,拥有4560亿总参数,其中每个token激活459亿参数。它采用了混合架构,结合了闪电注意力、softmax注意力和专家混合(MoE)技术,通过先进的并行策略和创新的计算-通信重叠方法,如线性注意力序列并行主义加(LASP+)、变长环形注意力、专家张量并行(ETP)等,将训练上下文长度扩展到100万token,并能在推理时处理长达400万token的上下文。在多个学术基准测试中,MiniMax-Text-01展现出了顶级模型的性能。

数据统计

相关导航

SmolLM2-1.7B

SmolLM2-1.7B

SmolLM2是一系列轻量级的语言模型,包含135M、360M和1.7B参数的版本。这些模型能够在保持轻量级的同时解决广泛的任务,特别适合在设备上运行。1.7B版本的模型在指令遵循、知识、推理和数学方面相较于前代SmolLM1-1.7B有显著进步。它使用包括FineWeb-Edu、DCLM、The Stack等多个数据集进行了训练,并且通过使用UltraFeedback进行了直接偏好优化(DPO)。该模型还支持文本重写、总结和功能调用等任务。
Magma-8B

Magma-8B

Magma-8B 是微软开发的一款多模态 AI 基础模型,专为研究多模态 AI 代理而设计。它结合了文本和图像输入,能够生成文本输出,并具备视觉规划和代理能力。该模型使用了 Meta LLaMA-3 作为语言模型骨干,并结合 CLIP-ConvNeXt-XXLarge 视觉编码器,支持从无标签视频数据中学习时空关系,具有强大的泛化能力和多任务适应性。Magma-8B 在多模态任务中表现出色,特别是在空间理解和推理方面。它为多模态 AI 研究提供了强大的工具,推动了虚拟和现实环境中复杂交互的研究。
Proofreading AI

Proofreading AI

Proofreading AI是一个在线AI校对工具,它利用先进的语言模型GPT-4/4o来校对文档,提供精确的结果。这个工具不仅可以纠正语法错误、拼写错误,还能检测抄袭、去除抄袭内容、检测AI生成文本、人性化AI文本、生成引用和改写文本。Proofreading AI的主要优点包括无缝上传文档、即时下载校正后的文档、以及提供多种写作辅助工具。它的背景信息显示,Proofreading AI提供了比传统校对工具更多的功能,并且价格相对实惠。
LLM Codenames

LLM Codenames

LLM Codenames 是一个基于语言模型的创意命名工具。它利用先进的自然语言处理技术,能够根据用户输入的关键词或主题,快速生成一系列独特且富有创意的名称。这种工具对于需要进行品牌命名、产品命名或创意写作的用户来说非常实用。它可以帮助用户节省大量时间和精力,避免命名过程中的重复劳动。LLM Codenames 的主要优点是其高效性和创意性,能够提供多样化的命名选择,满足不同用户的需求。该工具目前以网站形式提供服务,用户可以通过浏览器直接访问使用,无需安装任何软件。
Llama-3-Patronus-Lynx-70B-Instruct

Llama-3-Patronus-Lynx-70B-Instruct

PatronusAI/Llama-3-Patronus-Lynx-70B-Instruct是一个基于Llama-3架构的大型语言模型,旨在检测在RAG设置中的幻觉问题。该模型通过分析给定的文档、问题和答案,评估答案是否忠实于文档内容。其主要优点在于高精度的幻觉检测能力和强大的语言理解能力。该模型由Patronus AI开发,适用于需要高精度信息验证的场景,如金融分析、医学研究等。该模型目前为免费使用,但具体的商业应用可能需要与开发者联系。
EXAONE-3.5-2.4B-Instruct-AWQ

EXAONE-3.5-2.4B-Instruct-AWQ

EXAONE-3.5-2.4B-Instruct-AWQ是由LG AI Research开发的一系列双语(英语和韩语)指令调优生成模型,参数范围从2.4B到32B。这些模型支持长达32K令牌的长上下文处理,并且在真实世界用例和长上下文理解方面展现出最先进的性能,同时在与近期发布的类似大小模型相比,在通用领域保持竞争力。该模型在部署到小型或资源受限设备上进行了优化,并且采用了AWQ量化技术,实现了4位群组权重量化(W4A16g128)。

暂无评论

您必须登录才能参与评论!
立即登录
none
暂无评论...