模型优化

LMSYS组织，大型模型系统组织，是一个致力于使大型模型及其系统基础设施的技术民主化的组织。

AI21实验室是一个人工智能实验室；一家产品公司，其使命是通过让机器成为人类的思维伙伴来重新想象我们的阅读和写作方式。

MosaicML使您能够在安全的环境中轻松地在数据上训练和部署LLM和其他生成人工智能模型。只需一个命令即可大规模训练大型人工智能模型。只需几个简单的步骤，就可以在您的私有云中进行部署。您完全拥有自己的模型，包括模型权重。

Pruna 是一个为开发者设计的模型优化框架，通过一系列压缩算法，如量化、修剪和编译等技术，使得机器学习模型在推理时更快、体积更小且计算成本更低。产品适用于多种模型类型，包括 LLMs、视觉转换器等，且支持 Linux、MacOS 和 Windows 等多个平台。Pruna 还提供了企业版 Pruna Pro，解锁更多高级优化功能和优先支持，助力用户在实际应用中提高效率。

了解领先团队如何使用Labelbox构建人工智能应用程序、训练和微调模型，以及使用LLM实现任务自动化.

Neural Magic是一家专注于AI模型优化和部署的公司，提供领先的企业级推理解决方案，以最大化性能和提高硬件效率。公司的产品支持在GPU和CPU基础设施上运行领先的开源大型语言模型（LLMs），帮助企业在云、私有数据中心或边缘环境中安全、高效地部署AI模型。Neural Magic的产品背景信息强调了其在机器学习模型优化方面的专业知识，以及与科研机构合作开发的创新LLM压缩技术，如GPTQ和SparseGPT。产品价格和定位方面，Neural Magic提供了免费试用和付费服务，旨在帮助企业降低成本、提高效率，并保持数据隐私和安全。

ComfyUI-GGUF是一个为ComfyUI原生模型提供GGUF量化支持的项目。它允许模型文件以GGUF格式存储，这种格式由llama.cpp推广。尽管常规的UNET模型（conv2d）不适用于量化，但像flux这样的transformer/DiT模型似乎受量化影响较小。这使得它们可以在低端GPU上以更低的每权重变量比特率进行运行。

Stanford CRFM基础模型研究中心（CRFM）是一个跨学科的倡议，诞生于斯坦福大学以人为本的人工智能研究所（HAI），旨在在基础模型的研究，开发和部署方面取得根本性的进展。我们是一个跨学科的教师，学生，博士后和研究人员跨越10多个部门谁拥有共同的兴趣研究和建立负责任的基础模型。

1.58-bit FLUX是一种先进的文本到图像生成模型，通过使用1.58位权重（即{-1, 0, +1}中的值）来量化FLUX.1-dev模型，同时保持生成1024x1024图像的可比性能。该方法无需访问图像数据，完全依赖于FLUX.1-dev模型的自监督。此外，开发了一种定制的内核，优化了1.58位操作，实现了模型存储减少7.7倍，推理内存减少5.1倍，并改善了推理延迟。在GenEval和T2I Compbench基准测试中的广泛评估表明，1.58-bit FLUX在保持生成质量的同时显著提高了计算效率。