Open-MAGVIT2Open-MAGVIT2是由腾讯ARC实验室开源的一个自回归图像生成模型系列,包含从300M到1.5B不同规模的模型。该项目复现了Google的MAGVIT-v2分词器,实现了在ImageNet 256×256数据集上达到1.17 rFID的先进重建性能。通过引入不对称分词技术,将大词汇表分解为不同大小的子词汇表,并引入'下一个子标记预测'来增强子标记间的交互,以提高生成质量。所有模型和代码均已开源,旨在推动自回归视觉生成领域的创新和创造力。
VastGaussianVastGaussian是一个3D场景重建的开源项目,它通过使用3D高斯来模拟大型场景的几何和外观信息。这个项目是作者从零开始实现的,可能存在一些错误,但为3D场景重建领域提供了一种新的尝试。项目的主要优点包括对大型数据集的处理能力,以及对原始3DGS项目的改进,使其更易于理解和使用。
RL4VLMRL4VLM是一个开源项目,旨在通过强化学习微调大型视觉-语言模型,使其成为能够做出决策的智能代理。该项目由Yuexiang Zhai, Hao Bai, Zipeng Lin, Jiayi Pan, Shengbang Tong, Alane Suhr, Saining Xie, Yann LeCun, Yi Ma, Sergey Levine等研究人员共同开发。它基于LLaVA模型,并采用了PPO算法进行强化学习微调。RL4VLM项目提供了详细的代码库结构、入门指南、许可证信息以及如何引用该研究的说明。
ChatRWKVChatRWKV是一种基于100%RNN的RWKV语言模型构建的开源聊天助手,它可以像ChatGPT一样进行人机对话,但具有更快的速度和更低的显存消耗。该项目由Stability EleutherAI提供训练赞助,最新版RWKV-6已经达到了Mamba级别的性能。
Open-Sora-PlanOpen-Sora-Plan是一个开源项目,旨在复现OpenAI的Sora(T2V模型),并构建关于Video-VQVAE(VideoGPT)+ DiT的知识。项目由北京大学-兔展AIGC联合实验室发起,目前资源有限,希望开源社区能够贡献力量。项目提供了训练代码,并欢迎Pull Request。
Argmax WhisperKitWhisperKit由Argmax公司推出,是一个基于Whisper项目的推理工具包,它允许在iOS和macOS应用程序中进行语音识别和转录。该项目的目标是收集开发者反馈,并在几周内发布一个稳定的候选版本,以加速设备上推理的生产化。
Awesome-ChatTTSAwesome-ChatTTS是一个开源项目,旨在为ChatTTS项目提供常见问题解答和相关资源汇总,帮助用户快速入门并解决在使用过程中可能遇到的问题。该项目不仅整理了详细的安装指南和参数说明,还提供了多种音色种子的示例,以及视频教程等辅助材料。