
DiffSensei
DiffSensei是一个结合了多模态大型语言模型(LLMs)和扩散模型的定制化漫画生成模型。它能够根据用户提供的文本提示和角色图像,生成可控制的黑白漫画面板,并具有灵活的角色适应性。这项技术的重要性在于它将自然语言处理与图像生成相结合,为漫画创作和个性化内容生成提供了新的可能性。DiffSensei模型以其高质量的图像生成、多样化的应用场景以及对资源的高效利用而受到关注。目前,该模型在GitHub上公开,可以免费下载使用,但具体的使用可能需要一定的计算资源。
CAP4D是一种利用可变形多视图扩散模型(Morphable Multi-View Diffusion Models)来创建4D人像化身的技术。它能够从任意数量的参考图像生成不同视角和表情的图像,并将其适配到一个4D化身上,该化身可以通过3DMM控制并实时渲染。这项技术的主要优点包括高度逼真的图像生成、多视角的适应性以及实时渲染的能力。CAP4D的技术背景是基于深度学习和图像生成领域的最新进展,尤其是在扩散模型和3D面部建模方面。由于其高质量的图像生成和实时渲染能力,CAP4D在娱乐、游戏开发、虚拟现实等领域具有广泛的应用前景。目前,该技术是免费提供代码的,但具体的商业化应用可能需要进一步的授权和定价。