Imagen 3
Imagen 3是Google DeepMind开发的最新文生图大模型。它能够根据文本提示生成高质量、高分辨率的图像，具有更好的细节和丰富的光照效果。这个模型支持多种视觉风格，从照片般逼真到油画质感，甚至黏土动画场景。Imagen 3还改进了对自然语言提示的理解，简化了生成所需图像的过程，并采用了最新的安全和责任技术，包括隐私保护和内容安全。
Magi 的模型是一个可以自动将漫画页转录成文字并生成剧本。Magi 模型是牛津大学工程科学系的视觉几何组开发的，该模型通过识别漫画页面上的面板、文字块和角色，实现了全自动的剧本生成功能。其主要功能包括面板检测，识别漫画页面上的各个面板，以及文本块检测，识别面板中的文本块，通常包含对话或叙述性文本。此外，模型还能够检测页面上的角色形象，并根据其身份进行聚类，以区分不同的角色。
Magi 模型还可以将文本与说话者进行关联，确定哪些文本是由页面上的哪个角色说出的，保证剧本的准确性。同时，模型还会按照漫画的阅读顺序对文本块进行排序，确保剧本的叙述逻辑与原漫画一致，让读者通过阅读文本完整地体验漫画故事。
除了 Magi 模型本身，项目还包含一个名为 Mangadex-1.5M 的数据集，其中包含约150万漫画页面，涵盖多种流派和艺术风格。这个数据集的设计旨在为 Magi 模型的训练提供支持，解决漫画页面的自动理解和剧本生成问题，包括面板检测、文本块和角色检测、角色身份聚类以及文本与说话者之间的关联。
通过这一项目，研究人员希望推动漫画领域的自动化处理和理解技术的发展。
论文：https://arxiv.org/abs/2401.10224
Magi GitHub源码：https://github.com/ragavsachdeva/magi
项目入口：https://top.aibase.com/tool/magi
Magi：自动将漫画页转录成文字并生成剧本
数据统计
相关导航
快手可图大模型KOLORS
可图大模型KOLORS是一款快手自研的文生图大模型，支持文生图和图生图两类功能，已上线20余种AI图像玩法。
Loopy AI
Loopy是一个端到端音频驱动的视频生成模型，专注于生成逼真的头像动画。利用先进的 AI 技术和时间模块设计，Loopy 能够从音频中提取自然的运动模式，并生成高质量的动画效果。支持多种视觉和音频风格，适用于虚拟主播、动画制作等应用场景。
云雀大模型
云雀大模型是字节跳动公司开发的一款大规模预训练语言模型。该模型采用 Transformer 架构，它能够处理多种自然语言处理任务，如聊天、绘画、写作和学习。云雀大模型利用了大量的数据进行训练，包括文本、图像、视频和音频等，以学习丰富的语言知识和语境信息。此外，它还具有视频内容理解能力，能够识别视频中的对象、场景和情感等关键要素，为多模态任务提供支持。
CatVTON
CatVTON是一款基于扩散模型的虚拟试穿技术工具，旨在提供高效、低资源需求的虚拟试穿体验。通过在空间维度上简单地拼接服装和人物图像来实现不同类别服装的虚拟试穿，该方法有效地降低了模型复杂度和计算成本，同时保持了高质量的虚拟试衣效果，特别适用于电商平台、时尚设计、个人造型顾问、增强现实应用和虚拟时装秀等场景。
文心千帆
文心千帆是百度智能云推出的产业级知识增强大模型，包括基础大模型、任务大模型、行业大模型，以及丰富的工具与平台，支撑企业与开发者进行高效便捷的应用开发。它能够从海量数据和大规模知识中融合学习，效率更高，效果更好，具备知识增强、检索增强和对话增强的技术特色。
Harmonai
Harmonai是一个开源生成音频工具，让音乐创作更有趣。您可以使用舞蹈扩散模型生成各种风格的音乐，或者使用Harmonai Studio在线制作自己的音乐作品。加入Harmonai，体验AI音乐的魅力。
天壤小白大模型
天壤小白是基于语言大模型的AI应用开放平台，无需代码开发，即可快速、灵活地搭建个性化的AI应用。通过提示词工程、语义搜索、向量数据库等各类AI工具组件，破解幻觉难题，为开发者和企业提供一站式的大模型应用服务。覆盖知识管理、市场销售、客户服务、内容生成、辅助决策、多语言翻译等多个场景。
暂无评论...