知谱AI发布了旗下文生图系统CogView3的技术论文，这是一个基于接力扩散模型的创新框架。CogView3的核心思想是先生成低分辨率的图像，然后通过接力扩散的方式逐步提高图像的分辨率，最终生成高分辨率、细节丰富的图像。这种方法不仅提高了生成图像的质量，而且大幅降低了训练和推理的成本。
论文地址：https://arxiv.org/abs/2403.05121
体验地址：https://chatglm.cn
主要功能：
CogView3的主要功能是将文本描述转换成高分辨率、高质量的图像。它能够理解文本中的描述，并生成与之匹配的图像，例如，根据“一只穿着红色围巾的白色小猫”的描述生成相应的图片。
主要特点：
- 高分辨率输出： CogView3能够生成高达2048×2048分辨率的图像，细节丰富。
- 低推理成本： 通过先生成低分辨率图像，再进行超分辨率处理，CogView3大幅减少了推理时间。
- 接力扩散框架： 该模型采用了接力扩散技术，允许在不同阶段生成不同分辨率的图像，提高了效率。
- 数据重构和提示扩展： CogView3通过重新描述训练数据集中的图像和扩展用户提示，提高了对文本的理解能力和遵循指令的准确性。
工作原理： CogView3的工作原理分为几个步骤：
- 文本预处理： 使用语言模型自动扩展用户的文本提示，使其更详细、更具描述性。
- 基础阶段生成： 首先在低分辨率（如512×512）上执行扩散过程，生成基础图像。
- 接力超分辨率： 然后，模型通过接力扩散在高分辨率（如1024×1024或更高）上进行超分辨率生成，从而提高图像细节。
- 蒸馏： CogView3还可以通过知识蒸馏技术进一步减少推理步骤，同时保持生成质量。
0条评论