英伟达推文生图模型 ConsiStory:免训练、可生成连贯图片
chargingw 2024-09-08 02:44 5 浏览
划重点:
?? 英伟达和特拉维夫大学研究人员共同开发了一种免训练、可生成连贯图片的文生图模型 ConsiStory。
?? ConsiStory 通过主体驱动自注意力（SDSA）和特征注入等核心模块，在不需要任何训练或调优的情况下实现图像主体的一致性。
?? 该模型还包含锚图像和可重用主体功能，提供主题一致性的参考，避免了传统训练方法中针对每个主题进行训练的难题。
站长之家(ChinaZ.com) 2月21日 消息:英伟达与特拉维夫大学的研究人员联手开发了一款名为 ConsiStory 的文生图模型（目前尚未开源），旨在解决目前文生图模型在生成内容一致性方面的挑战。
ConsiStory 采用了一种全新的方法，通过主体驱动自注意力（SDSA）和特征注入等核心模块，实现了图像主体的一致性，无需任何训练或调优。
SDSA 模块是 ConsiStory 的核心之一，扩大了扩散模型中自注意力层，允许不同图像中的主体保持一致的外观。通过主体蒙版遮蔽背景区域的敏感信息，不同图像中的主体可以相互 "对齐"，保持一致性。而特征注入则建立在扩散特征空间的密集对应图上，确保主体相关的纹理、颜色等细节特征在整个批次中互相 "对齐"，进一步增强了主体间的一致性。
此外，ConsiStory 还提供了锚图像和可重用主体功能，锚图像作为主题信息的参考，引导图像生成过程以保持一致性。可重用主体则通过共享预训练模型的内部激活，避免了传统方法中针对每个主题进行训练的难题，实现了0训练成本。这些功能共同助力 ConsiStory 成为一款无需训练即可生成连贯图片的文生图模型，为 AI 图像生成领域带来了新的可能性。
论文地址:https://arxiv.org/abs/2402.03286
相关推荐
- Compose基础-Side-effect(二)（compose in）
-
1.前言在Compose基础-Side-effect（一）中，我们学习了几个常用的Side-effect：LaunchedEffect和rememberCoroutineScope，以及关键字rem...
- MAC 10.14 安装教程-制作安装EFI文件
-
如果仅限于制作一份可以进入黑苹果安装界面的EFI文件，大家只要稍作了解即可。喜欢折腾的朋友可以自己动手试试。主要设置部分我都会在图中加红圈说明。============================...
- Java14的新特性（质量是指客体的一组固有特性组织应满足的要求的程度,以下不属于）
-
Java语言特性系列Java5的新特性Java6的新特性Java7的新特性Java8的新特性Java9的新特性Java10的新特性Java11的新特性Java12的新特性Java13的新特性Java1...
- 全新版Jetpack进阶提升，系统性落地短视频App(完结)
-
xia仔ke：quangneng.com/2342/全新版Jetpack进阶提升：系统性落地短视频App开发指南在移动应用开发领域，短视频应用凭借其丰富的互动性和娱乐性，吸引了大量用户。为了构建一个高...
- C 语言源程序文件扩展名及相关知识详解
-
本文就来聊一聊C语言源程序文件拼接后生成的文件扩展名是什么？，以及C++源程序文件扩展名对应的知识点是什么。希望对大家有所帮助，别忘了收藏本站哦。在Linux平台上，C语言源代码文件一般以.c为扩展名...
- c语言从头开始(三:编译器工作原理)
-
c语言从头开始（三：编译器工作原理)------------------以gcc编译器为例子，编译实际上总共经历了四个阶段预处理--->编译--->汇编--->链接1.预处理预处理就...
- 编译器 GCC 和 Clang 有什么区别?
-
Clang是一个C语言、C++、Objective-C语言的轻量级编译器，遵循BSD协议。Clang编译速度快、内存占用小、兼容GCC等一些优秀的特点使得很多工具都在使用它。今天就来谈谈Clang和G...
- Meta发布LLM编译器 称将改变我们的编程方式
-
Meta发布了Meta大型语言模型（LLM）编译器，这是一套强大的开源模型，旨在优化代码并彻底改变编译器设计。这项创新有望改变开发人员优化代码的方式，使代码优化更快、更高效、更具成本效益。在将大型语...
- 汇编语言之寄存器（汇编语言寄存器清零指令）
-
1、汇编语言的种类8086汇编（16位）X86汇编(32位)X64汇编(64位)ARM汇编（嵌入式，移动设备）......2、X64汇编X64汇编根据编译器的不同，有2种书写格式：intel和AT&...
- 前端笔记:JS 中 if / if……else……替换方式
-
说说烂大街的if/if...else...，程序中用得最多的流程判断语句。对着曾经满屏的if/if...else...，心想能不能搞点事情，折腾点浪花浪里呀浪。对顶着“这个需求很简单，怎么实现我不管，...
- JS 替换字符串中的文字内容（js 替换字符串中的文字内容是什么）
-
letsrt='helloword'srt.replace('hello','')第一个''为需求替换的内容第二个&#...
- excel中常用的快捷键Ctrl?H 替换的四种常用使用方法教程
-
Ctrl+H：替换的四种使用技巧。Hello，今天来学习Ctrl+H替换的几种用法。·先来看第一种，搭配通配符星号*来替换数据。这里的星号是通配符，它可以代表任何值，而且没有位数的限制...
- 在 JavaScript 中替换所有指定字符 3 种方法
-
在JS没有提供一种简便的方法来替换所有指定字符。在Java中有一个replaceAll()，replaceAll(Stringregex,Stringreplacement))方法...
- 查找替换的6种典型用法，全在此文，速度围观哦
-
查找替换，应该是Excel中很常见的操作了，但替换之后，并不能得到自己想要的效果，如下图：从示例中可以看出，目的是将“月薪”为0的信息替换为“待发放”，但结果却是将“月薪”中含有“0”的值全部替换为了...
- 「JS 逆向百例」W店UA，OB反混淆，抓包替换CORS跨域错误分析
-
关注微信公众号：K哥爬虫，持续分享爬虫进阶、JS/安卓逆向等技术干货！声明本文章中所有内容仅供学习交流，抓包内容、敏感网址、数据接口均已做脱敏处理，严禁用于商业用途和非法用途，否则由此产生的一切后果均...
- 一周热门
- 标签列表
-
- 端口被占用 (84)
- 代码转换 (76)
- ios测试工具 (79)
- require_once (89)
- oracle11g (88)
- oracleparameter (74)
- sessionscope (79)
- asynctask (90)
- oracle创建用户 (78)
- ts文件 (79)
- go microsoft com (75)
- plsql developer 64位 (74)
- 重复数据删除 (77)
- threadlocal (90)
- settimeoutinterval (90)
- weakreference (78)
- adb 命令 (74)
- ajax (76)
- wordpress安装 (77)
- excel vlookup (80)
- widget (77)
- ps复制图层快捷键 (108)
- outofmemory (88)
- divcss (74)
- iis安装教程 (78)