《LagerNVS》论文精读本篇是论文精读系列的第十篇。LagerNVS 是一种极速的新视角合成模型,它最大的突破在于摒弃了传统且缓慢的显式3D建模过程,转而利用预训练提取出的“隐式3D特征”作为网络直觉,并结合高效的编解码架构,从而实现在单张显卡上极速且高质量地生成目标视角的逼真画面。 领域背景与前置概念 新视角合成(NVS)任务定义 简单来说
33 min read
《A Survey of Unified Multimodal Understanding and Generation》论文精读本篇是论文精读系列第九篇。为了实现通用人工智能,现在的 AI 必须能够同时“理解”和“生成”多种模态的数据。目前闭源模型很强,但开源模型还相对落后,且学术界对于“该用什么架构、什么训练方法”缺乏共识。该综述总结了700多篇论文,将统一基础模型分为三类:外部服务集成、模块化联合、端到端统一建模。详细分析了如何进行编码/解
24 min read
《Understanding World or Predicting Future》论文精读本篇是论文精读系列的第八篇。这篇由清华大学团队撰写的综述不仅梳理了世界模型的发展历史,还把各种技术流派分门别类,非常适合用来建立对世界模型的系统的认知。 世界模型概念与演进脉络 核心争议与分类定义 目前学术界对“世界模型”的定义还在争论中,这篇综述将其高度概括为两大核心功能或流派: 理解世界 构建内部表示来理解世界的运
34 min read
《AlignedGen》论文精读本篇是论文精读系列的第七篇。AlignedGen在 DiT 架构上实现了风格迁移,它最迷人的地方在于全程没有更新大模型的任何一个参数。在计算资源极其有限的环境下,去卷庞大的数据集或者昂贵的微调是非常吃亏的。这篇论文指明了一条极其高性价比的科研路径:去深度剖析开源模型(如 Flux)底层的注意力矩阵和位置编码。 前置知识
31 min read
《CharaConsist》 论文精读本篇是论文精读系列的第六篇。CharaConsist 是首个针对 T2I DiT 模型的免训练细粒度一致性生成方法,通过点追踪注意力和自适应 Token 融合,解决了大动作幅度下的局部性偏见,实现了精确的前背景解耦控制,具有很高的学术价值。 前置知识与基线 FLUX.1 核心架构 CharaConsist 是首个基于
41 min read
《StoryDiffusion》 论文精读本篇是论文精读系列的第五篇。StoryDiffusion是非常经典的免训练方法。深入研读其核心公式(如 Vi = \text{CrossAttention}(Vi, \text{concat}(T, Pi), \text{concat}(T, Pi))),理解多张图片在计算注意力张量时是如何沿特定维度拼接的。 前置知识
27 min read
《IP-Adapter》 论文精读本篇是论文精读系列的第四篇。IP-Adapter是一个极其轻量且优雅的创新,目前在图像生成领域的实际应用中地位非常核心,因此这篇论文非常有价值,值得去精读。 前置知识基石 LDM IP-Adapter 是构建在预训练的文本到图像扩散模型基础之上的,论文中使用的是 Stable Diffusion v1.5。相较于 DD
20 min read
《ControlNeXt》论文精读本篇是论文精读系列的第三篇。ControlNeXt 的目的是让生成模型更好地融入空间控制信息。文章提出的轻量卷积模块+部分微调技术使得控制信息的注入既轻量,控制力又强;文章使用的“交叉归一化”很好地解决了新增模块时出现的训练崩溃现象。是一篇非常有价值的论文。 前置知识与研究动机 扩散模型基础回顾 LDM 最原始的 DD
19 min read
《Scalable Diffusion Models with Transformers》论文精读本篇是论文精读系列的第二篇。论文《Scalable Diffusion Models with Transformers》证明了在生成模型领域,Transformer 完全可以取代 U-Net,这让计算机视觉和自然语言处理在底层架构上进一步走向了统一。 核心前置理论 隐空间扩散模型(LDM) 原始的 DDPMDDPM是
27 min read
《Denoising Diffusion Probabilistic Models》论文精读本文是论文精读系列的第一篇,论文《Denoising Diffusion Probabilistic Models》是图像生成领域中扩散模型的开山之作,也是目前常用的生成模型的根基。本文旨在从具备一定高数、线代、概率论基础,对深度学习基础模型有较多了解的本科生角度出发,全面解读这篇论文,以求对这篇论文的思想、数学原理、
49 min read
Page 1 - Showing 10 of 12 postsView all posts by years →