文生图与图生图的核心区别，在于输入条件的性质以及生成过程的约束方向。文生图，即使用自然语言描述作为唯一输入，模型根据文本语义从随机噪声或潜在空间中的随机分布开始，逐步迭代生成一幅全新的图像。它的创作起点是“抽象的文字概念”，没有预设的像素信息，因此生成结果具有高度的开放性和不可预测性。模型需要将词义、语法结构、情感色彩、风格形容词等文本特征映射到视觉特征上，例如“一只戴着礼帽的柴犬在雨天街道上行走”，模型必须自行理解柴犬的外形、礼帽的样式、雨天街景的氛围以及光影关系，然后从随机噪声中“无中生有”地构造出符合描述的图像。这个过程更依赖模型内部的先验知识库和文本图像对齐能力，用户无法直接控制构图细节，只能通过修改提示词、添加权重、调整采样参数来间接影响生成结果。如果文本描述存在歧义或模糊，模型可能产生与预期不符的多种解释，因此文生图更偏向于创意发散和概念可视化。
图生图则完全不同，它要求至少提供一张参考图像作为输入基础。模型依据这张已有图像的结构、色彩、轮廓、纹理或物体布局，结合附加的文本指令（通常也是必要的），对原图进行再创作或局部修改。生成过程不是从随机噪声开始，而是从输入图像的编码特征出发，通过噪声扰动或特征融合的方式，在保留原有构图和主体信息的前提下，按照文本提示调整风格、替换局部元素、改变光影或扩展画面。例如给出一张真实人物的照片，使用图生图并输入“将背景换成赛博朋克城市”，模型会识别出人物的姿态和面部特征，仅重绘环境部分，而人物形象基本不变；或者输入“将照片转化为水彩画风格”，则整张图的材质感、笔触和色彩会改变，但画面的物体位置和轮廓形状仍然锚定在原图上。图生图的优势在于用户拥有更强的控制力，可以精确控制构图、主体姿态、初始色彩，甚至可以通过设置“重绘幅度”参数来决定偏离原图的程度。重绘幅度低时，结果几乎完全保留原图结构，只做微调；重绘幅度高时，则更接近文生图的效果，但初始噪声仍然受到原图潜在特征的引导。此外，图生图还衍生出多种实际应用，比如局部重绘（只遮罩并修改指定区域）、图像扩展（外画，在原图四周补充内容）、姿态控制（利用骨架图或深度图约束生成），这些操作都依赖参考图像作为空间对齐的锚点。
简单来说，文生图是“从无到有”，依靠文字想象构建画面，结果随机性强、风格多变，适合生成全新概念的作品；图生图是“从有到变”，依靠现有图像提供结构和语义基础，修改方向明确、可控性高，适合修复、换装、风格迁移或基于草稿的精细创作。两者的技术底层虽然都基于扩散模型或生成对抗网络，但图生图在输入编码阶段额外融合了图像嵌入向量，使得去噪过程不再完全自由，而是沿着与原图特征相关的路径前进。用户需求不同，选择也不同：想要探索灵感就选文生图，想要精修既有素材就选图生图。 |
|
