Skip to content

LoRA:Stable Diffusion的轻量级微调神器,轻松创作个性化模型!

LoRA 的出现极大推动了 Stable Diffusion 的普及。作为一种轻量级的微调方法,它降低了训练门槛,让更多人能创建并分享个性化模型。LoRA 能与任意大模型搭配使用,通过权重调节控制作用强弱,既能固定角色与 IP 形象,也能迁移特定画风,或植入发型、服饰等概念元素

与 Embedding 相比,LoRA 在还原人物特征和稳定性上表现更好,甚至能通过多个 LoRA 叠加组合实现风格与形象的双重控制。更特别的是,功能型 LoRA 如“细节调整 LoRA”还能提升画面细节或制造复古胶片质感,让作品更具表现力。它不仅是玩家创作的利器,也是进入模型训练领域的桥梁。

LoRA (Low-Rank Adaptation) 全称为“大模型的低秩适应”。

起源:最早由微软研究团队于 2021 年提出(用于 GPT 等大语言模型),后由开发者 cloneofsimo 引入到 Stable Diffusion 的图像生成中 。

原理:它不需要对庞大的主模型进行全量微调,而是针对模型中关键的一小部分参数进行单独微调 。

优势

门槛低:训练显存要求低(8GB 甚至更低),普通家用电脑也能跑 。

体积小:文件通常在 10MB - 200MB 之间(相比大模型 2GB+ 非常轻便)。

灵活:必须配合大模型(Checkpoint)使用,可以看作是“外挂插件”或“滤镜” 。


下载的 LoRA 模型文件(通常为 .safetensors 格式)需放置在 SD WebUI 根目录下的:

\\models\\Lora 文件夹中 。

  1. 点击 WebUI 生成按钮下方的 “附加网络”(红色的花札图标)。
  2. 点击 “刷新” 按钮读取新模型。
  3. 点击对应的 LoRA 卡片,提示词框中会自动填入调用代码 。

标准格式为:<lora:模型文件名:权重>

模型文件名:建议不随意修改文件名,便于对应在线资源。可通过 WebUI 设置封面和备注来区分 。

  • 权重 (Multiplier)
  • 默认值为 1.0
  • < 1:减弱影响。
  • > 1:增强影响。

技巧:如果画面出现崩坏或过度拟合(学了不该学的东西),尝试降低权重(如 0.6 - 0.8)。


目前市面上的 LoRA 主要分为以下四大类:

作用:固定特定动漫、游戏角色或真人 IP 的形象 。

解决了什么问题:大模型对新角色(如《电锯人》玛奇玛)认知不足,Embedding 还原度不够高。LoRA 能更完美地还原发色、衣着和特征 。

  • 玩法
  • 可以搭配不同风格的大模型(如用真实系模型生成真人版动漫角色)。
  • 可以更换角色的衣服、动作和场景(如让古装角色穿现代装)。

注意:使用时需配合模型作者提供的 触发词 (Trigger Words)

作用:将画面统一为某种特定的艺术风格或视觉质感 。

  • 常见类型

盲盒/Q版 (Blind Box):搭配 2.5D 模型效果最佳 。

吉卜力风格 (Ghibli Style):还原宫崎骏动画的画风 。

胶片/拍立得 (Polaroid):为照片增加复古质感和色调 。

  • 技巧

权重调节:权重越低越接近底模原风格,权重越高 LoRA 风格越明显。中间值是两种风格的混合 。

模型匹配:LoRA 最好搭配与其训练底模同类型的 Checkpoint(如二次元 LoRA 配二次元大模型),否则效果可能不佳 。

  • 作用:植入某种特定的物品、服饰或元素。

常见类型:脏辫 (Dreadlocks)、汉服 (Hanfu)、Logo 设计、电商场景等 。

  • 实战痛点与解决 (局部重绘技巧)

问题:直接使用概念 LoRA(如脏辫)可能会“污染”整张图的风格(例如背景突然变成街头风)。

解决:使用 局部重绘 (Inpaint)。涂抹想要修改的区域(如头发),在重绘的提示词中加入 LoRA,这样既能加上脏辫,又不会影响背景和整体画风 。

  • 作用:不局限于特定题材,而是作为一种调节工具,调节画面的“属性”。
  • 代表模型
  • Detail Tweaker (细节调整)

正权重 (1.0):增加褶皱、纹理,使画面更立体、细节更丰富 。

负权重 (-1.0):减少细节,使画面变得平滑、简洁(类似平涂插画风格)。

Film Grain (胶片噪点):增加电影感的颗粒噪点,营造冷峻史诗感 。

应用场景:常用于高清修复或放大时增加细节,或者在需要简化画面时使用负权重 。


  • LoRA 是目前最主流的微调形式,比 Embedding 更强大,比大模型更轻便。

核心逻辑:LoRA 本质是工具,效果取决于它“吃”了什么训练数据 。

进阶方向:学会使用 LoRA 是第一步,未来可以学习如何训练自己的 LoRA 模型 。

解锁 Pro 权限

您正在使用 Lite 体验版。
升级 Pro,立即解锁全站核心工作流、商业源文件
以及后续永久更新。

立即获取密钥