图像视频Hugging Face上手难度 🔧 进阶#FLUX 3#Black Forest Labs#文生图#图像编辑#多图参考#框选布局#开源权重#Hugging Face#Diffusers

FLUX 3 Image Klein · FLUX 3 Image Klein — 5.6B 开源图像生成与编辑模型

5.6B 开放权重：文生图、单图编辑、10 张参考图统一，支持框选布局与文字渲染

指标同步中，请稍后刷新查看在 Hugging Face 查看

5 分钟上手

1024x1024 约 25-31GB 显存；默认开启 PUP 时在 80GB 卡上额外约 28GB，建议 40GB 以上显卡

# 1) 安装 Diffusers 推理依赖
pip install -U diffusers transformers accelerate

# 2) 下载权重（Hugging Face 页面需先登录并同意 FLUX Kommunity License）
hf download black-forest-labs/flux-3-image-klein --local-dir weights/flux-3-image-klein

# 3) 用完整场景描述生成（短提示词请先过 prompt upsampler）
python - <<'PY'
import torch
from diffusers import ModularPipeline

pipe = ModularPipeline.from_pretrained("black-forest-labs/flux-3-image-klein")
pipe.load_components(dtype=torch.bfloat16)
pipe.to("cuda")

prompt = "Editorial photo of a ceramic coffee cup on a walnut desk, soft window light from the left, shallow depth of field, 50mm lens"
image = pipe(prompt=prompt, generator=torch.Generator().manual_seed(1), output="images")[0]
image.save("flux3-klein.png")
PY

项目速览

FLUX 3 Image Klein 是 Black Forest Labs 在 2026 年 10 月开源的图像生成与编辑模型，图像 Transformer 为 5.6B 参数，文本编码器使用 Qwen3-VL-4B-Instruct。它把文生图、单参考图编辑和多参考图组合放进同一套权重：输入一段提示词和最多 10 张参考图，输出一张图。

模型分两个检查点：Klein 是 16 步蒸馏版，面向生成与编辑，也是 BFL API 背后的同款；Klein Base 是 50 步、guidance 3.5 的未蒸馏版，面向微调、LoRA 训练和研究。Hugging Face 上线首月下载量约 11.2 万、661 个赞，社区已出现 35 个 Space 和 34 个量化版本。

能做什么

文生图：按完整场景描述生成图像，支持画面内文字渲染
单图编辑：改光线、材质、颜色、背景，或替换画面中的元素
多图参考：最多 10 张参考图，用于角色、产品、风格的一致性组合
框选布局：在提示词里用 0-1000 坐标系的边界框指定元素位置，再通过提示词移动、重着色、替换或删除
本地私有部署：BF16、FP8、NVFP4 三种精度，适合在自有 GPU 上跑

怎么部署

官方推荐使用参考代码或 Diffusers 模块化管线。1024x1024 下，参考代码峰值显存约 31GB（BF16）、26GB（FP8）、25GB（NVFP4）；prompt upsampler 是独立的 9B 模型，默认开启，在 80GB 卡上额外占约 28GB。模型必须配合 prompt upsampler 使用，直接把一句话短提示词丢进去只会得到泛化结果。

适合谁

有 24GB 以上显存、想做本地图像工作流的设计与电商团队；需要多图参考一致性的角色/产品视觉项目；在 ComfyUI、Diffusers 里搭私有管线的开发者；研究图像编辑、布局控制和蒸馏采样的团队。

✅ 优点

•5.6B 开放权重，一套模型覆盖文生图、单图编辑和多图参考，减少多模型拼装
•支持 0-1000 坐标框选布局和画面内文字渲染，适合海报、电商与版式类任务
•16 步蒸馏版推理快，BF16/FP8/NVFP4 三种精度在 1024 下约 25-31GB 显存
•上线首月约 11.2 万下载、35 个 Space、34 个量化版本，生态适配速度快
•文本编码器 Qwen3-VL-4B-Instruct 为 Apache-2.0，参考代码与 Diffusers 管线齐全
•最多支持 10 张参考图，适合角色、产品和风格的一致性场景

⚠️ 局限与坑

•许可证是 FLUX Kommunity License，不是标准 OSI 开源：以非商用为主，商用输出仅限年营收低于 500 万美元的 Qualifying Users，且含军事、监控等限制
•必须搭配独立的 9B prompt upsampler，短提示词直接输入会得到泛化结果；PUP 在 80GB 卡上额外占约 28GB
•5.6B 图像 Transformer 仍需 25GB 以上显存，普通笔记本跑不动，量化版还要求加载器支持对应格式
•框选是软约束，元素可能超出边界；文字渲染可能失真，编辑也可能改动目标区域外的内容
•Hugging Face 仓库为 gated，需登录并同意许可才能下载，不是一条命令就能拿权重
•官方参考代码偏研究与推理，生产环境仍需自己补队列、审核、存储和内容安全