用自定义图像微调FLUX.1模型

大家好，我是讯享网，很高兴认识大家。这里提供最前沿的Ai技术和互联网信息。

现在可以在Replicate上使用快速FLUX训练器微调模型。

该训练速度极快（不到2分钟）、成本低廉（低于2美元），并提供可运行的模型以及可下载的LoRA权重。

FLUX.1是Black Forest Labs今年夏季发布的文本生成图像模型系列。FLUX.1模型为开源图像模型设立了新标准：能够生成逼真的手部、清晰的文字，甚至包括难度极高的搞笑表情包。

现在可以使用Ostris的AI工具包在Replicate上微调FLUX.1 dev模型。通过向模型展示一组示例图像，教会它识别并生成新概念，从而针对特定风格、角色或物体定制模型输出。Ostris的工具包采用LoRA技术，实现快速、轻量级的训练。

只需上传一些图像（通过网页或API），即可在Replicate上微调FLUX.1。

准备训练数据

开始微调前，需要准备一组代表要教授模型的概念的图像。这些图像应足够多样化，以涵盖概念的不同方面。例如，如果针对特定角色进行微调，应包含不同场景、姿势和光照条件下的图像。

以下是指导原则：

使用12-20张图像以获得**效果
尽可能使用大尺寸图像
使用JPEG或PNG格式
可选：为每张图像创建同名的.txt描述文件

将图像（及可选的描述文件）打包成单个zip文件。

通过网页创建训练

首先，选择或创建一个目标模型（在模型选择器字段中输入名称）。然后上传包含训练数据的zip文件作为input_images，并设置训练参数。

trigger_word指要训练的对象、风格或概念。选择一个非真实单词的字符串，如TOK或与训练内容相关的词，如CYBRPNK。指定的触发词将在训练期间与所有图像关联。之后运行微调模型时，可以在提示中包含触发词来激活概念。

对于训练步数，1000是一个不错的起点。保持learning_rate、batch_size和resolution为默认值。除非想提供自定义描述，否则保持autocaptioning启用。

如果要将模型保存到Hugging Face，请输入Hugging Face令牌并设置仓库ID。填写完成后点击“创建训练”开始微调。

通过API创建训练

确保环境中已设置REPLICATE_API_TOKEN（可在账户设置中找到）。

import replicate

创建目标模型

model = replicate.models.create(

owner="yourusername", name="flux-your-model-name", visibility="public", # 或 "private" hardware="gpu-t4", description="微调后的FLUX.1模型"

)

启动训练

training = replicate.trainings.create(

version="ostris/flux-dev-lora-trainer:4ffd32160efd92e956d39c5338a9b8fbafca58e03f791f6d8011f3e20e8ea6fa", input={ "input_images": open("/path/to/your/local/training-images.zip", "rb"), "steps": 1000, "hf_token": "YOUR_HUGGING_FACE_TOKEN", # 可选 "hf_repo_id": "YOUR_HUGGING_FACE_REPO_ID", # 可选 }, destination=f"{model.owner}/{model.name}"

)

注意：此时为模型选择何种硬件无关紧要，因为所有FLUX.1微调都会路由到H100 GPU。1000步训练通常需要20-30分钟，成本低于2美元。

使用训练好的模型

训练完成后，可以直接在Replicate上使用该模型，就像使用任何其他模型一样。

通过API运行示例（使用Python客户端）：

import replicate

output = replicate.run(

"yourusername/flux-your-model-name:version_id", input={ "prompt": "A portrait photo of a space station, bad 70s food", "num_inference_steps": 28, "guidance_scale": 7.5, "model": "dev", }

)

共享模型

如果想让其他人发现并使用新的微调模型，需要将其设为公开。默认情况下，通过网页训练表单创建的模型是私有的。前往模型设置页面，将可见性设为“公开”。

使用FLUX.1 schnell加速生成

可以使用较小的FLUX.1 schnell模型配合FLUX.1 dev LoRA，以更快、更便宜地生成图像。生成时将model参数从dev改为schnell，并将num_inference_steps降低到4左右。

许可与商业使用

如果在Replicate上使用FLUX.1模型及其微调版本生成图像，则可以商业使用这些图像。如果从Replicate下载权重并在自有计算机上生成图像，则不能商业使用。

定价

训练过程按秒计费。FLUX模型训练在Nvidia H100 GPU硬件上运行，成本为每秒0.001528美元。对于20分钟的训练（使用约20张训练图像和1000步），预计需支付约1.85美元。

模型训练完成后，可以像任何其他Replicate模型一样通过API运行，仅按生成图像的时间计费。与其他定制模型不同，私有模型不会收取空闲时间费用。FINISHED