最近全球刷屏Nano Banana,应该没有人还没用过吧?
它不仅能根据一句话描述,就生成栩栩如生的手办图片,还能根据用户的描述,对图片进行精细化编辑,就连速度,也快的出奇。
(指令:为模特马斯克换帽子和裙子。可以看到右图所有要素除了稍微漏了裤边之外,融合还算不错,甚至还贴心考虑到了穿裙子需要把短袖扎进去的细节,整个生成耗时仅16.0s。)
作为当下最优秀的生图模型,可以说,Nano Banana在一致性以及精细度上,已经做到了符合企业级生产标准。
比如,我们服务的一家集抽卡、换装于一体的娱乐公司来说,他们最近正在开发一个功能,通过接入Nano Banana,实现用户上传照片后,可以自由从素材库中选择喜欢的配饰、道具进行换装打扮。
一些电商客户,也在考虑,用AI为模特换装、换发型、换配饰,实现一次拍摄,永久使用。
而不难发现,对很多企业级用户来说,仅有一个不错的生图模型还不够。他们还需要足够聪明的检索,从海量历史素材中,找到最合适的服装、配饰、以及其他人物元素。
也就是说,用户需要的是一个集向量数据库+图片生成模型的多模态RAG系统。
那么,如何用Nano Banana+Milvus向量数据库,搭建这样一套生产级的多模态RAG系统?本文将给出手把手教程。
对一些快消品公司以及游戏娱乐公司来说,用AI生图最大的问题不在于生成,而在于历史素材过多,但这些素材都是图像、音频、视频这样的非结构化数据。常规方法下,我们无法对其进行精准的检索召回。
因此,在这一步,我们需要先搭建一个完善的以文搜图系统。
我们可以使用 CLIP 模型将图像和文本转为向量,然后将向量存储到 Milvus 数据库,最后通过 Milvus 向量数据库进行高效的相似性搜索(用户通过文字描述即可搜索图片,并返回 top 3 结果)。
以下是具体教程:
1.安装依赖包
2.导入必要的库
3.初始化Milvus客户端
4.加载CLIP模型
5.定义特征提取函数
6.创建Milvus集合
7.处理并插入图像
8.将数据插入Milvus
9.定义搜索和可视化函数
10.执行文本搜索图像
安装Google SDK
配置Gemini API
生成新图像
这次某品牌发布了很多新品,又不想重新找模特进行拍摄,就可以靠Nano-banana直接搞定宣传图
Prompt: A model is wearing these products on the beach
除了简单场景,我们也能实现一些天马行空的,随意叠加的场景,物品,人物。
Prompt: A model is posing and leaning against a blue convertible sports car. She is wearing a halter top dress and the accompanying accessories. She is adorned with a diamond necklace and a blue watch, wearing high heels on her feet and holding a labubu pendant in her hand.
最后就是最常见的手办原型制作,比如我们最近想做一些可爱的手办,就可以先让nano banana先来代劳。
Prompt: Use the nano-banana model to create a 1⁄7 scale commercialized figure of thecharacter in the illustration, in a realistic styie and environment.Place the figure on a computer desk, using a circular transparent acrylic base
without any text.On the computer screen, display the ZBrush modeling process of the figure.Next to the computer screen, place a BANDAl-style toy packaging box printedwith the original artwork.
整体测评下来,我们发现Nano-banana完全担得起当下最强AI生图模型的称号。不仅做到了高一致性、微调的可控性,甚至能兼顾到水中倒影,产品模型图与实物图、包装logo图需要统一的魔鬼细节。
但Nano-banana并非完美无缺,在一些非常专业的场景中,依然会出现复杂指令理解失误或者光影不科学的小问题。我们可以考虑在提示词外,给AI一些想要的风格参考,或者对光源来源、光影效果给出具体描述,这样可以事半功倍哦。
(彩蛋:这是我用Nano Banana给自己做的一个和小狗的合照手办,虽然七夕结束了,但大家不妨考虑用这个给女朋友一个惊喜)
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/219799.html