大家好，我是讯享网，很高兴认识大家。这里提供最前沿的Ai技术和互联网信息。
No. 文章 1 【AI大模型前沿】深度剖析瑞智病理大模型 RuiPath：如何革新癌症病理诊断技术 2 【AI大模型前沿】清华大学 CLAMP-3：多模态技术引领音乐检索新潮流 3 【AI大模型前沿】浙大携手阿里推出HealthGPT：医学视觉语言大模型助力智能医疗新突破 4 【AI大模型前沿】阿里 QwQ-32B：320 亿参数推理大模型，性能比肩 DeepSeek-R1，免费开源 5 【AI大模型前沿】TRELLIS：微软、清华、中科大联合推出的高质量3D生成模型 6 【AI大模型前沿】Migician：清华、北大、华科联手打造的多图像定位大模型，一键解决安防监控与自动驾驶难题 7 【AI大模型前沿】DeepSeek-V3-0324：AI 模型的全面升级与技术突破 8 【AI大模型前沿】BioMedGPT-R1：清华联合水木分子打造的多模态生物医药大模型，开启智能研发新纪元 9 【AI大模型前沿】DiffRhythm：西北工业大学打造的10秒铸就完整歌曲的AI歌曲生成模型 10 【AI大模型前沿】R1-Omni：阿里开源全模态情感识别与强化学习的创新结合 11 【AI大模型前沿】Qwen2.5-Omni：阿里巴巴的多模态大模型，实现看、听、说、写一体化 12 【AI大模型前沿】SmolDocling：256M参数的轻量级多模态文档处理利器，10分钟搞定百页PDF 13 【AI大模型前沿】Stable Virtual Camera：Stability AI 推出的2D图像转3D视频模型，一键生成沉浸式视频 14 【AI大模型前沿】阿里 Qwen3 震撼开源，模型新王诞生，开启全球大模型新纪元 15 【AI大模型前沿】InternVL：OpenGVLab开源多模态大模型，解锁视觉问答与多语言翻译的全能应用图鉴 16 【AI大模型前沿】Fin-R1：上海财经大学联合财跃星辰推出的金融推理大模型，凭7B参数拿下评测第二，离行业第一仅差3分 17 【AI大模型前沿】Med-R1：基于强化学习的医疗视觉语言模型，突破跨模态医学推理的普适性 18 【AI大模型前沿】Baichuan-M1-14B：百川智能推出专为医疗优化的开源大语言模型 19 【AI大模型前沿】一键生成宫崎骏动画风，EasyControl Ghibli 让照片秒变吉卜力艺术品 20 【AI大模型前沿】TxGemma：谷歌推出的高效药物研发大模型，临床试验预测准确率超90% 21 【AI大模型前沿】F5R-TTS：腾讯推出TTS领域的新王者，又快又准又自然，零样本语音克隆新高度 22 【AI大模型前沿】MiniMind-V：低成本打造超小多模态视觉语言模型（仅需1.3元人民币和1小时） 23 【AI大模型前沿】MoCha：端到端对话角***生成模型、电影级对话角色合成黑科技、重新定义动画创作 24 【AI大模型前沿】HuatuoGPT-o1-7B：中英文双语医学推理，打破语言障碍的AI大模型 25 【AI大模型前沿】MedReason：大规模医学推理数据集、借用知识图谱将大模型打造成“医术”专家 26 【AI大模型前沿】SkyReels-V2：昆仑万维开源的无限时长电影生成模型，开启视频生成新纪元 27 【AI大模型前沿】Dia：Nari Labs开源16亿参数TTS模型，只需文本输入，生成媲美真人对话的语音 28 【AI大模型前沿】阿里巴巴开源LHM：单图生成可动画3D人体模型，开启3D建模新纪元 29 【AI大模型前沿】TinyLLaVA-Video-R1：北航开源视频推理模型、小尺寸大智慧、参数少一半，性能翻一番 30 【AI大模型前沿】TTRL：测试时强化学习，开启无标签数据推理新篇章 31 【AI大模型前沿】Aero-1-Audio：Qwen2.5架构加持，轻量级音频模型天花板、吊打Whisper 32 【AI大模型前沿】DianJin-R1：阿里云通义点金联合苏大推出的金融推理增强大模型 33 【AI大模型前沿】VITA-Audio：腾讯开源的高效语音交互多模态大语言模型 34 【AI大模型前沿】Multiverse：全球首个AI多人游戏世界模型，低成本高效率新突破 35 【AI大模型前沿】Seed1.5-VL：多模态理解的效率革新者，以小博大，性能惊艳 36 【AI大模型前沿】ViLAMP：蚂蚁集团和人民大学联手打造的长视频理解利器，单卡处理3小时视频 37 【AI大模型前沿】Muyan-TTS：开源零样本语音合成模型、0.33秒极速生成播客级语音、小白也能玩转AI配音 38 【AI大模型前沿】Dolphin：字节跳动开源文档解析大模型，轻量级、高效、多格式，开启文档处理新时代 39 【AI大模型前沿】ChatTS：字节跳动联合清华大学开源、多模态时序大模型助力时序数据对话与推理 40 【AI大模型前沿】Index-AniSora：B站开源的动漫视频生成模型，助力高效创作 41 【AI大模型前沿】RelightVid：上海 AI Lab联合复旦等高校推出的视频重照明模型 42 【AI大模型前沿】BAGEL：字节跳动开源、多模态大模型的创新突破与实践指南 43 【AI大模型前沿】Matrix-Game：昆仑万维开源大模型，一键生成你的专属虚拟世界 44 【AI大模型前沿】Pixel Reasoner：滑铁卢联合港科大等高校推出的视觉语言模型，助力视觉推理新突破 45 【AI大模型前沿】CoGenAV：多模态语音表征新范式、通义联合深技大打造、噪声环境WER降低70%+ 46 【AI大模型前沿】Ming-Lite-Omni：蚂蚁集团开源的统一多模态大模型的创新实践 47 【AI大模型前沿】DeepEyes：小红书与西安交大联合打造的多模态深度思考模型 48 【AI大模型前沿】OmniAudio：阿里通义实验室的空间音频生成模型，开启沉浸式体验新时代 49 【AI大模型前沿】MiniCPM 4.0：面壁智能开源的极致高效端侧大模型（小版本、低消耗、220倍极致提速） 50 【AI大模型前沿】SmolVLA：Hugging Face开源的轻量级视觉-语言-行动机器人模型 51 【AI大模型前沿】Time-R1：伊利诺伊大学香槟分校开源的时间推理语言模型、实现过去→未来全链路推演 52 【AI大模型前沿】MonkeyOCR：基于结构-识别-关系三元组范式的文档解析模型 53 【AI大模型前沿】GLM-4.5：智谱打造的开源SOTA模型，推理、代码与智能体能力融合先锋 54 【AI大模型前沿】百度飞桨PaddleOCR 3.0开源发布，支持多语言、手写体识别，赋能智能文档处理 55 【AI大模型前沿】Stream-Omni：多模态交互的“黄金三角”——视觉、语音、文本的完美融合 56 【AI大模型前沿】Vui：Fluxions-AI开源的轻量级语音对话模型，开启自然语音交互新时代 57 【AI大模型前沿】腾讯AI Lab开源的SongGeneration：音乐生成大模型的技术探索与实践 58 【AI大模型前沿】Osmosis-Structure-0.6B：小型语言模型在结构化信息提取中的突破 59 【AI大模型前沿】Kwai Keye-VL：颠覆认知！国产多模态大模型突然发布，视频理解能力堪比人类 60 【AI大模型前沿】Nanonets-OCR-s：从学术论文到法律合同，智能识别公式、签名、表格与图像 61 【AI大模型前沿】OmniAvatar：浙大联合阿里打造的音频驱动全身视频生成模型 62 【AI大模型前沿】DAMO GRAPE：阿里达摩院与浙江肿瘤医院联合打造的早期胃癌识别AI模型 63 【AI大模型前沿】阿里开源Lingshu：一个模型搞定12种医学影像诊断 64 【AI大模型前沿】原石科技MetaStone-S1：突破性反思型生成式大模型的技术解析与实践指南 65 【AI大模型前沿】清华实验室开源MOSS-TTSD：口语对话语音生成的突破 66 【AI大模型前沿】昆仑万维开源Skywork-R1V3：38B多模态推理模型，高考数学142分刷新开源SOTA 67 【AI大模型前沿】Voxtral：Mistral AI开源的高性价比语音转录与理解模型 68 【AI大模型前沿】Goedel-Prover-V2：普林斯顿联合清华开源的定理证明模型，AI数学研究新里程碑 69 【AI大模型前沿】Seed-X：字节跳动开源的7B参数多语言翻译模型，挑战超大型模型性能 70 【AI大模型前沿】OpenReasoning-Nemotron：英伟达开源的推理利器，助力数学、科学与代码任务 71 【AI大模型前沿】阿里通义千问 Qwen3-Coder：开启智能代码生成与代理式编程新时代 72 【AI大模型前沿】Qwen3-SmVL：基于阿里通义千问3和SmolVLM拼接打造1 GB显存可跑的中文超小多模态大模型 73 【AI大模型前沿】通义万相Wan2.2：阿里270亿参数巨兽开源，消费级显卡就能跑，免费平替Sora上线 74 【AI大模型前沿】Higgs Audio V2杀疯：Boson AI开源语音大模型（克隆声音、同步BGM、低延迟对话一键搞定） 75 【AI大模型前沿】腾讯混元3D世界生成模型HunyuanWorld-1.0：开启沉浸式3D内容创作新纪元 76 【AI大模型前沿】Intern-S1：上海AI Lab打造的科学多模态大模型，助力科研智能化 77 【AI大模型前沿】腾讯混元Dense模型：从智能座舱到客服机器人，用0.5B参数打穿全场景 78 【AI大模型前沿】Qwen-Image：免费开源、写段文案→直接出图→还能继续精修，全程不用PS 79 【AI大模型前沿】小米开源MiDashengLM：语音、音乐、环境声一网打尽、智能座舱直接起飞 80 【AI大模型前沿】InternVL3.5：上海 AI Lab 开源多模态大模型、荣登多模态开源榜首 81 【AI大模型前沿】Qwen3-Max-Preview：阿里通义千问的万亿参数大模型，开启AI新纪元 82 【AI大模型前沿】dots.vlm1：小红书hi lab开源的高性能多模态大模型、免费可商用，图表推理直接封神 83 【AI大模型前沿】GLM-4.5V：智谱最新一代视觉推理模型，开源即巅峰，42项SOTA碾压全场，多模态一键秒杀 84 【AI大模型前沿】Jan-v1：基于阿里云Qwen3-4B-Thinking的高性能本地运行AI模型 85 【AI大模型前沿】KittenTTS：KittenML开源的轻量级文本转语音模型，离线部署与高效性能的完美结合 86 【AI大模型前沿】Baichuan-M2：百川智能开源医疗增强大模型，助力医疗智能化转型 87 【AI大模型前沿】MiroThinker：基于Qwen3构建的开源Agent模型系列，助力复杂任务解决 88 【AI大模型前沿】DINOv3：Meta开源的自监督视觉模型，卫星/医疗/自拍全通杀，性能吊打CLIP全家桶 89 【AI大模型前沿】VibeVoice：微软开源7B模型，跨语言、多说话人、长文本一次到位 90 【AI大模型前沿】Waver 1.0：字节跳动推出的AI视频生成模型，支持文本/图像到高清视频的创作 91 【AI大模型前沿】MobileCLIP2：苹果开发端侧大模型，让手机秒变AI神器、拍照就能写文案、搜图片零误差 92 【AI大模型前沿】MiniCPM-V 4.5：OpenBMB推出的高性能端侧多模态大模型 93 【AI大模型前沿】Step-Audio 2 mini：阶跃星辰开源的端到端语音大模型，听得清楚、想得明白、说得自然 94 【AI大模型前沿】HunyuanWorld-Voyager：腾讯开源的超长漫游世界模型，开启3D场景生成新纪元 95 【AI大模型前沿】EmbeddingGemma：谷歌开源的移动端优先文本嵌入模型，200MB 内存搞定 100 种语言 RAG，性能翻倍 96 【AI大模型前沿】Apertus：瑞士首个开源大模型，多语言支持，合规训练，高效性能 97 【AI大模型前沿】OneCAT：美团联合上交大推出的纯解码器多模态模型 98 【AI大模型前沿】MiniCPM4.1：面壁智能重磅开源，128K长文本推理秒级响应，端侧性能狂飙7倍 99 【AI大模型前沿】VoxCPM：OpenBMB 推出的无分词器 TTS 模型，实现上下文感知语音生成与逼真语音克隆 100 【AI大模型前沿】IBM Granite-Docling-258M：开源企业级文档 AI 模型的创新与应用 101 【AI大模型前沿】小红书开源FireRedTTS-2：突破性多说话人长对话语音生成系统完全解析 102 【AI大模型前沿】PP-OCRv5：百度飞桨的高效多语言文字识别利器，0.07 亿参数狂飙 370 字/秒，支持 40+ 语种 103 【AI大模型前沿】小米AI实验室发布ZipVoice系列语音合成模型，重塑语音交互体验 104 【AI大模型前沿】IndexTTS2：B站开源的零样本语音合成模型，实现情感与时长精准控制 105 【AI大模型前沿】Ling-V2：蚂蚁百灵团队打造的高效智能语言模型 106 【AI大模型前沿】腾讯ARC开源AudioStory：大语言模型驱动的长篇叙事音频生成技术 107 【AI大模型前沿】Mini-o3：字节跳动联合港大推出的开源视觉推理模型 108 【AI大模型前沿】InternVLA-N1：上海 AI Lab 开源的端到端双系统导航大模型 109 【AI大模型前沿】InternVLA-A1：上海AI实验室开源的具身操作大模型，助力机器人实现理解、想象与执行一体化 110 【AI大模型前沿】深度解析DeepSeek-R1-Safe：华为与浙大合作的安全大模型 111 【AI大模型前沿】小米开源语音大模型 Xiaomi-MiMo-Audio：开启语音领域的“LLaMA时刻” 112 【AI大模型前沿】百度Qianfan-VL：企业级多模态大模型的领域增强解决方案，OCR、数学、图表一把抓 113 【AI大模型前沿】Qwen3Guard：阿里云通义千问团队推出的安全防护模型 114 【AI大模型前沿】Qwen3-VL：阿里云通义千问的多模态视觉语言模型，开启智能交互新纪元 115 【AI大模型前沿】Qwen3-Omni：阿里巴巴通义千问团队引领全模态大模型新突破 116 【AI大模型前沿】Qwen3-TTS-Flash：阿里通义的多语言多音色语音合成利器 117 【AI大模型前沿】FLM-Audio：智源研究院开源的全双工音频对话大模型，开启自然流畅语音交互新时代 118 【AI大模型前沿】DeepSeek-V3.2-Exp：基于稀疏注意力机制的高效长文本处理大模型 119 【AI大模型前沿】智谱GLM-4.6：355B参数的旗舰级AI模型，代码能力与推理性能全面升级 120 【AI大模型前沿】Logics-Parsing：阿里巴巴开源的端到端文档解析模型 121 【AI大模型前沿】Ming-UniAudio：蚂蚁集团开源的多功能统一语音大模型 122 【AI大模型前沿】Ling-1T：蚂蚁集团开源万亿参数的高效推理非思考模型 123 【AI大模型前沿】微软UserLM-8b：AI助手的“逼真陪练”，多轮对话精炼利器 124 【AI大模型前沿】NeuTTS Air：Neuphonic打造的超拟真离线语音合成模型 125 【AI大模型前沿】Youtu-Embedding：腾讯优图开源的高性能通用文本表示模型 126 【AI大模型前沿】UniPixel：香港理工大学联合腾讯推出的像素级多模态大模型 127 【AI大模型前沿】SongBloom：腾讯AI Lab开源的全长度歌曲生成模型 128 【AI大模型前沿】SAIL-VL2：字节跳动开源的“小而强”视觉语言模型，2B参数也能吊打大模型 129 【AI大模型前沿】PaddleOCR-VL：百度0.9B超轻量级文档解析利器，多语言多模态功能强大 130 【AI大模型前沿】HunyuanWorld-Mirror：腾讯开源的多功能3D重建大模型 131 【AI大模型前沿】DeepSeek-OCR：开启OCR 2.0时代，用视觉压缩技术革新文档处理 132 【AI大模型前沿】FIBO：首个开源原生支持JSON的文本生成图像模型 133 【AI大模型前沿】SoulX-Podcast：多语言、多方言、多说话人的语音合成新突破 134 【AI大模型前沿】美团 LongCat-Flash-Omni：低延迟音视频交互的全模态大模型 135 【AI大模型前沿】Ouro：字节跳动Seed团队推出的循环语言模型，开启推理新纪元 136 【AI大模型前沿】UniWorld：基于强化学习的图像编辑大模型技术解析与应用探索 137 【AI大模型前沿】FG-CLIP：360推出的双语细粒度视觉语言对齐模型，助力多模态理解新突破 138 【AI大模型前沿】Maya1：Maya Research开源的语音合成模型，让AI声音充满情感 139 【AI大模型前沿】Step-Audio-EditX：全球首个开源LLM音频编辑大模型，开启音频创作新纪元 140 【AI大模型前沿】OmniVinci：NVIDIA全模态大模型，语音、图像、视频全搞定的六边形战士 141 【AI大模型前沿】Open-o3-Video：北大联合字节开源的时空推理视频模型 142 【AI大模型前沿】SenseNova-SI：商汤开源的空间智能大模型，性能超越GPT-5 143 【AI大模型前沿】ERNIE 4.5：百度文心大模型的多模态技术革新与应用实践 144 【AI大模型前沿】腾讯KaLM-Embedding：高性能多语言文本嵌入模型的创新与实践 145 【AI大模型前沿】Bee：腾讯混元与清华联合开源的全栈多模态大模型创新项目 146 【AI大模型前沿】InfinityStar：字节跳动推出的高效视频生成模型，开启视频创作新纪元 147 【AI大模型前沿】Meta SAM 3D：从单图到3D世界的神奇钥匙 148 【AI大模型前沿】Meta SAM 3：基于概念提示的图像与视频分割模型 149 【AI大模型前沿】腾讯 HunyuanVideo-1.5：用消费级显卡解锁高清视频生成的无限可能 150 【AI大模型前沿】Olmo 3：开源时代的 AI 定制先锋，打造专属智能模型 151 【AI大模型前沿】Fara-7B：微软打造的高效计算机操作代理模型，开启智能办公新时代 152 【AI大模型前沿】HunyuanOCR：腾讯混元推出的高效端到端OCR视觉语言模型 153 【AI大模型前沿】Z-Image：阿里通义的图像生成“魔法棒”，低资源设备也能玩转高清图像 154 【AI大模型前沿】Depth Anything 3：字节跳动推出的高效视觉空间重建模型 155 【AI大模型前沿】DeepSeek-Math-V2：数学推理的“智能助手”，从定理证明到竞赛夺冠 156 【AI大模型前沿】GLM-ASR：智谱开源的高性能语音识别模型 157 【AI大模型前沿】GLM-TTS：智谱AI打造的可控情感零样本文本转语音模型 158 【AI大模型前沿】GLM-4.6V：智谱多模态大模型的创新突破与应用实践 159 【AI大模型前沿】GLM-4.7：智谱AI的旗舰大模型，开启智能编程新时代 160 【AI大模型前沿】StepAudio R1：首个解锁音频推理能力的开源大模型 161 【AI大模型前沿】GELab-Zero：阶跃开源的4B端侧多模态GUI Agent模型，助力本地可控的移动设备智能化 162 【AI大模型前沿】Vidi2：由字节跳动开源的多模态视频理解与生成大模型 163 【AI大模型前沿】Mistral 3：欧洲开源力量的AI力作，多模态与高性能的完美融合 164 【AI大模型前沿】NewBie-image-Exp0.1：NewBieAI实验室打造的高效动漫图像生成模型 165 【AI大模型前沿】LongCat-Image：美团开源的高效图像生成与编辑模型 166 【AI大模型前沿】NVIDIA Nemotron 3：多智能体 AI 的高效推理引擎，开启智能协作新时代 167 【AI大模型前沿】LLaDA2.0：蚂蚁集团开源的100B扩散语言模型，高效推理与卓越性能 168 【AI大模型前沿】小米MiMo-V2-Flash：高效推理与智能体任务优化的开源大模型 169 【AI大模型前沿】Molmo 2：艾伦人工智能研究所开源的多模态视频理解模型 170 【AI大模型前沿】Meta SAM Audio：革新音频分离技术，开启多模态音频处理新时代 171 【AI大模型前沿】TRELLIS.2：微软开源的40亿参数图像转3D生成模型 172 【AI大模型前沿】T5Gemma 2：谷歌开源的下一代紧凑型多模态长上下文编解码模型 173 【AI大模型前沿】Qwen-Image-Layered：基于分层技术的图像编辑新突破 174 【AI大模型前沿】谷歌FunctionGemma：轻量化函数调用AI模型的创新与实践 175 【AI大模型前沿】Tencent-HY-MT1.5：腾讯混元开源的多语言翻译模型 176 【AI大模型前沿】Yume1.5：交互式世界生成模型的革新与实践 177 【AI大模型前沿】Step-DeepResearch：高效低成本的端到端深度研究 Agent 模型 178 【AI大模型前沿】Qwen-Doc：阿里通义千问的长文本理解与推理技术解析 179 【AI大模型前沿】MAI-UI：阿里通义开源的全尺寸GUI智能体基座模型，开启下一代人机交互新纪元 180 【AI大模型前沿】MedASR：谷歌开源的高精度医疗语音识别模型 181 【AI大模型前沿】Fun-Audio-Chat：阿里巴巴开源的高效语音交互大模型 182 【AI大模型前沿】XVERSE-Ent：元象开源的泛娱乐中英双语底座大模型 183 【AI大模型前沿】星辰语义大模型TeleChat3：国产千亿MoE大模型的创新与应用 184 【AI大模型前沿】腾讯 Youtu-LLM：轻量级语言模型的高性能突破 185 【AI大模型前沿】MiroThinker v1.5：开源搜索智能体的革命性突破，重新定义AI交互 186 【AI大模型前沿】Qwen3-VL-Reranker：阿里通义开源的跨模态重排序模型 187 【AI大模型前沿】VoiceSculptor：基于LLaSA与CosyVoice2的指令化语音合成利器 188 【AI大模型前沿】NVIDIA Nemotron Speech ASR：低延迟实时语音识别的开源利器 189 【AI大模型前沿】千寻智能Spirit-v1.5：开启具身智能新纪元，助力机器人迈向真实世界 190 【AI大模型前沿】Qwen3-VL-Embedding：阿里通义开源的多模态信息检索模型，助力高效跨模态理解与检索 191 【AI大模型前沿】智谱AI开源GLM-Image：自回归+扩散双引擎驱动的多模态图像生成新范式
在AIGC技术蓬勃发展的2025-2026年，图像生成领域正经历从"单一架构"向"混合架构"的技术范式转移。传统扩散模型虽在训练稳定性和泛化能力上表现出色，但在复杂指令遵循和知识密集型场景中常显力不从心。与此同时，纯自回归模型在语义理解上具有天然优势，却难以兼顾高保真细节生成。智谱AI（Zhipu AI）于2026年1月正式开源的GLM-Image，正是针对这一技术瓶颈的创新解决方案。作为首个工业级开源的自回归图像生成模型，GLM-Image通过独特的混合架构设计，在文本渲染精度、知识密集型内容生成和多模态任务处理方面实现了突破性进展，为开发者和研究者提供了全新的技术选型。
GLM-Image是由智谱AI研发并开源的图像生成基础模型，采用"自回归生成器+扩散解码器"的混合架构设计。该模型以GLM-4-9B-0414为初始化基础构建90亿参数的自回归模块，配合70亿参数的扩散解码器，总计160亿参数规模。GLM-Image不仅在一般图像生成质量上对标主流潜在扩散模型，更在复杂文本渲染、知识密集型内容生成、多主体一致性保持等场景下展现出显著优势，同时支持文生图、图像编辑、风格迁移、身份保持生成等丰富的图像到图像任务。
GLM-Image采用90亿参数自回归模块与70亿参数扩散解码器的混合架构，自回归模块生成携带语义信息的视觉Token，扩散解码器负责细化高频细节，最终输出1024px至2048px的高分辨率图像，兼顾语义准确性与视觉保真度。
针对AI绘图长期存在的文字乱码难题，GLM-Image集成Glyph编码器与专用文本渲染优化，在CVTG-2K评测中词准确率达0.9116，支持中英双语自动排版与引号内文字精准生成，适用于海报、说明书等文字密集型场景。
在需要精确语义理解的专业场景中表现突出，能够生成包含科学原理图解、技术参数标注、流程步骤说明的知识可视化内容，将结构化信息转化为直观图像，满足教育科普、专业出版等领域的高质量内容需求。
支持背景替换、物体增删、属性调整等局部编辑任务，通过参考图像与文本指令的结合实现精准控制，保持主体身份一致性，适用于电商修图、创意摄影后期、广告素材快速迭代等商业化编辑场景。
提供艺术风格转换功能，在改变视觉风格的同时严格保持内容语义不变，支持多主体身份一致性生成，确保系列图像中人物或物体的特征稳定，适用于品牌视觉统一、角色设定系列化等创作需求。
支持单张或多张参考图像输入，实现基于示例的风格学习、构图参考与元素融合，通过图文Token的联合建模处理复杂的多条件生成任务，提升生成结果的可控性与用户意图匹配度。
采用从256 Token到4096 Token的渐进式生成策略，先生成低分辨率布局Token确定整体构图，再扩展至高分辨率细化细节，有效提升高分辨率图像生成的稳定性与布局合理性，优化长宽比自适应能力。
GLM-Image的自回归模块基于GLM-4-9B-0414初始化，扩展视觉Token嵌入层与Vision LM Head，冻结文本词嵌入保留语言知识。采用MRoPE多模态位置编码处理图文交织序列，通过组合式训练同时优化文生图与图生图任务能力。
采用XOmni的Semantic-VQ方案替代传统VQVAE，16倍压缩率将图像划分为16×16 Patch进行Token化。该方案在信息完整性与语义相关性间取得平衡，训练收敛损失仅3（对比VQVAE的7），保持Token与图像区域的明确空间对应。
扩散解码器采用70亿参数单流DiT架构，集成Glyph编码器强化文本渲染。接收自回归模块输出的语义Token，通过32倍上采样生成1024px-2048px高分辨率图像，专注细化高频纹理细节与文字边缘精度。
训练分三阶段推进：256px基础阶段采用光栅扫描顺序，512px进阶阶段引入复杂策略，1024px混合阶段支持可变长宽比。高分辨率阶段先生成约256个布局Token确定构图，再扩展至完整分辨率，提升生成稳定性。
引入GRPO算法实现模块化反馈优化：自回归模块接收低频信号优化美学与语义对齐，扩散解码器接收高频信号优化细节保真与文本精度。解耦设计避免单一奖励信号的优化冲突，实现语义与视觉的双维度提升。
遵循从易到难的课程学习原则，先进行256 Token短序列训练建立基础能力，逐步扩展至1024-4096 Token长序列。在进阶阶段增加布局Token的训练权重，确保高分辨率生成时的整体构图质量与细节协调性。
GLM-Image可快速生成带产品文案、价格标签、促销信息的营销海报与详情页配图，精准渲染中英文卖点文字，支持多语言出海场景，大幅降低电商视觉内容生产成本，实现商品展示图的批量自动化生成。
适用于教学课件、知识图谱、实验手册的配图制作，能将抽象概念转化为直观图解，精准呈现公式标注与步骤说明，支持生成中英文双语教育物料，助力在线教育平台与出版机构提升内容可视化水平。
为自媒体创作者提供图文排版、信息长图、封面设计等一站式解决方案，自动处理复杂图文混排布局，生成符合平台调性的视觉内容，显著提升内容生产效率与传播转化率。
支持角色设定、场景概念、UI图标等多种游戏美术资源的快速原型设计，保持多角色身份一致性，实现风格迁移与批量资产生成，加速游戏研发前期视觉验证与迭代流程。
适用于杂志排版、书籍插图、宣传手册等专业出版场景，能够生成高分辨率印刷级图像，精准控制版面布局与字体样式，满足出版行业对内容准确性与视觉规范性的严苛要求。
帮助企业建立统一的视觉识别系统，生成带品牌标语、LOGO组合、产品参数的官方宣传物料，确保多场景应用中的品牌调性一致性，降低品牌资产管理与跨媒介适配成本。
将复杂数据报告转化为直观的信息图表与数据新闻配图，自动处理统计数据的视觉层级与图文关联，适用于咨询行业研报、政府数据发布、商业智能分析等知识密集型可视化需求。
GLM-Image的部署需要较高的计算资源，推荐使用单卡80GB显存以上的GPU（如H100）或多卡并行方案。
1、安装依赖库
pip install git+https://github.com/huggingface/transformers.git pip install git+https://github.com/huggingface/diffusers.git
2、模型下载
模型权重可通过以下渠道获取：
- Hugging Face：
zai-org/GLM-Image
- ModelScope：智谱AI官方镜像
以下是一个完整的文生图代码示例，展示如何生成包含复杂排版和密集信息的食谱说明图：
GPT plus 代充 只需 145import torch from diffusers.pipelines.glm_image import GlmImagePipeline
pipe = GlmImagePipeline.from_pretrained(
"zai-org/GLM-Image", torch_dtype=torch.bfloat16, device_map="cuda"
)
prompt = ”““一个设计精美的现代美食杂志风格甜点食谱插图，主题为覆盆子慕斯蛋糕。 整体布局简洁明亮，分为四个主要区域：左上角是醒目的黑色标题”覆盆子慕斯蛋糕制作指南”， 右侧是柔和光线照射下的成品蛋糕特写照片，展示浅粉色蛋糕体装饰新鲜覆盆子和薄荷叶； 左下角是配料清单区域，以简约字体列出”面粉150g”、”鸡蛋3个”、”细砂糖120g”、 “覆盆子果泥200g”、”明胶片10g”、”淡奶油300ml”、”新鲜覆盆子”等，每项配有极简线条图标； 右下角展示四个等大的步骤框，每个包含高清微距照片和对应说明，从上到下依次为： 步骤1展示打蛋器打发蛋白（说明”打发蛋白至干性发泡”）， 步骤2展示红白混合物用刮刀翻拌（说明”轻柔翻拌果泥与面糊”）， 步骤3展示粉色液体倒入圆形模具（说明”倒入模具并冷藏4小时”）， 步骤4展示成品蛋糕装饰覆盆子和薄荷叶（说明”用覆盆子和薄荷装饰”）； 底部边缘有一条浅棕色信息栏，左侧图标依次代表”准备时间：30分钟”、”烹饪时间：20分钟”、”份量：8人份”。 整体配色以米白色和浅粉色为主，背景带有微妙纸张纹理，图文排版紧凑有序，信息层级清晰。”“”
image = pipe(
GPT plus 代充 只需 145prompt=prompt, height=32 * 32, width=36 * 32, num_inference_steps=50, guidance_scale=1.5, generator=torch.Generator(device="cuda").manual_seed(42),
).images[0]
image.save(“raspberry_mousse_recipe.png”)
关键参数说明：
height/width：目标图像分辨率，必须为32的整数倍num_inference_steps：推理步数，50步可平衡质量与速度guidance_scale：分类器自由引导尺度，1.5为推荐值torch_dtype：推荐使用bfloat16降低显存占用
以下示例展示如何进行图像编辑任务——替换背景：
import torch from diffusers.pipelines.glm_image import GlmImagePipeline from PIL import Image
pipe = GlmImagePipeline.from_pretrained(
GPT plus 代充 只需 145"zai-org/GLM-Image", torch_dtype=torch.bfloat16, device_map="cuda"
)
image_path = “input_image.jpg” input_image = Image.open(image_path).convert(“RGB”)
prompt = “将雪林背景替换为带自动扶梯的地下车站场景”
output_image = pipe(
prompt=prompt, image=[input_image], height=33 * 32, width=32 * 32, num_inference_steps=50, guidance_scale=1.5, generator=torch.Generator(device="cuda").manual_seed(42),
).images[0]
output_image.save(“edited_image.png”)
对于生产环境部署，GLM-Image支持通过SGLang框架提供OpenAI兼容的API服务：
1、安装SGLang
GPT plus 代充 只需 145pip install “sglang[diffusion] @ git+https://github.com/sgl-project/sglang.git#subdirectory=python”
2、启动服务
sglang serve –model-path zai-org/GLM-Image
3、API调用示例
GPT plus 代充 只需 145 curl http://localhost:30000/v1/images/generations -H “Content-Type: application/json” -d “ | python3 -c “import sys, json, base64; open(‘output.png’, ‘wb’).write(base64.b64decode(json.load(sys.stdin)[‘data’][0][‘b64_json’]))”
curl -s -X POST “http://localhost:30000/v1/images/edits” -F “model=zai-org/GLM-Image” -F “image=@input.jpg” -F “prompt=Replace the background with a cyberpunk cityscape” -F “response_format=b64_json” | python3 -c “import sys, json, base64; open(‘output.png’, ‘wb’).write(base64.b64decode(json.load(sys.stdin)[‘data’][0][‘b64_json’]))”
官方技术博客：https://z.ai/blog/glm-image
GitHub开源仓库：https://github.com/zai-org/GLM-Image
Hugging Face模型页：https://huggingface.co/zai-org/GLM-Image
🎯🔖更多专栏系列文章：AI大模型提示工程完全指南、AI大模型探索之路（零基础入门）、AI大模型预训练微调进阶、AI大模型开源精选实践、AI大模型RAG应用探索实践🔥🔥🔥 其他专栏可以查看博客主页📑
😎 作者介绍：资深程序老猿，从业10年+、互联网系统架构师，目前专注于AIGC的探索（CSDN博客之星|AIGC领域优质创作者）
📖专属社群：欢迎关注【小兵的AI视界】公众号或扫描下方👇二维码，回复‘入群’ 即刻上车，获取邀请链接。
💘领取三大专属福利：1️⃣免费赠送AI+编程📚500本，2️⃣AI技术教程副业资料1套，3️⃣DeepSeek资料教程1套🔥（限前500人）
如果文章内容对您有所触动，别忘了点赞、⭐关注，收藏！加入我们，一起携手同行AI的探索之旅，开启智能时代的大门！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/246693.html