腾讯混元大模型再进化，文生图能力重磅上线，这里是一手实测 上手实测:混元文生图

上手实测:混元文生图，腾讯图有什么不一样?混元

做好「文生图」这件事 ，对「文」的大模充分理解至关重要。

在语义理解方面
，型再线里混元文生图模型采用了中英文双语细粒度的进化模型，同时基于中英文双语建模实现双语理解，文生以色列出国劳务年龄限制多大且通过优化算法提升了模型对细节的力重感知能力与生成效果。

在此之前，磅上像 Stable Diffusion 这样的手实热门模型虽然支持一定程度的中文 ，但其核心数据集 LAION-5B 仍以西方化内容为主，腾讯图对中国的混元语言
、美食 、大模文化 、型再线里习俗都理解不够。进化

而混元文生图模型是文生一个中文原生的文生图模型，无论用户输入的中文诗句还是成语，都可以直接要求其创作画作 
。

在内容合理性方面，混元文生图通过增强算法模型的图像二维空间位置感知能力，并将人体骨架和人手结构等先验信息引入到生成过程中 ，让生成的图像结构更合理，改善了 AI 生成人体结构和手部不合理的问题。

在画面质感方面 ，混元文生图基于多模型融合的方法，提升生成质感。经过优化之后，混元文生图的正规出国劳务要交多少钱人像模型（发丝 、皱纹等）效果提升了30% ，场景模型(草木、波纹等)效果提升了25% 。

这三方面的技术优势，对于混元大模型文生图产品体验的提升是显而易见的 。日本企业直聘

为了验证上述能力 ，机器之心设置了一些题目，第一时间对混元大模型进行了摸底测试 。

鉴于混元是中文原生模型，自然也比其他同类产品更懂「古代中国的语言」，我们首先让它根据古诗词进行绘画。

我们选取一句非常有意境的古诗「醉后不知天在水 ，满船清梦压星河」来测试 ，看混元大模型能否生成极具画面感的图。

在《泊船瓜洲》这首诗中，一句「春风又绿江南岸 
，明月何时照我还」，写出了无数游子的乡愁 。混元的生成结果 ，提取出「春光」、「水岸」、「明月」等意象进行有机组合 ，让人看到之后仿佛置身诗句场景之中:

然后是有趣的「中国菜绘画」环节，来一道「鱼香肉丝」经典考题吧:

从让人 san 值狂掉的中餐绘画 ，到现在看图下饭的水准 ，我们也能感受到文生图技术的澳大利亚出国劳务要交多少钱不断进化 。

接下来看看在业界公认的「人像真实感」难题上，混元做得如何:

我们知道最初 Midjourney 爆火，就是因为下面这张情侣照片 ，让人无法分辨这竟然无 AI 生成的。

现在，我们考察一下混元大模型生成「照骗」的能力 。使用的 Prompt 是:

你觉得真实感如何?在我们看来 ，Prompt 中提到的细节拉满 。

这也就是腾讯重点强调的:混元大模型通过优化算法提升了对细节的www.hijob.jp日本招聘网站感知能力与生成效果。这种能力 ，在很多具体的场景中才得以体现 。

例如在动画场景中，生成「一头小鹿在森林中奔跑、带动落叶飞起
、月亮很亮很大、小鸟在空中飞翔，氛围感 ，CG 风格，侧面视角」 。

是不是特别像是小时候看的动画中的画面?

此外
，在动漫创作中 ，文生图应用潜力巨大 。

我们给到混元大模型的 Prompt 是「生成3D  ，动漫风格，1个女孩 ，金色头发
，微笑 ，短发，城市背景」:

你觉得生成效果如何?是不是可以直接拿来当壁纸了?

文生图背后，有哪些自研技术?

工欲善其事，必先利其器 ，对于大模型同样如此。

我们了解到
，除了创新模型算法，腾讯混元大模型实现这样接中文地气的文生图效果 ，其背后还离不开高质量的图文匹配数据、自研的机器学习框架以及强大的算力基础设施。

腾讯混元大模型已经形成了从模型算法到机器学习框架再到 AI 基础设施的全链路自研技术路径 。多层次的技术沉淀 ，意味着大模型的进化需要一步一个脚印，从实践出发，在实践中提升 。

首先来看支撑模型训练的数据工程。

对于任何 AI 特别是大模型而言，数据都是不可或缺的三大要素之一 。大模型文生图功能亦是如此，图文数据尤其是图文之间的匹配数据对生成效果的影响举足轻重
。

但是网络上已有数据并不是都能拿来即用的，其中很大的问题是文字对图片的描述不一定准确，这就导致大多数图文匹配数据质量比较差。如果拿来用，即使训练时间很长，模型生成效果依然达不到预期 ，也会影响生成质量的稳定性和后续的迭代效率 。

因此
，提升图文数据质量成为保证文生图效果的「第一道关」。这时候往往需要通过工程化的方式提升数据质量，支撑模型训练、优化和升级，构筑算法模型的护城河 。

面对图文匹配数据问题，腾讯混元文生图团队的应对策略是这样的:首先细粒度地完善中文 prompt，提升图文相关性，最大化数据质量;然后采取训练数据分层、分级的策略，逐步优化模型，最大化数据效果;最后建设数据飞轮
，它是大模型快速迭代的关键。团队基于线上用户使用大模型的反馈 ，自动化构建训练数据 ，加快模型迭代，最大化数据效率
。

数据质量、效果和效率提上去了，这就为良好的文生图效果打下了基础。而接下来要讲的机器学习框架同样重要。

强大的机器学习框架或平台会极大地提升开发者构建
 、训练和部署模型的速度和效率 。腾讯针对大模型训练和推理场景 ，自研了 Angel 机器学习平台 ，主要包括负责训练的 AngelPTM 和负责推理的 AngelHCF 两大部分 。

其中 AngelPTM 采用 ZeRO-Cache 优化策略  ，成为超大模型训练利器，它通过存储管理扩大单机模型容量 ，通过多流异步提高资源利用率
，通过显存管理提高显存效率。此外利用4D 并行提高可用显存上限 ，减少千卡通信压力，释放计算潜能。自动续训机制支持千卡故障自动容错，减少中断时间 。模型训练情况也在实时监控之下
，协同算法优化模型训练方向。

目前
，AngelPTM 基于业界首创的 ZeRO-Cache 机制 +4D 并行实现了千亿混元基座模型的高速训练 ，训练速度相比主流开源框架（DeepSpeed-Chat）提升1倍 。

ZeRO-Cache 概图。

AngelHCF 主要从定制多样化服务策略 、并行策略 、框架加速（覆盖常用 GPU 加速方法）、模型压缩(支持业界常用压缩方法)和高效模型 Debug 能力五个层面提升大模型的推理性能。推理速度相比业界主流框架(FasterTransformer)提升1.3倍 。

腾讯表示，其 Angel 机器学习平台具备了领先性能 ，能够帮助提供更好的基建体系 ，助力大模型们高速运行。这使得混元大模型生成高质图片的同时
，生成速度也大大改进 。

拥有了高质量的数据、高效的机器学习框架，大模型的持续运行还面临着算力层面的考验。毕竟，大模型时代 ，算力为王 。

腾讯混元文生图功能离不开腾讯云提供的强大算力基础设施 。2023年4月，腾讯云发布新一代 HCC 高性能计算集群，采用最新一代星星海自研服务器，并基于自研网络和存储架构 ，实现了3.2T 超高互联带宽 、TB 级吞吐能力和千万级 IOPS。新一代集群算力性能较前代提升了3倍，较传统算力集群方案提升12倍以上 。

夯实底层硬件的同时，上层软件能力也要齐头并进。新一代 HCC 集群集成了腾讯云自研的 TACO 训练加速引擎 ，从网络协议、通信策略 、AI 框架、模型编译层面做了大量系统级优化。这套全生态的训练加速方案不仅可以帮助客户降低 AI 优化门槛，提升 AI 训练性能，还使训练调优和算力成本大大降低 。

看起来 ，制约大模型的三大要素算法 、数据和算力 ，在腾讯混元大模型这里都不成问题了 。自然而然 ，文生图质量和效果也得到了保障。

效果「以假乱真」 ，

文生图能力已嵌入腾讯广告场景

今天我们看到的混元大模型文生图能力，并非一蹴而就，而是一个实实在在的演进过程。

在上个月举行的2023腾讯全球数字生态大会上 ，腾讯混元大模型正式亮相。腾讯集团副总裁蒋杰当时表示  ，混元永远在路上
。腾讯会一直演进混元的能力，并希望每个月都会给大家带来惊喜 。

目前，腾讯已有180个内部业务接入混元大模型，包括包括腾讯会议、腾讯文档
、企业微信、腾讯广告和微信搜一搜等。同时来自零售 、教育 、金融、医疗、传媒、交通
、政务等多个行业的客户也通过腾讯云调用腾讯混元 API，应用领域涉及智能问答
、内容创作、数据分析 、代码助手等多个场景 。

此次开放的文生图能力便是腾讯混元大模型带给我们的最大惊喜 ，展示其在图像自动生成领域的领先能力
。当然 ，腾讯混元文生图也在逐渐进化中 ，后续会开发更多文生图相关以及图生图功能。我们可以狠狠期待一波了
。

目前，混元文生图能力已经嵌入到了腾讯广告场景中
，比如生成商品广告或广告配图。在广告业务下的多轮测评中，腾讯混元文生图的案例优秀率和广告主采纳率分别达到86% 和26% ，均高于同类模型 。

我们先来看下面这个示例，要求混元大模型生成一个酒店房间。从效果来看，升级后混元文生图效果明显更好，设计感 、品质感提升很大，细节更加丰富 。即使与 Midjourney 比较一番 ，效果也不相上下。

人物类生成场景也有类似的效果。升级后混元生成的人像真实感更强，比如面部肤色、皱纹等细节 。

广告场景之外，腾讯内部还在不断探索其他文生图的需求场景
，比如游戏场景中生成游戏元素和游戏角色
、内容场景中生成小说配图、插图，云业务场景中将混元能力开放给不同行业的客户。

大浪淘沙，再强悍的模型 ，也要让更多人用上并持续获得反馈，才有可能百尺竿头更进一步。

可以预见
，未来腾讯产品中将迎来混元文生图能力的大爆发
，用户也将体验更多 AIGC 带来的魅力。