IT之家 6 月 6 日消息,字节跳动 Seed 团队今日宣布发布图像编辑模型 SeedEdit 3.0,目前已经在即梦网页端开启测试,豆包 App 也即将上线。





依靠 AI 完成指令式图像编辑的需求,广泛存在于视觉内容创意工作中。但此前,图像编辑模型在主体 & 背景保持、指令遵循等方面能力相对有限,导致编辑图像可用率不高。
据字节跳动官方介绍,SeedEdit 3.0 基于文生图模型 Seedream 3.0,叠加多样化的数据融合方法与特定奖励模型,较好地解决了上述难题。其图像主体、背景和细节保持能力进一步提升,尤其在人像编辑、背景更改、视角与光线转换等场景表现较为突出。
该模型可处理并生成 4K 图像,在精细且自然地处理编辑区域的同时,还能高保真地维持其他信息。尤其针对图像编辑“哪里改与哪里不改”的取舍,该模型表现出更佳的理解力和权衡力,可用率相应提高。当用户需要去掉图片内一众行人,模型不仅可以准确识别并移除场景内的无关人物,连影子也能一并去掉。





▲Prompt:移除中间人物以外的所有行人
在 2D 绘画转为真实模特的任务中,SeedEdit 3.0 较好地保持了人物的衣帽穿搭与手提包等细节,生成图片兼具时尚街拍感。





Prompt:使女孩看起来逼真
整个场景的光影变换,模型也可以处理得丝滑、自然。从近处房屋,到远处海水波纹,细节均能合理保留下来,并跟随光线变化,进行“像素级”的渲染调整。





Prompt:把场景变为白天
为了实现上述能力,团队在 SeedEdit 3.0 的研发工作中提出了一种高效的数据融合策略,并构建了多种专用奖励模型。
通过将这些奖励模型与扩散模型联合训练,团队针对性地改善了关键任务的编辑质量(如人脸对齐、文本渲染等)。实际落地中,我们也对推理加速进行了同步优化。





Prompt:将“STOP”更改为“WARM”
字节跳动表示,除进一步优化编辑性能外,未来团队还将探索更丰富的编辑操作,让模型拥有连续多图生成、多张图像合成、故事性内容生成等能力。
IT之家附链接如下:
太古股份公司B(00087)发布公告,于2022年12月9日该公司斥资66.57万港元回购6.75万股,回购价格为每股9.83-9.89港元。...
本报讯(记者 武红利)昨天,《北京人口发展研究报告(2022)》(2022年北京人口蓝皮书)发布。其中提出,本市人口文化素质位居全国前列,高等教育人口占比显著提高。2021年,15岁及以上常住人口...
来源:国家中医药管理局网站 央视新闻 新冠病毒感染者居家中医药干预指引 国家中医药管理局中医疫病防治专家委员会(2022年12月10日) 一、治疗方案 (一)成人治疗方案 1...
作者: 樊志菁 [ 市场已经将目光转向了议息会议前一天公布的11月消费者价格指数(CPI),这将为未来美联储政策紧缩路径提供重要参考。密歇根大学最新公布的消费调查显示,一年期通胀预期降至4.6...
李英锋 近日,有网友反映,有企业要求感染新冠病毒的员工居家按病假算薪酬。对此,多名律师和专家表示,法律没有规定企业可以强制员工休病假。按照人社部相关规定和《传染病防治法》,企业应当支付职工在此...
A股:13日,沪指盘中窄幅震荡,一度冲高回落,深成指、创业板指弱势震荡下探;两市成交额再度萎缩,北向资金小幅净流出。截至收盘,沪指跌0.09%报3176.33点,深成指跌0.66%报11323....