首页 > 热点聚焦

GAN卷土重来:10亿参数的GigaGAN效果堪比扩散模型

来源:程序员客栈 时间:2023-04-13 22:46:04


(资料图片)

点蓝色字关注“机器学习算法工程师”

设为星标,干货直达!

自从 DALL·E 2 之后,在图像生成方面扩散模型替代GAN成了主流方向,比如开源的文生图模型stable diffusion也是基于diffusion架构的。近日, Adobe研究者在论文Scaling up GANs for Text-to-Image Synthesis提出了参数量为10亿(1B)的GAN模型:GigaGAN,其在文生图效果上接近扩散模型效果,而且推理速度更快,生成512x512大小图像只需要0.13s,生成16M像素图像只需要 3.66s。同时GigaGAN也支持latent空间的编辑功能,比如latent插值,风格混合,以及向量运算等。

GigaGAN改进了StyleGAN架构,采用两阶段训练策略:一个是64x64的图像生成器和一个512x512的图像超分2器,其图像生成器架构如下所示(这里也是采用CLIP text encoder来引入text condition):GigaGAN在 LAION2B-en和 COYO-700M数据集上训练,其在COCO数据集上的FID达到9.09,超过stable diffusion 1.5,推理速度比stable diffusion快20倍多(2.9s vs 0.13s):GigaGAN除了文生图能力,还可以实现可控的合成,比如风格混合,如下图所示:更多效果图和技术细节见论文https://arxiv.org/abs/2303.05511和网站https://mingukkang.github.io/GigaGAN/

相关稿件

GAN卷土重来:10亿参数的GigaGAN效果堪比扩散模型

推荐一款轻量级全栈式开源测试平台!

[快讯]机器人公布年报|信息

播报:艺术 | 山东歌舞剧院浪漫音乐会打造泉城新景观

书画 | 广州美术学院中国画学院教学实践基地在肇庆鼎湖山揭牌_天天短讯

公共 | 文化空间出新 群众生活出彩

简讯:内分泌失调怎么调理_什么叫内分泌紊乱

溧阳五一旅游预订同比增长近4倍 携程BOSS直播助推溧阳春季市场消费活力_环球观速讯

每日简讯:面对面|黄智生:不是医生的“医生”,他用AI挽回近六千次自杀

【天天热闻】荣耀MagicBook 14系列2023上市,荣耀“三叉戟”开启智慧PC新时代

9号线建设传喜讯:首个附属结构围护桩开钻

【全球热闻】深圳“刀锋战士”杨志文出征省残运会 已夺金牌两枚

阴阳师极地鬼以津真天怎么过-极地鬼以津真天阵容攻略|全球速看料

原神不可说之事邀约任务怎么做-不可说之事邀约任务攻略

都市大亨物语专业街怎么解锁-专业街图鉴解锁条件大全 每日讯息

镇江扬中:精准发力加强治理 让背街小巷靓起来

卢尼:维金斯能打季后赛很重要 他能抢板/得分/防对手最佳球员

【分析】只需四步便能问鼎总冠军?勇士最理想的晋级之路-世界焦点

基迪:落后时领袖亚历山大一点不慌 他上半场没打好但全场32分

福建海事局发布航行警告:东海部分水域可能有火箭残骸坠落-热推荐

每日热讯!TCL中环:预计一季度净利润22亿-24亿元 同比增长68%-83%

孩子买保险的三大缺点,怎么买才合理? 世界新动态

全球最资讯丨网上买增额终身寿险可靠吗?2023增额终身寿险哪家收益高又便宜?

焦点滚动:康宁终身保险已经交了20年是留下还是退保好?不想交了怎么全额退保?

天目湖涨5.19%,民生证券三日前给出“买入”评级|环球热闻

濮阳惠成:公司产销稳定 当前报道

濮阳惠成:高纯氢一般用于作为清洁能源或用于对气体纯度要求较高的工业生产

环球实时:三超新材:公司没有与国内外半导体公司合作开展项目攻关

换手率低说明什么问题?换手率低于1%有没有可能暴涨?

投保加成率是什么?投保加成和投保加成率有什么区别?