AI自给自足!用合成数据做训练,效果比真实数据还好丨ICLR 2023

on

|

views

and

comments

Brilliant 投稿
量子位 | 公众号 QbitAI

AI生成的图像太逼真,为什麽不能拿来训练AI呢?

可别说,现在还真有人这麽做了。

来自香港大学、牛津大学和位元组跳动的几名研究人员,决定尝试一下能否使用高质量AI合成图片,来提升图像分类模型的性能。

为了避免AI合成的图像过於单一、或是质量不稳定,他们还提出了几类提升数据多样性和可靠性的方法,帮助AI合成更好的数据集(来喂给AI的同类doge)。

结果他们发现,不仅效果不错,有的AI在训练後,效果竟然比用真实数据训练还要好!

目前这篇论文已经被ICLR 2023收录。

把AI生成的数据喂给AI

作者们分别从零样本(zero-shot)、少样本(few-shot)图像分类、模型预训练(pre-training)与迁移学习三个??进?了探讨,并给出了提升数据多样性与可靠性的方法。

零样本图像分类

零样本(Zero-shot)图像分类任务,指没有任何?标类别的训练图?,只有对?标类别的描述。

作者们先是提出了一种名为语言增强(Language Enhancement,LE)的?法,用於增强合成数据多样性。

具体来说,这种方法会给标签「扩句」,如果原标签是简单的「飞机」,那麽经过「扩句」後的提示词就会变成「一架盘旋在海滩和城市上空的白色飞机」。

随後,还采用了一种叫做CLIP过滤器(CLIP Filter)的?法确保合成数据的可靠性,即过滤掉合成质量不行的图片,确保AI数据质量过硬。

在17个数据集上,相?此前效果最好的CLIP模型,相关??模型均获得了显着提升(4.31%/2.90%),展示了合成数据的有效性。

少样本图像分类

少样本图像(Few-shot)分类任务,通常仅有极少数量(1~16张)的?标类别图?,与零样本任务的区别是增加了类别与任务特定领域信息。

因此,作者们决定将域内数据(in-domain)的知识?於图像?成,即将少量的?标类别图??於杂讯叠加的初始状态(Real Guidance),进?步发挥?成模型的能?,从而进?步提升性能。

预训练与迁移学习

模型预训练(pre-training)任务,即将模型在?量数据上进?训练,将训练後的模型作为「起始点」,来帮助提升下游任务的性能。

作者们利?合成数据,对模型进?了预训练,并对数据量、数据多样性程度、预训练模型结构和预训练?法进?了实验研究。

最终发现:

  1. ?合成数据进?预训练。已经可以达到甚?超越?真实数据预训练的效果。
  2. ?更?的数据量和数据多样性的合成数据,可以获得更好的预训练效果。
  3. 从模型结构和预训练?法来看,ViT-based模型(相比convolutional-based模型)、?监督?法(相比有监督?法)会更适合合成数据下的预训练。

论文认为,利??成模型产?的合成数据来帮助图像分类任务是可行的,不过也存在?定的局限性。

例如,如何处理特定任务的domain gap和数据多样性之间的trade-off,以及如何更有效地利?潜在?穷量的合成图??於预训练,都是需要进一步去解决的问题。

作者介绍

一作何睿飞,香港大学在读博士生@CVMI Lab,指导老师为齐晓娟老师,本科毕业於浙江大学竺可桢学院,研究方向是data-efficient learning, vision-language model, knowledge distillation, semi/self-supervised learning。CVMI Lab 正在招收计算机视觉与深度学习方向的博士生,感兴趣的夥伴可以直接email老师!

对於将AI合成图像用於预训练模型这件事,你还能想到更高效的方法吗?

欢迎感兴趣的小夥伴一起讨论~

论文地址:
https://arxiv.org/abs/2210.07574

项目地址:
https://github.com/CVMI-Lab/SyntheticData

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间获知前沿科技动态

喜欢这篇文章吗?立刻分享出去让更多人知道吧!

本站内容充实丰富,博大精深,小编精选每日热门资讯,随时更新,点击「抢先收到最新资讯」浏览吧!

请您继续阅读更多来自 量子位 的精彩文章:

※金融业「限薪令」出台/ 软银出售过半阿里持仓…今日更多新闻在此
※长期喝可乐会造成记忆障碍,还更容易患病,可乐自由竟然都这麽难

openvpn怎么用

热门文章

AI不是万能 无法取代的职业有哪些

随着人工智慧(AI)技术的进步,这些职业仍无法被AI轻易取代,其中包括领导、创造性的工作和专业技术人员等。

各国建立专属 AI 模型,推动辉达晶片需求成长

辉达主管今天表示,生成式人工智慧(AI)成为各大企业与各国政府关注焦点之下,许多寻求以本国语言建造 AI 模型的国家都看上辉达晶片,让已经很抢手的晶片需求进一步成长。 路透社报导,尽管辉达(Nvidia)在其驱动AI(例如OpenAI的ChatGPT)的晶片第三季销售成长预测,未能满足投资人高度预期...

xAI 工程师花三天就改写 Grok-2 物理堆栈,速度大幅提升

马斯克旗下 xAI 稍早发表 Grok-2 大型语言模型聊天机器人,推出後持续进步,xAI 两位开发者短短三天就重写推理程式码堆栈,使 Grok-2 和 Grok-2 mini 资讯分析和输出速度大幅提升。 xAI 开发者 Igor Babuschkin 於 X 表示,Grok-2 mini 速度经...

最新文章

相关推荐

0 0 投票数
Article Rating
订阅评论
提醒
guest
0 Comments
最旧
最新 最多投票
内联反馈
查看所有评论
0
希望看到您的想法,请您发表评论x