当前位置： 首页 > 要闻 > 列表
最大CLIP！LAION发布CLIP的扩增定律
2022-12-28 17:01:47    来源：


(相关资料图)

点蓝色字关注“机器学习算法工程师”

设为星标，干货直达！

近日，LAION等机构在Reproducible scaling laws for contrastive language-image learning发布了CLIP的扩增定律（scaling law），其中最大的CLIP为ViT-H/14，基于LAION-2B数据集训练，可以在ImageNet1K数据集上到78.0%的zero-shot准确度，性能超过OpenAI目前开源的CLIP L/14，和Meta AI的FLIP Huge模型性能相当，但是模型已经开源在https://github.com/LAION-AI/scaling-laws-openclip。

论文的实验采用开源数据集LAION-400M和LAION-2B数据集，训练框架采用开源的OpenCLIP，所以论文的实验是可以复现的。训练在1520 NVIDIA A100 GPUs上进行，采用PyTorch DDP分布式训练策略，采用混合精度（但是fp16会不稳定，所以采用bf16，或者基于TF32的float32），训练的batch size在 86-88K之间。实验的总体结论是：扩增定律也明显适用CLIP，当扩增模型，训练数据和算力时，模型在下游任务上有一致性的提升。但是不同的训练数据集表现出不同的扩增系数：OpenCLIP的模型（基于LAION-2B数据集）在图文检索任务上有较大的扩增系数，而OpenAI CLIP模型（基于私有的WebImageText 400M数据集）在zero-shot分类任务上有较强的扩增系数。这个结论和FLIP的结论比较吻合，这说明训练数据集对CLIP的性能确实有比较大的影响。用论文结论的一句话来说就是：Scaling behavior depends on task type and pre-training dataset。更多内容可见论文：https://arxiv.org/abs/2212.07143

上一篇：

下一篇：

X 关闭

要闻

  • 最大CLIP！LAION发布CLIP的扩增定律

    来源：     2022-12-28

  • 港股异动 | 启明医疗-B(02500)涨7% 公司新一代球扩干瓣Venus-Vitae?于阿根廷获批上市-今热点

    来源：     2022-12-28

  • 天天最新：科远智慧董秘回复：截至2022年12月9日，公司股东总人数为33,746人

    来源：     2022-12-28

  • 宋仲基新女友身份被扒，曾是英国情色片演员，颜值不输宋慧乔

    来源：     2022-12-28

  • 每日热讯!2022至2023年北京玉渊潭公园雪场位置+预约+电话

    来源：     2022-12-27

  • 【时快讯】杭州集中挂牌5宗涉宅地块，总起始价80.77亿元

    来源：     2022-12-27

财经

Copyright   2015-2022 世界时报网版权所有  备案号：琼ICP备2022009675号-1   联系邮箱：29 59 11 57 8@qq.com