本文介绍: 的幂律训练损失呈现 线性关系。三个参数同时放大时,如何得到最佳的性能?更大的模型 需要 更少的样本 就能达到相同的效果

概览:

 

一、总结

 


计算量、数据集大小、模型参数量大小幂律训练损失呈现 线性关系

三个参数同时放大时,如何得到最佳的性能?

更大的模型 需要 更少的样本 就能达到相同的效果

</

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注