工程训练技巧合集
深度学习工程训练技巧速查手册:梯度裁剪、梯度累积、混合精度训练 AMP、梯度检查点、分布式训练,涵盖原理、公式、代码实现与选择指南。 ...
深度学习工程训练技巧速查手册:梯度裁剪、梯度累积、混合精度训练 AMP、梯度检查点、分布式训练,涵盖原理、公式、代码实现与选择指南。 ...
深度学习正则化技术速查手册:L1 正则、L2 正则、Dropout、标签平滑、数据增强、早停,涵盖原理、公式、代码实现与选择指南。 ...
深度学习损失函数速查手册:回归损失、分类损失、排序与度量学习损失、概率分布损失、正则化损失,涵盖公式、形状、梯度特性与选择指南。 ...
深度学习学习率调度器速查手册:StepLR、CosineAnnealingLR、ReduceLROnPlateau、Warmup、OneCycleLR,涵盖原理、公式、代码实现与选择指南。 ...
深度学习优化器速查手册:梯度下降、动量法、自适应学习率(Adam 家族)、二阶方法、学习率调度,涵盖算法原理、公式推导、代码实现与选择指南。 ...
深度学习归一化技术速查手册:BatchNorm、LayerNorm、InstanceNorm、GroupNorm、RMSNorm,涵盖原理、公式、适用场景与选择指南。 ...
深度学习激活函数速查手册:经典激活函数、ReLU 家族、平滑激活函数、输出层激活函数,涵盖公式、形状、梯度特性与选择指南。 ...
基于 NeurIPS 2020 论文 DDPM(arXiv:2006.11239),深入浅出地介绍扩散模型的原理、数学推导与训练采样流程。 ...
详解深度学习理论基石:双下降现象(Double Descent Phenomenon)与模型缩放定律(Scaling Laws),以及它们的经典奠基论文。 ...
「速通 AI」系列第八篇:大模型微调、量化、部署,以及 Agent 开发、MCP、LangGraph。 ...