测试Lora模块对模型参数量和训练速度的影响

时间：2024-05-08 15:30:51来源：Lwgzc手游网作者：佚名我要评论 用手机看

扫描二维码随身看资讯

使用手机 二维码应用 扫描右侧二维码，您可以
1. 在手机上细细品读~
2. 分享给您的微信好友或朋友圈~

本次测试旨在分析模型增加Lora模块后，参数量和训练速度的变化情况。

经过测试得出结论：

正常情况下，增加Lora模块会增加模型的参数量，导致前向传播和反向传播的时间增加。

然而，在大语言模型训练的情况下，由于基础模型本身参数量已经很大，Lora模块增加的参数相对较小。并且，基础模型不参与梯度更新，可以进行模型量化，实际上能减少模型训练时间和显存使用量。

以下是实验脚本和运行结果：

运行代码输出：

热门手游下载
相关文章
热门文章
推荐专题
电脑游戏盒子
爱奇艺VIP会员账号获取器
热门手游推荐 换一批
下载排行榜