学习周报

一、本周工作

1. 基本完成所有实验：覆盖Qwen/Llama3/Deepseek三个模型，在Final/Identity数据集上验证微调方法。  

2. 对于在两个数据集上用awq+lora+方法训练后的模型，完成了Chat前端界面开发，实现前后端API对接。 

1. 论文方面，基于得出的实验数据，主要看了lora和lora+的论文。总结来说，LoRA+优于LoRA的主要原因包括：（1）差异化的学习率设置协调了A和B的梯度更新；（2）优化的初始化策略增强了训练的稳定性。 

二、后续工作计划

1.读AWQ的论文。

2.开始编写毕设论文初稿。

转载本文请联系原作者获取授权，同时请注明本文来自郝丹萌科学网博客。

链接地址：https://wap.sciencenet.cn/blog-3622922-1479958.html?mobile=1

收藏

分享