周次

第二十五周

研究方向

大模型数据高效微调

本周完成工作

1.      检查了我的方法的代码，并且重新阅读了相关论文，目前确定效果不佳的原因之一是GPT2模型能力不足，无法较好的评价指令响应数据对对大语言模型训练过程的影响。后续决定以llama3.2-1B作为代理模型重新执行方法查看效果，本周主要工作为修改代理模型及相关代码，目前代码初步恢复正常运行。

2.      完成了CWR层级划分后对R层级unit和qty的信息补充相关代码的编写。

本周

问题汇报

1.      混合方法得到的效果一般，现在还是需要改进我的方法

2.      在本周检查代码和修改代理模型相关代码报错过程中发现除了问GPT/Google以及看库函数的文档，有些细节问题和一些不常见报错直接阅读库函数内部代码并调试也不失为一种解决问题的方法，在某些情况下效率可能还更高。

下周工作计划

1.      获得新的代理模型所选择的数据结果，依据相应数据结果初步评判是否可以开始训练大模型运行评测基准，或者继续修改方法内部代码。