Deletion Tuning
不到0.05%权重即可完成大模型后训练,训练轻量化获新路径
一项研究提出 Deletion Tuning:仅将大模型不到0.05%的权重置零,就能匹配完整微调的后训练效果,同时减少遗忘并压缩模型文件。若经更多任务验证,它可能降低企业持续训练与部署智能体的成本。
找到 1 篇关于此标签的文章
一项研究提出 Deletion Tuning:仅将大模型不到0.05%的权重置零,就能匹配完整微调的后训练效果,同时减少遗忘并压缩模型文件。若经更多任务验证,它可能降低企业持续训练与部署智能体的成本。