算法微调

Ⅰ 优化 | 块坐标下降法：助力单张3090全参数高效微调7B级大模型

研究背景

大模型的崛起推动了人工智能在多个领域的深入应用，全参数微调成为提升模型在特定任务上表现的关键。然而，这种方法通常需要大量GPU计算资源。在资源受限情况下，参数高效微调算法如LoRA成为首选，但其与全参数Adam微调在性能上仍存在差异。如何在有限资源下实现接近全参数微调的性能成为研究热点。本文提出BAdam算法，通过优化设计实现资源与性能的最优平衡。

算法设计

块坐标优化策略在每次迭代中仅更新部分参数，解决剩余参数形成的低维度优化问题。这种方法适用于参数量巨大的大规模优化问题，如Llama 2-7B大模型的微调，其参数量高达70亿，而训练集数据量通常在10万以下。BAdam应用Adam算法作为子问题的高效近似求解器。

算法特性

本文实验在单张RTX3090-24GB GPU上进行，通过Alpaca-GPT4数据集上Llama 2-7B模型微调，比较BAdam与主流内存高效微调算法的性能。实验结果显示BAdam在相同数据迭代下表现出优势，并在实际运行时间上有明显优势。MT-bench评估的下游任务表现显示BAdam在计算时间更少的情况下，优于LoRA微调算法，且在SuperGLUE基准测试中接近全参数Adam微调的性能。

总结

BAdam算法在当前大模型研究中展现出广泛的应用潜力。它在保证下游任务性能不受明显影响的前提下，有效减少了GPU内存资源的使用，促进了大模型在低内存条件下的高效优化。更多详细信息请参考引用文献及项目代码。