Skip to content

【丫丫】是以Moss作为基座模型,使用LoRA技术进行指令微调的尝试。由黄泓森,陈启源 @ 华中师范大学 主要完成。同时他也是【骆驼】开源中文大模型的一个子项目。

License

Apache-2.0, AGPL-3.0 licenses found

Licenses found

Apache-2.0
LICENSE
AGPL-3.0
MODEL_LICENSE
Notifications You must be signed in to change notification settings

qychen2001/Yaya-Moss-Alpaca-LoRA

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

6 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Yaya-Moss-Alpaca-LoRA

【丫丫】是以Moss作为基座模型,使用LoRA技术进行指令微调的尝试。由黄泓森,陈启源 @ 华中师范大学主要完成。同时它也是【骆驼】开源中文大语言模型的一个子项目,它由陈启源 @ 华中师范大学,李鲁鲁,冷子昂 @ 商汤科技 发起 。

( 注意: 陈启源 正在寻找2024推免导师; 黄泓森正在寻找运维/C++实习,欢迎进一步与我们联系 )

我们将项目命名为 丫丫 主要是因为,Moss和丫丫都是电影《流浪地球》中的角色。

新闻

[2023-4-22] 我们已经完成了基于中文Alpaca数据的LoRA训练,已经放出训练代码、数据和评测脚本

[2023-4-21] 我们已经开始了基于中文Alpaca数据的LoRA训练

训练步骤

  1. 我们是在两张A100 40G上完成的训练,如果你的显卡显存不足,可以尝试减小batch size,但至少应该有40G以上的显存用于训练。

  2. 环境安装

    pip install -r requirements.txt
  3. 开始训练!训练代码保存在src/train.ipynb中。

  4. 我们训练好的LoRA模型已经上传至Huggingface,你可以在这里下载使用。我们的评测代码在src/evaluate.ipynb中。

  5. 更多的评测结果和分析正在整理中,敬请期待!

开源协议

为了和MOSS项目保持一致,本项目所含代码采用Apache 2.0协议,数据采用CC BY-NC 4.0协议,模型权重采用GNU AGPL 3.0协议。

About

【丫丫】是以Moss作为基座模型,使用LoRA技术进行指令微调的尝试。由黄泓森,陈启源 @ 华中师范大学 主要完成。同时他也是【骆驼】开源中文大模型的一个子项目。

Resources

License

Apache-2.0, AGPL-3.0 licenses found

Licenses found

Apache-2.0
LICENSE
AGPL-3.0
MODEL_LICENSE

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published