Releases: LianjiaTech/BELLE
Releases · LianjiaTech/BELLE
BELLE v0.95 发布
发布了如下内容:
- BELLE-LLaMA-13B-2M模型
- BELLE-LLaMA-7B-2M模型系列
- 4bit量化模型 ChatBELLE-int4
- ChatBELLE App,基于llama.cpp和Flutter,实现跨平台的BELLE-7B离线模型实时交互。
BELLEv0.9发布
发布了如下内容
训练代码v0.1:尽可能简化的一个训练代码实现,支持finetune,lora,deepspeed
数据开放:参考Stanford Alpaca生成的中文数据集1.5M
测试方法:一个1k+的测试集合,和对应打分prompt。包含多个类别,采用GPT-4或者ChatGPT打分
模型开放:基于BLOOMZ训练调优后的模型
量化方案:参考gptq的实现,对本项目中相关模型进行了量化