README.md

🧠 Awesome-Chinese-ChatGPT-Implement

收录实现中文版ChatGPT的各种开源技术路线，数据及其他资料

Three steps to ChatGPT:

1. LLM-pretrain
2. Instruction tuning and code continual pretrain
3. RLHF (SFT, RM, PPO-RL)

具体技术可参考 dalinvip/Awesome-ChatGPT

Data

• Self-instruct
• Stanford Alpaca
• ExpertLLaMA
• Evlo-instruct

模型

模型更新太快，收录难度较高，提供以下几个榜单作为参考。

• C-Eval
• Arena
• SuperCLUE; SuperCLUE琅琊榜
• Open LLM Leaderboard

上下文长度

• FlashAttention (Github, Torch 2.0 implementation)
• Positional Interpolation
• NTK-Aware Scaled RoPE (Reddit, Implementation)

工具使用

• Toolformer (Paper, Implementation)
• Toolbench
• Paper List

AI Agent

• Baby AGI
• AutoGPT
• Generative Agents: Interactive Simulacra of Human Behavior
• Voyager

其他相关开源项目

• Stanford Alpaca: LLAMA-7B SFT
• Vicuna: LLAMA-7b&13B SFT，数据来自ShareGPT
• Baize: LLAMA聊天微调，数据采集自ChatGPT self-chat
• LoRA: popular低成本LLM参数高效微调方案，已集成到PEFT

Contribution

如果你创建或发现了任何关于实现中文ChatGPT的优秀资源，请创建Issue或PR来贡献这个仓库!

If you created or found any awesome resource about Chinese ChatGPT, feel free to create issues or PRs to contribute to this repository!