README_zh.md

Awesome Prompt datasets

English | 中文

简介

这是一个用于中文指令调整的 AWESOME 数据集合集。

通过使用指令进行微调，以提高 LLM（大型语言模型）的性能成为了一个趋势。随着以数据为中心的 AI 越来越受欢迎，我们需要更高质量的数据集来训练我们的模型。

在这里，你可以找到一些开源的中文指令数据的AWESOME 列表。

数据集合 (Data Collection)

收集数据集的相对大小如下图所示:

我们参考这里 (@yaodongC), 将收集到的数据集按照以下规则标注Tags：

(Lang)Lingual-Tags:

• EN: Instruction datasets in English
• CN: Instruction datasets in Chinese
• ML: [Multi-lingual] Instruction datasets in multiple languages

(Task)Task-Tags:

• MT: [Multi-task] Datasets containing multiple tasks
• TS: [Task-specific] Datasets tailored for specific tasks

(Gen)Generation-method:

• HG: [Human Generated Dataset] Datasets created by humans
• SI: [Self-Instruct] Datasets generated using self-instruct methods
• MIX: [Mixed Dataset] Dataset contains both human and machine generated data
• COL: [Collection of Dataset] Dataset made from a collection of other datasets

数据统计

数据集	数目	Lang	Task	Gen	类型	来源	链接
Chain of Thought	74771	EN/CN	MT	HG	CoT相关任务	人在现有数据集上标注CoT	下载
GPT4all	806199	EN	MT	COL	代码，故事，对话	GPT-3.5-turbo 蒸馏	下载
GPTeacher	29013	EN	MT	SI	通用，角色扮演，工具指令	GPT-4 & toolformer	下载
Guanaco	534610	ML	MT	SI	多种nlp任务	text-davinci-003	下载
HC3	37175	EN/CN	TS	MIX	对话评估	gpt-3.5 或 人工	下载
alpaca	52002	EN	MT	SI	通用指令	text-davinci-003	下载
Natural Instructions	5040134	ML	MT	COL	多种nlp任务	人工标注的数据集的收集	下载
belle_cn	1079517	CN	TS/MT	SI	通用指令，数学推理，对话	text-davunci-003	下载
instinwild	52191	EN/CN	MT	SI	生成，开放域问答，头脑风暴	text-davunci-003	下载
prosocial dialog	165681	EN	TS	MIX	对话	GPT-3改写问题，人工回复	下载
finance_en	68912	EN	TS	COL	金融领域问答	GPT3.5	下载
xP3	78883588	ML	MT	COL	多种nlp任务	人工标注的数据集的收集	下载
firefly	1649398	CN	MT	COL	23种nlp任务	收集中文数据集，人工书写指令模板	下载
instruct	888969	EN	MT	COL	GPT4All，Alpaca和开源数据集的增强	使用AllenAI提供的nlp增强工具	下载
Code Alpaca	20022	EN	SI	SI	代码生成，编辑，优化	text-davinci-003	下载
Alpaca_GPT4	52002	EN/CN	MT	SI	通用指令	GPT-4 生成的Alpaca数据	下载
webGPT	18994	EN	TS	MIX	信息检索问答	fine-tuned GPT-3 + 人工评估	下载
dolly 2.0	15015	EN	TS	HG	公开、封闭式问答、信息抽取、摘要生成、开放式构思、分类以及创意写作七类任务	人工标注	下载
baize	653699	EN	MT	COL	Alpaca和多种问答任务	人工标注的数据集的收集	下载
hh-rlhf	284517	EN	TS	MIX	对话	RLHF models	下载
OIG(part)	49237	EN	MT	COL	多种nlp任务	人工标注的数据集的收集和数据增强	下载
GAOKAO	2785	CN	MT	COL	高考中的多选，填空等问题	人工标注的数据集的收集	下载
camel	760620	EN	MT	SI	物理生物化学编程，数学，社会等领域的角色扮演对话人工标注的数据集的收集	gpt-3.5-turbo 生成	下载
FLAN-Muffin	1764800	EN	MT	COL	60种nlp任务	人工标注的数据集的收集	下载
COIG	298428	CN	MT	COL	考试，翻译，价值观指令数据集搜集，基于知识图谱的反事实对话	自动化工具+人工验证	下载
GPT4Tools	71446	EN	MT	SI	a collection of tool-related instructions	gpt-3.5-turbo	下载
ShareChat	1663241	EN	MT	MIX	general instruct	收集ShareGPT	下载
Auto CoT		EN					下载
MOSS	1583595	EN/CN	SI				下载
ultrachat	28247446	EN					下载
StackLLaMA	todo	EN

Contributing

Our purpose is to make this repo even better. If you are interested in contributing, please refer to HERE for instructions in contribution.

License

Awesome-Prompt-Dataset is released under the Apache 2.0 license.