GPT(GPT-2 & Image-GPT)

特点
Use Tensorflow2.7.0 / Pytorch Build OpenAI'GPT-2
使用Pytorch复现了OpenAI的iGPT模型
使用最新tensorflow2.7.0 / pytorch构建openai官方的GPT-2 NLP模型

Binder

进度/News

进度
增加测试版的BNNGPT-2模型（贝叶斯神经网络GPT模型） --2022/06/13
新增web交互 Dash application: A nice web interface for the dialogue model (Author: xiejiachen) --2022/04/08
增添了交互模式CNGPT --2022/04/08
新增CNGPT可以实现在中文数据集上运行GPT -- 2022/03/15

示例效果

优点

• 使用无监督技术
• 拥有大量词汇量
• 可实现续写
• 实现对话后续将应用于FloatTech的Bot

食用方法

使用方法
(iGPT) Pytorch复现iGPT
(TensorFlow）TF2_GPT-2生成英文文章的教程
(Pytorch) 如果想训练中文GPT-2请您移步至CNGPT

Setting

• python >= 3.6
• numpy==1.16.4
• sentencepiece==0.1.83
• tensorflow-gpu==2.7.0
• torch

Test Results

Link

• New GELU Activate Function
• OpenAi-GPT-2

Thanks To My Friends

• FloatTech
• 夜黎
• MayuriNFC
• 理酱

LICENCE

██████   ███   ███████       ██████          ██████████████████████
██████   ███   ███████       ██████          ██████████████████████       
██████   ███   ███████       ██████                  █████
██████   ███   ███████                               █████
██████   ███   ███████       ██████                  █████
██████         ███████       ██████                  █████
██████         ███████       ██████                  █████
██████         ███████       ██████                  █████