llm_server

• llm_server provides LLM API by rinna/youri-7b-gptq

setup

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu118/
pip install flask

run the server

python3 llm_server.py 5050

http://[::]:5050/?p=who

related

• llm_client

reference

• rinnaの新AI「youri-7b-chat-gptq」の魅力 | ジコログ
• 8GB RTX3060TiでOK、PythonでローカルLLMのCORS対応APIサーバー＆JSクライアント