日本語ローカルLLM関連のメモWiki - おすすめの日本語対応ローカル大規模言語モデル
日本語に対応したローカルモデルです。(普通に漏れがあります)
ページの内容が古かったり誤った情報が載っているかもなので気をつけて下さい。
現時点(24年3月)では13B(4ビット量子化して12GB/VRAMに載る限界?)ならSwallow 13B、70B(GGUFでCPU/メインメモリも使う)ならKARAKURIがなかなか良いです。
筆者は試していませんが、
CohereForAI/c4ai-command-r-v01
CohereForAI/c4ai-command-r-plus
が最近話題(期待)かも?
(24/03/30時点でText generation web UIはまだ対応していないけど)
→ 対応したみたいです。
ほか、下記のモデルも良いかもしれません。
New
dddump/Japanese-TextGen-Kage-v0.1-2x7B-gguf
(GGUF版)
sbtom/karakuri-MS-02.gguf
dddump/Japanese-TextGen-MoE-TEST-2x7B-NSFW
→ GGUF版
dddump/Japanese-TextGen-MoE-TEST-2x7B-NSFW-gguf
DataPilot/ArrowPro-7B-RobinHood
☑
Local-Novel-LLM-project/Vecteus-v1
→ GGUF版
Local-Novel-LLM-project/Vecteus-v1-gguf
☑
Local-Novel-LLM-project/Ninja-v1-NSFW-128k
→ GGUF版
Local-Novel-LLM-project/Ninja-v1-NSFW-128k-GGUF
Aratako/AntlerStar-RP
→ GGUF版
Aratako/AntlerStar-RP-GGUF
Aratako/SniffyOtter-7B-Novel-Writing-NSFW
→ GGUF版
Aratako/SniffyOtter-7B-Novel-Writing-NSFW-GGUF
Aratako/Antler-7B-Novel-Writing
→ GGUF版
Aratako/Antler-7B-Novel-Writing-GGUF
soramikaduki/Antler-RP-ja-westlake-chatvector
→ GGUF版
soramikaduki/Antler-RP-ja-westlake-chatvector_GGUF
Elizezen/SniffyOtter-7B
→ GGUF版
Elizezen/SniffyOtter-7B-GGUF
Sdff-Ltba/LightChatAssistant-TypeB-2x7B
→ GGUF版
Sdff-Ltba/LightChatAssistant-TypeB-2x7B-GGUF
TFMC/Japanese-Starling-ChatV-7B
→ GGUF版
TFMC/Japanese-Starling-ChatV-7B-GGUF
Aratako/LightChatAssistant-2x7B-optimized-experimental
→ GGUF版
Aratako/LightChatAssistant-2x7B-optimized-experimental-GGUF
Aratako/LightChatAssistant-4x7B
→ GGUF版
Aratako/LightChatAssistant-4x7B-GGUF
Sdff-Ltba/LightChatAssistant-2x7B
→ GGUF版
Sdff-Ltba/LightChatAssistant-2x7B-GGUF
aixsatoshi/Swallow-MX-8x7b-NVE-chatvector-Mixtral-instruct-v2
→ GGUF版
mmnga/aixsatoshi-Swallow-MX-8x7b-NVE-chatvector-Mixtral-instruct-v2-gguf
mmnga/SakanaAI-EvoLLM-JP-A-v1-7B-gguf
KARAKURI LM(Llama 2ベース 70B,base/chat)
Swallow (Llama 2ベース 7B,13B,70B,base/instruct)
ELYZA-japanese-Llama-2-13b((Llama 2ベース 7B,13B,base/instruct)
KARAKURI LM(Llama 2ベース 70B,base/chat)
karakuri-ai/karakuri-lm-70b-v0.1
karakuri-ai/karakuri-lm-70b-chat-v0.1
量子化モデル
mmnga/karakuri-lm-70b-chat-v0.1-gguf
Swallow (Llama 2ベース 7B,13B,70B,base/instruct)
2023年12月19日公開
https://tokyotech-llm.github.io/swallow-llama
ライセンス:
LLAMA 2 Community License
TheBloke氏
が量子化したモデルを配布されている。
Swallow-13B:
TheBloke/Swallow-13B-AWQ
TheBloke/Swallow-13B-GPTQ
TheBloke/Swallow-13B-GGUF
Swallow-13B-Instruct:
TheBloke/Swallow-13B-Instruct-AWQ
TheBloke/Swallow-13B-Instruct-GPTQ
TheBloke/Swallow-13B-Instruct-GGUF
ELYZA-japanese-Llama-2-13b((Llama 2ベース 7B,13B,base/instruct)
2023年12月27日公開(?)
https://note.com/elyza/n/n5d42686b60b7
ライセンス:
LLAMA 2 Community License
現時点(24年3月)ではあまりおすすめしません。
elyza/ELYZA-japanese-Llama-2-13b
elyza/ELYZA-japanese-Llama-2-13b-instruct