日本語ローカルLLM関連のメモWiki

日本語に対応したローカルモデルです。(普通に漏れがあります)

ページの内容が古かったり誤った情報が載っているかもなので気をつけて下さい。

現時点(24年3月)では13B(4ビット量子化して12GB/VRAMに載る限界?)ならSwallow 13B、70B(GGUFでCPU/メインメモリも使う)ならKARAKURIがなかなか良いです。

筆者は試していませんが、CohereForAI/c4ai-command-r-v01 CohereForAI/c4ai-command-r-plusが最近話題（期待）かも？(24/03/30時点でText generation web UIはまだ対応していないけど) → 対応したみたいです。
ほか、下記のモデルも良いかもしれません。


New
Local-Novel-LLM-project/Vecteus-v1
→ GGUF版Local-Novel-LLM-project/Vecteus-v1-gguf

Local-Novel-LLM-project/Ninja-v1-NSFW-128k
→ GGUF版Local-Novel-LLM-project/Ninja-v1-NSFW-128k-GGUF
Aratako/AntlerStar-RP
→ GGUF版Aratako/AntlerStar-RP-GGUF
Aratako/SniffyOtter-7B-Novel-Writing-NSFW
→ GGUF版Aratako/SniffyOtter-7B-Novel-Writing-NSFW-GGUF
Aratako/Antler-7B-Novel-Writing
→ GGUF版Aratako/Antler-7B-Novel-Writing-GGUF
soramikaduki/Antler-RP-ja-westlake-chatvector
→ GGUF版soramikaduki/Antler-RP-ja-westlake-chatvector_GGUF
Elizezen/SniffyOtter-7B
→ GGUF版Elizezen/SniffyOtter-7B-GGUF
Sdff-Ltba/LightChatAssistant-TypeB-2x7B
→ GGUF版Sdff-Ltba/LightChatAssistant-TypeB-2x7B-GGUF
TFMC/Japanese-Starling-ChatV-7B
→ GGUF版TFMC/Japanese-Starling-ChatV-7B-GGUF
Aratako/LightChatAssistant-2x7B-optimized-experimental
→ GGUF版Aratako/LightChatAssistant-2x7B-optimized-experimental-GGUF
Aratako/LightChatAssistant-4x7B
→ GGUF版Aratako/LightChatAssistant-4x7B-GGUF
Sdff-Ltba/LightChatAssistant-2x7B
→ GGUF版Sdff-Ltba/LightChatAssistant-2x7B-GGUF
aixsatoshi/Swallow-MX-8x7b-NVE-chatvector-Mixtral-instruct-v2
→ GGUF版mmnga/aixsatoshi-Swallow-MX-8x7b-NVE-chatvector-Mixtral-instruct-v2-gguf
mmnga/SakanaAI-EvoLLM-JP-A-v1-7B-gguf

---