日本語ローカルLLM関連のメモWiki

日本語に対応したローカルモデルです。(普通に漏れがあります)

''ページの内容が古かったり誤った情報が載っているかもなので気をつけて下さい。''

%%現時点(24年3月)では13B(4ビット量子化して12GB/VRAMに載る限界?)ならSwallow 13B、70B(GGUFでCPU/メインメモリも使う)ならKARAKURIがなかなか良いです。%%

筆者は試していませんが、%%CohereForAI/c4ai-command-r-v01%% [[CohereForAI/c4ai-command-r-plus>>https://huggingface.co/CohereForAI/c4ai-command-r-plus]]が最近話題（期待）かも？%%(24/03/30時点でText generation web UIはまだ対応していないけど)%% → 対応したみたいです。
筆者は試していませんが、%%CohereForAI/c4ai-command-r-v01%% CohereForAI/c4ai-command-r-plusが最近話題（期待）かも？%%(24/03/30時点でText generation web UIはまだ対応していないけど)%% → 対応したみたいです。
ほか、下記のモデルも良いかもしれません。


&color(#ff0000){New}
[[dddump/Japanese-TextGen-Kage-v0.1-2x7B-gguf>>https://huggingface.co/dddump/Japanese-TextGen-Kage-v0.1-2x7B-gguf]](GGUF版)

[[sbtom/karakuri-MS-02.gguf>>https://huggingface.co/sbtom/karakuri-MS-02.gguf]]
[[dddump/Japanese-TextGen-MoE-TEST-2x7B-NSFW>>https://huggingface.co/dddump/Japanese-TextGen-MoE-TEST-2x7B-NSFW]]
→ GGUF版[[dddump/Japanese-TextGen-MoE-TEST-2x7B-NSFW-gguf>>https://huggingface.co/dddump/Japanese-TextGen-MoE-TEST-2x7B-NSFW-gguf]]
[[DataPilot/ArrowPro-7B-RobinHood>>https://huggingface.co/DataPilot/ArrowPro-7B-RobinHood]]☑
[[Local-Novel-LLM-project/Vecteus-v1>>https://huggingface.co/Local-Novel-LLM-project/Vecteus-v1]]
→ GGUF版[[Local-Novel-LLM-project/Vecteus-v1-gguf>>https://huggingface.co/Local-Novel-LLM-project/Vecteus-v1-gguf]]☑
[[Local-Novel-LLM-project/Ninja-v1-NSFW-128k>>https://huggingface.co/Local-Novel-LLM-project/Ninja-v1-NSFW-128k]]
→ GGUF版[[Local-Novel-LLM-project/Ninja-v1-NSFW-128k-GGUF>>https://huggingface.co/Local-Novel-LLM-project/Ninja-v1-NSFW-128k-GGUF]]
[[Aratako/AntlerStar-RP>>https://huggingface.co/Aratako/AntlerStar-RP]]
→ GGUF版[[Aratako/AntlerStar-RP-GGUF>>https://huggingface.co/Aratako/AntlerStar-RP-GGUF]]
[[Aratako/SniffyOtter-7B-Novel-Writing-NSFW>>https://huggingface.co/Aratako/SniffyOtter-7B-Novel-Writing-NSFW]]
→ GGUF版[[Aratako/SniffyOtter-7B-Novel-Writing-NSFW-GGUF>>https://huggingface.co/Aratako/SniffyOtter-7B-Novel-Writing-NSFW-GGUF]]
[[Aratako/Antler-7B-Novel-Writing>>https://huggingface.co/Aratako/Antler-7B-Novel-Writing]]
→ GGUF版[[Aratako/Antler-7B-Novel-Writing-GGUF>>https://huggingface.co/Aratako/Antler-7B-Novel-Writing-GGUF]]
[[soramikaduki/Antler-RP-ja-westlake-chatvector>>https://huggingface.co/soramikaduki/Antler-RP-ja-westlake-chatvector]]
→ GGUF版[[soramikaduki/Antler-RP-ja-westlake-chatvector_GGUF>>https://huggingface.co/soramikaduki/Antler-RP-ja-westlake-chatvector_GGUF]]
[[Elizezen/SniffyOtter-7B>>https://huggingface.co/Elizezen/SniffyOtter-7B]]
→ GGUF版[[Elizezen/SniffyOtter-7B-GGUF>>https://huggingface.co/Elizezen/SniffyOtter-7B-GGUF]]
[[Sdff-Ltba/LightChatAssistant-TypeB-2x7B>>https://huggingface.co/Sdff-Ltba/LightChatAssistant-TypeB-2x7B]]
→ GGUF版[[Sdff-Ltba/LightChatAssistant-TypeB-2x7B-GGUF>>https://huggingface.co/Sdff-Ltba/LightChatAssistant-TypeB-2x7B-GGUF]]
[[TFMC/Japanese-Starling-ChatV-7B>>https://huggingface.co/TFMC/Japanese-Starling-ChatV-7B]]
→ GGUF版[[TFMC/Japanese-Starling-ChatV-7B-GGUF>>https://huggingface.co/TFMC/Japanese-Starling-ChatV-7B-GGUF]]
[[Aratako/LightChatAssistant-2x7B-optimized-experimental>>https://huggingface.co/Aratako/LightChatAssistant-2x7B-optimized-experimental]]
→ GGUF版[[Aratako/LightChatAssistant-2x7B-optimized-experimental-GGUF>>https://huggingface.co/Aratako/LightChatAssistant-2x7B-optimized-experimental-GGUF]]
[[Aratako/LightChatAssistant-4x7B>>https://huggingface.co/Aratako/LightChatAssistant-4x7B]]
→ GGUF版[[Aratako/LightChatAssistant-4x7B-GGUF>>https://huggingface.co/Aratako/LightChatAssistant-4x7B-GGUF]]
[[Sdff-Ltba/LightChatAssistant-2x7B>>https://huggingface.co/Sdff-Ltba/LightChatAssistant-2x7B]]
→ GGUF版[[Sdff-Ltba/LightChatAssistant-2x7B-GGUF>>https://huggingface.co/Sdff-Ltba/LightChatAssistant-2x7B-GGUF]]
[[aixsatoshi/Swallow-MX-8x7b-NVE-chatvector-Mixtral-instruct-v2>>https://huggingface.co/aixsatoshi/Swallow-MX-8x7b-NVE-chatvector-Mixtral-instruct-v2]]
→ GGUF版[[mmnga/aixsatoshi-Swallow-MX-8x7b-NVE-chatvector-Mixtral-instruct-v2-gguf>>https://huggingface.co/mmnga/aixsatoshi-Swallow-MX-8x7b-NVE-chatvector-Mixtral-instruct-v2-gguf]]
[[mmnga/SakanaAI-EvoLLM-JP-A-v1-7B-gguf>>https://huggingface.co/mmnga/SakanaAI-EvoLLM-JP-A-v1-7B-gguf]]
----
#contents

*KARAKURI LM（Llama 2ベース 70B,base/chat）
-[[karakuri-ai/karakuri-lm-70b-v0.1>>https://huggingface.co/karakuri-ai/karakuri-lm-70b-v0.1]]
-[[karakuri-ai/karakuri-lm-70b-chat-v0.1>>https://huggingface.co/karakuri-ai/karakuri-lm-70b-chat-v0.1]]

[+]量子化モデル
-[[mmnga/karakuri-lm-70b-chat-v0.1-gguf>>https://huggingface.co/mmnga/karakuri-lm-70b-chat-v0.1-gguf]]
[END]
*Swallow (Llama 2ベース 7B,13B,70B,base/instruct)
2023年12月19日公開
[[https://tokyotech-llm.github.io/swallow-llama>https://tokyotech-llm.github.io/swallow-llama]]
ライセンス：[[LLAMA 2 Community License>>https://ai.meta.com/llama/license/]]

[+][[TheBloke氏>>https://huggingface.co/TheBloke]]が量子化したモデルを配布されている。

Swallow-13B:
-[[TheBloke/Swallow-13B-AWQ>>https://huggingface.co/TheBloke/Swallow-13B-AWQ]]
-[[TheBloke/Swallow-13B-GPTQ>>https://huggingface.co/TheBloke/Swallow-13B-GPTQ]]
-[[TheBloke/Swallow-13B-GGUF>>https://huggingface.co/TheBloke/Swallow-13B-GGUF]]

Swallow-13B-Instruct:
-[[TheBloke/Swallow-13B-Instruct-AWQ>>https://huggingface.co/TheBloke/Swallow-13B-Instruct-AWQ]]
-[[TheBloke/Swallow-13B-Instruct-GPTQ>>https://huggingface.co/TheBloke/Swallow-13B-Instruct-GPTQ]]
-[[TheBloke/Swallow-13B-Instruct-GGUF>https://huggingface.co/TheBloke/Swallow-13B-Instruct-GGUF]]
[END]

*ELYZA-japanese-Llama-2-13b（(Llama 2ベース 7B,13B,base/instruct)
2023年12月27日公開（？）
[[https://note.com/elyza/n/n5d42686b60b7>>https://note.com/elyza/n/n5d42686b60b7]]
ライセンス：[[LLAMA 2 Community License>>https://ai.meta.com/llama/license/]]

現時点(24年3月)ではあまりおすすめしません。

-[[elyza/ELYZA-japanese-Llama-2-13b>>https://huggingface.co/elyza/ELYZA-japanese-Llama-2-13b]]
-[[elyza/ELYZA-japanese-Llama-2-13b-instruct>>https://huggingface.co/elyza/ELYZA-japanese-Llama-2-13b-instruct]]