個人的な日本語ローカルLLM関連のメモ用Wikiです。一般の方は編集できません。

おすすめの日本語対応ローカル大規模言語モデル編集する

最終更新： hxx2 hxx2 2024年12月24日(火) 20:36:52履歴

実際に動かしてみて個人的におすすめのモデルとSNSなどで評判の良いモデルなどを適当に載せています。（順番がぐちゃぐちゃ...）

主要なモデルに関してはローカルLLM のリリース年表@npaka様や、awesome-japanese-llm@llm-jp様でもまとめられています。
とても参考になるので一度ご覧になることをおすすめします。

ページの内容が古かったり誤った情報が載っているかもなので気をつけて下さい。

ページの編集途中です。



個人的におすすめな言語モデル

一般向け

New CohereForAI/c4ai-command-r7b-12-2024 (7B)
CohereForAIのc4ai-command-r系の小型(7B)モデル,RAGをサポート
mistralai/Ministral-8B-Instruct-2410 (8B)
NSFWに寛容（？）なmistralai社の8Bの言語モデルだがパラメータ数の問題か量子化の影響なのか、日本語でそっち向けの出力の品質は低い（？）のでそういった用途にはあまり向かないので一般向け
meta-llama/Llama-3.2（1B, 3B, 11B, 90B, base/Instruct/Vision）
Meta製モデル,1Bと3Bはスマホなど向けらしい,11Bと90BはVisionモデル(画像を読み込ませて解説させたりできるやつ)
nvidia/Llama-3.1-Nemotron-70B-Instruct (70B)
Llama-3.1をベースにnvidiaが微調整した言語モデル,日本語出力にも対応しているが正直あんまり....
Qwen2.5 (0.5B, 1.5B, 3B, 7B, 14B, 32B, 72B)
ベンチマークによると7B以下は他のモデルに対して優位性はあまりないが72Bモデルは性能が良いらしい

Google/Gemma 2 (2B,9B,27B,base/it)
Google製のモデル,baseとitでは基本的にitの方を使えば問題ない
2Bモデルはモデルサイズの割に高性能だと評判になった
ただし、いずれのモデルも健全な用途に最適化されている😢
Llama-3.1 (8B,70B,405B,base/Instruct)
Meta製モデル
日本語対応の派生モデルのベースとなる事が多い
Swallow (Llama 2ベース 7B,13B,70B,base/instruct)
Swallow-13B:
Swallow-13B-Instruct: 今となっては古いかも

NSFW(にも使えるモデル)

Local-Novel-LLM-project/Vecteus-v1 (7B) ←初心者にもおすすめ
小説もチャットもイケる,プロンプトの書式がゆるい(割と適当なプロンプトでも大丈夫)ので初心者にもおすすめ
umiyuki/Umievo-itr012-Gleipnir-7B (7B) ←こちらも初心者にもおすすめ
ロールプレイチャット時のキャラ設定などの理解力が良い,こちらも初心者にもおすすめ
Elizezen/Berghof-NSFW-7B (7B)
dddump/Japanese-TextGen-MoE-TEST-2x7B-NSFW (2x7B MoE)
割と評判が良い,小説もチャットもいける
Mistral-Nemo-2407 (12B)/Mistral-Large-2407 (123B) ←健全な用途にも
Mistralai製モデル,多言語,128kのコンテキストをサポート,本来は一般的な用途向けのモデルだがアレな方もいける
mistralai/Mistral-Large-Instruct-2411 (123B) ←健全な用途にも
Mistralai製の123Bモデル,多言語対応,128kのコンテキストとRAGサポート,
ascktgcc/Mistral-nemo-ja-rp-v0.2 (12B)
Mistral-NemoをベースにEPR向けに微調整したモデル,"temperature"の値を0.3ぐらいにするといい感じ
NeverSleep/Lumimaid-v0.2-12B (12B)/ Lumimaid-v0.2-123B (123B) ←最近のお気に入り
mistralai/Mistral-Nemo-2407とMistral-Large-Instruct-2407をベースとしてNSFWを強化した派生モデル,どちらかと言えば小説向け(?)だがロールプレイチャットもいける,最近のお気に入り
anthracite-org/magnum-v2-12b (12B) / anthracite-org/magnum-v2-123b (123B)
こちらもmistralai/Mistral-Nemo-2407とMistral-Large-Instruct-2407をベースとした派生モデル,Lumimaidと比べるとまだ健全(?),どちらかと言えば小説向けなのは同じ
anthracite-org/magnum-v2.5-12b-kto（12B）
上記モデルの新しいやつ,mistralai/Mistral-Nemoベースなのは同じ
anthracite-org/magnum-v4 (9B, 12B, 22B, 27B, 72B, 123B)
9b (gemma-2), 12b (Mistral-Nemo-Instruct-2407), 22b (Mistral-Small-Instruct-2409), 27b (gemma-2), 72b (qwen-2.5), 123b (mistralai/Mistral-Large-Instruct-2407)をそれぞれベースとしている
Mistralをベースとしている12B, 22B, 123Bのモデルはベースモデル自体がが無検閲なため期待できる
→ 12Bと22BのGGUFを軽くテストしてみたが12Bが問題無いのに対し、22Bは出力が不安定？
ArliAI/Mistral-Nemo-12B-ArliAI-RPMax-v1.2 (12B)
Mistral-Nemo-12BをベースとしてRPに特化するように微調整されたモデル,ベースモデルと比べると日本語出力の品質は少し下がってる感じがあるがキャラ設定などのプロンプトの理解力は12Bとしては高く感じる
New MarinaraSpaghetti/NemoMix-Unleashed-12B (12B)
Mistral派生モデルなどをマージしたモデル,どちらかと言えば小説向け(?),推奨Parametersの値をモデルカードから確認、設定すること,
mistralai/Mistral-Small-Instruct-2409 (22B)
Mistral製の22Bモデル,量子化モデルが悪いのか、同じようなテキストの繰り返しが多い ←量子化モデルが悪かっただけみたい。上記の量子化モデルにしたら繰り返しは改善した
Undi95/Lumimaid-Magnum-12B (12B) ←おすすめ
共にMistral-Nemo(12B)をベースとしているMagnum(12B)とLumimaid(12B)をマージしたモデル,日本語出力もNSFWもいける (結構良いかも？) おすすめ
schnapper79/lumikabra-123B_v0.4 (123B)
Magnum-v2-123B,Luminum-v0.1-123B,Tess-3-Mistral-Large-2-123Bをマージしたモデル
TheDrummer/UnslopNemo-12B-v3-GGUF (12B)
おそらくMistral-Nemo(12B)をベースとしているモデル,日本語出力、NSFWもできるがあまり確認できていない
CohereForAI/c4ai-command-r-v01 (35B) / c4ai-command-r-plus (104B)
c4ai-command-rはロールプレイチャット用途としてモデルサイズの割に評判が良い
どちらもRAGに対応,10言語対応の多言語モデル,コンテキスト長は128K(128,000)をサポートする,本来は一般的な用途向けのモデルだがいける
CohereForAI/c4ai-command-r-08-2024 (35B) / CohereForAI/c4ai-command-r-plus-08-2024 (104B)
CohereForAIのc4ai-command-r系の最新版モデル
ナーフされたとは聞かないがソッチ系が良くなったともあまり聞かない
一般的な用途なら上記のc4ai-command-rよりこっちが良いのかな？
karakuri-ai/karakuri-lm-70b (70B,base/chat)
公開されてから根強い人気のあるモデル,本来は一般的な用途向けのモデルだが...？

あまり触っていないから評価出来ないけど日本語対応ローカルモデル

順番とか適当なんでご注意を。

おすすめの日本語対応ローカル大規模言語モデル - 日本語ローカルLLM関連のメモWiki 先頭へ
 

最近更新したページ

アクセス解析中

管理人/副管理人のみ編集できます