sasa-gpt
一から学習した、約1億パラメータの日本語の会話モデル
約1億(102M)パラメータの Qwen3 型のモデルを、専用のトークナイザーと日本語中心の 10B トークンで、 GPU 1枚(RTX 5060 Ti)を使って約6日で事前学習した。そのあと SFT と GRPO で会話とツール呼び出しを教え、 素の会話版と、キャラクター「もぐ」の2つに仕上げた。どちらもこのサイトのチャットで話せて、推論は saserver の GTX 1650 で動かしている。 120M・500M の試作に続く3代目で、いまは文脈を 8K に伸ばす v1.1 を試している。
# GPU 1枚で、一から学習した手順
$ pretrain 10B tokens · 約6日
$ sft 会話とツール呼び出し
$ grpo 素の会話版 / もぐ
$ serve saserver · GTX 1650
- PARAMS
- 102M
- TOKENS
- 10B
- GPU
- 1 枚
- VOCAB
- 32k