ローカルLLMを試す

家のパソコンでローカルLLMを動かしてみた。GPUはないものの、利用するモデルを選べば、反応が遅いながらも動く。

いくつかの代表的なモデルを試してみて、それぞれの特徴が見えてきた。

自分の使い方だとphi4が良い感じの反応が得られた。ちょっと込み入った科学的な質問にはDeepseekが他のモデルにはなかった詳細な説明を返してきた。しかし、プログラムを作成させたら、？？？なコードが生成された。

とにかく、今回はLLMがGPUの入ってないパソコンでも動いたことに驚いた．