こたつ好きオタクのいろいろメモ

ollamaのモデルリストにあったLFM2を試してみました。

早速感想から

めっちゃ早いｗｗｗｗ

短文ではありますが、生成速度を見てみました。

RTX4060Ti 16GBでGPU内に収まるサイズであることもあるとは考えられますが、爆速です。
それでいて日本語による回答もなかなかできています。

>>> 唐揚げとは何か簡単に教えて
唐揚げは、食材を油で揚げて作る料理で、外側はカリッと中はふんわりとした食感が特徴です。鶏肉や野菜、海産物などがよく使われます。日本では、鶏の唐揚げが特に有名で、家庭料理や外食でも人気があります。

total duration:       827.342284ms
load duration:        70.995114ms
prompt eval count:    17 token(s)
prompt eval duration: 51.049055ms
prompt eval rate:     333.01 tokens/s
eval count:           80 token(s)
eval duration:        669.20495ms
eval rate:            119.54 tokens/s

Raspberry Pi 5 16GBでも実行してみました。
さすがにグラボと比較すると遅いですが、ラズパイの本体サイズでこれだけ動くなら十分な気もします。

>>> 唐揚げとは何か簡単に教えて
唐揚げは、油で揚げた鶏肉料理で、外側はカリッと中はジューシーな食感が特徴です。日本では、鶏もも肉や手羽先などを片栗粉や小麦粉で衣をつけ、熱い油で揚げて作ります。甘辛いタレや醤油ベースのソースで味付けされることが多く、屋台や居酒屋で人気があります。

total duration:       18.491370433s
load duration:        121.233623ms
prompt eval count:    17 token(s)
prompt eval duration: 1.465457835s
prompt eval rate:     11.60 tokens/s
eval count:           106 token(s)
eval duration:        16.758792476s
eval rate:            6.33 tokens/s

ある程度長文を出力させたところラズパイでは、2分以上かかりました。長文には向きませんが短文ならありかも？

total duration:       2m55.970358821s
load duration:        151.253647ms
prompt eval count:    335 token(s)
prompt eval duration: 25.65467498s
prompt eval rate:     13.06 tokens/s
eval count:           845 token(s)
eval duration:        2m20.351615268s
eval rate:            6.02 tokens/s

RTX4060Tiだと、クラウド上のサービスよりも早いかもしれない速度で返してきます。
API使いたくないけど、高速に帰ってきてほしいときとかはよいかもしれないと思いました。

ついに憧れのGithub Copilotを契約したワイ氏。早速Copilot Agentとかで色々遊んでみようとしたところ課金周りで色々戸惑いましたw

はじめに

ある程度細かく説明するだけで勝手にプログラム一式作るってすごいねえ〜　(ワイ氏いらないのではw)
それに色々ついて月10ドル！ お昼ご飯を我慢すれば入れますな。ということで契約してみたのでした。

あとGPT-5系はプレビューだけど想像以上に賢く感じるのでちょこちょこ使ってみるのもありかも。
GPT-5-miniは定額プランに含まれているので適当に使っても安心？( ・∇・)

戸惑ったところ

貧乏性のワイ氏にとって一番困ったのは Billing and Licensing の Overview のドルの金額が増えていっていること！！

Budgets and alerts で 0ドルの予算に設定して Stop Usage を Yes にしているので課金されないと思いたいんだけど、ちょっとビビるよねえ(^_^;)
この画面の見方全くわからん勢なので誰か助けてくれえ〜

Githubの課金周りはあんまり詳しくないんだけど、Copilot Agentを使っているとGithub Actionも使っているらしく、その利用分の表示なのかな？

ちなみに、GithubのFree Planだとプライベートリポジトリで2000分までは無料枠らしいので discountsで引かれているのかな？
↓この画面に利用時間が書いてあった。

csvにして利用履歴をダウンロードしたり、 Usage を見ているとBilled amountのところは0ドルになってて、今のところはいろいろ相殺されてるのか？

Current metered usage から Current included usage 引いても1ドルくらい残るしどうなってるんや？^^;

というわけで様子見で色々お試し中です。
GitHubそのものの使い方ってあんまり意識したことなかったからここに来てよくわからんことに。。。

USB-Cだったので油断していましたが、30W級充電器だと、充電判定にならないようです。。。

というわけで45w級以上が必要な模様。15wとかも反応しないのでUSB-PD必須なのかもしれません。

特に工夫はしていないのですが、RTX3050 8GB版とollamaを使って話題のGPT-OSS 20bを実行してみたという話。

VRAMとRAMの負担から見るに、かなり余裕はありそうです。推論中もかなり余裕がある。

思考中の時間も長くないため、短文やり取りなら問題なく使えそうでした。

phi4-mini-reasoning:3.8bとの比較

検証環境で上記のphi-4モデルを使うと、<think>が長文になってしまいますがgpt-oss:20bは余計な内容は出力していない結果になりました。

この環境だと、もともと推論速度が速くないため、どちらも最終的な実行速度は変わりませんが、どちらが良いのでしょうかねえ？

メモ：

RTX3050の使用率が15%とかなので、もしかしたらCPUで推論しているのかも？とは思ってしまった。一応、CPUとGPUの比率は半分くらいらしい。

16 GB 53%/47% CPU/GPU

The Sims 2は持っているのでSteamで実行できるようになる点以外はどちらでも大丈夫な感じなのですが
シムピとセットでついてくるThe Sims 4のパックが気になる。

シムピは昔、気になっていたので欲しいとして、The Sims 4のパックいるかなあ。。。

NUC上に構築していたのですが結構つまずいたのでここに書いておきます。

サービスとしてインストール

code tunnel service install

動作確認

code tunnel service status

or

systemctl --user status code-tunnel.service

でできます。

この状態だとサーバーの起動と同時に起動してこないので以下のコマンド実行

sudo loginctl enable-linger username

ここに辿り着くのに時間かかった。。。デフォルトだとユーザーにログインしないと起動してこないようです。