サイバーエージェントさんが「DeepSeek-R1」を日本語でのチューニングを強化したローカルAIデータを公開しています。このファイルを使えばノートPCで、インターネット接続なしでAIが使えるようになります。
つまり「ローカルAI」が実現できるのですが、このローカルAIが「推論できるR1」ならかなり強力です。実際に私の非力なノートPCで動くかどうかを試してみました。
ノートPC内にローカルAI環境を作りました
「LM Studio」を使うことにしました
ローカルAIを設定する方法としては、「Ollama」を使うか、「LM Studio」を使うか、大きくはこの２択です。私の非力なノートPCで「DeepSeek-R1-Distill-Qwen-14B-Japanese」を使うとしたらどちらがいいか？
Perplexityで検討を進めた結果、文章記述活用が多いのなら「LM Studio」のほうが良さそうということがわかりました。
「LM Studio」のインストール手順は以下のとおりです。
- LM Studioのダウンロード
- モデルの選択
- 検索バーで「DeepSeek-R1-Distill-Qwen-14B-Japanese-gguf」を選択
- モデルの実行
- ダウンロード後「Load Model」をクリックし選択し実行する
ここまでは意外にすんなりと行けました。表示言語は英語でしたが、日本語に変更することもできます。AIモデルも複数から選択可能でした。けっこう便利そうです。
このAIは優秀な回答をしてくれますが…ちょっと遅いです
実際にいくつかの質問をし回答を得ました。回答の精度はなかなかよいです。しかし、考えている時間が長いです。また回答を表示するのにもけっこうな時間がかかりました。回答が遅いのがネックです。
上記は「スタグフレーション」についての質問ですが、考えていた時間が14分23秒です。そして回答も長いので書き終えるまでに５分以上かかったと思います。
PDFを読み込ませてその要約をしてもらうこともできました。上記の場合は考えている時間が19分48秒でした。
つまり質問を入力してから回答が表示し終えるまで20分以上かかるということです。これは一例ですが、こんな感じだと利用頻度が下がりますね。
回答は悪くないし、インターネットに接続していないので入力したデータが外部のサーバーに行かないのでセキュリティは安心です。しかし、これは遅い、遅すぎる。
そこで、もう少し回答が早くならないかどうかを検討しました。
回答を早くするためのチューニング例
LM Studioが動いているときは、メモリが20GBくらい利用されています。またCPUも40％程度、GPUも80％とかなりの稼働率です。これだけ忙しい状況でも回答までには長い時間がかかります。
そこでｍLM Studioの設定で回答速度を向上させることにチャレンジしました。以下はPerplexityで調べた結果、高速化のために推奨された設定変更の例です。
- GPU Offload
- 現在の設定：0/48
- 推奨設定：35-45程度に増やす
- 効果：GPUの処理能力を最大限活用できます
- Context Length
- 現在の設定：4096
- 推奨設定：2048に減らす
- 効果：処理負荷を軽減できます
- CPU Thread Pool Size
- 現在の設定：4
- 推奨設定：8-16（CPUのコア数に応じて）
- 効果：CPU処理の並列化が向上します
- Evaluation Batch Size
- 現在の設定：512
- 推奨設定：256または128に減らす
- 効果：メモリ使用量を抑えつつ、応答速度が向上します
- その他の最適化設定
- Flash Attention：Experimentalを有効化
- Keep Model in Memory：ONに設定
- Try mmap：ONに設定
これらの設定を適用することで、現在の応答時間を大幅に短縮できる可能性があります。特にGPU Offloadの設定を上げることが最も効果的です。
ということなのでこのアドバイスに沿って設定を少し変更しました。
実際には、このあともいくつかの数値を変更することで、回答時間は少し早くなりました。運用しながら、微調整していこうかと思います。
この記事を書いた遠田幹雄は中小企業診断士です
遠田幹雄は経営コンサルティング企業の株式会社ドモドモコーポレーション代表取締役。石川県かほく市に本社があり金沢市を中心とした北陸三県を主な活動エリアとする経営コンサルタントです。
小規模事業者や中小企業を対象として、経営戦略立案とその後の実行支援、商品開発、販路拡大、マーケティング、ブランド構築等に係る総合的なコンサルティング活動を展開しています。実際にはWEBマーケティングやIT系のご依頼が多いです。
民民での直接契約を中心としていますが、商工三団体などの支援機関が主催するセミナー講師を年間数十回担当したり、支援機関の専門家派遣や中小企業基盤整備機構の経営窓口相談に対応したりもしています。
保有資格：中小企業診断士、情報処理技術者など
会社概要およびプロフィールは株式会社ドモドモコーポレーションの会社案内にて紹介していますので興味ある方はご覧ください。
お問い合わせは電話ではなくお問い合わせフォームからメールにておねがいします。新規の電話番号からの電話は受信しないことにしていますのでご了承ください。
【反応していただけると喜びます（笑）】
記事内容が役にたったとか共感したとかで、なにか反応をしたいという場合はTwitterやフェイスブックなどのSNSで反応いただけるとうれしいです。
遠田幹雄が利用しているSNSは以下のとおりです。
facebook https://www.facebook.com/tohdamikio
ツイッター https://twitter.com/tohdamikio
LINE https://lin.ee/igN7saM
チャットワーク https://www.chatwork.com/tohda
また、投げ銭システムも用意しましたのでお気持ちがあればクレジット決済などでもお支払いいただけます。
※投げ銭はスクエアの「寄付」というシステムに変更しています（2025年1月6日）
※投げ銭は100円からOKです。シャレですので笑ってください（笑）
