USBにオリジナルの生成AIを入れて持ち運べると便利ですね。インターネットに接続しなくても使えるので、情報漏洩とかセキュリティに神経質な組織でも利用可能です。
そんな、ポータブルAIのUSBを開発したリカバリーサービス株式会社の代表である富田龍樹さんをお招きし、KAIsのオンライン例会にて説明をしてもらいました。
ポータブルAIのUSBについて学びました
KAIsの例会にて富田さんに解説してもらいました
KAIsはZOOMを使いオンライン例会を毎月開催しています。５月例会はポータブルAIのUSBを開発したリカバリーサービス株式会社の代表である富田龍樹さんをお招きし、その説明をしてもらいました。
このポータブルできるAIのUSBについては、まだ正式なリリースではないようですが、すでに試験販売も始まっており、実用化はすぐそこまできています。
富田さんからの解説と質疑応答
- USBのllm立ち上げデモンストレーション：
- 富田さんはUSBからLLMを起動し、その様子をデモンストレーションしました。LLMが起動し、基本的なチャット応答機能を示すことで、USBの機能性を実証しました。
- 言語対応と応答速度の問題：
- 会員からの質問に対し、富田さんはデモ中のLLMが現在英語のみに対応しており、日本語での運用も可能であるが応答速度に若干の遅延があることを説明しました。
- USBデバイスの仕様と容量：
- 富田さんはUSBデバイスの容量が約1.95GBであり、普通のWindows PCで動作可能であることを示しました。これにより、手軽に持ち運び可能であることを強調しました。
- 技術的な質問への対応：
- 技術的な詳細について問われた際には、LLMのフレームワークに関して説明し、特定の技術要素（例えば、ラマCPPツール）について詳しく説明しました。
最新技術の実用化に向けて：ポータブルAIの可能性とその展望
近年、人工知能（AI）は私たちの生活や仕事に革命的な変化をもたらしています。特に、AIを日常的に持ち運べるデバイスで使用できるようにすることは、その普及において大きな一歩となります。
今回のオンラインセッションでは、USBデバイスを介してAIを起動し利用する技術について、開発者から説明をうかがい議論を交わしました。この技術の実用化が私たちの生活にどのような影響を与えるのかを探りました。
USBで動くAI技術
USBとは、私たちが普段から使用している小さなデータ記憶装置です。最近では、このUSBにAIプログラムをインストールし、どこにでも持ち運びながら使用できるようにする研究が進められています。
このプロジェクトでは、軽量LLMを使っています。 LLMとは、Large Language Modelsといい、大規模言語モデルのAIですが、軽量LLMはその軽量版で、小さなデバイスや低リソースの環境でも動作するように設計されています。
AIとオープンソース
オープンソース技術は、開発者がコードを自由に閲覧、変更、そして共有できることを可能にするため、技術革新の加速に寄与しています。
今回のセッションで話題になった開発言語は、AI開発において広く利用されているオープンソースのモデルです。これらの技術を活用することで、より柔軟かつ迅速にAIソリューションを開発し、実装することが可能です。
・Phi-2: 小規模なデバイスや低リソースの環境でも使用可能な言語モデルで、効率的な計算と省エネルギーを目指して設計されています。このモデルは、マイクロソフトによる小規模な言語モデルでオープンソースで提供されることが多く、開発者が容易にアクセスし、カスタマイズすることができます。
・llamaCPP: ラマは、C++で書かれたオープンソースのライブラリで、AIモデルを効率的に動かすためのツールです。メタ社が開発した生成AIでオープンソースで使えるので普及しています。
AIの組み込みとデータセキュリティ
ChatGPTなどのような生成AIはクラウドでの利用が前提なので必ずインターネットに接続しないと使えません。セキュリティ意識の高い組織では、その点がChatGPTを利用する大きな障害になっています。
ですから、インターネットにつながずにUSBさえ挿せば利用できるというポータブルAIは、潜在的なニーズがとてつもなく大きいでしょう。しかも組織や目的に適したファインチューニングが可能とあれば利用したいというケースが増えそうです。
そこで課題になるのがデータのセキュリティです。
データの安全性はAI技術を扱う上で非常に重要です。USBデバイスに保存されたデータを保護するためのセキュリティ対策についても議論が行われました。
USBという物理的な端末をどう管理するかというような視点でのセキュリティ懸念もあります。紛失した場合や、物理的に破損した場合や、盗難された場合などに課題があります。
富田さんからは、データ暗号化やアクセス制御など、データ漏洩を防ぐための技術が検討されているという説明をうかがいました。
ChatGPTとポータブルAIの比較
USBで使えるポータブルAIとChatGPTを比較することは、それぞれの利用シナリオと機能性の違いを理解する上で興味深い議論となります。
以下に、それぞれの長所と短所を概説します。
USBで使えるポータブルAI
長所：
- 可搬性とアクセス性： USBデバイスにAIをインストールすることで、インターネット接続が不要な環境でもAI機能を利用できます。これにより、リモート地域やインターネットの接続が困難な場所でも、AIの力を活用することが可能になります。
- プライバシー保護： クラウドに依存しないため、データの送信が少なく、ユーザーのプライバシーをより効果的に保護することができます。データがローカルで処理されるため、外部への漏洩リスクが低減します。
- カスタマイズ性： 特定の用途に特化したAIモデルをUSBに搭載し、特定のユーザー群や業界向けにカスタマイズすることが容易です。これにより、使用者のニーズに直接対応する形でAI機能を提供できます。
短所：
- 処理能力とスケーラビリティ： USBデバイスの処理能力は限られており、大規模なデータセットや複雑なAIモデルを効率的に扱うことが困難です。このため、処理能力を要するタスクには向かない可能性があります。
- 更新とメンテナンス： USBデバイスのソフトウェアを定期的に更新する必要があり、これが手間となる場合があります。また、物理的な損傷や故障のリスクも伴います。
- 一貫性の欠如： それぞれのデバイスによってAIのパフォーマンスが異なる場合があり、使用するUSBデバイスごとに結果に一貫性がない可能性があります。
ChatGPT
長所：
- 強力なAIモデル： ChatGPTは、大規模なデータセットで訓練された高度なAIモデルを使用しているため、幅広いトピックに対して高い理解力と応答能力を持っています。
- 即時の更新とスケーラビリティ： クラウドベースのサービスであるため、最新のAIモデルに常にアップデートされ、スケールの調整も容易です。これにより、ユーザーは常に最新の機能を利用できます。
- 広範なアクセス性： インターネット接続があれば、どこからでもChatGPTを使用できます。これにより、場所を選ばずに情報アクセスや質問応答が可能となります。
短所：
- プライバシーとセキュリティの課題： ユーザーのデータがクラウドに送信されるため、プライバシーの懸念が生じます。データ保護とセキュリティが主要な考慮事項となります。
- 依存性と接続性： インターネット接続に依存しているため、接続が不安定な場所では使用できません。また、接続が途切れると、サービスが利用できなくなるリスクがあります。
これらの比較を通じて、USBで使えるポータブルAIとChatGPTがそれぞれ異なるニーズに応じた解決策を提供することがわかります。使用目的に応じて、適切なツールを選択することが重要です。
ポータブルAI（ローカルAI）の今後の展望
ポータブルAIはいわばローカルAIです。インターネットに接続せずに使える生成AIというこの技術のさらなる改良と実用化に向けて、富田さんは継続して研究開発を進める予定です。また、技術の詳細を共有し、知識を広めるためのワークショップも計画していきたいなと思いました。
USBにオリジナルのAIを入れてインターネットに接続せずに使えるならセキュリティに厳しい組織でも使えます。
例えば、個人情報に厳しい医療情報を扱う病院や、特許技術で固められたような製造業の精算ノウハウなどが頭に浮かびます。組織ごとに適したカスタマイズやファインチューニングがどこまでできるかが鍵になりますね。
もっと現実的には、会議の議事録などをまとめるために、インターネットに接続しないで使えるオリジナルの生成AIというような使い方ができれば汎用性も高く用途も広がります。企業の財務や会計業務も秘匿性が高いので、オリジナルのAIがあればかなり有効に使えそうですね。
今回、USBに組み込んだAIについてのプレゼンをしてくれた富田さんには大感謝です。これからのポータブルAIやローカルAIの発展には大いに期待しています。ぜひ、一緒にワークショップもやりましょう。
このUSBAIが手元にきました
このUSBAIの内容をさらにブラッシュアップしたUSBが手元にきました。
日本語化ができています。また、USBからではなくPCのSSDにコピーして、そのSSDから立ち上げると爆速のローカル生成AIになります。なかなかすごいです。これからいろいろと実験していきたいと思います。
この記事を書いた遠田幹雄は中小企業診断士です
遠田幹雄は経営コンサルティング企業の株式会社ドモドモコーポレーション代表取締役。石川県かほく市に本社があり金沢市を中心とした北陸三県を主な活動エリアとする経営コンサルタントです。
小規模事業者や中小企業を対象として、経営戦略立案とその後の実行支援、商品開発、販路拡大、マーケティング、ブランド構築等に係る総合的なコンサルティング活動を展開しています。実際にはWEBマーケティングやIT系のご依頼が多いです。
民民での直接契約を中心としていますが、商工三団体などの支援機関が主催するセミナー講師を年間数十回担当したり、支援機関の専門家派遣や中小企業基盤整備機構の経営窓口相談に対応したりもしています。
保有資格：中小企業診断士、情報処理技術者など
会社概要およびプロフィールは株式会社ドモドモコーポレーションの会社案内にて紹介していますので興味ある方はご覧ください。
お問い合わせは電話ではなくお問い合わせフォームからメールにておねがいします。新規の電話番号からの電話は受信しないことにしていますのでご了承ください。
【反応していただけると喜びます（笑）】
記事内容が役にたったとか共感したとかで、なにか反応をしたいという場合はTwitterやフェイスブックなどのSNSで反応いただけるとうれしいです。
遠田幹雄が利用しているSNSは以下のとおりです。
facebook https://www.facebook.com/tohdamikio
ツイッター https://twitter.com/tohdamikio
LINE https://lin.ee/igN7saM
チャットワーク https://www.chatwork.com/tohda
また、投げ銭システムも用意しましたのでお気持ちがあればクレジット決済などでもお支払いいただけます。
※投げ銭はデジタルコンテンツ購入という通販のしくみにしました。
※投げ銭は100円からOKです。シャレですので笑ってください（笑）
