ローカライズされたAIのためのプライバシー保護イノベーション
プロジェクトG-Assistによって確立された完全オフラインの実行モデルは、従来のAIアシスタントのデータ・セキュリティ・リスクを打破する。その技術的実装は、3つのコア・コンポーネントに依存している。1つ目は、RTX GPU上で効率的な推論を行うために最適化された定量化されたスモール・ランゲージ・モデル(SLM)、2つ目は、100,000を超えるハードウェア関連の構造化データを含むローカル知識ベース、そして最も重要なのは、エンドツーエンドのオフライン処理を実現するためにNVIDIA独自のRNN-Tアルゴリズムを使用する音声認識モジュールである。
比較テストによると、「グラフィックカードの消費電力を削減する方法」などのクエリを処理する場合、オフライン版のG-Assistはクラウドベースのソリューションよりも200~300ms高速で、音声データの漏洩リスクを回避できる。システムは物理的に分離された設計を採用しています。マイクデータはメモリバッファにのみ保存され、コマンドの完了直後に消去されます。GPUパフォーマンスデータは暗号化され、ローカルのNVMeハードドライブに保存されます。
このアーキテクチャは特に企業ユーザーに適しており、ゲームスタジオはクラウドへの設定情報のアップロードを心配することなく、複数のレンダリングワークステーションを監視するために使用することができる。医療用画像処理分野の組織では、医療機器に使用するための同様の技術をすでにテストしており、専門的なシナリオにおけるローカライズされたAIのユニークな価値が確認されている。
この答えは記事から得たものである。プロジェクトG-Assist:音声とテキストを使ってPCのパフォーマンスを最適化するAIアシスタントについて
































