And Family Voice 研究所
リアルタイム音声認識の新星『Voxtral Realtime』- Whisperに匹敵する精度を低遅延で実現
📄 Voxtral Realtime
✍️ Liu, A. H., Ehrenberg, A., Lo, A., Sun, C., Lample, G., Delignon, J.
📅 論文公開: 2026年2月
3つのポイント
- 1
リアルタイムで音声を文字起こしする新しい音声認識モデル「Voxtral Realtime」が開発されました。
- 2
480ミリ秒という非常に短い遅延で、広く使われるオフラインモデル「Whisper」と同等の認識精度を達成します。
- 3
既存モデルを後から分割するのではなく、最初からストリーミング処理専用に設計・学習されている点が大きな特徴です。
論文プロフィール
- 著者名 / 発表年 / 掲載先: Alexander H. Liu, et al. / 2026年 / arXiv
- 研究対象: ストリーミング（リアルタイム） 自動音声認識（ASR） 自動音声認識（ASR） 音声信号をテキストに変換する技術。Whisper や Conformer などのモデルが代表的。 モデル
- 研究内容: 低遅延（480ms）でありながら、広く使われているオフライン文字起こしモデル「Whisper」と同等の性能を達成する、新しいモデルアーキテクチャの提案と評価。
エディターズ・ノート
音声データのプライバシー保護がますます重要になる中、処理を端末内で完結させる オンデバイス技術 オンデバイス推論 クラウドにデータを送信せず、端末上でAIモデルの推論を完結させる技術。低遅延とプライバシー保護を両立する。 への期待が高まっています。 本論文が示す「リアルタイム性と高精度の両立」は、まさに And Family Voice が目指す「プライバシーを守りながら、快適な体験を提供する」という設計思想と深く共鳴します。
実験デザイン
本研究では、既存の高性能オフラインモデルをストリーミング対応させるのではなく、初めからリアルタイム処理を前提とした新しいモデル「Voxtral Realtime」を設計し、その性能を評価しました。
手法
- ストリーミングネイティブな設計: 従来の、学習済みモデルを小さな音声チャンク（断片）に分割して処理する手法とは異なり、音声が入力され続ける状況を前提として、エンドツーエンドで学習されています。
- アーキテクチャの工夫:
Delayed Streams Modelingというフレームワークを基盤に、新しく開発したCausal Audio EncoderとAda RMS-Normを導入。これにより、音声とテキストの間の時間的なズレ（遅延）をうまく制御し、精度を高めています。 - 大規模な事前学習: 13言語にわたる大規模なデータセットを用いてモデルを事前学習させ、多様な音声への対応能力を獲得しています。
評価
- 評価指標: 主に、文字起こしの間違いの少なさ（精度）と、音声入力からテキスト出力までの時間（遅延）が評価されました。
- 比較対象: 音声認識の分野で広く使われている高性能なオフラインモデル「Whisper」と比較されました。
結果
- Whisperに匹敵する性能: 480ミリ秒という非常に短い遅延で、Voxtral Realtimeはオフラインでじっくり処理するWhisperと同等の認識精度を達成しました。これは、リアルタイム性と精度のトレードオフを大きく改善したことを示唆します。
| 系列 | 遅延時間（ミリ秒） | 認識精度（Quality） |
|---|---|---|
| Voxtral Realtime | 200 | 85 |
| Voxtral Realtime | 480 | 95 |
| Voxtral Realtime | 800 | 96 |
| 従来のストリーミングモデル | 200 | 70 |
| 従来のストリーミングモデル | 480 | 80 |
| 従来のストリーミングモデル | 800 | 82 |
| Whisper (オフライン) | 2000 | 95 |
| Whisper (オフライン) | 2001 | 95 |
🔍 「ストリーミングネイティブ」は何が違うのか？
従来の多くのリアルタイム音声認識は、もともと長い音声ファイルを一括で処理するために作られた「オフラインモデル」を、短い間隔で区切って無理やりリアルタイム対応させていました。
- 従来手法（チャンキング）: 発話の途中で音声が切れてしまうため、文脈を失いやすく、認識精度が落ちる傾向にあります。例：「…です。」という文末が次の音声チャンクに送られ、「です」だけで認識されてしまうなど。
- 本研究（ストリーミングネイティブ）: 音声は途切れない「流れ（ストリーム）」であると捉え、モデル自体が過去の音声の文脈を記憶しながら次の単語を予測するように学習します。これにより、自然な会話の中でも文脈を維持し、高い精度を保つことができます。
このアプローチは、家族の途切れのない日常会話を記録する And Family Voice のようなプロダクトにとって、非常に重要な設計思想となります。
技術的背景
この研究は、 自動音声認識（ASR） 自動音声認識（ASR） 音声信号をテキストに変換する技術。Whisper や Conformer などのモデルが代表的。 の分野、特にリアルタイム処理における長年の課題に取り組んでいます。 これまで、高い認識精度を求めるなら、音声全体をサーバーに送ってじっくり処理する「オフラインモデル」（例: Whisper）が主流でした。一方で、リアルタイム性を求める「ストリーミングモデル」は、処理できる情報が限られるため、精度が犠牲になるのが一般的でした。
Voxtral Realtimeは、このトレードオフを克服しようとする試みです。モデルの構造自体をストリーミングに最適化することで、スマホのような端末上で高速に動作させつつ（ オンデバイス推論 オンデバイス推論 クラウドにデータを送信せず、端末上でAIモデルの推論を完結させる技術。低遅延とプライバシー保護を両立する。 ）、クラウドベースの高品質なモデルに匹敵する結果を目指しています。これは、プライバシーと利便性の両立を追求する近年の技術トレンドとも一致します。
🔍 なぜ遅延（Latency）が重要なのか？
音声認識における遅延とは、ユーザーが話し終えてから、その内容がテキストとして表示されるまでの時間差を指します。 この遅延が大きいと、
- 対話システム: 会話のテンポが悪くなり、ストレスを感じる。
- リアルタイム字幕: 映像と字幕が大きくズレてしまい、内容の理解を妨げる。
- 議事録作成: 発言と文字起こしの対応が分かりにくくなる。
といった問題が生じます。Voxtral Realtimeが目指す「1秒未満（sub-second）の遅延」は、人間が違和感なくコミュニケーションできる一つの目安とされており、実用上非常に重要な目標です。
And Family Voice としての解釈
プロダクトの思想と研究の接続点
And Family Voice の核心は、家族のプライバシーを守るために、すべての音声認識をユーザーのスマートフォン内で完結させる「オンデバイス処理」にあります。この設計思想を実現するためには、限られた計算リソースの中で「いかに速く、正確に」音声をテキストに変換できるかが常に課題となります。
本研究が示す「低遅延・高精度なストリーミングモデル」のアーキテクチャは、まさにこの課題に対する一つの答えです。 私たちが目指しているのは、家族が自然に会話しているそばから、その内容がリアルタイムに、かつ正確に文字として記録されていく体験です。Voxtral Realtimeのようなストリーミングネイティブなアプローチは、会話の途切れ目を意識させず、スムーズな記録体験を実現するための技術的な基盤となり得ます。
この研究の知見は、And Family Voice が「即時性（快適なユーザー体験）」と「プライバシー（オンデバイス処理）」という、時に相反する二つの価値を両立させるための設計判断に、重要な示唆を与えてくれます。私たちは、こうした最先端の研究動向を常に注視し、より安全で、より心豊かな体験をユーザーに届けるための技術を探求し続けています。
日常で活かせるプライバシー・ヒント
皆さんが日常的に使っている音声アシスタントや文字起こしアプリ。その音声データが、どこで処理されているか意識したことはありますか？ 多くの場合、音声は一度クラウド上のサーバーに送信されてから処理されます。 もしプライバシーが気になるなら、一度アプリの設定やプライバシーポリシーを確認し、「オンデバイス処理」や「端末内での処理」といったキーワードを探してみてください。すべての処理が手元のデバイスで完結する選択肢があれば、より安心してサービスを利用できるかもしれません。
読後感
テクノロジーが進化するほど、私たちは「便利さ」と「プライバシー」のバランスをどう取るか、常に問われることになります。
あなたの生活において、リアルタイムの即時性と、少し待ってでも得られる完璧な正確さ、どちらがより重要ですか？ そして、その選択の背景にある「守りたいもの」は何でしょうか。