And Family Voice 研究所
音声処理

Whisperエンコーダーの「層」を減らしても精度は保てるか？——SLAM-ASRにおけるモデル軽量化と復元の実験的検証

📄 On the Role of Encoder Depth: Pruning Whisper and LoRA Fine-Tuning in SLAM-ASR

✍️ Kolluri, G. P. K. B., Kampouridis, M., Shekhar, R.

📅 論文公開: 2026年3月

音声認識 Whisper モデル軽量化 LoRA レイヤープルーニング SLAM-ASR オンデバイス推論

3つのポイント

  1. 1

    音声認識AIモデル Whisper のエンコーダーから層を2つ削っても、認識誤り率の悪化はわずか2〜4%に留まることが200回以上の実験で確認されました。

  2. 2

    削った層の性能低下を LoRA（少数パラメータの追加学習）で補うと、削る前の元モデルを上回る精度を達成しつつ、パラメータ数を7〜14%削減できました。

  3. 3

    ただし学習データが少ないデンマーク語では回復効果が限定的で、言語資源の豊富さが軽量化の成否を左右することも明らかになりました。

論文プロフィール

  • 著者: Ganesh Pavan Kartikeya Bharadwaj Kolluri, Michael Kampouridis, Ravi Shekhar（2026年）
  • 掲載先: arXiv（cs.CL / cs.SD）
  • 研究対象: 音声認識フレームワーク SLAM-ASR における Whisper エンコーダーの層削減（プルーニング）とその性能回復手法
  • 研究内容: Whisper エンコーダーの層を段階的に削減した際の認識精度への影響を定量評価し、LoRA（Low-Rank Adaptation）による少数パラメータの追加学習で性能をどこまで復元できるかを、3つのモデルサイズ × 3言語 × 200回以上の訓練で検証

エディターズ・ノート

スマートフォン上で音声認識を完結させるには、AIモデルを「いかに小さく、しかし賢く保つか」が鍵になります。本論文は、広く使われている Whisper モデルの内部構造を削りながらも精度を維持する具体的な手法を大規模に検証しており、オンデバイス処理を志向する And Family Voice の設計判断に直結する知見を含んでいます。

実験デザイン

SLAM-ASR とは何か

SLAM-ASR は、音声を数値表現に変換する「エンコーダー」（ここでは Whisper）と、その表現をテキストに変換する大規模言語モデル（LLM）を組み合わせた、エンドツーエンドの 音声認識 フレームワークです。

本研究では、このエンコーダー部分の「層（レイヤー）」を物理的に取り除くレイヤープルーニングを行い、どこまで削っても実用的な精度を保てるかを調べました。

実験の構成

  • モデル: Whisper Small（12層）/ Medium（24層）/ Large-v2（32層）
  • 言語: 英語（高資源）/ オランダ語（中資源）/ デンマーク語（低資源）
  • 手法: 層を1〜複数削除し、削除後にLoRAファインチューニングを適用するケースとしないケースを比較
  • 評価指標: WER（Word Error Rate：単語誤り率。低いほど高精度）
  • 訓練ラン数: 200回以上

主な結果

2層削減時の影響は軽微です。 エンコーダーから2層を取り除いた場合、WERの悪化はわずか2〜4%ポイントに留まりました。

LoRAとの組み合わせで元モデルを超える精度に。 2層を削減したうえでLoRAファインチューニングを行うと、削減前のベースラインを上回る精度を達成。パラメータ数は7〜14%削減されました。

LoRA適用による単語誤り削減率の上限値（論文報告値に基づく） 0 4 8 13 17 21 単語誤り削減率（%） 21 オランダ語 11 英語 7 デンマーク語
LoRA適用による単語誤り削減率の上限値（論文報告値に基づく）
項目 単語誤り削減率（%）
オランダ語 21
英語 11
デンマーク語 7
LoRA適用による単語誤り削減率の上限値（論文報告値に基づく）

誤り分析の詳細。 LoRA による性能回復の内訳を見ると、オランダ語・英語では総単語誤りが11〜21%減少し、特に「置換エラー」と「削除エラー」が大きく改善されました。一方、低資源言語であるデンマーク語では改善幅が4〜7%にとどまり、さらに「挿入エラー」（余計な単語が生成される現象）が増加するという副作用も確認されました。

🔍 なぜデンマーク語では効果が限定的なのか

LoRA は、組み合わせる LLM（大規模言語モデル）が持つ「言語の知識」を活用して、エンコーダーの削減で失われた情報を補います。英語やオランダ語のように LLM が大量のテキストデータで学習済みの言語では、この補完が効果的に機能します。

しかしデンマーク語のように学習データが相対的に少ない言語では、LLM の言語知識が不十分なため、補完の精度が落ちます。さらに、LLM が「知っている単語」を過剰に挿入してしまう現象が起き、挿入エラーが増加しました。

この結果は、モデル軽量化の効果は対象言語の資源量に依存するという重要な示唆を含んでいます。多言語対応を考える際には、言語ごとに異なる戦略が必要になる可能性があります。

技術的背景

Whisper エンコーダーの役割

Whisper は OpenAI が開発した多言語対応の音声認識モデルです。音声波形を メルスペクトログラム （音声の周波数特徴を時間軸で並べた画像のようなもの）に変換し、Transformer エンコーダーで処理します。

エンコーダーの各層は音声の特徴を段階的に抽象化していきますが、すべての層が等しく重要というわけではありません。本研究はまさにこの点——「どの層が、どれだけ重要か」——を実験的に明らかにしました。

レイヤープルーニングとは

モデルを軽くする手法にはいくつかありますが、本研究が採用したレイヤープルーニングは、Transformer の層そのものを丸ごと取り除くアプローチです。 量子化 （数値の精度を落として軽くする手法）とは異なり、モデルの構造自体を簡素化します。

🔍 LoRA（Low-Rank Adaptation）の仕組み

LoRA は、大規模モデルを効率的に追加学習させるための手法です。通常のファインチューニングではモデル全体のパラメータを更新しますが、LoRA では元のパラメータを固定したまま、「低ランク行列」と呼ばれる小さな追加パラメータのみを学習します。

イメージとしては、大きな本の内容を書き換えるのではなく、付箋を貼って補足情報を加えるようなものです。本体はそのままに、少ない追加コストで性能を調整できます。

本研究では、プルーニングで失われた情報を、この LoRA の「付箋」で補い、結果としてオリジナルを超える精度を実現しました。

先行研究との位置づけ

Whisper のプルーニングに関する先行研究は、エンコーダーとデコーダーを一体で扱う従来型のアーキテクチャが対象でした。本研究の新規性は、SLAM-ASR のようにエンコーダーと LLM を組み合わせる近年のアーキテクチャにおいて、エンコーダー側のプルーニングがどのような影響を与えるかを体系的に検証した点にあります。

And Family Voice としての解釈

プロダクトの設計思想との接点

And Family Voice は、ご家族の声を端末の外に出さない—— オンデバイス推論 を設計の根幹に据えています。しかし、端末上で動かすモデルは「小さく」する必要がある一方で、お子さまの声や多様な生活音のなかでの認識精度は「高く」保ちたい。この2つの要求は常にトレードオフの関係にあります。

本研究の「2層削減 + LoRA」で元モデルを超える精度を実現したという結果は、私たちにとって非常に心強い知見です。エンコーダーの層を減らすことでモデルサイズを7〜14%削減しつつ、LoRA による軽量な追加学習で精度を回復・向上できるという道筋は、まさに And Family Voice が追求している「プライバシーを守りながら実用的な精度を確保する」設計に活かせる可能性があります。

一方で、デンマーク語（低資源言語）での効果の限定性は、日本語への適用を考える際にも注意が必要な点です。日本語は英語と比べて音声認識の学習データが限られる場合があり、LoRA による補完がどの程度機能するかは慎重に検証する必要があると考えています。

🔍 オンデバイス推論におけるモデルサイズの意味

スマートフォン上でAIモデルを動かす場合、モデルサイズは「メモリ使用量」「起動速度」「バッテリー消費」に直結します。7〜14%のパラメータ削減は、数値としては控えめに見えるかもしれませんが、メモリに制約のあるモバイル端末では実際の動作体験に大きな差を生む可能性があります。

And Family Voice のように常時録音に近い使い方を想定するプロダクトでは、モデルの軽量化がバッテリー持続時間に与える影響は特に重要です。

プライバシーの観点からの実践ヒント

音声アシスタントやスマートスピーカーを選ぶ際、「音声データがどこで処理されているか」を確認してみてください。クラウドに送信して処理するサービスと、端末内で完結するサービスでは、プライバシーの守られ方がまったく異なります。本研究が示すように、モデルを軽量化してもオンデバイスで十分な精度を出せる技術は着実に進歩しています。「便利さのためにプライバシーを差し出す」以外の選択肢が広がりつつあることを、ぜひ知っていただければと思います。

読後感

音声認識AIの「層を減らす」という行為は、一見すると性能を犠牲にしているように思えます。しかし本研究は、適切な補完手法と組み合わせれば、削ることがむしろ「洗練」につながりうることを示しました。

これは技術だけの話ではないかもしれません。私たちの生活から「不要なデータ送信」を削ぎ落とし、本当に必要な処理だけを手元に残す——そんなプライバシー設計の思想にも通じるのではないでしょうか。

あなたが日常的に使っている音声サービスは、声をどこで処理し、どこに保存していますか？ その「構造」を知ったうえで、あなたはどんな選択をしますか？