特表 2024-508125 センサデータ予測

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-22

(54)【発明の名称】センサデータ予測

(51)【国際特許分類】

   H04S 7/00 20060101AFI20240215BHJP

   H04R 3/00 20060101ALI20240215BHJP

【ＦＩ】

H04S7/00 340

H04R3/00 310

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023550201

(86)(22)【出願日】2022-03-18

(85)【翻訳文提出日】2023-08-21

(86)【国際出願番号】 US2022020840

(87)【国際公開番号】W WO2022197987

(87)【国際公開日】2022-09-22

(31)【優先権主張番号】PCT/CN2021/081747

(32)【優先日】2021-03-19

(33)【優先権主張国・地域又は機関】CN

(31)【優先権主張番号】63/177,441

(32)【優先日】2021-04-21

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ホワーン，チイ

(72)【発明者】

【氏名】イエン，バオリー

(72)【発明者】

【氏名】リウ，ジーファーン

(72)【発明者】

【氏名】ルオ，リービン

【テーマコード（参考）】

5D162

5D220

【Ｆターム（参考）】

5D162AA07

5D220AA05

(57)【要約】

センサデータ予測アルゴリズムを実装するシステム、方法、及びコンピュータプログラムプロダクトが開示される。例示的な方法は、頭部搭載リスニング装置の動きを表す動きデータを受信するステップと、前記動きデータを４元数領域に変換するステップと、１つ以上のプロセッサによって、前記頭部搭載リスニング装置の将来の動きを予測するステップであって、変換された動きデータから角加速度データを作成し、前記角加速度データに１つ以上の平滑化フィルタを適用することを含み、予測した将来の動きは、前記４元数領域内の対応する軸の周りの回転角を含む、ステップと、前記リスニング装置によって提示される音場が前記頭部搭載リスニング装置の予測された動きに従うように前記音場を調整するために、前記頭部搭載リスニング装置の予測された将来の動きをプロセッサに提供するステップと、を含む。

【特許請求の範囲】

【請求項1】

オーディオ処理の方法であって、
頭部搭載リスニング装置の動きを表す動きデータを受信するステップと、
前記動きデータを４元数領域に変換するステップと、
１つ以上のプロセッサによって、前記頭部搭載リスニング装置の将来の動きを予測するステップであって、変換された動きデータから角加速度データを作成し、前記角加速度データに１つ以上の平滑化フィルタを適用することを含み、予測した将来の動きは、前記４元数領域における対応する軸の周りの回転角を含む、ステップと、
前記頭部搭載リスニング装置によって提示される音場が前記頭部搭載リスニング装置の予測された動きに従うように前記音場を調整するために、前記頭部搭載リスニング装置の予測された将来の動きをプロセッサに提供するステップと、
を含む方法。

【請求項2】

前記予測するステップは、前記角加速度データに再帰線形平滑ニュートンフィルタを適用することを含む、請求項１に記載の方法。

【請求項3】

前記予測するステップは、前記変換された動きデータから角速度データを作成することを含む、請求項１に記載の方法。

【請求項4】

前記角速度データを作成することは、前に作成した角速度データ及び角速度データに対応する変換された動きデータを使用することを含む、請求項３に記載の方法。

【請求項5】

前記角加速度データを作成することは、前記作成した角速度データに数値微分を使用することを含む、請求項３に記載の方法。

【請求項6】

前記予測するステップは、前記作成した角速度の履歴から前記角速度のスライディングウィンドウの平均を決定することを含む、請求項３に記載の方法。

【請求項7】

前記スライディングウィンドウのサイズは、前記角加速度データによって決定される、請求項６に記載の方法。

【請求項8】

前記角加速度データは、角速度変化値を作成するために積分される、請求項１に記載の方法。

【請求項9】

前記頭部搭載リスニング装置は、再生装置に無線接続された複数のイヤホンを含む、請求項１に記載の方法。

【請求項10】

前記予測するステップ及び提供するステップが、前記頭部搭載リスニング装置に前記音場を提供する装置の１つ以上のプロセッサによって実行される、請求項１に記載の方法。

【請求項11】

前記受信するステップ及び変換するステップが、更に、前記頭部搭載リスニング装置に前記音場を提供する装置の１つ以上のプロセッサによって実行される、請求項１０に記載の方法。

【請求項12】

前記受信するステップ及び変換するステップは、前記頭部搭載リスニング装置の１つ以上のプロセッサによって実行される、請求項１０に記載の方法。

【請求項13】

システムであって、
１つ以上のプロセッサと、
命令を格納する非一時的コンピュータ可読媒体であって、前記命令は、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに請求項１～１２のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体と、
を含むシステム。

【請求項14】

命令を格納する非一時的コンピュータ可読媒体であって、前記命令は、１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに請求項１～１２のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願］
本願は、参照により全体がここに組み込まれる、２０２１年３月１９日に出願した国際PCT出願番号第PCT／CN２０２１／０８１７４７号、及び２０２１年４月２１日に出願した米国仮特許出願番号第６３／１７７,４４１号、の優先権を主張する。

【0002】

関連分野
本開示は、オーディオ処理の方法に関する。

【背景技術】

【0003】

無線ヘッドフォン技術を利用する場合、従来はスマートフォンやコンピュータなどのプロセッサを搭載した機器からBluetooth（登録商標）技術などを利用して音声をストリーミングしていた。最近の無線ヘッドフォンは、例えばユーザの頭の動きをモニタするために使用される様々なタイプのセンサを備えている。装置からストリーミングされる音声を頭の位置と角度に適応させるために、ヘッドフォン内のセンサが装置にデータを送信し、それがヘッドフォンに送信される音を適応させるために使用される。

【発明の概要】

【0004】

本開示は、ヘッドフォンと装置との間の音声データやセンサデータなどの情報の送信に時間がかかり、頭の位置や角度に基づく音声の適応に転送遅延が生じるという理解に基づく。したがって、ヘッドフォン又は同様の頭部搭載リスニング装置からのセンサデータの転送遅延を補償する方法を提供することが望ましい。

【0005】

本開示の一態様によれば、動きデータの履歴に基づいてユーザの頭部の将来の動きを予測することを含むオーディオ処理の方法が提供される。このような予測をプロセッサに提供することによって、リスニング装置によって提示される音場が将来の動きを補償するように調整され、それによってユーザのリスニング体験が改善される。

【0006】

予測は、動きデータの履歴に１つ以上のフィルタを適用することを含む。これは、センサ信号ノイズを低減し、より正確な予測を可能にする。

【0007】

ユーザの頭の動きを表す動きデータは、４元数領域（quaternion domain）で処理される。この領域は、オイラー角やデカルト座標などの従来のセンサ出力と比較して、さらなる自由度を提供する。例えば、加速度と速度の両方を単一の数値体系で表現できることにより、予測を含む動きデータの処理をより効率的かつ正確にすることができる。また、ジンバルロック（Gimbal lock）はオイラー角を使用しないことで防止される。一般的に知られているように、ジンバルロックとは、異なるオイラー軸に沿った２つのジンバル（回転軸）が平行に整列し、それによってシステムが縮退した２次元空間に「ロック」されるために、自由度が失われることである。

【0008】

本明細書では、Bluetooth遅延の影響を軽減し、ヘッドフォンのリスニング体験を改善するためのセンサデータ予測アルゴリズムを開示している。このセンサデータ予測アルゴリズムは、潜在的な転送遅延を低減するために、履歴情報に基づいて将来の動きデータを推定する。この点で、センサデータ融合とは異なる。このアルゴリズムは、歩く、走る、座るなどのユーザの動作パターンを予測するためには使用されない。角速度と加速度を介して対応する軸の周りの回転角度を予測するために４元数領域で動作する。予測期間は、センサデータ期間の１０倍以上を目標としている。これは、センサデータレートが約１００ヘルツであるBluetoothイヤホンに取り付けられた典型的な慣性測定ユニット（inertial measurement unit （IMU））の場合、予測期間の目標は約１００ミリ秒であることを意味する。このアルゴリズムの助けを借りて、プロセッサは、データ転送遅延の問題を軽減し、ユーザの聴覚体験を向上させることができる。

【0009】

頭の３D回転は通常、非定常であり、これは、頭の方向がどのように分布するかを記述する統計関数のプロパティが時間と共に変化する可能性があることを意味する。しかし、このシナリオでは、頭はIMUセンサデータ更新レート（頭部追跡のための典型的なセンサデータレートは約１００ヘルツであり、角速度は０．５度／ミリ秒未満である）と比較して比較的ゆっくりと移動する。したがって、区分線形システムとしてモデル化することは技術的に有用である。言い換えると、頭部の３D回転は、約１００msの予測期間で線形システムとしてモデル化できる。この仮定に基づいて、本明細書に従った予測アルゴリズムはうまく機能する。

【0010】

センサ融合処理中、入力は加速度計及び／又はジャイロスコープセンサデータであってもよい。処理データ形式は４元数形式（w,x,y,z）に変換できる。なぜなら、この領域ではオイラー角領域と同様にジンバルロックの問題がないからである。提案する方法は４元数表現における３D回転データの特性を利用する。物理的観点から、４元数データは特定の軸の周りの特定の角度として３D剛体物体の動きを表現する。角速度が予測され、推定加速度によって修正される場合、予測された３D回転角度は積分によって達成される。

【図面の簡単な説明】

【0011】

例として、本発明の実施形態は、添付の図面を参照して以下に説明される。

【0012】

【図1】オーディオ処理の方法の実施形態を示す。

【0013】

【図2】オーディオ処理の方法で使用するためのフィルタの実施形態を示す。

【0014】

【図3】オーディオ処理の方法で使用するためのスライディングウィンドウ角速度平均化ユニットの実施形態を示す。

【0015】

【図4】オーディオ処理の方法の実施形態のフローチャートである。

【発明を実施するための形態】

【0016】

以下に、音声処理の方法を開示する。この方法は、慣性測定ユニット（IMU）を含む頭部搭載リスニング装置（例えば、ヘッドフォンやイヤホン）によって実施される例として示されているが、本明細書の添付の特許請求の範囲内で他の実施形態が可能である。

【0017】

オーディオ処理のための方法の使用シナリオの例として、装置（例えば、スマートフォンやコンピュータ）は、頭部搭載リスニング装置を装着したユーザに仮想サウンドスケープをストリーミングしている。仮想サウンドスケープは、ユーザに対して一貫した３Dサウンドスケープを提供することを目的としている。ストリーミング装置は、仮想３Dサウンドスケープに対するユーザの頭の向きを決定するために、頭部搭載リスニング装置のIMUから動きデータを受信し、それに応じてストリームを適応させる。

【0018】

頭部搭載リスニング装置からストリーミング装置に動きデータを送信し、ストリーミング装置から頭部搭載リスニング装置に仮想サウンドスケープをストリーミングするには時間がかかるため、この仮想サウンドスケープのユーザの頭の向きへの適応に転送遅延が生じる。この目的のために、開示されたオーディオ処理方法は、ユーザの頭の動きの予測を可能にし、例えば、将来の角回転を予測し、それによって遅延を補償する。

【0019】

図１は、予測アルゴリズムの主要なレイアウトを示し、したがって、オーディオ処理方法の実施形態を示す。図では、生の動きデータは、図の上部に沿ったプロセスでフィルタリングされ、図の下部に沿ったプロセスでユーザの頭部の将来の動きを予測するために処理される。図では、６自由度（６DoF）のIMUセンサ（アクセラレータとジャイロスコープを含む）は、アルゴリズムへの入力として生データを作成する。言い換えると、頭部搭載リスニング装置の１つ以上のセンサ（例えば、アクセラレータやジャイロスコープ）は、ユーザの頭の動きを表す動きデータを出力する。この動きデータは、例えば、６-DoF（アクセラレータからはAx、Ay、Az、ジャイロスコープからはGx、Gy、Gz）のアクセラレータ生データ及び／又はジャイロスコープ生データであってもよい。

【0020】

この動きデータは、リスニング装置又はスマートフォン又はコンピュータのような別の装置に含まれる１つ以上のプロセッサによって受信される。ダウンサンプリングの後、生データは補完フィルタに入力され、４元数領域で融合される。言い換えると、フィルタを使用して、６DoFの生動きデータを４元数領域（w,x,y,z）に変換することができる。融合データが予測４元数のベースになる。言い換えると、この変換された生の動きデータQは、予測された将来の頭の位置を作成し、図の下部に沿ったプロセスで将来の頭の動きの予測に影響を与える可能性のあるジャイロスコープのドリフトを検証及び／又は修正するために使用される。

【0021】

図の下部に沿ったプロセスでは、ジャイロスコープの生データは、頭の角速度を計算することによって将来の頭の動きを予測するために使用される。予測期間は、センサデータ期間の１０倍以上を目標としている。典型的な頭部搭載リスニング装置に含まれる典型的なIMUの場合、センサデータレートは約１００Hzである。目標予測期間は約１００msになる。

【0022】

頭の３D回転は通常、非定常であり、統計関数の特性が時間とともに変化する可能性があることを意味する。しかし、このシナリオでは、頭部の回転はIMUセンサデータ更新レート（ヘッドの典型的な角速度は０．５度／ミリ秒未満であり、１００Hzのセンサデータレートに比べて遅い）と比較して比較的遅く移動する。言い換えると、頭部の３D回転は、約１００msの予測期間で線形システムとしてモデル化できる。

【0023】

最初に、ジャイロスコープデータをボディフレームからグローバルフレームに変換する必要がある。角速度はこのモジュールで計算する。その後、FIFOバッファは適切な長さの過去の４元数データを保持し、対応する角速度を計算する。さらに、速度に基づいて、差動プロセスを介して角加速度を計算する。言い換えれば、ジャイロスコープからの生の動きデータは、当技術分野で知られている方法に従って４元数領域に変換される。ジャイロスコープからの生の動きデータは、例えば、オイラー角領域又はデカルト領域における頭部の（又は同様に、頭部搭載リスニング装置の）角速度であってもよい。頭部（又は同様に、頭部搭載リスニング装置の）の角速度は、ジャイロスコープからの変換された生の動きデータを使用して、すなわち、変換された動きデータを使用して計算される。４元数領域で計算された角速度は、先入れ先出し（first in first out （FIFO））バッファメモリに格納される。４元数領域Q_Wの角速度は、次の式で計算される：

【数1】

ここで、Q_t-１は回転の前の推定値であり、初期値はQ_０=（１,０,０,０）に設定される。言い換えると、Q_t-１は、以前に計算された角速度、すなわち、以前の角速度と生データに基づいて計算されたQ_Wであり、バッファメモリに格納される可能性がある。

【0024】

G_w=（０,G_x,G_y,G_z）は、ジャイロスコープの生データ、すなわち、４元数領域内のジャイロスコープから変換された生の動きデータである。ジャイロスコープの動きデータは、この場合、角速度であるが、他のセンサ及び動きデータは、他の実施形態で使用することができる。以下の記号

【数2】

は４元数交差乗算演算子である。

【0025】

直接的な角加速度データは利用できないため、角加速度は数値微分（Numerical Differentiation）によって作成される。つまり、ジャイロスコープの生データは角加速度を含まず、代わりに、このデータは数値微分によって計算される。角加速度Q_W ^～は、次の式で計算できる：

【数3】

ここで、Q_W（t）は時間tにおける角速度であり、t－１はtの直前の時間、すなわち、Q_Wが値を持つ直前の時点であり、Tはセンサデータのサンプリング期間、すなわち約１０msである。

【0026】

角加速度の作成プロセス中に、速度データのノイズが増幅され、結果を直接使用することが困難になる場合がある。したがって、速度データのノイズは、分母が通常１sよりもはるかに小さいため、上記の計算によって増幅される可能性がある。この問題を解決するために、RLSN（Recursive Linear Smoothed Newton）フィルタ又はTV（Total Variation Regularization）フィルタである加速度平滑化フィルタを追加することができる。言い換えると、平滑化フィルタは、角加速度データ内のこのような増幅されたノイズを平滑化するために使用される。

【0027】

このモジュールの出力は、平滑化された角加速度データQ_Wである。RLSNフィルタの例は、図２を参照してより詳細に開示される。

【0028】

次に、平滑化された角加速度データを積分（integrated）して、頭部の将来の角方向を予測するために使用される角速度変化値を計算する。積分モジュールは、以下のように、角速度変化値Q_ΔWを作成するために角速度を積分する：

【数4】

【0029】

頭部の動きを滑らかにする機械的慣性のため、予測速度は履歴速度データを平均化することによって滑らかにする必要がある。基本角速度を予測するためにスライディングウィンドウ平均モジュールを設計する。換言すれば、実際の頭部の動きは、動きを滑らかにする機械的慣性を持つ。この慣性を計算した角速度に組み込むために、バッファメモリに格納された過去の変換された生の角速度データを、平均角速度Q_W ^－を作成するためのスライディングウィンドウ平均計算で使用する。スライディングウィンドウサイズは、予測された速度平滑性と迅速応答能力の間のバランスをとるために使用できる加速度値によって制御された。換言すれば、スライディングウィンドウ平均計算で使用したスライディングウィンドウのサイズは、高い角加速度に対して有益であるかもしれない迅速反応と、より長いスライディングウィンドウサイズを使用することから生じるより統計的に有意な平均との間のバランスをとるために、計算された角加速度に反比例する。スライディングウィンドウ平均計算は、図３を参照してより詳細に開示される。

【0030】

角速度は一定又は直線的に変化すると仮定し、加速度データによって繰り返し更新される。換言すれば、前述したように、典型的なIMUセンサデータ更新レートと比較して頭部の典型的な角速度が比較的遅いため、頭部の角速度は一定又は直線的に変化するようにモデル化することができる。多重積分（Multiple Step Intergration）の後、融合した４元数データと組み合わせて、予測された３D回転角度が４元数領域に作成される。言い換えると、角速度変化値Q_ΔWと平均角速度Q_W ^－を加算し、多重積分ブロック内の積分期間の異なる部分に対して異なる時間積分器を使用して積分し、予測した角変化値Q'を作成する。この予測した角変化値Q'は、次に、図の上部に沿ったプロセスで作成された変換された未加工の動きデータQと結合され、４元数領域Q^pに予測３D回転角度を作成する。

【0031】

予測部分モデルは、データ融合部分と比較して高いデータレート領域で動作するため、データ処理タイミングを一致させるために多重積分モジュールが使用される。言い換えると、図の下部に沿ったプロセスは、図の上部に沿ったプロセスと比較して異なるデータレート領域で動作するため、積分期間の異なる部分に対して異なる時間積分器を使用する多重積分を使用して、Q'のデータレートとQを一致させることができる。融合データを積分して結合した後、予測角度は４元数領域で生成される：

【数5】

【0032】

頭部追跡シナリオでは通常、動きが滑らかであるため、角度の変化は区分的に線形化されていると仮定できる。将来の速度を予測するための角加速度の助けを借りて、これは予測期間で最も可能性の高い角度の良い推定を可能にする。言い換えれば、４元数領域Q^pでの結果として生じる予測された３D回転角度は、ユーザの頭の将来の角度の信頼性の高い正確な予測を可能にする。

【0033】

図２に、RLSNフィルタの実施形態を示す。このモジュールは、角加速度生成プロセス中に増幅されたセンサ信号ノイズを低減することができる。

【0034】

図２において、aは重み付け係数であり、例えば０．０２又は０．０３の値を有することができる。したがって、重み付け係数aは再帰的重みとして使用され、一般に０．０１から０．０５の間であり得る。Nは移動平均の長さであり、例えば１６又は３２の値を有し得る。言い換えると、Nは移動平均操作の長さに使用される値であり、８から６４の間であり得る。kは計算された角加速度のインデックスであり、後続のインデックスはIMUセンサによる連続測定に対応する。Zは、ボックスとして示される演算子への入力である。

【0035】

RLSNフィルタは、従来のローパスフィルタと比較して遅延を低減したローパスフィルタとして動作する。加速度は線形としてモデル化されるため、フィルタで計算される第１微分は定数としてモデル化される。したがって、定常状態で信号を遅延させることなく、図２の下部プロセスに沿って移動平均器でフィルタリングすることができる。

【0036】

追加のローパスフィルタリングは、その平滑化された値による入力の加重平均を実装する再帰構造によって、図２の上部のプロセスに沿って実現される。

【0037】

RLSNフィルタの代替実装は、添付の特許請求の範囲内でも可能である。さらに、TVフィルタのような他の平滑化フィルタは、記載されているように、RLSNフィルタに加えて、又はRLSNフィルタを置き換えるために使用することができる。

【0038】

図３は、図１の「角速度FIFO及びスライディングウィンドウ角速度平均」ボックス内のプロセスを示す。本モジュールのロジックは、加速度データに基づいて平均スライディングウィンドウサイズを選択する。つまり、スライディングウィンドウ平均プロセスは、計算された角加速度データを入力として使用し、角加速度の値に反比例するように平均ウィンドウサイズを制御する。加速度が大きい場合は、比較的大きな速度変化が発生する可能性があることを意味し、平均ウィンドウサイズは小さく設定される。つまり、相対的に大きな加速度は速度の変化が比較的大きくなる可能性があるため、逆比例が使用される。これは、比較的小さな平均ウィンドウサイズでモデル化することによって得られる。

【0039】

図３で、Nは、スライディングウィンドウ平均プロセスのウィンドウサイズを表している。このプロセスでは、バッファメモリから角速度に使用できるN個の最新のデータポイントを使用して、角速度の平均値Q_w ^－を計算する。

【0040】

図４は、オーディオ処理の方法のフローチャートを示す。この方法は、例えばストリーミング装置のプロセッサによって実行され得る多くのステップを含む。

【0041】

この方法の第１ステップは、動きデータの受信を含む。このステップは、頭部搭載リスニング装置から、ユーザの頭の動きを表す動きデータを受信することを含む。動きデータは、４元数領域であってもなくてもよい。

【0042】

動きデータが４元数領域で受信されない場合、次のステップは、受信した動きデータを４元数領域に変換することを含む。

【0043】

この方法は、さらに、頭部の将来の動きを予測することを含む。このステップは、変換された動きデータから角加速度データを作成し、角加速度データに１つ以上の平滑化フィルタを適用することを含み、予測された将来の動きは、４元数領域内の対応する軸の周りの回転角を含む。

【0044】

予測ステップは、さらに、変換された動きデータから角速度データを作成することを含み、これは、以前に作成された角速度データ及び角速度データに対応する変換された動きデータを使用することを含み得る。

【0045】

予測するステップは、さらに、角速度データに対して数値微分を実行することによって角加速度データを作成することを含み得る。

【0046】

予測するステップは、角加速度データに再帰線形平滑ニュートンフィルタを適用することを更に含み得る。これは、作成された角加速度データのノイズを低減する。

【0047】

予測するステップは、角速度の履歴から角速度のスライディングウィンドウ平均を決定することを更に含む。これは、頭部の慣性の予測を適応させるために使用することができる。

【0048】

スライディングウィンドウのサイズは、角加速度データによって決定することができる。したがって、スライディングウィンドウ平均は、頭部の加速度に適応し、より信頼性が高い。

【0049】

この方法は、さらに、頭部の予測された将来の動きを、例えば、ストリーミング装置のプロセッサに提供することを含む。次に、プロセッサは、音場が頭部の予測された動きに従うように、リスニング装置によって提示される音場を調整することができる。それによって、転送遅延を低減することができる。

【0050】

ここに記載されるシステムの太陽は、デジタル又はデジタルかされたオーディオファイルを処理する適切なコンピュータに基づく音声処理ネットワーク環境で実施されてよい。適応型オーディオシステムの部分は、コンピュータの間で送信されるデータをバッファリング及びルーティングするよう機能する１つ以上のルータ（図示しない）を含む任意の所望の数の個別機械を含む１つ以上のネットワークを含んでよい。このようなネットワークは、種々の異なるネットワークプロトコル上で構築されてよく、インターネット、広域ネットワーク（Wide Area Network （WAN））、ローカルエリアネットワーク（Local Area Network （LAN））、又はそれらの任意の組合せであってよい。

【0051】

コンポーネント、ブロック、プロセス、又は他の機能的コンポーネントのうちの１つ以上は、システムのプロセッサに基づくコンピューティング装置の実行を制御するコンピュータプログラムを通じて実装されてよい。また、留意すべきことに、ここに開示した種々の機能は、ハードウェア、ファームウェア、及び／又は種々の機械可読若しくはコンピュータ可読媒体の中に具現化されたデータ及び／又は命令として、それらの動作の観点で、レジスタトランスファ、論理コンポーネント、及び／又は他の特性、の任意の数の組合せを用いて記載され得る。このようなフォーマットされたデータ及び／又は命令が具現化されるコンピュータ可読媒体は、限定ではないが、光、磁気、又は半導体記憶媒体のような、種々の形式の物理的（非一時的）不揮発性記憶媒体を含む。

【0052】

１つ以上の実装が例として、特定の実施形態の観点で記載されたが、１つ以上の実装は、開示された実施形態に限定されないことが理解されるべきである。これに対して、これの実装は、当業者に明らかなように、種々の変形及び同様の構成をカバーすることを意図する。従って、添付の請求の範囲は、全部のこのような変形及び同様の構成を包含するように、最も広く解釈されるべきである。

【0053】

＜列挙される例示的な実施形態＞
本発明は、限定ではないが、本発明の幾つかの部分の構造、特徴、及び機能を記載する以下の列挙される例示的な実施形態（Enumerated Example Embodiments （EEEs））を含む本願明細書に記載された形式のうちのいずれかにおいて具現化されてよい。

【0054】

（EEE１）オーディオ処理の方法であって、
頭部搭載リスニング装置の動きを表す動きデータを受信するステップと、
前記動きデータを４元数領域に変換するステップと、
１つ以上のプロセッサによって、前記頭部搭載リスニング装置の将来の動きを予測するステップであって、変換された動きデータから角加速度データを作成し、前記角加速度データに１つ以上の平滑化フィルタを適用することを含み、予測した将来の動きは、前記４元数領域内の対応する軸の周りの回転角を含む、ステップと、
前記リスニング装置によって提示される音場が前記頭部搭載リスニング装置の予測された動きに従うように前記音場を調整するために、前記頭部搭載リスニング装置の予測された将来の動きをプロセッサに提供するステップと、
を含む方法。

【0055】

（EEE２）前記予測するステップは、前記角加速度データに再帰線形平滑ニュートンフィルタを適用することを含む、EEE１に記載の方法。

【0056】

（EEE３）前記予測するステップは、前記変換された動きデータから角速度データを作成することを含む、EEE１又は２に記載の方法。

【0057】

（EEE４）前記角速度データを作成することは、前記作成した角速度データ及び角速度データに対応する変換された動きデータを使用することを含む、EEE３に記載の方法。

【0058】

（EEE５）前記角加速度データを作成することは、前記作成した角速度データに数値微分を使用することを含む、EEE３又はEEE４記載の方法。

【0059】

（EEE６）前記予測するステップは、前記作成した角速度の履歴から前記角速度のスライディングウィンドウ平均を決定することを含む、EEE１～５のいずれか一項に記載の方法。

【0060】

（EEE７）前記スライディングウィンドウのサイズは、前記角加速度データによって決定される、EEE６に記載の方法。

【0061】

（EEE８）前記角加速度データは、角速度変化値を作成するために積分される、EEE１～７のいずれか一項に記載の方法。

【0062】

（EEE９）前記頭部搭載リスニング装置は、再生装置に無線接続された複数のイヤホンを含む、EEE１～８のいずれか一項に記載の方法。

【0063】

（EEE１０）前記予測するステップ及び提供するステップは、前記頭部搭載リスニング装置に前記音場を提供する装置の１つ以上のプロセッサによって実行される、EEE１～９のいずれか一項に記載の方法。

【0064】

（EEE１１）前記受信するステップ及び変換するステップは、前記頭部搭載リスニング装置に前記音場を提供する装置の１つ以上のプロセッサによって実行される、EEE１０に記載の方法。

【0065】

（EEE１２）前記受信するステップ及び変換するステップは、前記頭部搭載リスニング装置の１つ以上のプロセッサによって実行される、EEE１０に記載の方法。

【0066】

（EEE１３）システムであって、
１つ以上のプロセッサと、
命令を格納する非一時的コンピュータ可読媒体であって、前記命令は、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサにEEE１～１２のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体と、
を含むシステム。

【0067】

（EEE１４）命令を格納する非一時的コンピュータ可読媒体であって、前記命令は、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサにEEE１～１２のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読媒体。

【図1】

【図2】

【図3】

【図4】

【国際調査報告】