特許 7272708 バイノーラル録音を取得及び再生するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-01

(45)【発行日】2023-05-12

(54)【発明の名称】バイノーラル録音を取得及び再生するための方法

(51)【国際特許分類】

   H04S 1/00 20060101AFI20230502BHJP

   H04R 5/027 20060101ALI20230502BHJP

【ＦＩ】

H04S1/00 500

H04R5/027 A

【請求項の数】 12

(21)【出願番号】P 2021506926

(86)(22)【出願日】2019-08-02

(65)【公表番号】

(43)【公表日】2021-12-16

(86)【国際出願番号】 EP2019070949

(87)【国際公開番号】W WO2020035335

(87)【国際公開日】2020-02-20

【審査請求日】2022-02-28

(31)【優先権主張番号】102018006450.7

(32)【優先日】2018-08-16

(33)【優先権主張国・地域又は機関】DE

(31)【優先権主張番号】102018007201.1

(32)【優先日】2018-09-12

(33)【優先権主張国・地域又は機関】DE

(31)【優先権主張番号】102019107302.2

(32)【優先日】2019-03-21

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】521052908

【氏名又は名称】ライニッシュ－ヴェストファーレン テクニシェ ホーホシューレ （アールダブリューティーエイチ） アーヘン

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】ネーゲル、セバスチャン

(72)【発明者】

【氏名】ジャックス、ピーター

【審査官】西村 純

(56)【参考文献】

【文献】特開昭５４－０５８４０２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０１１４８２１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｓ １／００－ ７／００

Ｈ０４Ｒ １／００－３１／００

(57)【特許請求の範囲】

【請求項1】

頭部に聴取システムを適用して聴き手にバイノーラル録音を提供するための方法であって、前記バイノーラル録音は聴取デバイスを用いて聴かれ、前記バイノーラル録音は前記聴き手の左耳用の左側のバイノーラル耳信号と前記聴き手の右耳用の右側のバイノーラル耳信号とで構成され、前記方法は、
頭部方向を決定する段階と、
前記頭部方向に対する前記バイノーラル録音の音源方向を決定する段階と、
前記頭部方向の新しい頭部方向への変更を検出する段階と、
前記バイノーラル録音の前記音源方向及び前記新しい頭部方向を考慮して前記バイノーラル録音を適応する段階と
を備える、方法。

【請求項2】

聴取システムに適用されるバイノーラル録音を録音するための方法であって、前記バイノーラル録音は録音係の頭部に搭載される録音デバイスを用いて録音され、前記バイノーラル録音は前記録音係の左耳の近く及び／又は前記左耳で前記録音デバイスによって受信される左側のバイノーラル耳信号と前記録音係の右耳の近く及び／又は前記右耳で前記録音デバイスによって受信される右側のバイノーラル耳信号とで構成され、前記方法は、
頭部方向を決定する段階と、
前記頭部方向に対する前記バイノーラル録音の音源方向を決定する段階と、
前記頭部方向の新しい頭部方向への変更を検出する段階と、
前記バイノーラル録音の前記音源方向及び前記新しい頭部方向を考慮して前記バイノーラル録音を適応する段階と
を備える、方法。

【請求項3】

前記頭部方向の新しい頭部方向への変更を検出する前記段階は、前記頭部の回転運動を検出する段階を有する、請求項１又は２に記載の方法。

【請求項4】

前記頭部方向に対する前記バイノーラル録音の音源方向を決定する前記段階、並びに、前記バイノーラル録音の前記音源方向及び前記新しい頭部方向を考慮して前記バイノーラル録音を適応する前記段階は、前記頭部方向を与えられた音源方向に対する前記左側のバイノーラル耳信号と前記右側のバイノーラル耳信号との間の差に関連付けるマッピングテーブルを参照する段階を有する、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記頭部方向に対する前記バイノーラル録音の音源方向を決定する前記段階は、前記左側のバイノーラル耳信号と前記右側のバイノーラル耳信号との間の差を決定する段階と、この差を、前記頭部方向を与えられた音源方向に対する前記左側のバイノーラル耳信号と前記右側のバイノーラル耳信号との間の前記差に関連付けるマッピングテーブルと比較する段階とを有する、請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記バイノーラル録音の前記音源方向及び前記新しい頭部方向を考慮して前記バイノーラル録音を適応する前記段階は、前記バイノーラル録音の前記音源方向に対する前記新しい頭部方向を決定する段階と、頭部方向のこの値を、前記頭部方向を与えられた音源方向に対する前記左側のバイノーラル耳信号と前記右側のバイノーラル耳信号との間の差に関連付けるマッピングテーブルと比較する段階とを有する、請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記頭部方向を与えられた音源方向に対する前記左側のバイノーラル耳信号と前記右側のバイノーラル耳信号との間の前記差に関連付ける前記マッピングテーブルは、前記頭部方向を、前記右側のバイノーラル耳信号及び前記左側のバイノーラル耳信号の周波数の範囲で、且つ、与えられた音源方向に対する前記左側のバイノーラル耳信号と前記右側のバイノーラル耳信号との間の振幅の前記差に、及び／又は位相の前記差に関連付ける、請求項４から６のいずれか一項に記載の方法。

【請求項8】

前記頭部方向を与えられた音源方向に対する前記左側のバイノーラル耳信号と前記右側のバイノーラル耳信号との間の前記差に関連付ける前記マッピングテーブルは、前記聴き手若しくは録音係の前記頭部に、及び／又は、前記聴き手若しくは録音係の耳に、及び／又は、前記聴き手若しくは録音係の環境に適応可能である、請求項４から７のいずれか一項に記載の方法。

【請求項9】

聴き手にバイノーラル録音を提供するための方法であって、前記バイノーラル録音は請求項２から８のいずれか一項に記載の方法によって録音され、前記バイノーラル録音は請求項１及び３から８のいずれか一項に記載の方法によって前記聴き手に提供される、方法。

【請求項10】

請求項１から９のいずれか一項に記載の方法を実行するよう構成される聴取システムであって、聴取デバイス及び／又は録音デバイスと、頭部方向及び／又は前記聴き手及び／又は録音係の前記頭部方向の変更を決定するよう構成される頭部運動トラッキングデバイスとを備える、聴取システム。

【請求項11】

前記聴取デバイス及び／又は録音デバイスは、聴き手及び／又は録音係によって着用されるよう構成される、請求項１０に記載の聴取システム。

【請求項12】

聴取システムは、前記頭部方向を与えられた音源方向に対する前記左側のバイノーラル耳信号と前記右側のバイノーラル耳信号との間の差に関連付けるマッピングテーブルを格納するためのストレージデバイスを備える、請求項１０又は１１に記載の聴取システム。

【発明の詳細な説明】

【背景技術】

【0001】

人間の聴き手は、検出された音の位置又は発生源を方向及び距離で識別するのが得意である。この目的のために、人間は、１つの耳から算出されるキュー（モノラルキュー）を得て、両耳で受信したキュー（ディファレンスキュー又はバイノーラルキュー）を比較することによって、音源の位置を推定する。これらのキューは、両耳間の時間差及びレベル差、スペクトル情報、タイミング分析、相関関係の分析、及びパターンマッチングを含む。

【0002】

頭部伝達関数（ＨＲＴＦ）は、どうやって耳が空間におけるポイントから音を受信するかを特徴付ける応答である。音は聴き手に達すると、頭部、耳、外耳道のサイズと形状、頭部の密度が全て音に変換し、どうやってそれが感知されるかに影響を与え、いくつかの周波数を増加させ、他の周波数を減衰させる。ＨＲＴＦは、人によって大きく異なり得る。両耳用の一組のＨＲＴＦは、空間における特定のポイントから聞こえてくるようであるバイノーラル音を統合するために用いられ得る。したがって、ヘッドフォンを用いてバイノーラル録音を聴く聴き手のために、３Ｄステレオ音感覚が生成され、聴き手がまるで音源のある部屋に実際にいるかのように音を感知する。

【0003】

人工的な頭部又はインイヤー型のマイクロホンで作られて、ヘッドフォンで再生されるバイノーラル録音は、音響シーンにおいて人間によって感知される多くの空間的なキューをキャプチャして再現する確立された技術である。しかしながら、通常のヘッドフォンで聴くと、信号は頭部の運きと共に変化せず、その結果、音響シーンにおける音源は聴き手の頭部と共に回転するように思われ、聴取体験を減少させる。これは、聴き手が音源の位置を特定するときに問題に直面し、音源が頭部の内側にあるとして感知する、という影響を有する。

【0004】

バイノーラル録音を再生するための２つのラウドスピーカを用いるとき、１つのスピーカの信号はまた、反対側の耳によって聞こえ（クロストーク）、バイノーラル録音の望ましい効果を減少させる。したがって、この影響を減少させ、リアルな音の感覚を確立するために、クロストークキャンセルフィルタが適用される。原則として、クロストークキャンセル方法は、左スピーカ用の一部の信号を取り、右スピーカ用の信号にそれを供給し、それが左耳によって聞こえる一部の信号をキャンセルするようにそれを右スピーカの信号と組み合わせ、その逆も同様である。しかしながら、ヘッドフォンで聴くことと同様に、信号が聴き手の頭部の運きと共に変化せず、これは、聴取体験を考慮すると、同等の有害な影響を引き起こす。

【0005】

さらに、バイノーラル録音がインイヤー型のマイクロホンで作られた場合、録音している間の録音係の頭部の動きは、バイノーラル録音に混ぜ合わせられる。したがって、それが静的であると感知されないので、そのようなバイノーラル録音の聴き手は、音源の位置を特定するときに問題に直面する。

【0006】

米国９,８４８,２７３号公報は、ユーザによって着用されるよう構成された１又は複数の聴取デバイスを含む聴取システムを説明する。各聴取デバイスは、仮想音源の音を表す入力電気信号を提供する信号源を含む。フィルタは、頭部伝達関数（ＨＲＴＦ）を実装して、仮想音源の仮想位置と関連する空間化キューを電気信号に追加し、空間化キューを含むフィルタ処理された電気信号を出力する。

【0007】

米国７,３３３,６２２号公報は、ライブの立体音又は録音された立体音のいずれかをキャプチャして再生する異なるアプローチを説明する。方法は、いくつかのマイクロホン、ヘッドトラッカー、及び特別な信号処理手順を用いて、マイクロホンで捕えた信号を組み合わせる。

【0008】

バイノーラル録音に対する聴き手のよりリアルで改善された聴取体験を作り出すことが、本発明の目的である。特に、限定された音源定位及び具体化の欠如、すなわち、聴き手の頭部の内側に音源を感知することのような従来技術の欠点を克服することが、本発明の目的である。

【0009】

この目的は、独立請求項によって実現される。有利な実施形態が従属請求項で示される。

【発明の概要】

【0010】

特に、本発明は、頭部に聴取システムを適用して聴き手にバイノーラル録音を提供するための方法を提供する。バイノーラル録音は聴取デバイスを用いて聴かれ、バイノーラル録音は聴き手の左耳用の左側のバイノーラル耳信号と聴き手の右耳用の右側のバイノーラル耳信号とで構成される。方法は、頭部方向を決定する段階と、頭部方向に対するバイノーラル録音の音源方向を決定する段階と、頭部方向の新しい頭部方向への変更を検出する段階と、バイノーラル録音の音源方向及び新しい頭部方向を考慮してバイノーラル録音を適応する段階とを備える。要するに、方法は、聴き手の頭部の方向及び聴き手の頭部の方向の変更を決定し、それに応じてバイノーラル録音を適応する。

【0011】

本発明はまた、聴取システムに適用されるバイノーラル録音を録音するための方法を提供する。バイノーラル録音は録音係の頭部に搭載される録音デバイスを用いて録音され、バイノーラル録音は録音係の左耳の近く及び／又は左耳で録音デバイスによって受信される左側のバイノーラル耳信号と録音係の右耳の近く及び／又は右耳で録音デバイスによって受信される右側のバイノーラル耳信号とで構成される。方法は、頭部方向を決定する段階と、頭部方向に対するバイノーラル録音の音源方向を決定する段階と、頭部方向の新しい頭部方向への変更を検出する段階と、バイノーラル録音の音源方向及び新しい頭部方向を考慮してバイノーラル録音を適応する段階とを備える。要するに、方法は、録音係の頭部の方向及び録音係の頭部の方向の変更を決定し、それに応じてバイノーラル録音を適応する。

【0012】

さらに、本発明はまた、聴き手にバイノーラル録音を提供するための方法を提供する。バイノーラル録音は２番目の上記の方法によって録音され、バイノーラル録音は１番目の上記の方法によって聴き手に提供される。言い換えれば、方法は、上記の方法の組み合わせである。

【0013】

本発明の基本的な考え方は、元のシーンにおける音源方向を決定するためにバイノーラル録音を分析することである。その後、音源方向を考慮して、バイノーラル録音が、聴き手及び／又は録音係の頭部方向における変化を説明するために修正される。

【0014】

この基本的な考え方は、バイノーラル録音を聴くプロセスに組み込まれ得、これは、よりリアルで改善された聴取体験を導く。たとえ聴き手が聴きながら頭部を動かしていても、聴き手とって、感知される音源方向は環境に対して固定されているようである。したがって、バイノーラル録音の音源定位、具体化、及びリアリズムが改善される。

【0015】

さらに、基本的な考え方は、録音係の頭部に搭載される録音デバイスを用いてバイノーラル録音を録音するプロセスに組み込まれ得る。代替的に、録音デバイスはまた、移動可能及び／又は回転可能なダミーヘッドに搭載され得る。この場合において、方法は、録音係の頭部の動き及び／又は回転のトレース又は付随物を除去する方法を提供する。たとえ録音係が録音しながら頭部／ダミーヘッドを動かしても、そのようなバイノーラル録音の聴き手にとって、感知される音源方向は環境に対して固定されているようである。これは、聴取体験を改善する。さらに、方法は、より安易で、且つ、安価なバイノーラル録音技術のための道を開く。

【0016】

基本的な考え方がバイノーラル録音を録音するプロセス及びバイノーラル録音を聴くプロセスに組み込まれることも可能であり、したがって、両方の利点を組み合わせる。たとえ容易で安価な録音技術が用いられても、改善されて、且つ、よりリアルな聴取体験が生成され得る。

【0017】

方法は、コンピューター的に単純であり、リアルタイムに適用され得る。方法は、録音されるポイント及び／又は聴き手がバイノーラル録音を聴くポイントのいずれかでバイノーラル録音を適応するので、方法は、録音プロセスと聴取プロセスとの間における特別な信号処理又は格納技術を生じさせない。特別な音源カード、データフォーマット、ソフトウェア、及び／又はコンピュータプラットフォームは、録音することと聴くこととの間に必要ない。バイノーラル録音は、スマートフォンのような一般的な電子デバイス、又は、ＵＳＢフラッシュドライブ、メモリカード、若しくは、コンパクトディスクのような他のストレージ媒体に、一般的なステレオフォーマット、例えば、ＭＰ３で格納され得る。したがって、ウェブサイト及び／又はサーバを介してバイノーラル録音を共有することも可能である。さらに、方法は、録音中の音場をサンプリングするために用いられる、２つより多くマイクロホンを有するマイクロホンアレイを含む、特別録音技術を必要としない。したがって、方法は容易に適合でき、追加のコストを発生させない。方法は改善された聴取体験を導く。聴取体験は、聴き手が音を感知する方法である。それは、音源の位置を決定することを含み得る。聴き手の脳は、両耳間の音の大きさ、トーン及びタイミングのわずかな差を利用して、音源の位置の特定を可能にする。ミュージックホールでコンサートを聴くような実環境における聴取体験は、しばしば、ヘッドフォン又はステレオのような聴取デバイスでコンサートの録音を聴くより好まれている。

【0018】

本発明による聴き手は、音、例えば、音楽、スピーチ又はノイズを聴く任意の種類の人間であり得る。

【0019】

バイノーラル録音は、バイノーラル録音を聴くときに、リアルな聴取体験を生成する音響信号を録音することである。リアルな聴取体験は、音源の位置を特定することを含み得る。本発明によれば、バイノーラル録音は、任意の種類の音を録音することであり得る。例えば、それは、コンサートのような音楽、オーディオブック若しくは電話会談のようなスピーチ、ノイズ、又は、映画に伴う音のようなこれらの組み合わせを録音することであり得る。

【0020】

バイノーラル録音は、左側のバイノーラル耳信号と右側のバイノーラル耳信号とで構成される。バイノーラル録音は、聴き手の頭部に搭載される聴取デバイスによって聴かれ得る。したがって、聴き手の右耳及び左耳に異なる音響信号が提供されることが可能であり、聴き手がリアルな聴取体験を感知することを可能にする。聴き手の頭部に搭載される典型的な聴取デバイスは、ヘッドフォン、イヤホン、インイヤー型又はオンイヤー型の電話等である。聴取デバイスが例えば、電話用のヘッドセットの一部であること、又はバーチャルリアリティヘッドセットの一部であることも可能である。さらに、バイノーラル録音は、クロストークキャンセルフィルタを用いるラウドスピーカを通じて聴かれ得る。クロストークキャンセルフィルタが、バイノーラル録音に直接適用され得る。バイノーラル録音を聴くとき、左側のバイノーラル耳信号は、左スピーカに、及び／又は、聴き手の左耳に近いイヤホンに供給されている信号であり、したがって、聴き手の左耳用の信号である。右側のバイノーラル耳信号は、右スピーカに、及び／又は、聴き手の右耳に近いイヤホンに供給される信号であり、したがって、聴き手の右耳用の信号である。

【0021】

バイノーラル録音は、例えば、ダミーヘッド、Ｊｅｃｋｌｉｎディスク、及び／又は一組のインイヤー型又はオンイヤー型のマイクロホンを用いて、異なるバイノーラル録音技術によって生成され得る。本発明によれば、２つより多くマイクロホンを用いる特別な録音技術を用いる必要がない。バイノーラル録音を録音するとき、左側のバイノーラル耳信号は、録音係若しくはダミーヘッドの左耳の近く及び／又は左耳で、又はＪｅｃｋｌｉｎディスクの左側のマイクロホンから録音デバイスによって受信される信号である。右側のバイノーラル耳信号は、録音係若しくはダミーヘッドの右耳の近く及び／又は右耳で、又はＪｅｃｋｌｉｎディスクの右側のマイクロホンから録音デバイスによって受信される信号である。

【0022】

本発明による録音係は、録音係の頭部に搭載される録音デバイスを用いてバイノーラル録音を録音する任意の種類の人間であり得る。本発明による録音係はまた、録音デバイスが取り付けられたダミーヘッド又は２つのマイクロホンを有するＪｅｃｋｌｉｎディスクであり得る。ダミーヘッド又はＪｅｃｋｌｉｎディスクは、三脚、スタンド、又は回転デバイスに搭載され得る。重要な特徴は、録音係の頭部又はダミーヘッド／Ｊｅｃｋｌｉｎディスク上の録音デバイスが、頭部と共に移動及び／又は回転できることである。ダミーヘッド又はＪｅｃｋｌｉｎディスクの場合、回転／移動は、ダミーヘッド又はＪｅｃｋｌｉｎディスクをそれぞれ移動又は回転させることによって実現され得る。

【0023】

録音係の頭部に搭載される典型的な録音デバイスは、インイヤー型又はオンイヤー型のマイクロホンである。録音デバイスがダミーヘッド及び／又はダミーヘッドが搭載される三脚に搭載されるカメラの一部であることも可能である。代替的に、Ｊｅｃｋｌｉｎディスクのそれぞれの側の２つのマイクロホンが用いられ得る。

【0024】

本発明によれば、頭部方向は、聴いている間の聴き手の頭部の方向、及び／又は、録音している間の録音係、ダミーヘッド、Ｊｅｃｋｌｉｎディスクの頭部の方向である。方向は、頭部の外部環境に対する、又は他の基準系に対する頭部の任意の軸を指し得る。好ましくは、頭部方向は、頭部の耳間の接続と垂直な軸の方向である。人間の頭部にとって、この軸は、図の軸に対応する。ダミーヘッドにとって及びＪｅｃｋｌｉｎディスクにとって、耳間の接続は、録音のために用いられる２つのマイクロホン間の接続を指す。

【0025】

音源方向は、音源の方向である。バイノーラル録音を録音している間、環境における音源方向は、バイノーラル録音の音源方向に対応する。バイノーラル録音を聴くとき、音源方向は、音の感知される方向である。音源方向は、単一の音源の方向であり得る。ここでは、１つの音源のみが音を放出している。音源方向が複数の音源シーンの組み合わせられた方向であることも可能である。ここでは、いくつかの音源が音を放出している。概して、音源が聴き手及び／又は録音係と独立して配置されることが可能である。したがって、それは、聴き手及び／又は録音係の後方に、聴き手及び／又は録音係に隣接して、又は聴き手及び／又は録音係の前にあり得る。

【0026】

好ましくは、音源は、聴き手及び／又は録音係の前にある。

【0027】

方法は、頭部方向を決定する段階を備える。この頭部方向は、聴き手又は録音係の外部環境に対する方向であり得る。しかしながら、頭部方向を決定する段階はまた、頭部の内部基準座標系を定義することであり得る。好ましくは、最初の頭部方向は、発生源を定義する。全てのさらなる頭部方向は、この方向に対して測定され得る。代替的に、特定の時間間隔にわたる異なる頭部方向の平均値は、発生源を定義するために用いられ得る。

【0028】

方法のさらなる段階において、頭部方向に対するバイノーラル録音の音源方向が決定される。聴き手の場合、音源方向は、感知された音源方向である。録音係の場合、バイノーラル録音の音源方向は、環境における音源方向に対応する。バイノーラル録音の音源方向は、バイノーラル録音を分析することによって決定され得る。音源方向を決定することは、録音係の環境又は聴き手の環境に関するあらゆる知識から独立している。この段階の後、頭部方向に対する音源方向が知られている。

【0029】

方法は、その後、頭部方向の新しい頭部方向への変更を検出する。概して、これは、方向のわずかな変更であり得、又は、それは大きな変更であり得る。変更は高速又は低速であり得る。頭部方向の変更は、あらゆる方向であり得る。変更が、時間間隔の一定期間の後、頭部方向を測定することによって検出されることが可能である。この段階の後、頭部方向の変更量及び頭部の内部基準座標系に対する新しい頭部方向が知られている。代替的に又は追加的に、頭部方向の変更量及び以前の頭部方向に対する新しい頭部方向が知られている。この段階の後、頭部方向の変更量及び外部基準座標系に対する新しい頭部方向が知られていることも可能である。

【0030】

さらなる段階において、方法は、バイノーラル録音の音源方向及び新しい頭部方向を考慮して、バイノーラル録音を適応する。この段階は、バイノーラル録音が頭部の動き及び決定された音源方向に従って修正される、という効果を有する。

【0031】

当該段階が録音プロセスで実装される場合において、効果は以下のとおりである。録音係が録音の間に頭部を動かした場合、又は、録音デバイスを搭載するダミーヘッドが録音の間に動いた場合、この動きはバイノーラル録音に反映される。方法の最後の段階は、バイノーラル録音におけるこの動きを説明することを可能にする。バイノーラル録音を適応することによって、バイノーラル録音に対する動きの影響が相殺され得る。したがって、まるで録音係の頭部が録音の間に動いていないかのように聞こえるバイノーラル録音が生成される。

【0032】

当該段階が聴取プロセスで実装される場合において、効果は以下のとおりである。聴き手が頭部を動かすとき、通常、音は、頭部と共に動き、音が聴き手の頭部の内側にある印象を生み出す。方法の最後の段階は、バイノーラル録音における頭部の運きを説明し、当該動きを反映することを可能にする。バイノーラル録音を適応することによって、動きの影響が考慮され得る。したがって、まるで音源方向が聴き手の環境に固定されているかのように聞こえるバイノーラル録音が生成され、改善された聴取体験が確保される。

【0033】

本発明の好適な実施形態によれば、頭部方向の新しい頭部方向への変更を検出する段階は、頭部の回転運動を検出する段階を備える。聴き手又は録音係の頭部は、原理上、横方向に動いてよく、回転してもよい。しかしながら，頭部の回転は、頭部の横方向の動きよりバイノーラル録音に対して大きな影響を与える。好ましくは、頭部の回転は、地面と垂直な軸を中心にした回転である。言い換えれば、それは、急勾配の道路を横断するとき、又は、不一致で頭部を振るときの頭部の動きに相当する頭部の回転である。代替的に又は追加的に、他の軸を中心とした回転、例えば、頭部のうなずきも、考慮され得る。

【0034】

本発明の好適な実施形態によれば、頭部方向に対するバイノーラル録音の音源方向を決定する段階、並びに、バイノーラル録音の音源方向及び新しい頭部方向を考慮してバイノーラル録音を適応する段階は、頭部方向を与えられた音源方向に対する左側のバイノーラル耳信号と右側のバイノーラル耳信号との間の差に関連付けるマッピングテーブルを参照する段階を備える。バイノーラル録音の音源方向を決定する段階及びバイノーラル録音の音源方向及び新しい頭部方向を考慮してバイノーラル録音を適応する段階の両方は、マッピングテーブルを参照する段階を含む。本発明によるマッピングテーブルは、多次元テーブル又は複合体構造におけるデータの配列であり得る。マッピングテーブルは、頭部方向とバイノーラル録音との間のリンクを生成する。バイノーラル録音は、お互いに異なる左側のバイノーラル耳信号と右側のバイノーラル耳信号で構成される。左側のバイノーラル耳信号及び右側のバイノーラル耳信号がお互いに異なる方法は、音源方向に対する頭部の方向に依存する。この情報は、マッピングテーブルに格納され得る。マッピングテーブルは、両耳間のレベル差（

【数1】

）と称される、振幅又はレベルの差、及び／又は両耳間の位相差（

【数2】

）と称される、位相の差に関する情報を提供し得る。したがって、マッピングテーブルは、録音係の環境又は聴き手の環境に関するあらゆる知識から独立して、頭部方向に対する音源方向を決定することを可能にする。それは、バイノーラル録音及びマッピングテーブルのみを含む。

【0035】

この目的のために、本発明の好適な実施形態によれば、聴き手又は録音係の頭部方向に対するバイノーラル録音の音源方向を決定する段階は、左側のバイノーラル耳信号と右側のバイノーラル耳信号との間の差を決定する段階と、この差を、頭部方向を与えられた音源方向に対する左側のバイノーラル耳信号と右側のバイノーラル耳信号との間の差に関連付けるマッピングテーブルと比較する段階を備える。音源方向を決定するために、方法は、左側のバイノーラル耳信号と右側のバイノーラル耳信号との間の差を決定する。これは、バイノーラル録音の両耳間のレベル差（ＩＬＤ）及び／又はバイノーラル録音の両耳間の位相差（ＩＰＤ）であり得る。この差は、その後、マッピングテーブルにおける

【数3】

及び／又は

【数4】

と比較され得る。したがって、音源方向を決定することが実現され得る。好ましくは、音源方向のこの決定は、最小化アプローチを含む。ここでは、バイノーラル録音のＩＬＤ及び／又はＩＰＤに最も適合する、マッピングテーブルにおける

【数5】

及び／又は

【数6】

が決定される。これは、音源方向の高速で、且つ、信頼性の高い決定を可能にする。

【0036】

バイノーラル録音の音源方向及び新しい頭部方向を考慮してバイノーラル録音を適応する段階は、好ましくは、マッピングテーブルを参照する段階を含む。この目的のために、本発明の好適な実施形態によれば、バイノーラル録音の音源方向及び新しい頭部方向を考慮してバイノーラル録音を適応する段階は、バイノーラル録音の音源方向に対する新しい頭部方向を決定する段階と、頭部方向のこの値を、頭部方向を与えられた音源方向に対する左側のバイノーラル耳信号と右側のバイノーラル耳信号との間の差に関連付けるマッピングテーブルと比較する段階とを備える。録音係又は聴き手の頭部の動きを説明するためのバイノーラル録音を適応する方法を決定するために、バイノーラル録音の音源方向に対する新しい頭部方向が決定される。この値は、その後、バイノーラル録音を適応する方法を決定するために、マッピングテーブルと比較され得る。マッピングテーブルは、異なる頭部方向に対する

【数7】

及び／又は

【数8】

を含み得、したがって、頭部の運きを説明するためにバイノーラル録音がどうやって適応され得るかに関する情報を含む。

【0037】

本発明の好適な実施形態によれば、頭部方向を与えられた音源方向に対する左側のバイノーラル耳信号と右側のバイノーラル耳信号との間の差に関連付けるマッピングテーブルは、頭部方向を、右側のバイノーラル耳信号及び左側のバイノーラル耳信号の周波数の範囲で、且つ、与えられた音源方向に対する左側のバイノーラル耳信号と右側のバイノーラル耳信号との間の振幅の差に、及び／又は位相の差に関連付ける。好ましくは、マッピングテーブルは、頭部方向と、左側のバイノーラル耳信号と右側のバイノーラル耳信号との間の振幅の差（

【数9】

）及び／又は位相の差（

【数10】

）との間のリンクを作成する。好ましくは、マッピングテーブルは両方の情報を含み、

【数11】

及び

【数12】

は、音源方向のより良い決定を可能にし、バイノーラル録音のより良い適応も可能にする。

【数13】

及び／又は

【数14】

は、バイノーラル耳信号の異なる周波数によって異なり得、したがって、マッピングテーブルは、大部分の人間の音響範囲をカバーする、例えば、１０Ｈｚから２０ｋＨｚの範囲の周波数の範囲に対する

【数15】

及び／又は

【数16】

を含む。マッピングテーブルは、与えられた音源方向に対する頭部方向の関数として

【数17】

及び／又は

【数18】

を含む。音源方向は、聴き手又は録音係の頭部の内部基準座標系に対して与えられ得る。例えば、マッピングテーブルは、０度の音源方向であり得、これは、音の音源が頭部の内部基準座標系の原点と一致することを意味する。マッピングテーブルにおける

【数19】

及び／又は

【数20】

の値は、０度に近い頭部方向に対して小さい。０度の頭部方向に対して、

【数21】

及び／又は

【数22】

の値はゼロである。これは、新しい頭部方向を考慮してバイノーラル録音を適応する段階において、新しい頭部方向が方法の最初の段階で決定された頭部方向と同一である場合、バイノーラル録音が全く修正されないことを意味する。言い換えれば、聴き手又は録音係が頭部を動かさない場合、バイノーラル録音が修正されない。

【0038】

本発明の好適な実施形態によれば、頭部方向を与えられた音源方向に対する左側のバイノーラル耳信号と右側のバイノーラル耳信号との間の差に関連付けるマッピングテーブルは、聴き手若しくは録音係の頭部に、及び／又は、聴き手若しくは録音係の耳に、及び／又は、聴き手若しくは録音係の環境に適応可能である。マッピングテーブルを参照する段階を含む２つの段階が方法に存在する。

【数23】

及び

【数24】

に関するマッピングテーブルに格納されている情報は、音源方向を決定するために、及びバイノーラル録音を適応するために重要である。マッピングテーブルに格納されている

【数25】

及び

【数26】

に対する特定の値は、分析球形ヘッドモデルによって、及び／又は、以前に測定された頭部伝達関数によって生成され得る。頭部伝達関数の測定は、ダミーヘッド及び／又は録音係及び／又は聴き手の頭部上で実現され得る。これにより、マッピングテーブルを聴き手若しくは録音係の特定の頭部及び／又は耳の形態に適応する可能性が広がる。特に、外耳（耳介）の形態は重要であり、音の感知に影響を与える。したがって、マッピングテーブルにおける情報が聴き手又は録音係に特に適応される場合、聴取体験が大きく改善される。マッピングテーブルを聴き手又は録音係の環境に適応することも可能であり、よりリアルな聴取体験を実現する。

【0039】

本発明はまた、上記の方法を実行するよう構成される聴取システムであって、聴取デバイス及び／又は録音デバイスと、頭部方向及び／又は聴き手及び／又は録音係の頭部方向の変更を決定するよう構成される頭部運動トラッキングデバイスとを備える、聴取システムを提供する。聴取デバイスは、バイノーラル録音を聴くことに適した任意の種類の聴取デバイスであり得る。例えば、聴取デバイスは、クロストークキャンセルフィルタを適用するラウドスピーカ、ヘッドフォン、イヤホン、インイヤー型又はオンイヤー型の電話である。録音デバイスは、録音係の右耳及び左耳の近く及び／又は録音係の右耳及び左耳で異なる音響信号を録音できる任意の種類の録音デバイスであり得る。録音係は、録音デバイスが取り付けられた人間若しくはダミーヘッド、又は２つのマイクロホンを有するＪｅｃｋｌｉｎディスクであり得る。例えば、録音デバイスは、インイヤー型又はオンイヤー型のマイクロホンである。代替的に、録音デバイスは、ダミーヘッド又はＪｅｃｋｌｉｎディスクのそれぞれの側の２つのマイクロホンで構成された録音デバイスに搭載されたカメラの一部である。

【0040】

聴取システムはまた、頭部運動トラッキングデバイスを備える。例えば、これは、６自由度の電磁気トラッキングシステム、消費者向けバーチャルリアリティヘッドセット、又は慣性測定ユニットに基づくトラッキングデバイスであり得る。光学頭部運動トラッキングデバイス、例えば、カメラ又は一組のカメラを用いることも可能である。それらのいくつかは頭部の方向を計算できる絶対位置を決定し、他は頭部の方向を決定する。頭部運動トラッキングデバイスが音響頭部トラッキングデバイスであることも可能である。

【0041】

音響頭部トラッキングデバイスは、いくつかのマイクロホンを有するヘッドマウントマイクロホンアレイで構成される。好ましくは、アレイは、４面体の頂点上に配置される４つのマイクロホンを有する。音響頭部トラッキングデバイスは、音響領域における頭部の動きをトラッキングし、これは、音響頭部トラッキングデバイスが頭部方向を決定するためにマイクロホンによって受信された音響信号の差を用いることを意味する。音響信号の差は、マイクロホンの異なる信号間の時間遅延であり得る。マイクロホンアレイの配列に関する情報と共に、音響信号の音源位置及び頭部方向が決定され得る。

【0042】

本発明の好適な実施形態によれば、聴取デバイス及び／又は録音デバイスが、聴き手及び／又は録音係によって着用されるよう構成される。聴取デバイスは、聴き手によって着用でき、聴き手の右耳及び左耳に異なる音響信号を提供できる任意の種類の聴取デバイスであり得る。例えば、聴取デバイスは、ヘッドフォン、イヤホン、インイヤー型又はオンイヤー型の電話である。録音デバイスの例は、インイヤー型又はオンイヤー型のマイクロホンである。録音デバイス及び聴取デバイスが同一のデバイスに統合されることも可能である。さらに、録音係及び聴き手が同一の人間であることが可能である。

【0043】

本発明の好適な実施形態によれば、聴取システムは、頭部方向を与えられた音源方向に対する左側のバイノーラル耳信号と右側のバイノーラル耳信号との間の差に関連付けるマッピングテーブルを格納するためのストレージデバイスを備える。マッピングテーブルを参照する段階を含み得る２つの段階が上記の方法に存在する。

【数27】

及び

【数28】

に関するマッピングテーブルに格納される情報は、音源方向を決定するために及びバイノーラル録音を適応するために用いられ得る。したがって、聴取システムは、このマッピングテーブルを格納するためのストレージデバイスを備える。いくつかの異なるマッピングテーブルが格納されることも可能である。異なるマッピングテーブルは、聴取システムを用いて、聴き手及び／又は録音係に特有であり得る。代替的に又は追加的に、異なるマッピングテーブルは、バイノーラル録音が録音及び／又は聴かれる異環境に特有であり得る。マッピングテーブルがサーバ上に格納されて、聴取システムが無線通信技術を介してサーバに接続されることも可能である。

【0044】

本発明のこれらの態様及び他の態様は、以下で説明される実施形態から明らかであり、以下で説明される実施形態を参照して解明される。実施形態で開示される個々の特徴は、本発明の態様を単独で又は組み合わせて構成できる。異なる実施形態の特徴が１つの実施形態から他の実施形態に引き継がれ得る。

【図面の簡単な説明】

【0045】

【図1】本発明の好適な実施形態による、方法の段階のフローチャートを示す。

【図2】本発明の好適な実施形態による、２つの異なる頭部方向を有するバイノーラル録音を録音する録音デバイスを有する録音係を示す。

【図3】本発明の好適な実施形態による、２つの異なる頭部方向を有するバイノーラル録音を聴く聴取デバイスを有する聴き手を示す。

【図4】本発明の好適な実施形態による、方法の機能図を示す。

【図5】本発明の好適な実施形態による、２つの異なるマッピングテーブルの図を示す。

【発明を実施するための形態】

【0046】

図１は、本発明の好適な実施形態による、聴取システムに適用される聴き手にバイノーラル録音を提供するための方法の段階のフローチャートを示す。また、図１は、本発明の好適な実施形態による、聴取システムに適用されるバイノーラル録音を録音するための方法の段階を示す。２つ方法の段階は同一であり、バイノーラル録音を聴くプロセスへの組み込みから、又は、バイノーラル録音を録音するプロセスへの組み込みから独立している。

【0047】

図２は、本発明の好適な実施形態による、聴取システム１２を有する録音係１０を示す。聴取システム１２は録音デバイス１４を備え、本発明のこの実施形態において、ヘッドセットは２つのインイヤー型のマイクロホンを有する。ヘッドセットに組み込まれているのは、録音係１０の頭部２０の方向１８を決定するよう構成されている頭部トラッキングデバイス１６である。録音係１０は、聴取システム１２を用いて音源２２によって放出される音のバイノーラル録音を録音するプロセスにある。図２における録音係１０は頭部２０の２つの異なる方向を有する。

【0048】

以下では、バイノーラル録音を録音するための方法の個々の段階が、図１におけるフローチャート及び図２における録音係１０を参照して簡潔に説明される。

【0049】

方法の最初の段階、Ｓ１００、は、録音係１０の頭部２０の方向１８を決定することである。録音係１０の頭部２０のこの方向１８は、図２の左側に示される。本発明のこの好適な実施形態において、方向１８は基準座標系の原点を定義し、したがって、ゼロ度である。

【0050】

方法の次の段階、Ｓ２００、において、録音係１０の頭部方向１８に対するバイノーラル録音の音源方向２４が決定される。音源方向２４は、音源２２への方向である。それは、録音係１０の環境の知識が全くなくても、バイノーラル録音を分析することによって決定される。この段階の後、録音係１０の頭部２０の方向１８と音源方向２４との間の角度２６が知られている。

【0051】

方法のさらなる段階、Ｓ３００、において、頭部方向２８の変更が検出される。頭部方向２８のこの変更は、録音係１０の頭部２０の新しい方向３０を導く。録音係１０の頭部２０のこの新しい方向３０は、図２の右側に示される。

【0052】

方法の最終段階、Ｓ４００において、バイノーラル録音が、バイノーラル録音の音源方向２４及び新しい頭部方向３０を考慮して適応される。したがって、この段階は、新しい頭部方向３０と音源方向２４との間の角度３２を決定する段階を含む。

【0053】

図３は、本発明の他の好適な実施形態による、聴取システム１２を有する聴き手３４を示す。聴取システム１２は聴取デバイス３６を備え、本発明のこの実施形態において、ヘッドセットである。ヘッドセットに組み込まれているのは、聴き手３４の頭部３８の方向１８を決定するよう構成されている頭部トラッキングデバイス１６である。聴き手３４は、バイノーラル録音を聴くプロセスにある。図３における聴き手３４は、頭部３８の２つの異なる方向を有する。

【0054】

以下では、聴き手３４にバイノーラル録音を提供するための方法の個々の段階が、図１におけるフローチャート、図３における聴き手３４、図４における機能図、及び図５におけるマッピングテーブルを参照して説明される。

【0055】

方法の最初の段階、Ｓ１００、において聴き手３４の頭部３８の方向１８が決定された後、図３の左側に示される ように、次の段階、Ｓ２００、において、バイノーラル録音の音源方向２４が聴き手３４の頭部方向１８に対して決定される。音源方向２４は、感知された音源２２への方向である。それは、バイノーラル録音を分析することによって決定される。

【0056】

図４を参照すると、バイノーラル録音を分析する目的のために、聴き手３４の左耳用の時間領域信号ｘ_ｌ（ｋ）及びバイノーラル録音の聴き手３４の右耳用の時間領域信号ｘ_ｒ（ｋ）が、離散フーリエ変換（ＤＦＴ）によって、最初に周波数領域信号に変換される。周波数領域における信号は、Ｘ_ｒ（λ，μ）及びＸ_ｌ（λ，μ）で表される。

【0057】

分析は、バイノーラル録音の両耳間のレベル差（ＩＬＤ）及び両耳間の位相差（ＩＰＤ）を決定することを含む。

【数29】

ここでは、Ｘ_ｒ,l（λ，μ）は、時間インスタンスλでの周波数ビンμにおけるバイノーラル耳信号を表す。

【0058】

ＩＬＤ（λ，μ）及びＩＰＤ（λ，μ）は、マッピングテーブル４０における

【数30】

及び

【数31】

と比較され得る。

【0059】

図５を参照すると、マッピングテーブル４０は、頭部方向１８、３０と、振幅の差（

【数32】

）と位相の差（

【数33】

）との間のリンクを作成する。マッピングテーブル４０に格納されている

【数34】

及び

【数35】

に対する特定の値は、分析球形ヘッドモデルによって、及び／又は、以前に測定された頭部伝達関数（ＨＲＴＦ）によって生成され得る。ＨＲＴＦは、音の入射の方向に応じて、聴き手３４の頭部３８及び／又は耳による信号の修正を説明する。

【数36】

ここでは、ｉ∈｛ｌ，ｒ｝であるＨ_ｉ（λ，μ）は、左耳及び右耳に対するＨＲＴＦを表し、これは、

【数37】

として大きさ成分及び位相成分に分割され得る。

【0060】

マッピングテーブル４０は、頭部の方向１８、３０と音源方向２４との間の角度φの関数として測定された及び／又は分析的に計算されたＨＲＴＦの情報を含む。

【数38】

【0061】

結果として生じる

【数39】

及び

【数40】

だけでなくＨＲＴＦも同様にマッピングテーブル４０に格納され得る。

【0062】

図５は、マッピングテーブル４０の２つの例を示す。左側は、測定されたＨＲＴＦから決定された

【数41】

（上）及び

【数42】

（下）である。右側は、分析モデルから決定された

【数43】

（上）及び

【数44】

（下）である。

【0063】

音源方向２４を決定する段階、Ｓ２００、は、最小化アプローチを含む。ここでは、バイノーラル録音のＩＬＤ及びＩＰＤに最も適合する、マッピングテーブル４０における

【数45】

及び

【数46】

が決定される。特に、最小化は、以下の形式を有する。

【数47】

ここでは、φ_ｏｒｉｇは、聴き手３４の頭部３８の方向１８と音源方向２４との間の角度２６に対応する。

【0064】

方法のさらなる段階、Ｓ３００、において、頭部方向２８の聴き手３４の頭部３８の新しい方向３０への変更が検出される。したがって、新しい頭部方向３０と音源方向２４との間の角度３２が知られている。聴き手３４の頭部３８のこの新しい方向３０は、図３の右側に示される。

【0065】

方法の最終段階、Ｓ４００、において、バイノーラル録音が、バイノーラル録音の音源方向２４及び新しい頭部方向３０を考慮して適応される。したがって、マッピングテーブル４０も参照される。バイノーラル録音は、以下のとおり修正される。

【数48】

ここでは、Ｇ_ｉ（λ，μ）は、

【数49】

に従ってバイノーラル録音Ｘ_ｉ（λ，μ）のＩＬＤ及びＩＰＤを操作する複素係数である。

【0066】

位相の修正は、

【数50】

である。ここでは、ΔＩＰＤ（λ，μ）の値は、マッピングテーブル４０を参照することによって

【数51】

と決定される。φ_ｄｅｓｔは、新しい頭部方向３０と音源方向２４との間の角度３２を表し、これは、方法の以前の段階（Ｓ３００）で決定される。

【0067】

複素係数の大きさは、バイノーラル録音のＩＬＤを修正し、

【数52】

に従って、マッピングテーブルのＨＲＴＦから直接取得される。

【0068】

修正は、Δφの値がより小さいほどより低侵襲的になり、Δφ＝０の場合、信号は全く修正されない。

【0069】

バイノーラル信号を適応した後、修正された信号Ｙ_ｉ（λ，μ）は、逆離散フーリエ変換（ＩＤＦＴ）を適用することによって時間領域に変換される。

【符号の説明】

【0070】

１０ 録音係
１２ 聴取システム
１４ 録音デバイス
１６ 頭部トラッキングデバイス
１８ 頭部の方向
２０ 録音係の頭部
２２ 音源
２４ 音源方向
２６ 頭部方向と音源方向との間の角度
２８ 頭部方向の変更
３０ 新しい頭部方向
３２ 新しい頭部方向と音源方向との間の角度
３４ 聴き手
３６ 聴取デバイス
３８ 聴き手の頭部
４０ マッピングテーブル

【図1】

【図2】

【図3】

【図4】

【図5】