IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオの特許一覧

特許7019723オーディオプロセッサ、システム、オーディオレンダリングのための方法およびコンピュータプログラム
<>
  • 特許-オーディオプロセッサ、システム、オーディオレンダリングのための方法およびコンピュータプログラム 図1
  • 特許-オーディオプロセッサ、システム、オーディオレンダリングのための方法およびコンピュータプログラム 図2
  • 特許-オーディオプロセッサ、システム、オーディオレンダリングのための方法およびコンピュータプログラム 図3
  • 特許-オーディオプロセッサ、システム、オーディオレンダリングのための方法およびコンピュータプログラム 図4
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-02-04
(45)【発行日】2022-02-15
(54)【発明の名称】オーディオプロセッサ、システム、オーディオレンダリングのための方法およびコンピュータプログラム
(51)【国際特許分類】
   H04S 7/00 20060101AFI20220207BHJP
【FI】
H04S7/00 320
【請求項の数】 17
(21)【出願番号】P 2019560398
(86)(22)【出願日】2018-03-23
(65)【公表番号】
(43)【公表日】2020-06-25
(86)【国際出願番号】 EP2018000114
(87)【国際公開番号】W WO2018202324
(87)【国際公開日】2018-11-08
【審査請求日】2020-01-07
(31)【優先権主張番号】17169333.6
(32)【優先日】2017-05-03
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】591037214
【氏名又は名称】フラウンホッファー-ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
(74)【代理人】
【識別番号】100079577
【弁理士】
【氏名又は名称】岡田 全啓
(74)【代理人】
【識別番号】100167966
【弁理士】
【氏名又は名称】扇谷 一
(72)【発明者】
【氏名】ワルサー アンドレーアス
(72)【発明者】
【氏名】ヘレ ユールゲン
(72)【発明者】
【氏名】フォーラー クリストフ
(72)【発明者】
【氏名】クラップ ユリアン
【審査官】大石 剛
(56)【参考文献】
【文献】国際公開第2013/105413(WO,A1)
【文献】特開2002-095096(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04S 7/00
(57)【特許請求の範囲】
【請求項1】
以上のスピーカ(112,114)のセット(110)のそれぞれについて、それぞれの前記スピーカ(112,114)がリスナー位置(152,172,230)および前記1以上のスピーカ(112,114)のセット(110)のスピーカ位置(154,230)に基づいてオーディオ信号(130,210)から再生するスピーカ信号(164,166)の導出を決定する、1つ以上のパラメータ(120,122)のセットを生成するように構成されるオーディオプロセッサ(100,200)であって、前記スピーカ位置(154,240)は前記スピーカ(112,114)の位置および向きを定義し、
前記オーディオプロセッサ(100,200)は、前記1台以上のスピーカ(112,114)のセット(110)のうちの前記各スピーカ(112,114)のための前記1つ以上のパラメータ(120,122)のセットの生成を、前記1以上のスピーカ(112,114)のセット(110)のうちの少なくとも1つのセットのスピーカ特性(156,250)に基づいて行うように構成され、前記スピーカ特性(156,250)は、前記1台以上のスピーカのセットのうちの前記少なくとも1つのセットの放射特性の放射角に依存する周波数応答を表し、
前記オーディオプロセッサ(100,200)は、1つ以上のパラメータ(120,122)のセットのそれぞれを、前記1以上のスピーカ(112,114)のセット(110)の各スピーカ(112,114)の各スピーカ軸に対する前記リスナー位置(152,172,230)の角度に応じて、個別に設定するように構成され、
スピーカ特性は簡略化されたモデルによって近似される、または
スピーカ特性が測定され、前記1つ以上のパラメータ(120,122)のセットはシェルビングフィルタを定義する、
オーディオプロセッサ(100,200)。
【請求項2】
前記1台以上のスピーカ(112,114)のセット(110)の各々について、前記1つ以上のパラメータ(120,122)のセットは、遅延調整、増幅調整、および/またはスペクトルフィルタ処理による前記オーディオ信号(130,210)の調整によって、再生される前記スピーカ信号の前記導出を決定する、請求項1に記載のオーディオプロセッサ(100,200)。
【請求項3】
前記オーディオプロセッサ(100,200)は、前記1台以上のスピーカ(112,114)のセット(110)ための前記1つ以上のパラメータ(120,122)のセットの前記生成を実行して、異なるスピーカ(112,114)が前記リスナー位置(152,172,230)に向けて音(160,162,220)を放射する角度が異なることによって生じる周波数応答のばらつきを補償するように周波数応答が調整されるように、前記スピーカ信号(164,166)を調整するように構成される、請求項1または2に記載のオーディオプロセッサ(100,200)。
【請求項4】
前記オーディオプロセッサ(100,200)は、レベルが調整されて、前記異なるスピーカ(112,114)とリスナー位置(152,172,230)との間の距離差によって生じるレベル差補償されるように、前記1台以上のスピーカ(112,114)のセット(110)のための前記1つ以上のパラメータ(120,122)のセットの生成を実行し、
遅延が調整されて、前記異なるスピーカ(112,114)とリスナー位置(152,172,230)との間の距離差によって生じる遅延差補償されるように、前記1台以上のスピーカ(112,114)のセット(110)のための前記1つ以上のパラメータ(120,122)のセットの生成を実行する、および/または、
ウンドミックス内の要素の再配置を適用して所望の位置で音像がレンダリングされるように、前記1台以上のスピーカ(112,114)のセット(110)のための前記1つ以上のパラメータ(120,122)のセットの生成を実行するように構成される、請求項1ないし3の1項に記載のオーディオプロセッサ(100,200)。
【請求項5】
前記オーディオプロセッサ(100,200)は、前記少なくとも1のスピーカ(112,114)の前記スピーカ信号(164,168)が、前記少なくとも1のスピーカ(110,112,114)のスピーカ位置(154,240)から前記リスナー位置(152,172,230)を指す方向への前記少なくとも1つのスピーカ(110,112,114)の放射特性(156,200)の周波数応答の、前記少なくとも1つのスピーカ(110,112,114)の既定の方向への放射特性(156,250)の周波数応答からの偏差を補償する伝達関数でスペクトル的にフィルタリングすることによって再生される前記オーディオ信号(130,210)から導出されるように前記少なくとも1のスピーカ(110,112,114)のための前記1つ以上のパラメータ(120,122)のセットが調整されるように構成される、請求項1ないし4の1項に記載のオーディオプロセッサ(100,200)。
【請求項6】
前記リスナー位置(152,172,230)はリスナーの水平位置を定義する、請求項1または5に記載のオーディオプロセッサ(100,200)。
【請求項7】
前記リスナー位置(152,172,230)は、3次元におけるリスナーの頭の位置を定義する、請求項1ないし6の1項に記載のオーディオプロセッサ(100,200)。
【請求項8】
前記リスナー位置(152,172,230)はリスナーの頭の位置および頭の向きを定義する、請求項1ないし7の1項に記載のオーディオプロセッサ(100,200)。
【請求項9】
前記リスナー位置(152,172,230)をリアルタイムで受信し、かつ遅延、レベルおよび周波数応答をリアルタイムで調整するように構成される、請求項1ないし8の1項に記載のオーディオプロセッサ(100,200)。
【請求項10】
前記オーディオプロセッサ(100,200)は多数の定義済みのリスナー位置(152,172,230)をサポートし、前記オーディオプロセッサ(100,200)は、前記多数の定義済みのリスナー位置(152,172,230)の各々について、前記1以上のスピーカ(112,114)のセット(110)のための前記1つ以上のパラメータ(120,122)の前記セットを事前計算することによって、前記1以上のスピーカ(112,114)のセット(110)のための前記1つ以上のパラメータ(120,122)のセットの前記生成を実行するように構成される、請求項1ないし9の1項に記載のオーディオプロセッサ(100,200)。
【請求項11】
前記オーディオプロセッサ(100,200)は、音響センサによって、前記リスナー位置(152,172,230)を取得するように構成されたセンサから、前記リスナー位置52172,230)を受信するように構成される、請求項1ないし10の1項に記載のオーディオプロセッサ(100,200)。
【請求項12】
2つ以上のリスナー位置のセットに基づいて前記生成を実行するように構成される、請求項1ないし11の1項に記載のオーディオプロセッサ(100,200)。
【請求項13】
前記各スピーカに対する前記リスナー位置に依存して、各スピーカについて個別に、あるいは、
前記スピーカに対する前記リスナー位置の相対位置の差に依存して、
前記生成を実行するように構成される、請求項1ないし12の1項に記載のオーディプロセッサ(100,200)。
【請求項14】
前記1以上のスピーカ(112,114)のセット(110)は、3Dスピーカ機構、レガシースピーカ機構、スピーカアレイ、サウンドバーおよび/または仮想スピーカを含む、請求項1ないし13の1項に記載のオーディオプロセッサ(100,200)。
【請求項15】
請求項1ないし14の1項に記載の前記オーディオプロセッサ(100,200)と、
前記1以上のスピーカ(112,114)のセット(110)と、
前記1以上のスピーカ(112,114)のセット(110)の各々について、前記オーディオプロセッサ(100,200)が前記各スピーカ(112,114)のために生成した1つ以上のパラメータ(120,122)のセットを使用して前記各スピーカ(112,114)がオーディオ信号(130,210)から再生するスピーカ信号(164,166)を導出するための信号変更器(140,142)と
を含む、システム。
【請求項16】
オーディオプロセッサ(100,200)を動作させるための方法であって、
以上のスピーカ(112,114)のセット(110)のそれぞれについて、リスナー位置(152,172,230)および前記1以上のスピーカ(112,114)のセット(110)のスピーカ位置(154,240)に基づいて、前記各スピーカ(112,114)が再生するスピーカ信号(164,166)のオーディオ信号(130,210)からの導出を決定する1つ以上のパラメータ(120,122)のセットが生成され、ここで前記スピーカ位置(154,240)は前記スピーカ(112,114)の位置および向きを定義し、
前記オーディオプロセッサ(100,200)は前記1以上のスピーカ(112,114)のセット(110)の各スピーカ(112,114)の1つ以上のパラメータ(120,122)の生成を、前記1以上のスピーカ(112,114)のセット(110)のうちの少なくとも1つのセットのスピーカ特性(156,250)に基づいて行い、ここで前記スピーカ特性(156,250)は、前記1台以上のスピーカのセットのうちの少なくとも1つのセットの放射特性の放射角度に依存する周波数応答を表し、
前記オーディオプロセッサ(100,200)は、前記1台以上のスピーカ(112,114)のセット(110)の前記各スピーカ(112,114)のそれぞれのスピーカ軸に対する前記リスナー位置(152,172,230)の角度に応じて、1つ以上のパラメータ(120,122)のセットのそれぞれを個別に設定し、
前記スピーカ特性は簡略化されたモデルによって近似される、または
前記スピーカ特性が測定され、前記1つ以上のパラメータのセットはシェルビングフィルタを定義する、方法。
【請求項17】
コンピュータ上で動作するとき、請求項16に記載の方法を実行するためのプログラムコードを有する、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本願発明は、オーディオプロセッサ、システム、オーディオレンダリングのための方法およびコンピュータプログラムに関する。
【背景技術】
【0002】
スピーカでのオーディオ再生における一般的な問題は、通常再生はリスナー位置の1つまたは狭い範囲内のみで最適であることである。さらに悪いことに、リスナーが位置を変えたりあるいは移動したりすると、オーディオ再生品質が大きく変化することである。誘発された空間聴覚像は、スイートスポットから離れたリスニング位置の変化に対して不安定である。ステレオ音像は、最も近いスピーカに集約される。
【0003】
この問題は、リスナーの位置をトラッキングし、最適なリスニング位置からのずれを補償するためにゲインと遅延を調整することにより[1]を含む以前の出版物により対処された。リスナーのトラッキングはクロストーク解消(XTC)とともに使用される。例えば[2]を参照されたい。XTCはリスナーのトラッキングをほとんど不可欠にするリスナーの極めて精密な位置決め(positioning)を要求する。
【0004】
以前の方法は補償プロセスの品質のためにスピーカの指向性および関連するポテンシャルを考察していない。スピーカは音を異なる方向に放射し、さまざまな位置のリスナーに到達し、さまざまな位置のリスナーにさまざまな音声認識をもたらす。通常、スピーカは異なる方向に対し異なる周波数応答を有する。このように、異なるリスナー位置は異なる周波数応答を有するスピーカにより提供される。
【0005】
従って、異なるリスニング位置でリスナーにスピーカの出力オーディオ信号の品質を最適化する目的のために、スピーカの所望しない周波数応答の補償を含む概念を得ることが望まれる。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本願発明による実施例は、1以上のスピーカのセットの各々について1つ以上のパラメータのセット(これは、例えば、1つ以上のオーディオ信号の遅延、レベルまたは周波数応答に影響を与え得るパラメータであり得る)を生成するために構成されたオーディオプロセッサに関し、これは、リスナーの位置に基づいて、それぞれのスピーカによってオーディオ信号から再生されるスピーカ信号の誘導を決定する(リスナーの位置は、例えば、1以上のスピーカのセットのような同じ部屋にいるリスナーの全身の位置、または、例えばリスナーの頭の位置のみ、または例えばリスナーの耳の位置とすることができる。リスナーの位置は、部屋の中で単独で立っている位置である必要はなく、例えば、1以上のスピーカのセットを基準とした位置、たとえば、リスナーの頭から1以上のスピーカのセットまでの距離)および1以上のスピーカのセットのスピーカ位置とすることもできる。オーディオプロセッサは、スピーカ特性に基づいて、1以上のスピーカのセットに対する1つ以上のパラメータのセットの生成の基礎となるように構成されている。スピーカ特性は、例えば、1以上のスピーカのセットの少なくとも1つの放射特性の放射角度依存周波数応答であり、これは、オーディオプロセッサが1つ以上のスピーカのセットのうちの少なくとも1つの放射特性の放射角度依存周波数応答に応じて生成を実行できることを意味する。あるいは、1以上のスピーカのセットのうち、複数のスピーカ(またはすべてのスピーカ)に対してこれを行うこともできる。
【0007】
応用の基礎となる洞察は、スピーカの周波数応答が異なる方向で変化することであり(軸上の順方向に対して)、この方向依存性によってレンダリング品質が影響を受けるが、この品質の低下は、レンダリングプロセスでスピーカの特性を考慮することで低減できる場合がある。リスナー位置に対する1以上のスピーカの周波数応答は、例えば、理想的なまたは所定のリスニング位置にあるときの1以上のスピーカの周波数応答に一致するようにイコライズすることができる。これは、オーディオプロセッサで実現できる。オーディオプロセッサは、たとえば、リスナーの位置(positioning)、スピーカの位置、およびスピーカの周波数応答などのスピーカ放射特性に関する情報を取得する。オーディオプロセッサは、この情報から1つ以上のパラメータのセットを計算できる。1つ以上のパラメータのセットを用いて、入力オーディオは、入力オーディオ信号とは別に変更できる。このオーディオ信号の変更により、リスナーは自分の位置で最適化されたオーディオ信号を受信する。この最適化された信号により、リスナーは、たとえば、自分の位置に、リスナーの理想的なリスニング位置とほぼ同じまたは完全に同じ聴覚感覚を持つことができる。理想的なリスナーの位置は、たとえば、リスナーがオーディオ信号を変更せずに最適なオーディオ知覚を体験する位置である。これは、たとえば、リスナーが、制作現場が意図する方法でオーディオシーンをこの位置で知覚できることを意味する。理想的なリスナーの位置は、再生に使用されるすべてのスピーカ(1以上のスピーカ)から等しく離れた位置に対応できる。
【0008】
それ故、本願発明によるオーディオプロセッサは、リスナーが彼/彼女の位置を異なるリスニング位置に変更するのを可能にし、各位置で、少なくともいくつかの位置で、リスナーがリスナーの理想的なリスニング位置を持つように、リスナーと同じ、または少なくとも部分的に同じリスニング感覚を持つことができる。
【0009】
要約すれば、オーディオプロセッサは、リスナーの位置、スピーカの位置および/またはスピーカの特性に基づき少なくとも1人のリスナーに対する最適化されたオーディオ再生を達成する目的で、1つ以上のオーディオ信号の遅延、レベルまたは周波数応答の少なくとも1つを調整できる。
【図面の簡単な説明】
【0010】
図面は、必ずしも縮尺通りではなく、代わりに一般的に本願発明の原理を示すことに重点が置かれている。以下の説明では、本願発明の様々な実施形態が以下の図面を参照して説明される。
図1図1は本願発明の実施例によるオーディオプロセッサの概略を示す図である。
図2図2は本願発明の他の実施例によるオーディオプロセッサの概略を示す図である。
図3図3は本願発明の他の実施例によるスピーカ特性のダイアグラムを示す図である。
図4図4は本明細書に記載される実施形態のスピーカ特性認識レンダリング概念なしでの異なるリスナー位置でのリスナーの音声知覚(audio perception)の概略を示す図である。
【発明を実施するための形態】
【0011】
図1は、本願発明の実施例によるオーディオプロセッサ100の概略を示す図である。
【0012】
オーディオプロセッサ100は、スピーカのセット110のそれぞれについて、1つ以上のパラメータのセットを生成するように構成されている。これは、例えば、オーディオプロセッサ100が、第1のスピーカ112用の1つ以上のパラメータ120の第1のセットと、第2のスピーカ114用の1つ以上のパラメータ122の第2のセットとを生成することを意味する。1つ以上のパラメータのセットは、オーディオ信号130からそれぞれのスピーカによって再生されるべきスピーカ信号(例えば、第1の調整器(modifier)140から第1のスピーカ112に転送される第1のスピーカ信号164および/または第2の調整器142から第2のスピーカ114に転送される第2のスピーカ信号166)の派生を決定する。これは、例えば、第1のスピーカ112へのオーディオ信号130が、1つ以上のパラメータ120の第1のセットに基づいて第1の調整器140によって調整され、第2のスピーカ114へのオーディオ信号130が1つ以上のパラメータ122の第2のセットに基づいて第2の調整器142によって調整されることを意味する。オーディオ信号130は、例えば、複数のチャネルを有し、すなわち、ステレオ信号またはMPEGサラウンド信号などのマルチチャネル信号であってもよい。オーディオプロセッサ100は、入力情報150に基づいて、1つ以上のパラメータ120の第1のセットおよび1つ以上のパラメータ122の第2のセットの生成を基礎とする(base)。入力情報150は、例えば、リスナー位置(positioning)152、スピーカ位置154、および/またはスピーカ放射特性156であり得る。オーディオプロセッサ100は、例えば、スピーカの位置154を知る必要があり、これは、例えばスピーカの位置および方向として定義することができる。スピーカ特性156は、例えば、異なる方向の周波数応答またはスピーカ指向性パターンであり得る。これらは、例えば、測定またはデータベースから取得したり、単純化されたモデルで近似したりできる。オプションで、部屋の効果をスピーカの特性に含めることができる(データが部屋で測定される場合、これは自動的に行われる場合である)。上記の3つの入力(リスナー位置152、スピーカ位置154、およびスピーカ特性156(スピーカ放射特性))に基づいて、入力信号(オーディオ信号130)の調整が導き出される(derive)。
【0013】
実施形態では、1つ以上のパラメータのセット(120、122)は、シェルビング(shelving)フィルタを定義する。1つ以上のパラメータのセット(120、122)をモデルに供給して、オーディオ信号130の所望の補正によりスピーカ信号(164、166)を導出することができる。調整(または訂正)のタイプは、例えば、絶対補償または相対補償であり得る。絶対補償では、スピーカ位置154とリスナー位置152との間の伝達関数は、例えば、基準伝達関数に対してスピーカごとに補償され、これは、例えば、特定の距離でのスピーカ軸(例えば、すべてのスピーカから等しく離れていると定義される軸上の方向)に関するそれぞれのスピーカからリスナー位置への伝達関数であり得る。つまり、リスナーの位置172がリスナー位置152によって、特定の許可された位置決め領域内で選択された場合、有効な伝達関数は、例えば、参照伝達関数と同じように、理想的なリスナー位置174でリスナーに対して同じまたはほぼ同じ音声知覚を呼び起こす。換言すれば、第1の調整器140および第2の調整器142は、それぞれ1つ以上のパラメータ120および122のセットにそれぞれ依存して設定されるそれぞれの伝達関数を使用して入力(inbound)オーディオ信号130をスペクトル的に(spectrally)事前整形し、後者のパラメータは、オーディオプロセッサ100によって設定され、スペクトルの事前整形(pre-shape) を調整して、その伝達関数の各スピーカの偏差をその基準伝達関数のリスナー位置172に補償する。例えば、オーディオプロセッサ100は、リスナー位置172がそれぞれのスピーカ軸に対して存在する絶対角度に依存する別々のパラメータ120および122、すなわち、第1のスピーカ112の絶対角度161aに依存するパラメータ120 および第2のスピーカ114の絶対角度161bに依存する1つ以上のパラメータの第2 のセット122の設定を実行し得る。設定は、それぞれの絶対角度を使用して、または分析的にテーブル検索によって実行できる。相対的な補償では、例えば、現在のリスナー位置172に対する異なるスピーカの伝達関数の差、または異なるスピーカとリスナーの左右の耳との間の伝達関数の差が補償される。例えば、図1は、第1のスピーカ112のオーディオ出力160と第2のスピーカ114のオーディオ出力162が、位置174などのスピーカ112および114の間で対称的なリスナー位置で伝達関数の差がない場合のスピーカ112および114の対称配置(symmetric positioning)を示す。すなわち、これらの位置では、スピーカ112から各位置への伝達関数は、スピーカ114から各位置への伝達関数に等しい。しかしながら、対称軸からずれて位置するリスナー位置172については、伝達関数の違いが現れる。相対補償では、例えば、スピーカのセット110の1のスピーカ(たとえば、第1のスピーカ112または第2のスピーカ114のいずれか)の調整器は、他のスピーカのリスナー位置172への伝達関数に関する1のスピーカのリスナー位置172に対する伝達関数の差を補償する。従って、相対補償によれば、オーディオプロセッサ100は、少なくとも1のスピーカについて、オーディオ信号がスペクトルへの事前整形された方法でパラメータ120/122のセットを設定し、それにより、リスナー位置172への効果的な伝達関数は、他のスピーカの伝達関数により近くなる。設定は、例えば、リスナー位置172がスピーカ112および114に対して存在する絶対角度間の差を使用して行われ得る。この差は、パラメータのセット120および/または122のテーブル検索に、またはセット120/122を分析的に計算するためのパラメータとして使用され得る。従って、第1のスピーカ112のオーディオ出力160は、例えば、リスナー170は、リスナー位置172で、前述の対称軸に沿った対応する位置( 例えば、理想的なリスナー位置)と同じまたはほぼ同じ音声知覚を知覚するように、第2のスピーカ114の音声出力162に対して調整される。当然のことながら、相対的な補償は対称的なスピーカ配置に拘束されない。
【0014】
従って、オーディオプロセッサ100による1つ以上のパラメータのセットの生成は、オーディオ信号130が、第1のスピーカ112のオーディオ出力160および第2のスピーカ114のオーディオ出力162がリスナー170にリスナー位置172で完全に(少なくとも部分的に)リスナー170が理想的なリスナー位置174にいるのと同様の音知覚を与えるように第1の調整器140および第2の調整器142により調整されるという効果を有する。この実施形態によれば、リスナー170は、理想的なリスナー位置174での知覚に似せるためにリスナー170の音像を生成するために理想的なリスナー位置174にいる必要はない。従って、例えば、リスナー170の聴覚は、リスナー位置172の変化によって変化しないか、ほとんど変化せず、電気信号、例えば、第1のスピーカ信号164および/または第2のスピーカ信号166のみが変化する。各リスナー位置172でリスナーによって知覚される音像は、オーディオ信号130の生成者によって意図される元の音像に類似している。従って、本願発明は、異なるリスナー位置172でのスピーカのセット110の出力オーディオ信号のリスナー170の知覚を最適化する。これは、リスナー170がスピーカのセット110と同じ部屋で異なる位置を引き継ぐことができ、出力オーディオ信号のほぼ同じ品質を知覚できるという結果をもたらす。
【0015】
スピーカのセット110の各スピーカの実施形態では、1つ以上のパラメータのセットは、入力オーディオ信号130からのスピーカ信号の派生を決定する。例えば、再生される第1のスピーカ信号164および/または第2のスピーカ信号166は、遅延調整、振幅調整および/またはスペクトルフィルタリングによりオーディオ信号130を調整することにより導出される。オーディオ信号130の調整は、例えば、第1の調整器140および/または第2の調整器142によって達成することができる。例えば、スピーカのセット110のオーディオ信号130の調整を行うのは1つの調整器のみ、または調整を行うのは2つ以上の調整器である可能性がある。複数の調整器が存在する場合、調整器は、たとえば、相互にデータを交換したり、1つの調整器がベースになり、他の調整器(少なくとも1つの他の調整器)がベース(base)の調整(たとえば、減算、加算、乗算、除算などによる)に関連した調整を実行する。第1の調整器140は、必ずしも第2の調整器142と同じ調整を使用する必要はない。異なるリスナー位置152、スピーカ位置154、および/またはスピーカの放射特性156については、オーディオ信号130の調整が異なり得る。
【0016】
さらに以下に記述されるように、リスナー位置172の方向へのスピーカの周波数応答はレンダリングプロセスのために考慮される。リスナー位置172に向かうスピーカの周波数応答は、例えば、理想的なリスニング位置174にあるときのスピーカの周波数応答と一致するようにイコライズされる。前方を向くトランスデューサを備えた従来のスピーカの場合、このイコライズは、第1のスピーカ112および/または第2のスピーカ114の軸上(前方0度)応答に関連するであろう。他のシステム(たとえば、TVセットに組込まれた、横向きのスピーカ)の場合、このイコライズは、理想的なリスニング位置174での測定としての周波数応答に関連する。この周波数応答のイコライズは、たとえば、スペクトルフィルタリングによって達成できる。
【0017】
完全を期すために、スイートスポット(たとえば、理想的なリスナー位置174)での周波数特性は、スピーカのセット110のスピーカ(第1のスピーカ112および第2のスピーカ114)の工場出荷時のデフォルト特性である必要はないが、すでにイコライズされたバージョン(たとえば、現在の再生ルームの特定のイコライゼーション)にすることができる。すなわち、スピーカ112および114は、例えば、内蔵のイコライザを有していてもよい。
【0018】
スピーカの周波数応答を部分的にのみ修正することが望ましい場合がある。リスナー位置172への周波数応答が軸上より6dB低い場合、6dB全体ではなく、その一部のみ、たとえば3dBを補正することを決定できる(以下では部分補正を示す)。第1の調整器140および/または第2の調整器142による調整は、オーディオプロセッサ100によって生成される1つ以上のパラメータのセットに基づく。第1の調整器は、オーディオプロセッサ100の1つ以上のパラメータ120の第1のセットを取得し、第2の調整器142は、1つ以上のパラメータ122の第2のセットを取得する。1つ以上のパラメータ120の第1のセットおよび/または1つ以上のパラメータ122の第2のセットは、例えば、遅延調整、振幅調整および/またはスペクトルフィルタリングによりオーディオ信号130を調整する方法を定義する。オーディオプロセッサによる1つ以上のパラメータのセットの計算は、例えば、リスナー位置152、スピーカ位置154、スピーカ放射特性156であり得る入力情報150に基づいており、さらに、スピーカのセット110が設置されている室内音響であってもかまわない。
【0019】
このように、第1の調整器140および/または第2の調整器142は、第1のスピーカ112および第2のスピーカ114による出力オーディオ信号が入力情報150に基づいて最適化されるようにオーディオ信号130を調整できる。
【0020】
オーディオプロセッサ100は、例えば、異なるスピーカがリスニング位置172に向かって音を放射する異なる角度による周波数応答変動を補償するように、スピーカのセット110の周波数応答が調整されるように入力信号を調整するように、スピーカのセット110に対する一組以上のパラメータのセットの生成を実行するように構成される。リスナー位置172に向かう角度でのスピーカの周波数応答に加えて、音がリスナー170に到達する周波数応答も部屋の音響に依存する。2つの解決策(solution)はこの付加的な複雑さに対処できる。リスナーでの周波数応答は部分的にスピーカのみ決定されるため、第1の解決策は、たとえば、前述の部分的な修正(correction)であり得る。従って、部分的な修正は理にかなっている。第2の解決策は、例えば、スピーカ周波数応答(スピーカ放射特性156)だけでなく部屋の応答も考慮する第1の調整器140および/または第2の調整器142による修正であり得る。オーディオプロセッサ100はまた、例えば、異なるスピーカとリスナー位置172との間の距離差によるレベル差を補償するためにレベルが調整されるように、スピーカのセット110に対する1つ以上のパラメータのセットの生成を実行するように構成できる。オーディオプロセッサ100はまた、例えば、異なるスピーカとリスナー位置172との間の距離差による遅延差を補償するために遅延が調整されるように、スピーカのセットに対する1つ以上のパラメータのセットの生成を実行するように、および/または、サウンドミックス内の要素の再配置が適用され、希望する位置(positioning)にサウンドイメージがレンダリングされるように、スピーカのセットに対して1つ以上のセットの生成を実行するように、構成される。音像のレンダリングは、最先端のオブジェクトベースのオーディオ表現で簡単に実現できる(レガシー(チャネルベース)表現の場合、信号分解法を適用する必要がある)。従って、本願発明では、各位置でリスナー170の聴取感覚を最適化することができるだけでなく、例えば、個々の楽器が異なる方向から知覚されるように音像を再配置することもできる。
【0021】
実施例では、オーディオプロセッサ100は、例えば、少なくとも1のスピーカのスピーカ信号(例えば、第1のスピーカ信号164および/または第2のスピーカ信号166)が、少なくとも1のスピーカの所定の方向への放射特性(スピーカ放射特性156) の周波数応答から少なくとも1のスピーカのスピーカ位置からリスナー位置172までを示す方向への少なくとも1のスピーカの放射特性(スピーカ放射特性156)の周波数応答の偏差を補償する伝達関数を用いたスペクトルフィルタリングにより再生されるべきオーディオ信号130から導出されるように、少なくとも1のスピーカ(例えば、第1のスピーカ112および/または第2のスピーカ114)の一つ以上のパラメータのセットが調整されるように構成され得る。従って、オーディオプロセッサ100は、スピーカ放射特性156の入力情報150を使用して、1つ以上のパラメータ120の第1のセットおよび/または1つ以上のパラメータ122の第2のセットを生成する。これは、例えば、リスナー位置152およびスピーカ位置154は、スピーカ放射特性156が、例えば、高周波数が理想的なリスニング位置174よりも低いレベルを有する周波数応答を示すようなものであることを意味し得る。この場合、オーディオプロセッサは、この入力情報150から、1つ以上のパラメータの第1のセット120および1つ以上のパラメータの第2のセット122を生成することができ、例えば、第1の調整器140および/または第2の調整器142は、周波数応答の偏差を補償する伝達関数でオーディオ信号130を調整することができる。従って、伝達関数は、例えば高周波のレベルが最適なリスナー位置172での高周波のレベルに調整されるレベル調整により定義される。従って、リスナー170は、最適化された出力オーディオ信号を受信する。スピーカ特性(スピーカの放射特性156)は、例えば、異なる方向の周波数応答またはスピーカの指向性パターンであり得る。これらは、モデルによって提供または概算され、測定され、ハードウェア、クラウドまたはネットワークによって提供されるデータベースから取得されるか、分析的に計算される。スピーカ放射特性156のような入力情報150は、結線(connection)または無線を介してオーディオプロセッサに転送することができる。オプションで、部屋の効果をスピーカの特性に含めることができる( データが部屋で測定される場合、これは自動的に行われる)。例えば、正確なスピーカ放射特性156を持つ必要はなく、代わりにパラメータ化された近似でも十分である。
【0022】
オーディオプロセッサ100はリスナーの位置(リスナー位置152)を知る必要がある。
【0023】
実施例において、リスナー位置152はリスナーの水平位置を定義する。これは、例えば、リスナー170がオーディオ出力をリスニングしている間、横臥していることを意味する。リスナー170が垂直位置ではなく水平位置にある場合、またはリスナー170がリスニング位置172を垂直方向ではなく水平方向に変更する場合、オーディオ出力は、例えば、第1の調整器140および/または第2の調整器142によって異なるように調整されなければならない。例えば、リスナー170がスピーカのセット110を有する部屋の一方の側から他の側に移動する場合、水平位置172は変化する。また、例えば、部屋に複数のリスナー170が存在する可能性もある。従って、例えば、部屋に2人のリスナー170がいる場合、彼らは異なる水平位置にいるが、必ずしも異なる垂直位置を有するわけではない(例えば、両方のリスナー170がほぼ同じ身長であるとき)。従って、リスナー位置152がリスナーの水平位置を定義する場合、リスナー位置152は、例えば簡略化され、リスナー170の音像を最適化するための第1のスピーカ信号164および/または第2のスピーカ信号166は、例えば、第1の調整器140および/または第2の調整器142により非常に高速に計算できる。
【0024】
他の実施例において、リスナー位置172(リスナー位置152)は、3次元におけるリスナー170の頭の位置を定義する。リスナー位置決め152のこの定義によりリスナー170の位置172は精密に定義される。オーディオプロセッサは例えば最適なオーディオ出力の送信先を常に認識している。リスナー170は、例えば、水平および垂直方向に同時に彼のリスナー位置172を変更できる。従って、例えば、リスナーの位置が3次元で定義されている場合、水平位置だけでなく垂直位置も追跡される。例えば、リスナー170が直立位から座位あるいは臥位に変更したとき、リスナー170の垂直位置の変化が生じ得る。異なるリスナー170の垂直位置は彼らの身長にも依存し得て、例えば、子供は成人よりもはるかに低い身長を有する。従って、3次元リスナー位置172により、リスナー170のためにスピーカ112および114によって生成される音像が最適化される。
【0025】
リスナー位置172は、例えば、リアルタイムで追跡することもできる。実施形態では、オーディオプロセッサは、例えば、リスナー位置172をリアルタイムで受信し、遅延、レベルおよび周波数応答をリアルタイムで調整するように構成することができる。この実施形態では、リスナーは部屋の中で静止している必要はなく、代わりに、リスナー170が理想的なリスニング位置174にいるかのように、各位置を歩き回って最適化されたオーディオ出力を聞くこともできる。
【0026】
本願発明による別の実施形態では、オーディオプロセッサ100は、複数の所定の位置(リスナー位置152)をサポートし、オーディオプロセッサ100は、複数の所定の位置(リスナー位置152)のそれぞれについて、スピーカのセット110に対する一つ以上のパラメータのセットを事前に計算することによって、スピーカのセット110に対する一つ以上のパラメータのセットの生成を実行するように構成される。従って、例えば、複数の異なるリスナー位置172を予め定義することができ、リスナー170が現在どこにいるかに応じて、リスナーはそれらの中から選択することができる。リスナー位置172(リスナー位置152)は、パラメータまたは測定値として一度だけ読取ることもできる。事前定義された位置は、スイートスポット(最適/理想リスナー位置174)に配置されていない静止したリスナーについてのパフォーマンスを向上させる。
【0027】
本願発明による別の実施形態では、リスナー位置152は、補償が行われる2人以上のリスナー170の位置データを含むか定義するか、複数のリスナー位置172を定義する。そのような場合、オーディオプロセッサは、例えば、そのようなすべてのリスナー位置172の(ベストエフォートな)平均再生を計算する。これは、例えば、複数の聴取者170がスピーカのセット110がある部屋にいる場合、またはリスナー170がリスナー位置172が広がっている領域内を動く機会がある場合である。従って、オーディオ信号130の調整は、いくつかの位置172またはそのような位置が広がる領域でほぼ最適な聴覚体験を達成する目的で行われるであろう。これは、例えば、異なるリスナー位置172にわたって上記の伝達関数の差を平均化するいくつかの平均コスト関数に従ってセット120/122を最適化することにより達成される。
【0028】
別の実施形態では、オーディオプロセッサ100は、カメラ(例えば、ビデオ)、ジャイロメータ、加速度計、音響センサなど、および/または上記の組合わせによってリスナー位置152(オプションで方向)を取得するように構成されたセンサから入力情報150(例えば、リスナー位置152)を受信するように構成される。この実装されたセンサにより、リスナー170のオーディオシステムの使用が簡素化される。リスナー170は、リスナーが理想的なリスニング位置174にいる場合と少なくとも部分的に同じ品質でリスナー位置172で聞くためにオーディオシステムの設定を調整する必要はない。オーディオプロセッサ100は、例えば、常に(または少なくともいくつかの時点で)センサから必要な入力情報150を取得し、従って、入力情報150に基づいて1つ以上のパラメータのセットを生成することができる。
【0029】
実施例において、オーディオプロセッサ100により生成された1つ以上のパラメータのセットは、シェルビングフィルタを定義する。シェルビングフィルタの使用(またはピークEQ(イコライザ)の数の削減)は、必要な正確なイコライズを概算するためのシステムの複雑度の低い実装である。非整数遅延を使用することもできる。シェルビングフィルタおよび/または非整数遅延フィルタは、例えば、第1の調整器140および/または第2の調整器142で実装することができる。
【0030】
別の実施形態は、オーディオプロセッサ100、スピーカのセット110、およびスピーカの各セット110について(例えば、第1のスピーカ112および/または第2のスピーカ114について)、オーディオプロセッサ100によってそれぞれのスピーカに対して生成される1つ以上のパラメータ(例えば1つ以上のパラメータ120の第1のセットおよび/または1つ以上のパラメータ122の第2のセット)のセットを使用してオーディオ信号130から各スピーカによって再生されるべきスピーカ信号(例えば第1のスピーカ信号164および/または第2のスピーカ信号166)を導出するための信号調整器(例えば、第1の調整器140および/または第2の調整器142)を含むシステムである。システム全体が連携して、リスナー170のリスニング知覚を最適化する。
【0031】
他の実施例において、スピーカのセット110は、3Dスピーカ設定、レガシースピーカ設定(水平のみ)、サラウンドスピーカ設定、特定のデバイスまたはエンクロージャ(例えばラップトップ、コンピュータモニタ、ドッキングステーション、スマートスピーカ、TV、プロジェクタ、ブームボックス等)に組込まれたスピーカ、スピーカアレイ、および/またはサウンドバーとして知られる特定のスピーカレイを含む。また、例えば、仮想スピーカを使用することも可能である(例えば、仮想スピーカの位置を生成するために反射が使用される場合)。
【0032】
さらに、スピーカのセット110内の個々のスピーカ、第1のスピーカ112および第2のスピーカ114は、スピーカアレイまたはマルチウェイスピーカのような代替設計を代表するものである。図1において、第1のスピーカ112および第2のスピーカ114はスピーカのセット110の例として示されるが、スピーカのセット110に1のスピーカのみが存在すること、または、3、4、5、6、10、20、またはそれ以上の2以上のスピーカがスピーカのセット110に存在する可能性もある。従って、オーディオプロセッサ100を備えたオーディオシステムは、異なるスピーカ設定と互換性がある。オーディオプロセッサ100は、異なる入力(incoming)情報150に対する1つ以上のパラメータのセットを生成するために柔軟性がある。
【0033】
別の実施形態では、スピーカのセット110に対する1つ以上のパラメータのセットは、所定の放射方向に対するスピーカのセット110の各々の放射特性(スピーカ放射特性156)の周波数応答に基づいて、スピーカのセット110の1つ以上のパラメータのセットの予備状態を導出するように計算でき、かつ少なくとも1のスピーカ(例えば、第1のスピーカ112および/または第2のスピーカ114)に対する1つ以上のパラメータのセットは、少なくとも1のスピーカ(例えば、第1のスピーカ112および/または第2のスピーカ114)のスピーカ信号(例えば、第1のスピーカ信号164および/または第2のスピーカ信号166)はさらに予備状態により生じる調整に加え、少なくとも1のスピーカの所定の放射方向への放射特性の周波数応答から少なくとも1のスピーカのスピーカ位置154からリスナー位置152までを示す方向への少なくとも1のスピーカ(例えば第1のスピーカ112および/または第2のスピーカ114)の放射特性(スピーカ放射特性156)の周波数応答の偏差を補償する伝達関数によるスペクトル的フィルタリングにより再生されるべきオーディオ信号130から導出されるように調整できる。
【0034】
図2は本願発明の実施例によるオーディオプロセッサ200の概要を示す図である。
【0035】
図2は提案されたオーディオ処理の基本的な実装を示す。オーディオプロセッサ200はオーディオ入力210を受信する。オーディオ入力210は例えば1つ以上のオーディオチャンネルであり得る。オーディオプロセッサ200はオーディオ入力を処理してオーディオ出力220としてオーディオ入力を出力する。オーディオプロセッサ200の処理はリスナー位置(positioning)230およびスピーカ特性(例えばスピーカ位置240およびスピーカ放射特性250)により決定される。この実施例によれば、オーディオプロセッサ200は入力情報としてリスナー位置230、スピーカ位置240およびスピーカ放射特性250を受信しかつこの情報に基づいてオーディオ入力210の処理を行い、オーディオ出力220を取得する。処理において、例えば、オーディオプロセッサ200は、1つ以上のパラメータのセットを生成し、この1つ以上のパラメータのセットでオーディオ入力210を修正して、新しい最適化されたオーディオ出力220を生成する。
【0036】
従って、オーディオプロセッサ200は、リスナーの位置230、スピーカの位置240およびスピーカの放射特性250に基づいてオーディオ入力210を最適化する。
【0037】
図3はスピーカの周波数応答の略図を示す。図3は、横軸に周波数をkHzで、縦軸にゲインをdBで示す。図3は(軸上前方方向に対して)異なる方向におけるスピーカの周波数応答の例を示す。方向が軸上から逸脱するほど、より高い周波数が減衰する。周波数応答は、さまざまな角度で表示される。
【0038】
図4は、提案された処理なしでは、オーディオ再生の品質が、リスナーの位置の変化、たとえばリスナーが動いている場合に大きく変化することを示している。引き起こされた(evoked)空間聴覚像は、スイートスポットから離れたリスニング位置の変化に対して不安定である。ステレオ音像は、最も近いスピーカに集約される。図4は、標準の2チャンネルステレオ再生装置を使用して再生される単一の疑似音源(灰色の円盤)の例を使用して、この集約を例示する。リスナーが右に移動すると、空間像が集約され、音が主に/右のスピーカからのみ来るように知覚される。これは望ましくない。(本明細書に記載された)本願発明を用いて、リスナーの位置を追跡することができ、従って、例えば、ゲインおよび遅延を調整して、最適なリスニング位置からの偏差を補償することができる。従って、本願発明は明らかに従来の解決策よりも優れていることがわかる。
【0039】
いくつかの態様を装置の文脈で説明したが、これらの態様は対応する方法の説明も表し、ブロックまたはデバイスが方法ステップまたは方法ステップの特徴に対応することは明らかである。同様に、方法ステップの文脈で説明される態様は、対応するブロックまたはアイテムまたは対応する装置の特徴の説明も表す。方法のステップの一部またはすべては、たとえば、マイクロプロセッサ、プログラム可能なコンピュータ、または電子回路などのハードウェア装置によって(または使用して)実行されてもよい。いくつかの実施形態では、最も重要な方法ステップのうちの1つ以上をそのような装置によって実行することができる。
【0040】
特定の実装要件に応じて、本願発明の実施形態は、ハードウェアまたはソフトウェアで実装することができる。実装は、そこに格納され、それぞれの方法が実行されるように、プログラム可能なコンピューターシステムと協力する(または協力することができる)電子的に読み取り可能な制御信号を持つ、例えばフロッピー(登録商標)ディスク、DVD、Blu-Ray(登録商標)、CD、ROM、PROM、EPROM、EEPROM、またはフラッシュメモリなどのデジタル記憶媒体を使用して実行できる。従って、デジタル記憶媒体はコンピュータ読取り可能であり得る。
【0041】
本願発明によるいくつかの実施形態は、本明細書に記載の方法の1つが実行されるように、プログラム可能なコンピュータシステムと協働することができる電子的に読取り可能な制御信号を有するデータキャリアを含む。
【0042】
一般に、本願発明の実施例は、プログラムコードを有するコンピュータプログラム製品として実装でき、プログラムコードはコンピュータプログラム製品がコンピュータ上で実行されるとき、方法の1つを実行するために実行できる。プログラムコードは例えば機械読取り可能な担体上に記憶してもよい。
【0043】
他の実施例は、機械読取り可能な担体上に記憶された、本明細書に記載の方法の1つを実行するためのコンピュータプログラムを含む。
【0044】
換言すれば、本願発明の方法の実施例は、従って、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書で記載された方法の1つを実行するためのプログラムコードを有するコンピュータプログラムである。
【0045】
本願発明の方法のさらなる実施例は、従って、本明細書で記載された方法の1つを実行するためのコンピュータプログラムを含みそこに記録されたデータ担体(またはデジタル記憶媒体またはコンピュータ可読媒体)である。データ担体、デジタル記憶媒体または記録された媒体は一般的には有形でありおよび/または非遷移的である。
【0046】
本願発明の方法のさらなる実施例は、従って、本明細書に記載された方法の1つを実行するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えばデータ通信接続、例えばインターネットを介して送信されるように構成される。
【0047】
さらなる実施例は、本明細書に記載の方法の1つを実行するように構成あるいは適合された処理手段、例えばコンピュータ、プログラム可能な論理デバイスを含む。
【0048】
さらなる実施例は本明細書に記載された方法の1つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
【0049】
本願発明によるさらなる実施例は、本明細書に記載された方法の1つを実行するためのコンピュータプログラムをレシーバに送信(例えば電気的にあるいは光学的に)するように構成された装置またはシステムを含む。レシーバは、例えば、コンピュータ、モバイル装置、メモリ装置等であり得る。装置またはシステムは、例えば、コンピュータプログラムをレシーバに向けて送信するためのファイルサーバを含む。
【0050】
いくつかの実施例において、プログラマブル論理装置(例えば、フィールドプログラマブルゲートアレイ)は、本明細書に記載の方法の機能のいくつかまたは全てを実行するために使用し得る。いくつかの実施例では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法の1つを実行するためにマイクロプロセッサと協働してもよい。一般に、方法はハードウェア装置により好ましくは実行される。
【0051】
本明細書に記載された装置は、ハードウェア装置を使用して、または、コンピュータを使用して、または、ハードウェア装置及びコンピュータの組合せを使用して実装してもよい。
【0052】
本明細書に記載された装置あるいは本明細書に記載された装置の任意の部品は、ハードウェアおよび/またはソフトウェアにより少なくとも部分的に実装実行できる。
【0053】
本明細書に記載の方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して実行してもよい。
【0054】
本明細書に記載の方法、または本明細書に記載の装置の任意の部品はハードウェアによりまたはソフトウェアにより少なくとも部分的に実行してもよい。
【0055】
上述の実施例は単に本願発明の原理を説明するにすぎない。本明細書に記載の配置および詳細の修正および変更は、他の当業者には明らかであることを理解されたい。従って、本明細書の説明および実施形態の説明として提示される特定の詳細によってではなく、差し迫った特許請求の範囲によってのみ制限されることが意図される。
【参考文献】
【0056】
[1] "Adaptively Adjusting the Stereophonic Sweet Spot to the Listener's Position", Sebastian Merchel and Stephan Groth, J. Audio Eng. Soc., Vol. 58, No. 10, October 2010

[2] https://www.princeton.edu/3D3A/PureStereo/Pure_Stereo.html
図1
図2
図3
図4