▶ フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ．の特許一覧
特許7350056音響障害物を考慮に入れラウドスピーカー信号を提供するオーディオプロセッサおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-14
(45)【発行日】2023-09-25
(54)【発明の名称】音響障害物を考慮に入れラウドスピーカー信号を提供するオーディオプロセッサおよび方法
(51)【国際特許分類】
H04S 7/00 20060101AFI20230915BHJP
H04R 3/00 20060101ALI20230915BHJP
【ＦＩ】
H04S7/00 330
H04R3/00 310
【請求項の数】
36
(21)【出願番号】P 2021507059
(86)(22)【出願日】2019-08-08
(65)【公表番号】
(43)【公表日】2021-12-09
(86)【国際出願番号】 EP2019071382
(87)【国際公開番号】W WO2020030769
(87)【国際公開日】2020-02-13
【審査請求日】2021-04-08
(31)【優先権主張番号】18188368.7
(32)【優先日】2018-08-09
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】PCT/EP2019/053470
(32)【優先日】2019-02-12
(33)【優先権主張国・地域又は機関】EP
【前置審査】
(73)【特許権者】
【識別番号】500242786
【氏名又は名称】フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ．
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】アンドレアス・ヴァルター
(72)【発明者】
【氏名】ユルゲン・ヘレ
(72)【発明者】
【氏名】ユリアン・クラップ
(72)【発明者】
【氏名】クリストフ・ファーラー
(72)【発明者】
【氏名】マルクス・シュミット
【審査官】堀 洋介
(56)【参考文献】
【文献】米国特許出願公開第２０１５／０２６４５０４（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１７／０１８８１７０（ＵＳ，Ａ１）
【文献】特開２００６－１８００３９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｓ １／００－ ７／００
Ｈ０４Ｒ ３／００－ ３／１４
(57)【特許請求の範囲】
【請求項1】
複数の入力信号に基づいて複数のラウドスピーカー信号を提供するためのオーディオプロセッサであって、前記オーディオプロセッサが、リスナーの位置についての情報を取得するように構成され、
前記オーディオプロセッサが、複数のラウドスピーカーの位置についての情報を取得するように構成され、
前記オーディオ信号プロセッサが、前記リスナーの前記位置についての前記情報に応じて、前記ラウドスピーカーの位置についての前記情報に応じて、かつ1つまたは複数の音響障害物についての情報を考慮に入れて、前記入力信号から導出されたオブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号のレンダリングのための1つまたは複数のラウドスピーカーを選択するように構成され、
前記オーディオ信号プロセッサが、前記リスナーが移動するかまたは向きを変えるとレンダリング済みのサウンドが前記リスナーに追従するような前記ラウドスピーカー信号を取得するために、前記リスナーの前記位置についての前記情報に応じて、かつ前記ラウドスピーカーの位置についての前記情報に応じて、前記入力信号から導出された前記オブジェクトおよび/または前記チャネルオブジェクトおよび/または前記適合済みの信号をレンダリングするように構成され、
前記オーディオ信号プロセッサが、前記リスナーと前記ラウドスピーカーとの間の前記音響障害物の音響減衰係数または音響透過係数によって前記リスナーと前記ラウドスピーカーとの間の距離を修正することによって、実効距離を計算するように構成される、
オーディオプロセッサ。
【請求項2】
複数の入力信号に基づいて複数のラウドスピーカー信号を提供するためのオーディオプロセッサであって、前記オーディオプロセッサが、リスナーの位置についての情報を取得するように構成され、
前記オーディオプロセッサが、複数のラウドスピーカーの位置についての情報を取得するように構成され、
前記オーディオ信号プロセッサが、前記リスナーの前記位置についての前記情報に応じて、前記ラウドスピーカーの位置についての前記情報に応じて、かつ1つまたは複数の音響障害物についての情報を考慮に入れて、前記入力信号から導出されたオブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号のレンダリングのための1つまたは複数のラウドスピーカーを選択するように構成され、
前記オーディオ信号プロセッサが、前記リスナーが移動するかまたは向きを変えるとレンダリング済みのサウンドが前記リスナーに追従するような前記ラウドスピーカー信号を取得するために、前記リスナーの前記位置についての前記情報に応じて、かつ前記ラウドスピーカーの位置についての前記情報に応じて、前記入力信号から導出された前記オブジェクトおよび/または前記チャネルオブジェクトおよび/または前記適合済みの信号をレンダリングするように構成され、
前記オーディオ信号プロセッサが、前記音響障害物の特性に起因する前記ラウドスピーカーと前記リスナーとの間での前記サウンドの減衰または前記ラウドスピーカーと前記リスナーとの間での音響経路の伸長を考慮に入れるように構成される、
オーディオプロセッサ。
【請求項3】
前記ラウドスピーカーの周囲の環境の中の音響障害物の位置および/または音響特性についての情報を取得するように構成される、請求項1または2に記載のオーディオプロセッサ。
【請求項4】
前記オーディオプロセッサが、前記リスナーの向きについての情報を取得するように構成され、前記オーディオ信号プロセッサが、前記リスナーの前記向きについての前記情報に応じて、前記入力信号から導出された前記オブジェクトおよび/または前記チャネルオブジェクトおよび/または前記適合済みの信号をプレイバックするためのラウドスピーカーを動的に割り振るように構成され、
前記オーディオ信号プロセッサが、前記レンダリング済みのサウンドが前記リスナーの前記向きに追従するような前記ラウドスピーカー信号を取得するために、前記リスナーの前記向きについての前記情報に応じて、前記入力信号から導出された前記オブジェクトおよび/または前記チャネルオブジェクトおよび/または前記適合済みの信号をレンダリングするように構成される、
請求項1から3のいずれか一項に記載のオーディオプロセッサ。
【請求項5】
前記オーディオプロセッサが、前記ラウドスピーカーの向きおよび/もしくは特性ならびに/または仕様についての情報を取得するように構成され、前記オーディオ信号プロセッサが、前記ラウドスピーカーの前記向きおよび/もしくは前記特性ならびに/または前記仕様についての前記情報に応じて、前記入力信号から導出された前記オブジェクトおよび/または前記チャネルオブジェクトおよび/または前記適合済みの信号を再生するための前記ラウドスピーカーを動的に割り振るように構成され、
前記オーディオ信号プロセッサが、前記リスナーが移動するかまたは向きを変えると前記レンダリング済みのサウンドが前記リスナーおよび/または前記リスナーの前記向きに追従するような前記ラウドスピーカー信号を取得するために、前記ラウドスピーカーの前記向きおよび/もしくは前記特性ならびに/または前記仕様についての前記情報に応じて、前記入力信号から導出された前記オブジェクトおよび/または前記チャネルオブジェクトおよび/または前記適合済みの信号をレンダリングするように構成される、
請求項1から4のいずれか一項に記載のオーディオプロセッサ。
【請求項6】
前記オーディオ信号プロセッサが、前記入力信号から導出された前記オブジェクト、前記チャネルオブジェクト、または前記適合済みの信号をプレイバックするためのラウドスピーカーの割振りを、入力信号の前記オブジェクトおよび/または前記チャネルオブジェクトおよび/または前記適合済みの信号が、チャネルベース入力信号のチャネル構成に対応する第1のラウドスピーカーセットアップに割り振られる、第1の状況から、
前記入力信号の前記オブジェクトおよび/または前記チャネルオブジェクトおよび/または前記適合済みの信号が、前記第1のラウドスピーカーセットアップの前記ラウドスピーカーのサブセット、および少なくとも1つの追加のラウドスピーカーに割り振られる、第2の状況に、動的に変更するように構成される、
請求項1から5のいずれか一項に記載のオーディオプロセッサ。
【請求項7】
前記オーディオ信号プロセッサが、前記入力信号から導出された前記オブジェクトおよび/または前記チャネルオブジェクトおよび/または前記適合済みの信号をプレイバックするためのラウドスピーカーの割振りを、前記入力信号の前記オブジェクトおよび/または前記チャネルオブジェクトおよび/または前記適合済みの信号が、第1のラウドスピーカーレイアウトを伴うチャネルベース入力信号のチャネル構成に対応する第1のラウドスピーカーセットアップに割り振られる、第1の状況から、
前記入力信号の前記オブジェクトおよび/または前記チャネルオブジェクトおよび/または前記適合済みの信号が、第2のラウドスピーカーレイアウトを伴う前記チャネルベース入力信号の前記チャネル構成に対応する第2のラウドスピーカーセットアップに割り振られる、第2の状況に、動的に変更するように構成され、
前記第1のラウドスピーカーセットアップおよび前記第2のラウドスピーカーセットアップが、1つまたは複数の音響障害物によって分離される、
請求項1から6のいずれか一項に記載のオーディオプロセッサ。
【請求項8】
前記オーディオ信号プロセッサが、前記入力信号から導出された前記オブジェクトおよび/または前記チャネルオブジェクトおよび/または前記適合済みの信号をプレイバックするための、第1のラウドスピーカーセットアップのラウドスピーカーを、第1のラウドスピーカーレイアウトと一致する第1の割振り方式に従って、動的に割り振るように構成され、前記オーディオプロセッサが、前記入力信号から導出された前記オブジェクトおよび/または前記チャネルオブジェクトおよび/または前記適合済みの信号をプレイバックするための、第2のラウドスピーカーセットアップのラウドスピーカーを、前記第1のラウドスピーカーレイアウトとは異なる第2のラウドスピーカーレイアウトと一致する第2の割振り方式に従って、動的に割り振るように構成され、
前記第1のラウドスピーカーセットアップおよび前記第2のラウドスピーカーセットアップが、1つまたは複数の音響障害物によって分離される、
請求項1から7のいずれか一項に記載のオーディオプロセッサ。
【請求項9】
ラウドスピーカーセットアップが、前記入力信号のチャネル構成に対応し、前記オーディオプロセッサが、前記ラウドスピーカーセットアップに関連付けられたデフォルトのリスナーの位置および/または向きからの前記リスナーの位置および/または向きの間の差異に応じて、かつ1つまたは複数の音響障害物についての情報を考慮に入れて、前記割振りが前記対応から逸脱するように、前記オブジェクトおよび/または前記チャネルオブジェクトおよび/または前記適合済みの信号をプレイバックするための、前記ラウドスピーカーセットアップのラウドスピーカーを動的に割り振るように構成される、
請求項4から8のいずれか一項に記載のオーディオプロセッサ。
【請求項10】
第1のラウドスピーカーセットアップが、第1の対応によるチャネル構成に対応し、前記オーディオプロセッサが、前記オブジェクトおよび/または前記チャネルオブジェクトおよび/または前記適合済みの信号をプレイバックするための、前記第1のラウドスピーカーセットアップのラウドスピーカーを、この第1の対応に従って動的に割り振るように構成され、
第2のラウドスピーカーセットアップが、第2の対応によるチャネル構成に対応し、
前記オーディオプロセッサが、ラウドスピーカーへの前記割振りがこの第2の対応から逸脱するように、前記オブジェクトおよび/または前記チャネルオブジェクトおよび/または前記適合済みの信号をプレイバックするための、前記第2のラウドスピーカーセットアップのラウドスピーカーを動的に割り振るように構成され、
前記第1のラウドスピーカーセットアップおよび前記第2のラウドスピーカーセットアップが、音響障害物によって分離される、
請求項1から9のいずれか一項に記載のオーディオプロセッサ。
【請求項11】
前記入力信号から導出された前記オブジェクトおよび/または前記チャネルオブジェクトおよび/または前記適合済みの信号を再生するための、すべてのラウドスピーカーセットアップのすべての前記ラウドスピーカーのサブセットを動的に割り振るように構成される、請求項1から10のいずれか一項に記載のオーディオプロセッサ。
【請求項12】
前記入力信号から導出された前記オブジェクトおよび/または前記チャネルオブジェクトおよび/または前記適合済みの信号をプレイバックするための、すべての前記ラウドスピーカーセットアップのすべての前記ラウドスピーカーのサブセットを動的に割り振るように構成され、前記ラウドスピーカーの前記サブセットが前記リスナーを取り囲むように、選択されるラウドスピーカーの間または中に前記リスナーが位置するような、すべての利用可能なラウドスピーカーのサブセットを選択するように構成される、
請求項11に記載のオーディオプロセッサ。
【請求項13】
前記レンダリングが時間とともに円滑に適合される方法で音像が前記リスナーに追従するような規定された追従時間を用いて、前記入力信号から導出された前記オブジェクトおよび/または前記チャネルオブジェクトおよび/または前記適合済みの信号をレンダリングするように構成される、請求項1から12のいずれか一項に記載のオーディオプロセッサ。
【請求項14】
前記リスナーの所定の環境の中でラウドスピーカーを識別し、前記入力信号の構成を識別されたスピーカーの個数に適合させ、
前記オブジェクトおよび/または前記チャネルオブジェクトおよび/または前記適合済みの信号をプレイバックするための前記識別されたラウドスピーカーを動的に割り振り、
オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号の位置情報に応じて、かつデフォルトのラウドスピーカー位置に応じて、かつ1つまたは複数の音響障害物についての情報を考慮に入れて、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号を、関連付けられたラウドスピーカーのラウドスピーカー信号にレンダリングするように構成される、
請求項1から13のいずれか一項に記載のオーディオプロセッサ。
【請求項15】
前記リスナーの前記位置および/または前記向きについての情報に基づいてオブジェクトおよび/またはチャネルオブジェクトの位置を算出するように構成される、請求項4から14のいずれか一項に記載のオーディオプロセッサ。
【請求項16】
デフォルトのラウドスピーカー位置、実際のラウドスピーカー位置、およびスイートスポットと前記リスナーの位置との間の関係に応じて、かつ1つまたは複数の音響障害物についての情報を考慮に入れて、前記レンダリング済みのオブジェクトおよび/または前記チャネルオブジェクトおよび/または前記適合済みの信号を物理的に補正するように構成される、請求項1から15のいずれか一項に記載のオーディオプロセッサ。
【請求項17】
前記オブジェクトおよび/または前記チャネルオブジェクトおよび/または前記適合済みの信号の前記位置と前記ラウドスピーカーとの間の距離に応じて、前記オブジェクトおよび/または前記チャネルオブジェクトおよび/または前記適合済みの信号をプレイバックするための1つまたは複数のラウドスピーカーを動的に割り振るように構成される、請求項1から16のいずれか一項に記載のオーディオプロセッサ。
【請求項18】
前記オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をプレイバックするための、前記オブジェクトおよび/または前記チャネルオブジェクトおよび/または前記適合済みの信号の絶対位置からの1つまたは複数の最小距離を有する1つまたは複数のラウドスピーカーを、動的に割り振るように構成される、請求項1から17のいずれか一項に記載のオーディオプロセッサ。
【請求項19】
前記入力信号が、アンビソニックスおよび/もしくはより高次のアンビソニックスならびに/またはバイノーラルフォーマットを有している、請求項1から18のいずれか一項に記載のオーディオプロセッサ。
【請求項20】
前記オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号の音像が前記リスナーの移動に追従するように、前記オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をプレイバックするためのラウドスピーカーを動的に割り振るように構成される、請求項1から19のいずれか一項に記載のオーディオプロセッサ。
【請求項21】
前記オブジェクトおよび/または前記チャネルオブジェクトおよび/または前記適合済みの信号の音像が前記リスナーの位置の変化およびリスナーの向きの変化に追従するように、前記オブジェクトおよび/または前記チャネルオブジェクトおよび/または前記適合済みの信号をプレイバックするためのラウドスピーカーを動的に割り振るように構成される、請求項4から20のいずれか一項に記載のオーディオプロセッサ。
【請求項22】
前記オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号の音像が前記リスナーの位置の変化に追従するが前記リスナーの向きの変化に対しては安定なままであるように、前記オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をプレイバックするためのラウドスピーカーを動的に割り振るように構成される、請求項1から21のいずれか一項に記載のオーディオプロセッサ。
【請求項23】
前記1つまたは複数の音響障害物を考慮に入れて、前記オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号の音像が2人以上のリスナーの移動または転回に応じて適合されるように、2人以上のリスナーの位置についての情報に応じて、前記オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をプレイバックするためのラウドスピーカーを動的に割り振るように構成される、請求項1から22のいずれか一項に記載のオーディオプロセッサ。
【請求項24】
前記1人または複数のリスナーの前記位置をリアルタイムで追跡するように構成される、請求項23に記載のオーディオプロセッサ。
【請求項25】
実際のフェージング比率が前記リスナーの実際の位置または前記リスナーの実際の移動に依存するように、前記リスナーの前記位置座標に応じて2つ以上のラウドスピーカーセットアップの間で音像をフェードさせるように構成され、前記2つ以上のラウドスピーカーセットアップが、音響障害物によって分離される、
請求項1から24のいずれか一項に記載のオーディオプロセッサ。
【請求項26】
前記音像を第1のラウドスピーカーセットアップから第2のラウドスピーカーセットアップをフェードさせるように構成され、前記第2のラウドスピーカーセットアップのラウドスピーカーの個数が、前記第1のラウドスピーカーセットアップのラウドスピーカーの個数とは異なり、前記第1のラウドスピーカーセットアップおよび前記第2のラウドスピーカーセットアップが、1つまたは複数の音響障害物によって分離される、
請求項1から25のいずれか一項に記載のオーディオプロセッサ。
【請求項27】
動的に適合された信号を取得するために、前記入力信号の中の前記オブジェクトおよび/またはチャネルオブジェクトの個数に応じて、かつ割り振られたラウドスピーカーの個数に応じて、前記オブジェクトおよび/またはチャネルオブジェクトを適応的にアップミックスまたはダウンミックスするように構成される、請求項1から26のいずれか一項に記載のオーディオプロセッサ。
【請求項28】
オーディオコンテンツが第1のラウドスピーカーセットアップにレンダリングされる、第1の状態から、前記オーディオコンテンツの周囲音が、前記第1のラウドスピーカーセットアップまたは前記第1のラウドスピーカーセットアップの1つもしくは複数のラウドスピーカーにレンダリングされるが、前記オーディオコンテンツの方向性成分が前記第2のラウドスピーカーセットアップにレンダリングされる、第2の状態に、遷移するように構成され、
前記第1のラウドスピーカーセットアップおよび前記第2のラウドスピーカーセットアップが、音響障害物によって分離される、
請求項1から27のいずれか一項に記載のオーディオプロセッサ。
【請求項29】
オーディオコンテンツが第1のラウドスピーカーセットアップにレンダリングされる、第1の状態から、前記オーディオコンテンツの周囲音および前記オーディオコンテンツの方向性成分が、前記第2のラウドスピーカーセットアップの中の異なるラウドスピーカーにレンダリングされる、第2の状態に、遷移するように構成され、
前記第1のラウドスピーカーセットアップおよび前記第2のラウドスピーカーセットアップが、音響障害物によって分離される、
請求項1から28のいずれか一項に記載のオーディオプロセッサ。
【請求項30】
チャネルオブジェクトを取得するために、チャネルベースオーディオコンテンツのオーディオチャネルに位置情報を関連付けるように構成され、前記位置情報が、前記オーディオチャネルに関連付けられたラウドスピーカーの位置を表す、請求項1から29のいずれか一項に記載のオーディオプロセッサ。
【請求項31】
リスナーが所与の単一のラウドスピーカーから所定の距離範囲内にいる限り、前記オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をプレイバックするための、前記リスナーまでの最良の音響経路を備える前記所与の単一のラウドスピーカーを動的に割り振るように構成される、請求項1から30のいずれか一項に記載のオーディオプロセッサ。
【請求項32】
前記リスナーが所定の範囲を離れかつ/または障害物によって前記ラウドスピーカーから陰にされるという検出に応答して、前記所与の単一のラウドスピーカーの信号をフェードアウトさせるように構成される、請求項31に記載のオーディオプロセッサ。
【請求項33】
リスナーの位置からの、2つのラウドスピーカーの距離に応じて、かつ/あるいは前記2つのラウドスピーカーの間の角度に応じて、かつ1つまたは複数の音響障害物についての情報を考慮に入れて、前記オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号がどのラウドスピーカー信号にレンダリングされるのかを決めるように構成される、請求項1から32のいずれか一項に記載のオーディオプロセッサ。
【請求項34】
複数の入力信号に基づいて複数のラウドスピーカー信号を提供するための方法であって、リスナーの位置についての情報を取得するステップを備え、
複数のラウドスピーカーの位置についての情報を取得するステップを備え、
前記リスナーの前記位置についての前記情報に応じて、前記ラウドスピーカーの位置についての前記情報に応じて、かつ1つまたは複数の音響障害物についての情報を考慮に入れて、前記入力信号から導出されたオブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号のレンダリングのための1つまたは複数のラウドスピーカーを選択し、
前記リスナーが移動するかまたは向きを変えるとレンダリング済みのサウンドが前記リスナーに追従するような前記ラウドスピーカー信号を取得するために、前記リスナーの前記位置についての前記情報に応じて、かつ前記ラウドスピーカーの位置についての前記情報に応じて、前記入力信号から導出された前記オブジェクトおよび/または前記チャネルオブジェクトおよび/または前記適合済みの信号をレンダリングし、
前記リスナーと前記ラウドスピーカーとの間の前記音響障害物の音響減衰係数または音響透過係数によって前記リスナーと前記ラウドスピーカーとの間の距離を修正することによって、実効距離を計算する、
方法。
【請求項35】
複数の入力信号に基づいて複数のラウドスピーカー信号を提供するための方法であって、リスナーの位置についての情報を取得するステップを備え、
複数のラウドスピーカーの位置についての情報を取得するステップを備え、
前記リスナーの前記位置についての前記情報に応じて、前記ラウドスピーカーの位置についての前記情報に応じて、かつ1つまたは複数の音響障害物についての情報を考慮に入れて、前記入力信号から導出されたオブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号のレンダリングのための1つまたは複数のラウドスピーカーを選択するステップを備え、
前記リスナーが移動するかまたは向きを変えるとレンダリング済みのサウンドが前記リスナーに追従するような前記ラウドスピーカー信号を取得するために、前記リスナーの前記位置についての前記情報に応じて、かつ前記ラウドスピーカーの位置についての前記情報に応じて、前記入力信号から導出された前記オブジェクトおよび/または前記チャネルオブジェクトおよび/または前記適合済みの信号をレンダリングするステップを備え、
前記音響障害物の特性に起因する前記ラウドスピーカーと前記リスナーとの間での前記サウンドの減衰または前記ラウドスピーカーと前記リスナーとの間での音響経路の伸長を考慮に入れるステップを備える、
方法。
【請求項36】
コンピュータ上で動作するとき、請求項34または35に記載の方法を実行するためのプログラムコードを有する、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明による実施形態は、ラウドスピーカー信号を提供するためのオーディオプロセッサに関する。本発明によるさらなる実施形態は、ラウドスピーカー信号を提供するための方法に関する。本発明の実施形態は、一般に、サウンドがリスナーに追従するオーディオレンダリングのためのオーディオプロセッサに関する。
【背景技術】
【0002】
ラウドスピーカーを用いたオーディオ再生における一般的な問題は、通常、リスナー位置の1つのまたは小さい範囲内、すなわち、「スイートスポットエリア」内でしか、再生が最適でないことである。
【0003】
この問題は、リスナーの位置を追跡することによる[2]を含む、以前の刊行物によって対象とされている。[2]において提案されたシステムは、特定のユーザ依存の地点において、またはリスナーが移動することを許されるいくつかのエリア内で、知覚される音像を最適化することを目的とする。
【0004】
リスナーがラウドスピーカーセットアップの外側に移動するや否や、もはやサウンドは意図されるようには再生され得ないので、通常、このエリアはラウドスピーカーセットアップのレイアウトによって画定される。
【0005】
サウンド再生における別の動向は、マルチルームプレイバックシステムである。それらを用いると、たとえば、1つまたは複数のプレイバックソースは、たとえば、家屋の様々な部屋の中で、あるエリアにわたって広がる、異なるラウドスピーカーに経路指定され得る。
【発明の概要】
【発明が解決しようとする課題】
【0006】
したがって、複雑度とリスナーのオーディオ体験との間のより良好なトレードオフをもたらす、複数のラウドスピーカー信号を提供するためのオーディオプロセッサが必要である。
【課題を解決するための手段】
【0007】
本発明による一実施形態は、チャネル信号および/またはオブジェクト信号のような複数の入力信号に基づいて、複数のラウドスピーカー信号またはラウドスピーカーフィードを提供するためのオーディオプロセッサである。オーディオプロセッサは、リスナーの位置についての情報を取得するように構成される。オーディオプロセッサは、たとえば、同じ収納、たとえば、サウンドバー内に置かれてよい、複数のラウドスピーカーまたはサウンドトランスジューサの位置についての情報を取得するようにさらに構成される。オーディオプロセッサは、チャネル信号もしくはチャネルオブジェクトのような、またはアップミックスもしくはダウンミックスされた信号のような、入力信号から導出されたオブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号のレンダリングのための1つまたは複数のラウドスピーカーを選択するようにさらに構成される。1つまたは複数のラウドスピーカーの選択は、リスナーの位置についての情報、ラウドスピーカーの位置についての情報に依存し、1つまたは複数の音響障害物についての情報を考慮に入れる。音響障害物とは、音響伝搬に影響を及ぼすかまたは音響伝搬を擾乱させるすべての物体であってよい。音響障害物は、たとえば、壁、家具、ドア、カーテン、ランプ、植物などであってよい。
たとえば、オーディオプロセッサは、たとえば、リスナーとラウドスピーカーとの間の音響障害物の音響透過係数によって修正され得る、リスナーとラウドスピーカーとの間の距離を意味する、たとえば、リスナーとラウドスピーカーとの間の実効距離に応じて、使用のためのラウドスピーカーのサブセットを選択することができる。言い換えれば、オーディオプロセッサは、たとえば、障害物の特性に起因するラウドスピーカーとリスナーとの間でのサウンドの減衰またはラウドスピーカーとリスナーとの間での音響経路の伸長を考慮に入れて、異なるチャネルオブジェクトまたは適合済みの信号のレンダリングの際にどのラウドスピーカーが使用されるべきかを決める。オーディオ信号プロセッサは、リスナーが移動するかまたは向きを変えるとレンダリング済みのサウンドがリスナーに追従するようなラウドスピーカー信号を取得するために、リスナーの位置についての情報に応じて、かつラウドスピーカーの位置についての情報に応じて、入力信号から導出されたオブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をレンダリングするようにさらに構成される。
たとえば、オーディオプロセッサは、たとえば、リスナーとラウドスピーカーとの間の音響障害物の音響透過係数によって修正され得る、リスナーとラウドスピーカーとの間の距離を意味する、たとえば、リスナーとラウドスピーカーとの間の実効距離に応じて、使用のためのラウドスピーカーのサブセットを選択することができる。言い換えれば、オーディオプロセッサは、たとえば、障害物の特性に起因するラウドスピーカーとリスナーとの間でのサウンドの減衰またはラウドスピーカーとリスナーとの間での音響経路の伸長を考慮に入れて、異なるチャネルオブジェクトまたは適合済みの信号のレンダリングの際にどのラウドスピーカーが使用されるべきかを決める。オーディオ信号プロセッサは、リスナーが移動するかまたは向きを変えるとレンダリング済みのサウンドがリスナーに追従するようなラウドスピーカー信号を取得するために、リスナーの位置についての情報に応じて、かつラウドスピーカーの位置についての情報に応じて、入力信号から導出されたオブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をレンダリングするようにさらに構成される。
【0008】
言い換えれば、オーディオプロセッサは、すでに利用可能なラウドスピーカーを使用することによってオーディオ再生を最適化するとともにオーディオ信号をレンダリングするために、ラウドスピーカーの位置および1人または複数のリスナーの位置についての知識を使用する。たとえば、1人または複数のリスナーは、パッシブラウドスピーカー、アクティブラウドスピーカー、スマートスピーカー、サウンドバー、ドッキングステーション、テレビ受像機のような、様々なオーディオプレイバック手段が異なる位置に配置される部屋内またはエリア内で自由に移動することができる。発明されたシステムは、周囲のエリアの中での現在のラウドスピーカー設置が与えられると、リスナーが、その人がラウドスピーカーレイアウトの中心にいることになるときにオーディオプレイバックを享受できることを容易にする。
【0009】
好ましい実施形態では、オーディオプロセッサは、絶対位置もしくはラウドスピーカーに対する位置のような、または音響特性、たとえば、ラウドスピーカーの周囲の環境の中の壁、家具などの音響障害物の吸収係数または反射特性などの、情報を取得するように構成される。
【0010】
好ましい実施形態では、オーディオプロセッサは、リスナーの向きについての情報を取得するように構成される。オーディオ信号プロセッサは、リスナーの向きについての情報に応じて、入力信号から導出された適合済みのチャネル信号のような、チャネル信号もしくはチャネルオブジェクトのような、またはアップミックスもしくはダウンミックスされた信号のような、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をプレイバックするためのラウドスピーカーを動的に割り振るようにさらに構成される。オーディオ信号プロセッサは、レンダリング済みのサウンドがリスナーの向きに追従するようなラウドスピーカー信号を取得するために、リスナーの向きについての情報に応じて、入力信号から導出されたオブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をレンダリングするようにさらに構成される。
【0011】
リスナーの向きに従ってオブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をレンダリングすることは、たとえば、リスナーの頭部回転とのヘッドフォン挙動のラウドスピーカー類似性である。たとえば、知覚されるソースの位置は、リスナーがその人のビュー方向を回転している間、リスナーの頭部の向きに対して固定されたままである。
【0012】
好ましい実施形態では、オーディオプロセッサは、ラウドスピーカーの向きおよび/もしくは音響特性ならびに/または仕様についての情報を取得するように構成される。オーディオプロセッサは、ラウドスピーカーの向きおよび/もしくは特性ならびに/または仕様についての情報に応じて、入力信号から導出された適合済みのチャネル信号のような、チャネル信号もしくはチャネルオブジェクトのような、またはアップミックスもしくはダウンミックスされた信号のような、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をプレイバックするためのラウドスピーカーを動的に割り振るようにさらに構成される。オーディオプロセッサは、リスナーが移動するかまたは向きを変えるとレンダリング済みのサウンドがリスナーおよび/またはリスナーの向きに追従するようなラウドスピーカー信号を取得するために、ラウドスピーカーの向きおよび/もしくは特性ならびに/または仕様についての情報に応じて、入力信号から導出されたオブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をレンダリングするようにさらに構成される。ラウドスピーカーの特性に対する一例は、ラウドスピーカーがスピーカーアレイの一部であるか否か、またはラウドスピーカーがアレイスピーカーであるか否か、またはラウドスピーカーがビームフォーミングのために使用され得るか否かという、情報であり得る。ラウドスピーカーの特性に対するさらなる例は、その放射挙動、たとえば、様々な周波数に対して様々な方向へどのくらいのエネルギーを放射するのかである。
【0013】
ラウドスピーカーの向きおよび/もしくは特性ならびに/または仕様についての情報を取得することは、リスナーの体験を改善することができる。たとえば、向きおよび特性が適切なラウドスピーカーを選ぶことによって、割振りが改善され得る。さもなければ、たとえば、ラウドスピーカーの向きおよび/もしくは特性ならびに/または仕様に従って信号を修正することによって、レンダリングが改善され得る。
【0014】
好ましい実施形態では、オーディオプロセッサは、入力信号から導出された適合済みのチャネル信号のような、チャネル信号もしくはチャネルオブジェクトのような、またはアップミックスもしくはダウンミックスされた信号のような、オブジェクトまたはチャネルオブジェクトまたは適合済みの信号をプレイバックするためのラウドスピーカーの割振りを、円滑かつ/または動的に第1の状況から第2の状況に変更するように構成される。第1の状況では、入力信号のオブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号は、チャネルベース入力信号、および/またはチャネルベース入力信号の、たとえば、5.1のようなチャネル構成に対応する、たとえば、5.1のような第1のラウドスピーカーセットアップに割り振られる。言い換えれば、第1の状況では、ラウドスピーカーへのチャネルオブジェクトの1対1割振りがある。第2の状況では、チャネルベース入力信号のオブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号は、第1のラウドスピーカーセットアップのラウドスピーカーの本来のサブセット、および第1のラウドスピーカーセットアップに属さない少なくとも1つの追加のラウドスピーカーに割り振られる。
【0015】
言い換えれば、リスナーの体験は、たとえば、所与のセットアップのラウドスピーカーに最も近いサブセット、および偶然近くにあるか、またはラウドスピーカーセットアップの他のラウドスピーカーよりも近くにある、少なくとも1つの追加のラウドスピーカーを割り振ることによって改善され得る。したがって、所与のチャネル構成を有する入力信号をチャネル構成との関連付けが固定されたラウドスピーカーのセットにレンダリングすることは必要でない。
【0016】
好ましい実施形態では、オーディオプロセッサは、入力信号から導出された適合済みのチャネル信号のような、チャネル信号もしくはチャネルオブジェクトのような、またはアップミックスもしくはダウンミックスされた信号のような、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をプレイバックするためのラウドスピーカーの割振りを、円滑かつ/または動的に第1の状況から第2の状況に変更するように構成される。第1のラウドスピーカーセットアップおよび第2のラウドスピーカーセットアップは、たとえば、1つまたは複数の音響障害物によって分離されてよい。第1の状況では、入力信号のオブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号は、第1のラウドスピーカーレイアウトを伴うチャネルベース入力信号の5.1のようなチャネル構成に対応する、5.1のような第1のラウドスピーカーセットアップに割り振られる。言い換えれば、たとえば、第1の状況では、第1のラウドスピーカーレイアウトを伴うラウドスピーカーへのチャネルオブジェクトの1対1割振りがある。第2の状況では、入力信号のオブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号は、第2のラウドスピーカーレイアウトを伴う入力信号の5.1のようなチャネルベースチャネル構成に対応する、5.1のような第2のラウドスピーカーセットアップに割り振られる。言い換えれば、第2の状況では、第2のラウドスピーカーレイアウトを伴うラウドスピーカーへのチャネルオブジェクトの1対1割振りがある。
【0017】
リスナーの体験は、異なるラウドスピーカーレイアウトを伴う2つのラウドスピーカーセットアップの間で割振りを適合させるとともにレンダリングすることによって改善され得る。たとえば、リスナーは、リスナーが中央のラウドスピーカーに向かって方向づけられる第1のラウドスピーカーレイアウトを伴う第1のラウドスピーカーセットアップから、たとえば、リスナーが後方のラウドスピーカーのうちの1つに向かって方向づけられるラウドスピーカーレイアウトを伴う第2のラウドスピーカーセットアップに移動する。この例示的な事例では、音場の向きはリスナーに追従し、入力信号のチャネルの、ラウドスピーカーへの割振りは、標準的または「自然」な割振りから逸脱することがある。
【0018】
好ましい実施形態では、オーディオ信号プロセッサは、入力信号から導出された適合済みのチャネル信号のような、チャネル信号もしくはチャネルオブジェクトのような、またはアップミックスもしくはダウンミックスされた信号のような、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をプレイバックするための、第1のラウドスピーカーセットアップのラウドスピーカーを、第1のラウドスピーカーレイアウトと一致する第1の割振り方式に従って、円滑かつ/または動的に割り振るように構成される。オーディオプロセッサは、入力信号から導出されたオブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をプレイバックするための、第2のラウドスピーカーセットアップのラウドスピーカーを、第2のラウドスピーカーレイアウトと一致する、第1の割振り方式とは異なる第2の割振り方式に従って、動的に割り振るようにさらに構成される。言い換えれば、オーディオ信号プロセッサは、たとえば、異なるラウドスピーカーレイアウトを伴う異なるラウドスピーカーセットアップの間で、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号を円滑に割り振ることが可能である。たとえば、リスナーが第1のラウドスピーカーセットアップから第2のラウドスピーカーセットアップに移動するとき、音像はリスナーに追従する。オーディオプロセッサは、たとえば、ラウドスピーカーセットアップが異なり(たとえば、異なる個数のラウドスピーカーを備え)、たとえば、第1のラウドスピーカーセットアップが5.1オーディオシステムであり第2のラウドスピーカーセットアップがステレオシステムである場合でも、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号を割り振るように構成される。第1のラウドスピーカーセットアップおよび第2のラウドスピーカーセットアップは、たとえば、1つまたは複数の音響障害物によって分離されてよい。
【0019】
好ましい実施形態では、ラウドスピーカーセットアップは、入力信号の5.1のようなチャネル構成に対応する。オーディオプロセッサは、リスナーの位置、および/またはデフォルトもしくは標準のリスナーの位置からの向き、および/またはラウドスピーカーセットアップに関連する向きの間の、差異に応じて、かつ1つまたは複数の音響障害物についての情報を考慮に入れて、割振りが対応から逸脱するように、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をプレイバックするための、ラウドスピーカーセットアップのラウドスピーカーを動的に割り振るように構成される。
【0020】
言い換えれば、たとえば、チャネルオブジェクトが、普通はチャネル信号とラウドスピーカーとの間のデフォルトのまたは標準化された対応に従ってそれらが割り振られることになる先のラウドスピーカーではなく、異なるラウドスピーカーに割り振られるように、オーディオプロセッサは音像の向きを変更することができる。たとえば、リスナーの向きがラウドスピーカーセットアップのラウドスピーカーレイアウトの向きとは異なる場合、オーディオプロセッサは、たとえば、リスナーとラウドスピーカーレイアウトとの間の方位差を修正するために、たとえば、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をラウドスピーカーセットアップのラウドスピーカーに割り振ることができ、したがって、結果としてリスナーのオーディオ体験がもっと良好になる。
【0021】
好ましい実施形態では、第1のラウドスピーカーセットアップは、第1の対応による5.1のようなチャネル構成に対応する。オーディオプロセッサは、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をプレイバックするための、第1のラウドスピーカーセットアップのラウドスピーカーを、この第1の対応に従って動的に割り振るように構成される。そのことは、たとえば、5.1オーディオフォーマットのような所与のオーディオフォーマットに準拠するオーディオ信号またはチャネルの、所与のオーディオフォーマットに準拠するラウドスピーカーセットアップのラウドスピーカーへの、デフォルトのまたは標準化された割振りを意味する。第2のラウドスピーカーセットアップは、第2の対応によるチャネル構成に対応する。オーディオプロセッサは、ラウドスピーカーへの割振りがこの第2の対応から逸脱するように、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をプレイバックするための、第2のラウドスピーカーセットアップのラウドスピーカーを動的に割り振るように構成される。第1のラウドスピーカーセットアップおよび第2のラウドスピーカーセットアップは、たとえば、1つまたは複数の音響障害物によって分離されてよい。
【0022】
言い換えれば、たとえば、オーディオプロセッサは、ラウドスピーカーセットアップまたはラウドスピーカーレイアウトの向きが互いに異なる場合でも、ラウドスピーカーセットアップの間で音像の向きを保つように構成される。たとえば、リスナーが中央のラウドスピーカーに向かって方向づけられる第1のラウドスピーカーセットアップから、リスナーが後方のラウドスピーカーに向かって方向づけられる第2のラウドスピーカーレイアウトに、リスナーが移動する場合、オーディオプロセッサは、音像の向きがとどまるように、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号の割振りを第2のラウドスピーカーセットアップのラウドスピーカーに適合させる。
【0023】
好ましい実施形態では、オーディオプロセッサは、入力信号から導出された適合済みのチャネル信号のような、チャネル信号もしくはチャネルオブジェクトのような、またはアップミックスもしくはダウンミックスされた信号のような、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をプレイバックするための、すべてのラウドスピーカーセットアップのすべてのラウドスピーカーのサブセットを動的に割り振るように構成される。
【0024】
いくつかの状況の場合、オーディオプロセッサが、たとえば、ラウドスピーカーの向きまたはラウドスピーカーとリスナーとの間の距離に基づいて、たとえば、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をすべてのラウドスピーカーのサブセットに割り振るように構成され、したがって、たとえば、ラウドスピーカーセットアップの間のエリアの中でのオーディオ体験を可能にすることが有利である。たとえば、リスナーが第1のラウドスピーカーセットアップと第2のラウドスピーカーセットアップとの間にいる場合、オーディオプロセッサは、たとえば、2つのラウドスピーカーセットアップの後方のラウドスピーカーのみを割り振ることができる。
【0025】
好ましい実施形態では、オーディオプロセッサは、ラウドスピーカーのサブセットがリスナーを取り囲むように、入力信号から導出された適合済みのチャネル信号のような、チャネル信号もしくはチャネルオブジェクトのような、またはアップミックスもしくはダウンミックスされた信号のような、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をプレイバックするための、すべてのラウドスピーカーセットアップのサブセットを動的に割り振るように構成される。
【0026】
言い換えれば、たとえば、オーディオプロセッサは、選択されるラウドスピーカーの間または中にリスナーが位置するような、すべての利用可能なラウドスピーカーのサブセットを選択している。ラウドスピーカーの選択は、たとえば、ラウドスピーカーとリスナーとの間の距離、ラウドスピーカーの向き、およびラウドスピーカーの位置に基づくことができる。たとえば、リスナーがラウドスピーカーで取り囲まれる場合、リスナーのオーディオ体験はより良好と見なされる。
【0027】
好ましい実施形態では、オーディオプロセッサは、レンダリングが時間とともに円滑に適合される方法で音像がリスナーに追従するような規定されたフォローアップ時間を用いて、チャネル信号もしくはチャネルオブジェクトのような、またはアップミックスもしくはダウンミックスされた信号のような、入力信号から導出されたオブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をレンダリングするように構成される。場合によっては、そのことは、音像がリスナーに直ちに追従しないがある時定数を伴って追従する場合に有利であり得る。
【0028】
好ましい実施形態では、オーディオプロセッサは、リスナーの所定の環境の中でラウドスピーカーを識別するように構成される。オーディオプロセッサは、構成、すなわち、チャネル信号および/またはオブジェクト信号のような入力信号のレンダリングのために利用可能な信号の数を、識別されたラウドスピーカーの個数に適合させるようにさらに構成され、そのことは、アップミックスおよび/またはダウンミックスを介して信号を適合させることを意味する。オーディオプロセッサは、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をプレイバックするための識別されたラウドスピーカーを動的に割り振るようにさらに構成される。オーディオプロセッサは、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号の位置情報に応じて、かつデフォルトのまたは標準化されたラウドスピーカー位置に応じて、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号を、関連付けられたラウドスピーカーのラウドスピーカー信号にレンダリングするようにさらに構成される。
【0029】
言い換えれば、オーディオプロセッサは、所定の要件に従って、たとえば、ラウドスピーカーの向きおよび/またはリスナーとラウドスピーカーとの間の距離に基づいて、ラウドスピーカーを選択する。オーディオプロセッサは、(適合済みの信号を取得するために)入力信号がアップミックスまたはダウンミックスされる先のチャネルの個数を、選択されたラウドスピーカーの個数に適合させる。オーディオプロセッサは、たとえば、リスナーの向きおよび/またはラウドスピーカーの向きに基づいて、適合済みの信号をラウドスピーカーに割り振る。オーディオプロセッサは、たとえば、デフォルトのまたは標準化されたラウドスピーカー位置、ならびに/またはオブジェクトおよび/もしくはチャネルオブジェクトおよび/もしくは適合済みの信号についての位置情報に基づいて、割り振られたラウドスピーカーのラウドスピーカー信号に適合済みの信号をレンダリングする。
【0030】
オーディオプロセッサは、たとえば、リスナーの周囲のラウドスピーカーを選ぶこと、選ばれたラウドスピーカーに入力信号を適合させること、ラウドスピーカーおよびリスナーの向きに基づいて適合済みの信号をラウドスピーカーに割り振ること、ならびに位置情報またはデフォルトのラウドスピーカー位置に基づいて適合済みの信号をレンダリングすることによって、リスナーのオーディオ体験を改善する。したがって、たとえば、ラウドスピーカーセットアップが異なって方向づけられ、かつ/または異なる数のチャネルを有する場合でも、たとえば、リスナーが、あるラウドスピーカーセットアップから別のラウドスピーカーセットアップに移動しており、かつ/またはラウドスピーカーセットアップの間で移動していながら、異なるラウドスピーカーセットアップによって取り囲まれるリスナーが、同じ音像を体験している状況が起こり得る。
【0031】
好ましい実施形態では、オーディオプロセッサは、リスナーの位置および/または向きについての情報に基づいてオブジェクトおよび/またはチャネルオブジェクトの位置または絶対位置を算出するように構成される。オブジェクトおよび/またはチャネルオブジェクトの位置を計算することは、たとえば、リスナーの向きを基準にして、たとえば、最も近くのラウドスピーカーにオブジェクトを割り振ることによって、リスナー体験をさらに改善する。
【0032】
一実施形態によれば、オーディオプロセッサは、デフォルトのラウドスピーカー位置、実際のラウドスピーカー位置、およびスイートスポットとリスナーの位置との間の関係に応じて、レンダリング済みのオブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号を物理的に補正するように構成される。たとえば、リスナーがデフォルトまたは標準のラウドスピーカーセットアップのスイートスポットの中にいない場合、たとえば、ラウドスピーカーのボリュームおよび位相シフトを調整することによって、オーディオ体験が改善され得る。
【0033】
一実施形態によれば、オーディオプロセッサは、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号の位置とラウドスピーカーとの間の距離に応じて、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をプレイバックするための1つまたは複数のラウドスピーカーを動的に割り振るように構成される。
【0034】
さらなる実施形態によれば、オーディオプロセッサは、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をプレイバックするための、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号の絶対位置からの1つまたは複数の最小距離を有する1つまたは複数のラウドスピーカーを、動的に割り振るように構成される。例示的な状況では、オブジェクトおよび/またはチャネルオブジェクトは、1つまたは複数のラウドスピーカーの既定の範囲内に位置決めされ得る。この例では、オーディオプロセッサは、オブジェクトおよび/またはチャネルオブジェクトをこの/これらのラウドスピーカーのすべてに割り振ることができる。
【0035】
さらなる実施形態によれば、入力信号は、アンビソニックスおよび/もしくはより高次のアンビソニックスならびに/またはバイノーラルフォーマットを有する。オーディオプロセッサは、たとえば、位置情報を含むオーディオフォーマットも処理することができる。
【0036】
さらなる実施形態によれば、オーディオプロセッサは、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号の音像がリスナーの並進移動および/または方位移動に追従するように、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をプレイバックするためのラウドスピーカーを動的に割り振るように構成される。たとえば、リスナーが位置および/または向きを変えているかどうかにかかわらず、音像はリスナーに追従している。
【0037】
さらなる実施形態では、オーディオプロセッサは、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号の音像がリスナーの位置の変化およびリスナーの向きの変化に追従するように、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をプレイバックするためのラウドスピーカーを動的に割り振るように構成される。このレンダリングモードでは、オーディオプロセッサは、たとえば、リスナーが動き回る場合でもサウンドオブジェクトがリスナーに対して同じ位置を有しているようなヘッドフォンを模倣することができる。
【0038】
さらなる実施形態によれば、オーディオプロセッサは、リスナーの位置の変化に追従するがリスナーの向きの変化に対しては安定なままであるオブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をプレイバックするためのラウドスピーカーを動的に割り振るように構成される。このレンダリングモードは、音場の中のサウンドオブジェクトが、固定の方向を有するがやはりリスナーに追従する、サウンド体験をもたらすことができる。
【0039】
好ましい実施形態では、オーディオプロセッサは、1つまたは複数の音響障害物を考慮に入れて、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号の音像が2人以上のリスナーの移動または転回に応じて適合されるように、2人以上のリスナーの位置についての情報に応じて、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をプレイバックするためのラウドスピーカーを動的に割り振るように構成される。たとえば、単一の音像が、たとえば、ラウドスピーカーの異なるサブセットを使用して、2つ以上の音像に分割するようにレンダリングされ得るように、たとえば、リスナーは独立して移動することができる。たとえば、第1のリスナーが第1のラウドスピーカーセットアップに向かって移動しており、かつ第2のリスナーが同じ位置から始めて第2のラウドスピーカーセットアップに向かって移動している場合、たとえば、彼らの両方は同じ音像によって追従され得る。
【0040】
好ましい実施形態では、オーディオプロセッサは、リアルタイム近くで1人または複数のリスナーの位置を追跡するように構成される。リアルタイムまたはリアルタイム近くで追跡することは、たとえば、リスナーに対するもっと速い速度、またはリスナーに追従する音像のもっと円滑な移動を可能にする。
【0041】
一実施形態によれば、オーディオプロセッサは、実際のフェージング比率がリスナーの実際の位置またはリスナーの実際の移動に依存するように、リスナーの位置座標に応じて2つ以上のラウドスピーカーセットアップの間で音像をフェードさせるように構成される。たとえば、リスナーが第1のラウドスピーカーセットアップから第2のラウドスピーカーセットアップに移動するにつれて、リスナーの位置に従って第1のラウドスピーカーセットアップのボリュームは小さくなり第2のラウドスピーカーセットアップのボリュームは大きくなる。たとえば、リスナーが停止する場合、リスナーがその人の位置にとどまる限り、第1および第2のラウドスピーカーセットアップのボリュームはそれ以上変化しない。位置依存のフェージングにより、ラウドスピーカーセットアップの間の円滑な遷移が可能になる。第1のラウドスピーカーセットアップおよび第2のラウドスピーカーセットアップは、たとえば、1つまたは複数の音響障害物によって分離されてよい。
【0042】
さらなる実施形態によれば、オーディオプロセッサは、第1のラウドスピーカーセットアップから第2のラウドスピーカーセットアップに音像をフェードさせるように構成され、第2のラウドスピーカーセットアップのラウドスピーカーの個数は、第1のラウドスピーカーセットアップのラウドスピーカーの個数とは異なる。例示的な状況では、2つのラウドスピーカーセットアップのラウドスピーカーの個数が異なる場合でも、音像は第1のラウドスピーカーセットアップから第2のラウドスピーカーセットアップまでリスナーに追従する。オーディオプロセッサは、たとえば、第1および/または第2のラウドスピーカーセットアップの異なる個数のラウドスピーカーに入力信号を適合させるために、パニング、ダウンミックス、またはアップミックスを適用することができる。第1のラウドスピーカーセットアップおよび第2のラウドスピーカーセットアップは、たとえば、1つまたは複数の音響障害物によって分離されてよい。
アップミックスは、たとえば、所与のラウドスピーカーセットアップのもっと多数のラウドスピーカーへの入力信号の適合に対する、唯一のオプションではない。単純なパニングも適用することができ、そのことは、2つ以上のラウドスピーカーにわたって同じ信号が再生されることを意味する。対照的に、アップミックスとは、少なくとも本明細書では、精巧な分析を潜在的に使用して、かつ/または入力信号の成分を分離して、まったく新たな信号が生成されることを意味する。
アップミックスと同様に、ダウンミックスとは、精巧な分析を潜在的に使用して、かつ/または入力信号の成分を一緒にマージして、まったく新たな信号が生成されることを意味する。
アップミックスは、たとえば、所与のラウドスピーカーセットアップのもっと多数のラウドスピーカーへの入力信号の適合に対する、唯一のオプションではない。単純なパニングも適用することができ、そのことは、2つ以上のラウドスピーカーにわたって同じ信号が再生されることを意味する。対照的に、アップミックスとは、少なくとも本明細書では、精巧な分析を潜在的に使用して、かつ/または入力信号の成分を分離して、まったく新たな信号が生成されることを意味する。
アップミックスと同様に、ダウンミックスとは、精巧な分析を潜在的に使用して、かつ/または入力信号の成分を一緒にマージして、まったく新たな信号が生成されることを意味する。
【0043】
一実施形態によれば、オーディオプロセッサは、動的に適合された信号を取得するために、入力信号の中のオブジェクトおよび/またはチャネルオブジェクトの個数に応じて、かつオブジェクトおよび/またはチャネルオブジェクトに割り振られるラウドスピーカーの個数に応じて、オブジェクトおよび/またはチャネルオブジェクトを適応的にアップミックスまたはダウンミックスするように構成される。たとえば、リスナーは第1のラウドスピーカーセットアップから第2のラウドスピーカーセットアップに移動し、ラウドスピーカーセットアップの中のラウドスピーカーの個数は異なる。この例示的な事例では、オーディオプロセッサは、入力信号がアップミックスまたはダウンミックスされる先のチャネルの個数を、第1のラウドスピーカーセットアップの中のラウドスピーカーの個数から第2のラウドスピーカーセットアップの中のラウドスピーカーの個数に適合させる。入力信号を適応的にアップミックスまたはダウンミックスすることは、たとえば、もっと少数またはもっと多数の利用可能なラウドスピーカーがある場合でも、リスナーが入力信号の中のすべてのチャネルおよび/またはオブジェクトを体験できる、より良好なリスナーの体験をもたらす。
【0044】
さらなる実施形態では、オーディオプロセッサは、音像を円滑に第1の状態から第2の状態に移行するように構成される。第1の状態では、完全なオーディオコンテンツが第1のラウドスピーカーセットアップにレンダリングされるが、第2のラウドスピーカーセットアップには信号が適用されない。第2の状態では、入力信号によって表されるオーディオコンテンツの周囲音が、第1のラウドスピーカーセットアップまたは第1のラウドスピーカーセットアップの1つもしくは複数のラウドスピーカーにレンダリングされるが、オーディオコンテンツの方向性成分が、第2のラウドスピーカーセットアップにレンダリングされる。たとえば、入力信号は、環境チャネルおよび直進チャネルを備えてよい。しかしながら、アップミックスを使用して、または環境抽出を使用して、入力信号から周囲音(または周囲チャネル)および方向性成分(または直進チャネル)を導出することも可能である。例示的なシナリオでは、リスナーは第1のラウドスピーカーセットアップから第2のラウドスピーカーセットアップに移動しているが、映画の対話のような方向性成分のみがリスナーに追従している。このレンダリング方法により、リスナーが第1のラウドスピーカーセットアップから第2のラウドスピーカーセットアップに移動するとき、リスナーが、たとえば、オーディオコンテンツの方向性成分にもっと集中することが可能になる。
【0045】
さらなる実施形態によれば、オーディオプロセッサは、音像を円滑に第1の状態から第2の状態に移行するように構成される。第1の状態では、完全なオーディオコンテンツが第1のラウドスピーカーセットアップにレンダリングされるが、第2のラウドスピーカーセットアップには信号が適用されない。第2の状態では、入力信号によって表されるオーディオコンテンツの周囲音、およびオーディオコンテンツの方向性成分が、第2のラウドスピーカーセットアップの中の異なるラウドスピーカーにレンダリングされる。たとえば、入力信号は、環境チャネルおよび直進チャネルを備えてよい。しかしながら、アップミックスを使用して、または環境抽出を使用して、入力信号から周囲音(または周囲チャネル)および方向性成分(または直進チャネル)を導出することも可能である。例示的なシナリオでは、リスナーは第1のラウドスピーカーセットアップから第2のラウドスピーカーセットアップに移動し、ここで、第2のラウドスピーカーセットアップの中のラウドスピーカーの個数は、たとえば、アップミックスとして、第1のラウドスピーカーセットアップの中のラウドスピーカーの個数または入力信号の中のチャネルおよび/もしくはオブジェクトの個数よりも多い。この例示的な事例では、入力信号の中のすべてのチャネルおよび/またはオブジェクトは、第2のラウドスピーカーセットアップのラウドスピーカーに割り振ることができ、第2のラウドスピーカーセットアップの割り振られない残りのラウドスピーカーは、たとえば、オーディオコンテンツの周囲音成分を再生することができる。その結果、リスナーは、たとえば、周囲コンテンツでもっと取り囲むことができる。第1のラウドスピーカーセットアップおよび第2のラウドスピーカーセットアップは、たとえば、1つまたは複数の音響障害物によって分離されてよい。
【0046】
好ましい実施形態では、オーディオプロセッサは、チャネルオブジェクトを取得するために、チャネルベースオーディオコンテンツのオーディオチャネルに位置情報を関連付けるように構成され、位置情報は、オーディオチャネルに関連付けられたラウドスピーカーの位置を表す。たとえば、入力信号が、位置情報を有しないオーディオチャネルを含む場合、オーディオプロセッサは、チャネルオブジェクトを取得するために、オーディオチャネルに位置情報を割り振る。位置情報は、たとえば、オーディオチャネルに関連付けられたラウドスピーカーの位置を表すことができ、したがって、オーディオチャネルからチャネルオブジェクトを作成する。
【0047】
好ましい実施形態では、オーディオプロセッサは、リスナーが所与の単一のラウドスピーカーから所定の距離範囲内にいる限り、障害物、ラウドスピーカーとリスナーとの間の距離、およびラウドスピーカーの向きを考慮に入れて、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号をプレイバックするための、リスナーまでの最良の音響経路を備える所与の単一のラウドスピーカーを動的に割り振るように構成される。このレンダリング方法では、たとえば、オーディオプロセッサは、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号を単一のラウドスピーカーに割り振る。たとえば、規定可能な調整時間、および/またはフェージング時間、および/またはクロスフェード時間を使用して、オブジェクトおよび/またはチャネルオブジェクトは、リスナーに対してそれらの位置に最も近いラウドスピーカーを使用して再生される。言い換えれば、たとえば、規定可能な調整時間、および/またはフェージング時間、および/またはクロスフェード時間を使用して、オブジェクトおよび/またはチャネルオブジェクトは、リスナーの位置に最も近くそこから所定の距離内のラウドスピーカーによって再生される。
【0048】
好ましい実施形態では、オーディオプロセッサは、リスナーが所定の範囲を離れるという検出に応答して、所与の単一のラウドスピーカーの信号をフェードアウトさせるように構成される。たとえば、リスナーがラウドスピーカーから離れてあまりに遠くにいる場合、オーディオプロセッサはラウドスピーカーをフェードアウトさせ、たとえば、オーディオ再生システムをもっとエネルギー効率的にさせる。
好ましい実施形態では、オーディオプロセッサは、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号がどのラウドスピーカー信号にレンダリングされるのかを決めるように構成される。レンダリングは、リスナーの位置から見られるときの、隣接するラウドスピーカーのような2つのラウドスピーカーの距離に依存し、かつ/または2つのラウドスピーカーの間の角度に依存する。たとえば、オーディオプロセッサは、入力信号をペア単位で2つのラウドスピーカーにレンダリングすること、または入力信号を単一のラウドスピーカーにレンダリングすることの間で決めることができる。このレンダリング方法により、たとえば、音像がリスナーの向きに追従することが可能になる。
好ましい実施形態では、オーディオプロセッサは、たとえば、音響障害物によって陰にされない、ラウドスピーカーセットアップのラウドスピーカーのサブセットを選ぶように構成される。この例示的な事例では、リスナーは、擾乱させる環境上の音響障害物からクリーンな、クリーンな音像を享受している。
好ましい実施形態では、オーディオプロセッサは、たとえば、音響障害物によって生じるサウンドの減衰によって修正される、リスナーと所与のラウドスピーカーとの間の距離に基づいてよい、「実効距離」を計算するように構成される。たとえば、オーディオプロセッサは、たとえば、ラウドスピーカーのサブセットを選ぶとき、レンダリングを実行するとき、または割り振られた入力信号の物理的補正を実行するとき、「実効距離」を使用してよい。
「実効距離」により、オーディオプロセッサがリスナーの環境の音響特性を考慮に入れることによって聴取体験を改善することが可能になる。
好ましい実施形態では、オーディオプロセッサは、1つまたは複数の音響障害物によって生じる、音像における擾乱を修正するように構成される。たとえば、オーディオプロセッサは、たとえば、音像を修正するように、割り振られた入力信号をレンダリングまたは物理的に補正してよい。
この修正により、オーディオプロセッサがリスナーの環境の音響特性を考慮に入れることによって聴取体験を改善することが可能になる。
好ましい実施形態では、オーディオプロセッサは、オブジェクトおよび/またはチャネルオブジェクトおよび/または適合済みの信号がどのラウドスピーカー信号にレンダリングされるのかを決めるように構成される。レンダリングは、リスナーの位置から見られるときの、隣接するラウドスピーカーのような2つのラウドスピーカーの距離に依存し、かつ/または2つのラウドスピーカーの間の角度に依存する。たとえば、オーディオプロセッサは、入力信号をペア単位で2つのラウドスピーカーにレンダリングすること、または入力信号を単一のラウドスピーカーにレンダリングすることの間で決めることができる。このレンダリング方法により、たとえば、音像がリスナーの向きに追従することが可能になる。
好ましい実施形態では、オーディオプロセッサは、たとえば、音響障害物によって陰にされない、ラウドスピーカーセットアップのラウドスピーカーのサブセットを選ぶように構成される。この例示的な事例では、リスナーは、擾乱させる環境上の音響障害物からクリーンな、クリーンな音像を享受している。
好ましい実施形態では、オーディオプロセッサは、たとえば、音響障害物によって生じるサウンドの減衰によって修正される、リスナーと所与のラウドスピーカーとの間の距離に基づいてよい、「実効距離」を計算するように構成される。たとえば、オーディオプロセッサは、たとえば、ラウドスピーカーのサブセットを選ぶとき、レンダリングを実行するとき、または割り振られた入力信号の物理的補正を実行するとき、「実効距離」を使用してよい。
「実効距離」により、オーディオプロセッサがリスナーの環境の音響特性を考慮に入れることによって聴取体験を改善することが可能になる。
好ましい実施形態では、オーディオプロセッサは、1つまたは複数の音響障害物によって生じる、音像における擾乱を修正するように構成される。たとえば、オーディオプロセッサは、たとえば、音像を修正するように、割り振られた入力信号をレンダリングまたは物理的に補正してよい。
この修正により、オーディオプロセッサがリスナーの環境の音響特性を考慮に入れることによって聴取体験を改善することが可能になる。
【0049】
本発明によるさらなる実施形態はそれぞれの方法を生み出す。
【0050】
ただし、方法が、対応するオーディオプロセッサと同じ検討に基づくことに留意されたい。その上、方法は、オーディオプロセッサに関して本明細書で説明される、特徴、機能、および詳細のうちのいずれかによって、個別に、かつ組み合わせて取られることの両方で、増補され得る。
さらに一般的な所見として、本明細書で述べられるラウドスピーカーセットアップが随意に重複していてよいことに留意されたい。言い換えれば、「第2のラウドスピーカーセットアップ」の1つまたは複数のラウドスピーカーはまた、随意に「第1のラウドスピーカーセットアップ」の一部であってよい。しかしながら、代替として、「第1のラウドスピーカーセットアップ」および「第2のラウドスピーカーセットアップ」は、別個であってよく、いかなる共通のラウドスピーカーも備えなくてよい。
さらに一般的な所見として、本明細書で述べられるラウドスピーカーセットアップが随意に重複していてよいことに留意されたい。言い換えれば、「第2のラウドスピーカーセットアップ」の1つまたは複数のラウドスピーカーはまた、随意に「第1のラウドスピーカーセットアップ」の一部であってよい。しかしながら、代替として、「第1のラウドスピーカーセットアップ」および「第2のラウドスピーカーセットアップ」は、別個であってよく、いかなる共通のラウドスピーカーも備えなくてよい。
【0051】
本出願による実施形態は、同封された図を参照しながら後で説明される。
【図面の簡単な説明】
【0052】
【図1】オーディオプロセッサの簡略化された概略図である。
【図2】2つのラウドスピーカーセットアップを伴うレンダリングシナリオの概略図である。
【図3】2つのラウドスピーカーセットアップを伴う別のレンダリングシナリオの概略図である。
【図4】オブジェクト位置が固定されたレンダリング例の概略図である。
【図5】サウンドがリスナーの並進移動および随意に回転移動に追従するレンダリング例の概略図である。
【図6】3つのラウドスピーカーセットアップを伴う別のレンダリングシナリオの概略図である。
【図7】オーディオプロセッサを有する例示的なサウンド再生システムの概略図である。
【図8】信号適合の概略図である。
【図9】オーディオプロセッサの、かつ同様に一例として、異なる個数の個々のラウドスピーカーのセットアップの概略図である。
【図10】オーディオプロセッサの別の概略図である。
【図11】オブジェクト位置が固定されたレンダリング例の別の概略図である。
【図12】サウンドがリスナーの並進移動および回転移動に追従するレンダリング例の概略図である。
【図13】サウンドがリスナーの並進移動のみに追従するレンダリング例の概略図である。
【図14】オーディオプロセッサを有し、かつリスナーを伴う、例示的なサウンド再生システムの別の概略図である。
【図15】本発明のオーディオプロセッサの主な機能を表す、簡略化されたフローチャートである。
【図16】本発明のオーディオプロセッサの主な機能を表す、より複雑なフローチャートである。
【図17】リスナーおよびいくつかの音響障害物を伴う、オーディオプロセッサを有する例示的なサウンド再生システムの概略図である。
【図18】音響障害物についての情報を考慮に入れる本発明のオーディオプロセッサの主な機能を表す、簡略化されたフローチャートである。
【図19】音響障害物を伴わないかまたは伴う、ラウドスピーカーとリスナーとの間の「実効距離」の概略図である。
【図20】ラウドスピーカーとリスナーとの間の遮断する音響障害物および減衰させる音響障害物の概略図である。
【発明を実施するための形態】
【0053】
以下では、本発明の様々な実施形態および態様が説明される。また、さらなる実施形態が同封の特許請求の範囲によって規定される。
【0054】
特許請求の範囲によって規定されるような任意の実施形態が、本明細書で説明する詳細(特徴および機能)のうちのいずれかによって増補され得ることに留意されたい。また、本明細書で説明する実施形態は、個別に使用することができ、特許請求の範囲の中に含まれる詳細(特徴および機能)のうちのいずれかによってやはり随意に増補され得る。また、本明細書で説明する個々の態様が個別にまたは組合せで使用され得ることに留意されたい。したがって、前記態様のうちの別の態様に詳細を追加することなく、個々の前記態様の各々に詳細が追加され得る。本開示が、オーディオ信号プロセッサにおいて使用可能な特徴を明示的または暗黙的に説明することにも留意されたい。したがって、本明細書で説明する特徴のうちのいずれも、オーディオ信号プロセッサのコンテキストで使用され得る。
【0055】
その上、方法に関係する、本明細書で開示する特徴および機能は、装置においても使用(そのような機能を実行するように構成)され得る。さらに、装置に関して本明細書で開示するいかなる特徴および機能も、対応する方法においても使用され得る。言い換えれば、本明細書で開示する方法は、装置に関して説明する特徴および機能のうちのいずれかによって増補され得る。
【0056】
本発明は、以下で与えられる、発明を実施するための形態から、また本発明の実施形態の添付図面から、より十分に理解されるが、それらは、説明する特定の実施形態に本発明を限定するように取られるべきでなく、説明および理解のためのものにすぎない。
【0057】
図14による実施形態
図14は、オーディオシステム1400およびリスナー1450を示す。オーディオシステム1400は、オーディオプロセッサ1410および複数のラウドスピーカーセットアップ1420a～1420cを備える。各ラウドスピーカーセットアップ1420a、1420b、1420cは、1つまたは複数のラウドスピーカー1430を備える。ラウドスピーカーセットアップ1420a、1420b、1420cのすべてのラウドスピーカー1430は、オーディオプロセッサ1410の出力端子に(直接または間接的に)接続される。オーディオプロセッサ1410の入力は、リスナーの位置1455、ラウドスピーカーの位置1435、および入力信号1440である。入力信号1440は、オーディオオブジェクト1443および/またはチャネルオブジェクト1446および/または適合済みの信号1449を備える。
図14は、オーディオシステム1400およびリスナー1450を示す。オーディオシステム1400は、オーディオプロセッサ1410および複数のラウドスピーカーセットアップ1420a～1420cを備える。各ラウドスピーカーセットアップ1420a、1420b、1420cは、1つまたは複数のラウドスピーカー1430を備える。ラウドスピーカーセットアップ1420a、1420b、1420cのすべてのラウドスピーカー1430は、オーディオプロセッサ1410の出力端子に(直接または間接的に)接続される。オーディオプロセッサ1410の入力は、リスナーの位置1455、ラウドスピーカーの位置1435、および入力信号1440である。入力信号1440は、オーディオオブジェクト1443および/またはチャネルオブジェクト1446および/または適合済みの信号1449を備える。
【0058】
オーディオプロセッサ1410は、サウンドがリスナーに追従するような、入力信号1440からの複数のラウドスピーカー信号1460を、動的に提供している。リスナーの位置1455についての情報およびラウドスピーカーの位置1435についての情報に基づいて、オーディオプロセッサ1410は、入力信号1440のオブジェクト1443および/またはチャネルオブジェクト1446および/または適合済みの信号1449を、ラウドスピーカー1430に動的に割り振る。リスナー1450が位置を変えると、オーディオプロセッサ1410は、オブジェクト1443および/またはチャネルオブジェクト1446および/または適合済みの信号1449の割振りを、異なるラウドスピーカー1430に適合させる。リスナーの位置1455およびラウドスピーカーの位置1435に基づいて、オーディオプロセッサ1410は、サウンドがリスナー1450に追従するようなラウドスピーカー信号1460を取得するために、オーディオオブジェクト1443および/またはチャネルオブジェクト1446および/または適合済みの信号1449を動的にレンダリングする。
【0059】
言い換えれば、利用可能なラウドスピーカー1420を有利に使用することによってオーディオ再生を最適化しオーディオ信号をレンダリングするために、オーディオプロセッサ1410は、ラウドスピーカーの位置1435およびリスナーの位置1455についての知識を使用する。パッシブラウドスピーカー、アクティブラウドスピーカー、スマートスピーカー、サウンドバー、ドッキングステーション、TVのような、異なるオーディオプレイバック手段がその中で異なる位置に配置される部屋内または大きいエリア内で、リスナー1450は自由に移動することができる。周囲のエリアの中での現在のラウドスピーカー設置が与えられると、リスナー1450は、その人がラウドスピーカーレイアウトの中心にいることになるときにオーディオプレイバックを享受することができる。
【0060】
図17による実施形態
図17は、オーディオシステム1700を示し、オーディオシステム1700は、リスナー1750および複数の音響障害物1770を伴って、図14におけるオーディオシステム1400と類似であってよい。オーディオシステム1700は、オーディオプロセッサ1710および複数のラウドスピーカーセットアップ1720a～1720cを備える。各ラウドスピーカーセットアップ1720a、1720b、1720cは、1つまたは複数のラウドスピーカー1730を備える。ラウドスピーカーセットアップ1720a、1720b、1720cの1つまたは複数のラウドスピーカー1730は、たとえば、壁、家具などのような音響障害物1770によって互いに分離される。ラウドスピーカーセットアップ1720a、1720b、1720cのすべてのラウドスピーカー1730は、オーディオプロセッサ1710の出力端子に(直接または間接的に)接続される。オーディオプロセッサ1710の入力は、リスナーの位置1755、ラウドスピーカーの位置1735、音響障害物についての情報1775、および入力信号1740である。入力信号1740は、オーディオオブジェクト1743および/またはチャネルオブジェクト1746および/または適合済みの信号1749を備える。
図17は、オーディオシステム1700を示し、オーディオシステム1700は、リスナー1750および複数の音響障害物1770を伴って、図14におけるオーディオシステム1400と類似であってよい。オーディオシステム1700は、オーディオプロセッサ1710および複数のラウドスピーカーセットアップ1720a～1720cを備える。各ラウドスピーカーセットアップ1720a、1720b、1720cは、1つまたは複数のラウドスピーカー1730を備える。ラウドスピーカーセットアップ1720a、1720b、1720cの1つまたは複数のラウドスピーカー1730は、たとえば、壁、家具などのような音響障害物1770によって互いに分離される。ラウドスピーカーセットアップ1720a、1720b、1720cのすべてのラウドスピーカー1730は、オーディオプロセッサ1710の出力端子に(直接または間接的に)接続される。オーディオプロセッサ1710の入力は、リスナーの位置1755、ラウドスピーカーの位置1735、音響障害物についての情報1775、および入力信号1740である。入力信号1740は、オーディオオブジェクト1743および/またはチャネルオブジェクト1746および/または適合済みの信号1749を備える。
【0061】
オーディオプロセッサ1710は、サウンドがリスナーに追従するような、入力信号1740からの複数のラウドスピーカー信号1760を、音響障害物1770を考慮に入れて動的に提供している。リスナーの位置1755についての情報、ラウドスピーカーの位置1735についての情報、ならびに音響障害物の位置および特性1775についての情報に基づいて、オーディオプロセッサ1710は、入力信号1740のオブジェクト1743および/またはチャネルオブジェクト1746および/または適合済みの信号1749を、ラウドスピーカー1730に動的に割り振る。リスナー1750が位置を変えると、オーディオプロセッサ1710は、オブジェクト1743および/またはチャネルオブジェクト1746および/または適合済みの信号1749の割振りを、異なるラウドスピーカー1730に適合させる。リスナーの位置1755、ラウドスピーカーの位置1735、ならびに音響障害物の位置および特性1775に基づいて、オーディオプロセッサ1710は、サウンドがリスナー1750に追従するようなラウドスピーカー信号1760を取得するために、オーディオオブジェクト1743および/またはチャネルオブジェクト1746および/または適合済みの信号1749を動的にレンダリングする。
【0062】
言い換えれば、ラウドスピーカー1720のうちのいくつかがそこから音響障害物1770によって分離される利用可能なラウドスピーカー1720を有利に使用することによって、オーディオ再生を最適化しオーディオ信号をレンダリングするために、オーディオプロセッサ1710は、ラウドスピーカーの位置1735、リスナーの位置1750、ならびに音響障害物の位置および特性1775についての知識を使用する。パッシブラウドスピーカー、アクティブラウドスピーカー、スマートスピーカー、サウンドバー、ドッキングステーション、TVのような、異なるオーディオプレイバック手段がその中で、それらのうちのいくつかがそこから音響障害物1770によって分離される異なる位置に配置される部屋内または家屋内で、リスナー1750は自由に移動することができる。周囲のエリアの中での現在のラウドスピーカー設置および音響障害物1770が与えられると、リスナー1750は、その人がラウドスピーカーレイアウトの中心にいることになるときにオーディオプレイバックを享受することができる。
【0063】
他の実施形態に関して本明細書で説明される、開示する特徴、機能、および詳細のうちのいずれかによって、個別に、かつ組み合わせて取られることの両方で、オーディオプロセッサシステム1700が随意に増補され得ることに留意されたい。
【0064】
図15による実施形態
図15は、オーディオプロセッサ1510の主な機能を備える簡略化されたブロック図1500を示し、オーディオプロセッサ1510は、図14におけるオーディオプロセッサ1410と類似であってよい。オーディオプロセッサ1510の入力は、リスナーの位置1555、ラウドスピーカーの位置1535、および入力信号1540である。オーディオプロセッサ1510は、2つの主な機能、すなわち、レンダリング1520がそれに続くかまたはレンダリングと組み合わせられてよい、ラウドスピーカーへの信号の割振り1550を有する。信号割振り1550の入力は、入力信号1540、リスナーの位置1555、およびラウドスピーカーの位置1535である。信号割振り1550の出力はレンダリング1520に接続される。レンダリング1520のさらなる入力は、リスナーの位置1555およびラウドスピーカーの位置1535である。オーディオプロセッサ1510の出力でもある、レンダリング1520の出力は、ラウドスピーカー信号1560である。
オーディオプロセッサ1510、リスナーの位置1555、ラウドスピーカーの位置1535、入力信号1540、およびラウドスピーカー信号1560は、それぞれ、図14における、オーディオプロセッサ1410、リスナーの位置1455、ラウドスピーカーの位置1435、入力信号1440、およびラウドスピーカー信号1460と類似であってよい。
図15は、オーディオプロセッサ1510の主な機能を備える簡略化されたブロック図1500を示し、オーディオプロセッサ1510は、図14におけるオーディオプロセッサ1410と類似であってよい。オーディオプロセッサ1510の入力は、リスナーの位置1555、ラウドスピーカーの位置1535、および入力信号1540である。オーディオプロセッサ1510は、2つの主な機能、すなわち、レンダリング1520がそれに続くかまたはレンダリングと組み合わせられてよい、ラウドスピーカーへの信号の割振り1550を有する。信号割振り1550の入力は、入力信号1540、リスナーの位置1555、およびラウドスピーカーの位置1535である。信号割振り1550の出力はレンダリング1520に接続される。レンダリング1520のさらなる入力は、リスナーの位置1555およびラウドスピーカーの位置1535である。オーディオプロセッサ1510の出力でもある、レンダリング1520の出力は、ラウドスピーカー信号1560である。
オーディオプロセッサ1510、リスナーの位置1555、ラウドスピーカーの位置1535、入力信号1540、およびラウドスピーカー信号1560は、それぞれ、図14における、オーディオプロセッサ1410、リスナーの位置1455、ラウドスピーカーの位置1435、入力信号1440、およびラウドスピーカー信号1460と類似であってよい。
【0065】
リスナーの位置1555およびラウドスピーカーの位置1535に基づいて、オーディオプロセッサ1510は、図14におけるラウドスピーカー1430に入力信号1540を割り振る(1550)。次のステップとして、オーディオプロセッサ1510は、リスナーの位置1555およびラウドスピーカーの位置1535に基づいて入力信号1540をレンダリングし(1520)、ラウドスピーカー信号1560が得られる。
【0066】
図18による実施形態
図18は、簡略化されたブロック図1800を示し、ブロック図1800は、図15における簡略化されたブロック図1500と類似であってよい。簡略化されたブロック図1800は、オーディオプロセッサ1810の主な機能を備え、オーディオプロセッサ1810は、図14におけるオーディオプロセッサ1410と類似であってよい。オーディオプロセッサ1810の入力は、リスナーの位置1855、ラウドスピーカーの位置1835、音響障害物についての情報1870、および入力信号1840である。オーディオプロセッサ1810は、2つの主な機能、すなわち、レンダリング1820がそれに続くかまたはレンダリング1820と組み合わせられてよい、ラウドスピーカーへの信号の割振り1850を有する。信号割振り1850の入力は、入力信号1840、音響障害物についての情報1870、リスナーの位置1855、およびラウドスピーカーの位置1835である。信号割振り1850の出力はレンダリング1820に接続される。レンダリング1820のさらなる入力は、リスナーの位置1855、およびラウドスピーカーの位置1835である。オーディオプロセッサ1810の出力でもある、レンダリング1820の出力は、ラウドスピーカー信号1860である。
オーディオプロセッサ1810、リスナーの位置1855、ラウドスピーカーの位置1835、入力信号1840、およびラウドスピーカー信号1860は、それぞれ、図14における、オーディオプロセッサ1410、リスナーの位置1455、ラウドスピーカーの位置1435、入力信号1440、およびラウドスピーカー信号1460と類似であってよい。
図18は、簡略化されたブロック図1800を示し、ブロック図1800は、図15における簡略化されたブロック図1500と類似であってよい。簡略化されたブロック図1800は、オーディオプロセッサ1810の主な機能を備え、オーディオプロセッサ1810は、図14におけるオーディオプロセッサ1410と類似であってよい。オーディオプロセッサ1810の入力は、リスナーの位置1855、ラウドスピーカーの位置1835、音響障害物についての情報1870、および入力信号1840である。オーディオプロセッサ1810は、2つの主な機能、すなわち、レンダリング1820がそれに続くかまたはレンダリング1820と組み合わせられてよい、ラウドスピーカーへの信号の割振り1850を有する。信号割振り1850の入力は、入力信号1840、音響障害物についての情報1870、リスナーの位置1855、およびラウドスピーカーの位置1835である。信号割振り1850の出力はレンダリング1820に接続される。レンダリング1820のさらなる入力は、リスナーの位置1855、およびラウドスピーカーの位置1835である。オーディオプロセッサ1810の出力でもある、レンダリング1820の出力は、ラウドスピーカー信号1860である。
オーディオプロセッサ1810、リスナーの位置1855、ラウドスピーカーの位置1835、入力信号1840、およびラウドスピーカー信号1860は、それぞれ、図14における、オーディオプロセッサ1410、リスナーの位置1455、ラウドスピーカーの位置1435、入力信号1440、およびラウドスピーカー信号1460と類似であってよい。
【0067】
リスナーの位置1855、ラウドスピーカーの位置1835、および音響障害物についての情報1870に基づいて、オーディオプロセッサ1810は、図14におけるラウドスピーカー1430に入力信号1840を割り振る(1850)。次のステップとして、オーディオプロセッサ1810は、リスナーの位置1855およびラウドスピーカーの位置1835に基づいて入力信号1840をレンダリングし(1820)、ラウドスピーカー信号1860が得られる。
【0068】
他の実施形態に関して本明細書で説明される、開示する特徴、機能、および詳細のうちのいずれかによって、個別に、かつ組み合わせて取られることの両方で、簡略化されたブロック図1800が随意に増補され得ることに留意されたい。
【0069】
図16による実施形態
図16は、オーディオプロセッサ1610の機能を備える、より詳細なブロック図1600を示し、オーディオプロセッサ1610は、図14におけるオーディオプロセッサ1410と類似であってよい。ブロック図1600は、簡略化されたブロック図1500と類似であるが、もっと詳細である。オーディオプロセッサ1610の入力は、リスナーの位置1655、ラウドスピーカーの位置1635、および入力信号1640である。オーディオプロセッサ1610の出力はラウドスピーカー信号1660である。オーディオプロセッサ1610の機能は、オブジェクト位置の算出または読取りおよび/もしくは抽出1630、それに続くラウドスピーカーの識別1670、それに続くアップミキシングおよび/またはダウンミキシング1680、それに続くラウドスピーカーへの信号の割振り1650、それに続くレンダリング1620、それに続く物理的補正1690である。オブジェクト位置を算出する機能1630の入力は、リスナーの位置1655、ラウドスピーカーの位置1635、および入力信号1640である。この機能の出力は、ラウドスピーカーを識別する機能1670に接続される。ラウドスピーカーを識別する機能1670の入力は、リスナーの位置1655、ラウドスピーカーの位置1635、および算出されたオブジェクト位置である。この機能の出力は、アップミックスおよび/またはダウンミックスする機能1680に接続される。この機能は他の入力を取らず、その出力はラウドスピーカーに信号を割り振る機能1650に接続される。ラウドスピーカーに信号を割り振る機能1650の入力は、リスナーの位置1655、ラウドスピーカーの位置1635、およびアップミックス/ダウンミックスされた信号である。ラウドスピーカーに信号を割り振る機能1650の出力は、レンダリングする機能1620に接続される。レンダリングする機能の入力は、リスナーの位置1655、ラウドスピーカーの位置1635、および割り振られた信号である。レンダリングする機能の出力は、物理的補正の機能1690に接続される。物理的補正の機能1690の入力は、リスナーの位置1655、ラウドスピーカーの位置1635、およびレンダリングされた信号である。オーディオプロセッサ1610の出力である、物理的補正の機能1690の出力は、ラウドスピーカー信号1660である。
オーディオプロセッサ1610、リスナーの位置1655、ラウドスピーカーの位置1635、入力信号1640、およびラウドスピーカー信号1660は、それぞれ、図14における、オーディオプロセッサ1410、リスナーの位置1455、ラウドスピーカーの位置1435、入力信号1440、およびラウドスピーカー信号1460と類似であってよい。
ブロック図1600、オーディオプロセッサ1610、リスナーの位置1655、ラウドスピーカーの位置1635、入力信号1640、ラウドスピーカー信号1660、ならびに信号割振り1650およびレンダリング1620の機能は、それぞれ、図15における、ブロック図1500、オーディオプロセッサ1510、リスナーの位置1555、ラウドスピーカーの位置1535、入力信号1540、ラウドスピーカー信号1560、ならびに信号割振り1550およびレンダリング1520の機能と類似であってよい。
図16は、オーディオプロセッサ1610の機能を備える、より詳細なブロック図1600を示し、オーディオプロセッサ1610は、図14におけるオーディオプロセッサ1410と類似であってよい。ブロック図1600は、簡略化されたブロック図1500と類似であるが、もっと詳細である。オーディオプロセッサ1610の入力は、リスナーの位置1655、ラウドスピーカーの位置1635、および入力信号1640である。オーディオプロセッサ1610の出力はラウドスピーカー信号1660である。オーディオプロセッサ1610の機能は、オブジェクト位置の算出または読取りおよび/もしくは抽出1630、それに続くラウドスピーカーの識別1670、それに続くアップミキシングおよび/またはダウンミキシング1680、それに続くラウドスピーカーへの信号の割振り1650、それに続くレンダリング1620、それに続く物理的補正1690である。オブジェクト位置を算出する機能1630の入力は、リスナーの位置1655、ラウドスピーカーの位置1635、および入力信号1640である。この機能の出力は、ラウドスピーカーを識別する機能1670に接続される。ラウドスピーカーを識別する機能1670の入力は、リスナーの位置1655、ラウドスピーカーの位置1635、および算出されたオブジェクト位置である。この機能の出力は、アップミックスおよび/またはダウンミックスする機能1680に接続される。この機能は他の入力を取らず、その出力はラウドスピーカーに信号を割り振る機能1650に接続される。ラウドスピーカーに信号を割り振る機能1650の入力は、リスナーの位置1655、ラウドスピーカーの位置1635、およびアップミックス/ダウンミックスされた信号である。ラウドスピーカーに信号を割り振る機能1650の出力は、レンダリングする機能1620に接続される。レンダリングする機能の入力は、リスナーの位置1655、ラウドスピーカーの位置1635、および割り振られた信号である。レンダリングする機能の出力は、物理的補正の機能1690に接続される。物理的補正の機能1690の入力は、リスナーの位置1655、ラウドスピーカーの位置1635、およびレンダリングされた信号である。オーディオプロセッサ1610の出力である、物理的補正の機能1690の出力は、ラウドスピーカー信号1660である。
オーディオプロセッサ1610、リスナーの位置1655、ラウドスピーカーの位置1635、入力信号1640、およびラウドスピーカー信号1660は、それぞれ、図14における、オーディオプロセッサ1410、リスナーの位置1455、ラウドスピーカーの位置1435、入力信号1440、およびラウドスピーカー信号1460と類似であってよい。
ブロック図1600、オーディオプロセッサ1610、リスナーの位置1655、ラウドスピーカーの位置1635、入力信号1640、ラウドスピーカー信号1660、ならびに信号割振り1650およびレンダリング1620の機能は、それぞれ、図15における、ブロック図1500、オーディオプロセッサ1510、リスナーの位置1555、ラウドスピーカーの位置1535、入力信号1540、ラウドスピーカー信号1560、ならびに信号割振り1550およびレンダリング1520の機能と類似であってよい。
【0070】
最初のステップとして、オーディオプロセッサ1610は、入力信号1640のオブジェクトおよび/またはチャネルオブジェクトのオブジェクト位置を算出する(1630)。オブジェクトの位置は、絶対位置、ならびに/またはリスナーの位置1655に対するもの、および/もしくはラウドスピーカーの位置1635に対するものであり得る。次のステップとして、オーディオプロセッサ1610は、リスナーの位置1655から既定の範囲内で、かつ/または算出されたオブジェクト位置から既定の範囲内で、ラウドスピーカーを識別および選択している(1670)。次のステップとして、オーディオプロセッサ1610は、入力信号1640の中のチャネルの個数および/またはオブジェクトの個数を、選択されたラウドスピーカーの個数に適合させる。入力信号1640の中のチャネルの個数および/またはオブジェクトの個数が、選択されたラウドスピーカーの個数とは異なる場合、オーディオプロセッサ1610は、入力信号1640をアップミックスおよび/またはダウンミックスしている(1680)。次のステップとして、オーディオプロセッサ1610は、リスナーの位置1655およびラウドスピーカーの位置1635に基づいて、アップミックスおよび/またはダウンミックスされた適合済みの信号を、選択されたラウドスピーカーに割り振る(1650)。次のステップとして、オーディオプロセッサ1610は、リスナーの位置1655およびラウドスピーカーの位置1635に応じて、適合され割り振られた信号をレンダリングする(1620)。次のステップとして、オーディオプロセッサ1610は、標準のラウドスピーカーレイアウトと現在のラウドスピーカーレイアウトとの間の差異、および/またはリスナーの現在位置1655と標準かつ/もしくはデフォルトのラウドスピーカーレイアウトのスイートスポット位置との間の差異を、物理的に補正する。物理的に補正された信号は、オーディオプロセッサ1610の出力信号であり、ラウドスピーカー信号1660として図14の中のラウドスピーカー1430へ送られる。
【0071】
図1による実施形態
図1は、オーディオプロセッサ110の基本的な描写を示し、オーディオプロセッサ110は、図14におけるオーディオプロセッサ1410と類似であってよい。オーディオプロセッサ110の入力は、オーディオ入力または入力信号140、リスナー位置および向き155についての情報、ラウドスピーカーの位置および向き135についての情報、ならびにラウドスピーカーの放射特性145についての情報である。オーディオプロセッサ110の出力は、オーディオ出力またはラウドスピーカー信号160である。
オーディオプロセッサ110、リスナーの位置155、ラウドスピーカーの位置135、入力信号140、およびラウドスピーカー信号160は、それぞれ、図14における、オーディオプロセッサ1410、リスナーの位置1455、ラウドスピーカーの位置1435、入力信号1440、およびラウドスピーカー信号1460と類似であってよい。
図1は、オーディオプロセッサ110の基本的な描写を示し、オーディオプロセッサ110は、図14におけるオーディオプロセッサ1410と類似であってよい。オーディオプロセッサ110の入力は、オーディオ入力または入力信号140、リスナー位置および向き155についての情報、ラウドスピーカーの位置および向き135についての情報、ならびにラウドスピーカーの放射特性145についての情報である。オーディオプロセッサ110の出力は、オーディオ出力またはラウドスピーカー信号160である。
オーディオプロセッサ110、リスナーの位置155、ラウドスピーカーの位置135、入力信号140、およびラウドスピーカー信号160は、それぞれ、図14における、オーディオプロセッサ1410、リスナーの位置1455、ラウドスピーカーの位置1435、入力信号1440、およびラウドスピーカー信号1460と類似であってよい。
【0072】
オーディオプロセッサ110は、オーディオ出力またはラウドスピーカー信号160を作成するために、オーディオ入力または入力信号140、リスナーの位置および/または向き155についての情報、ラウドスピーカーの位置および向き135についての情報、ならびにラウドスピーカーの放射特性145についての情報を受信および処理する。
【0073】
言い換えれば、図1はオーディオプロセッサ110の基本実装形態を示す。1つまたは複数のオーディオチャネルが、(たとえば、オーディオ入力140の形態で)受信され、処理され、出力される。その処理は、リスナーの位置および/または向き155によって、かつラウドスピーカーの位置および/または向き135ならびに特性145によって決定される。本発明のシステムは、周囲のエリアの中での現在のラウドスピーカー設置が与えられると、リスナーが、その人がラウドスピーカーレイアウトの中心にいることになるときにオーディオプレイバックを享受できることを容易にする。
【0074】
図7による実施形態
図7は、図14におけるオーディオ再生システム1400に相当し得るオーディオ再生システム700、および複数のプレイバックデバイス750の概略図を示す。オーディオ再生システム700は、図14におけるオーディオプロセッサ1410と類似であってよいオーディオプロセッサ710、および複数のラウドスピーカー730を備える。複数のラウドスピーカー730は、たとえば、(たとえば、セットアップの一部になることがある)モノスマートスピーカー793、および/または(たとえば、セットアップを形成することがあり、たとえば、もっと大きいセットアップの一部になることがある)ステレオシステム796、および/または(たとえば、セットアップの一部になることがあり、たとえば、サウンドバーの中に配列される複数のラウドスピーカードライバを備えてよい)サウンドバー799を備えてよい。複数のラウドスピーカー730は、オーディオプロセッサ710の出力に接続される。オーディオプロセッサ710の入力は、複数のプレイバックデバイス750に接続される。オーディオプロセッサ710の追加の入力は、リスナーの位置および向き755についての情報、ならびにラウドスピーカー位置および向き735についての情報、ならびにラウドスピーカー放射特性745についての情報である。
オーディオ再生システム700、オーディオプロセッサ710、リスナーの位置755、ラウドスピーカーの位置735、入力信号740、ラウドスピーカー信号760、およびラウドスピーカー730は、それぞれ、図14における、オーディオ再生システム1400、オーディオプロセッサ1410、リスナーの位置1455、ラウドスピーカーの位置1435、入力信号1440、ラウドスピーカー信号1460、およびラウドスピーカー1430と類似であってよい。
図7は、図14におけるオーディオ再生システム1400に相当し得るオーディオ再生システム700、および複数のプレイバックデバイス750の概略図を示す。オーディオ再生システム700は、図14におけるオーディオプロセッサ1410と類似であってよいオーディオプロセッサ710、および複数のラウドスピーカー730を備える。複数のラウドスピーカー730は、たとえば、(たとえば、セットアップの一部になることがある)モノスマートスピーカー793、および/または(たとえば、セットアップを形成することがあり、たとえば、もっと大きいセットアップの一部になることがある)ステレオシステム796、および/または(たとえば、セットアップの一部になることがあり、たとえば、サウンドバーの中に配列される複数のラウドスピーカードライバを備えてよい)サウンドバー799を備えてよい。複数のラウドスピーカー730は、オーディオプロセッサ710の出力に接続される。オーディオプロセッサ710の入力は、複数のプレイバックデバイス750に接続される。オーディオプロセッサ710の追加の入力は、リスナーの位置および向き755についての情報、ならびにラウドスピーカー位置および向き735についての情報、ならびにラウドスピーカー放射特性745についての情報である。
オーディオ再生システム700、オーディオプロセッサ710、リスナーの位置755、ラウドスピーカーの位置735、入力信号740、ラウドスピーカー信号760、およびラウドスピーカー730は、それぞれ、図14における、オーディオ再生システム1400、オーディオプロセッサ1410、リスナーの位置1455、ラウドスピーカーの位置1435、入力信号1440、ラウドスピーカー信号1460、およびラウドスピーカー1430と類似であってよい。
【0075】
異なるプレイバックデバイス750が、異なる入力信号740をオーディオプロセッサ710へ送っている。オーディオプロセッサ710は、ラウドスピーカーのフィードまたはラウドスピーカー信号760を生成するために、リスナーの位置および向き755についての情報、ならびにラウドスピーカー位置および向き735についての情報、ならびにラウドスピーカーの放射特性745についての情報に基づいて、ラウドスピーカー730のサブセットを選択し、選択されたラウドスピーカー730に入力信号740を適合させるとともに割り振り、リスナーの位置についての情報、ならびにラウドスピーカーの位置および向き、ならびにラウドスピーカーの放射特性745に応じて、処理された入力信号740をレンダリングする。ラウドスピーカーフィードまたはラウドスピーカー信号760は、サウンドがリスナーに追従するような選択されたラウドスピーカー730へ送信される。
【0076】
図7は、提案されるシステムの技術的な詳細および例示的な実装形態を示す。本発明の方法は、すべての利用可能なラウドスピーカー730のセットから、ラウドスピーカーセットアップ、たとえば、ラウドスピーカー730のサブセットまたはグループを適応的に選択する。選択されたサブセットは、現在アクティブなまたは対象とされるラウドスピーカー730である。どのラウドスピーカー730がサブセットの一部となるように選択されるのかは、リスナーの位置755および選ばれたユーザ設定に依存する。ラウドスピーカー730の選択されたグループは、そのとき、アクティブな再生セットアップである。追加として、レンダリングプロセス中に模範とされるパラダイムに作用するために、異なるユーザ選択可能設定が選ばれ得る。オーディオプロセッサは、図14の中のリスナー1450の位置を知る必要がある(または、知るべきである)。リスナー位置755は、たとえば、リアルタイムで追跡され得る。いくつかの実施形態の場合、追加として、リスナーの向きすなわち見ている方向が、レンダリングの適合のために使用され得る。オーディオプロセッサはまた、ラウドスピーカーの位置および向きまたはセットアップを知る必要がある(または知るべきである)。本出願または本文書では、ユーザの位置および向きについての情報がどのように検出されるのかまたはシステムにシグナリングされるのかという論題をカバーしない。ラウドスピーカーの位置および特性がどのようにシステムにシグナリングされるのかという論題もカバーしない。そのことを達成するために多くの異なる方法が利用可能である。壁、ドアなどの位置に対して同じことが適用される。この情報がシステムに知られていることを想定する。
【0077】
図8によるミキシング
図8は、図14における1410と類似のオーディオプロセッサの、図16における1680と類似のアップミックスおよび/またはダウンミックス機能をさらに説明する。図8aは、x個の入力チャネルを伴う入力信号803aおよびy個の出力チャネルを伴う出力信号807aを有する、ミキシングマトリックス800aを示す。ミキシングマトリックス800aは、たとえば、入力チャネルのうちの1つまたは複数を複製または合成することによって、入力信号803aのx個の入力チャネルの一次結合から、y個のチャネルを伴う出力信号807aを計算する。たとえば、ミキシングマトリックスは単純であってよい。たとえば、ミキシングマトリックスは、たとえば、一定の/乗法的なボリューム係数または利得係数またはラウドネス係数などの、場合によっては単純な係数を用いて選択される、所与の信号の単純な再使用(または多重使用)を実行してよい。
図8は、図14における1410と類似のオーディオプロセッサの、図16における1680と類似のアップミックスおよび/またはダウンミックス機能をさらに説明する。図8aは、x個の入力チャネルを伴う入力信号803aおよびy個の出力チャネルを伴う出力信号807aを有する、ミキシングマトリックス800aを示す。ミキシングマトリックス800aは、たとえば、入力チャネルのうちの1つまたは複数を複製または合成することによって、入力信号803aのx個の入力チャネルの一次結合から、y個のチャネルを伴う出力信号807aを計算する。たとえば、ミキシングマトリックスは単純であってよい。たとえば、ミキシングマトリックスは、たとえば、一定の/乗法的なボリューム係数または利得係数またはラウドネス係数などの、場合によっては単純な係数を用いて選択される、所与の信号の単純な再使用(または多重使用)を実行してよい。
【0078】
図8bは、m個のチャネルを伴う入力信号803bをn個のチャネルを伴う出力信号807bに変換するダウンミキシングマトリックス800bを示し、ただし、mはnよりも大きい。ダウンミキシングマトリックス800bは、チャネルの個数をmからnに減らすためにアクティブ信号処理を使用する。
図8cは、ミキシングマトリックスのアップミックス800c使用事例を示す。この場合、ミキシングマトリックスは、n個のチャネルを伴う入力信号803cをm個のチャネルを伴う出力信号807cに変換しており、ただし、mはnよりも大きい。アップミキシングマトリックス800cは、チャネルの個数をnからmに増やすためにアクティブ信号処理を使用する。
オーディオプロセッサのアップミックス800cおよび/またはダウンミックス800b機能は、入力オーディオ信号のチャネル数が、選ばれたラウドスピーカーの個数とは異なるときの事例、および入力オーディオ信号と選ばれたラウドスピーカーの個数との間でチャネルの個数を変換するためにアクティブ信号処理が使用されるときの事例において、解決策を与える。
たとえば、ダウンミックスまたはアップミックスは、たとえば、1つまたは複数の入力信号の分析ならびに利得係数の時間可変調整および/または周波数可変調整を使用することなどの、純粋なミキシングマトリックスと比較するとアクティブかつもっと複雑な信号処理プロセスであり得る。
図8cは、ミキシングマトリックスのアップミックス800c使用事例を示す。この場合、ミキシングマトリックスは、n個のチャネルを伴う入力信号803cをm個のチャネルを伴う出力信号807cに変換しており、ただし、mはnよりも大きい。アップミキシングマトリックス800cは、チャネルの個数をnからmに増やすためにアクティブ信号処理を使用する。
オーディオプロセッサのアップミックス800cおよび/またはダウンミックス800b機能は、入力オーディオ信号のチャネル数が、選ばれたラウドスピーカーの個数とは異なるときの事例、および入力オーディオ信号と選ばれたラウドスピーカーの個数との間でチャネルの個数を変換するためにアクティブ信号処理が使用されるときの事例において、解決策を与える。
たとえば、ダウンミックスまたはアップミックスは、たとえば、1つまたは複数の入力信号の分析ならびに利得係数の時間可変調整および/または周波数可変調整を使用することなどの、純粋なミキシングマトリックスと比較するとアクティブかつもっと複雑な信号処理プロセスであり得る。
【0079】
図2による使用シナリオ
図2は、図14における1400と類似のオーディオ再生システムの、例示的な使用シナリオ200を示す。使用シナリオ200は、図14における1410と類似のオーディオプロセッサによって駆動される2つの5.0ラウドスピーカーセットアップ、すなわち、Setup_1,210およびSetup_2,220を備える。Setup_1,210およびSetup_2,220は、随意に、壁230または他の音響障害物によって分離され得る。Setup_1,210とSetup_2,220の両方は、デフォルトまたは標準のラウドスピーカーレイアウトを有してよい。Setup_2,220のラウドスピーカーレイアウトは、Setup_1,210と比較して、たとえば、180°だけ回転している。ラウドスピーカーセットアップSetup_1,210とSetup_2,220の両方は、それぞれ、スイートスポットLP1,230およびLP2,240を有する。図2は、リスナーがLP1,230からLP2,240に移動する軌跡250をさらに示す。
図2は、図14における1400と類似のオーディオ再生システムの、例示的な使用シナリオ200を示す。使用シナリオ200は、図14における1410と類似のオーディオプロセッサによって駆動される2つの5.0ラウドスピーカーセットアップ、すなわち、Setup_1,210およびSetup_2,220を備える。Setup_1,210およびSetup_2,220は、随意に、壁230または他の音響障害物によって分離され得る。Setup_1,210とSetup_2,220の両方は、デフォルトまたは標準のラウドスピーカーレイアウトを有してよい。Setup_2,220のラウドスピーカーレイアウトは、Setup_1,210と比較して、たとえば、180°だけ回転している。ラウドスピーカーセットアップSetup_1,210とSetup_2,220の両方は、それぞれ、スイートスポットLP1,230およびLP2,240を有する。図2は、リスナーがLP1,230からLP2,240に移動する軌跡250をさらに示す。
【0080】
ラウドスピーカーセットアップSetup_1,210は、たとえば、入力信号のチャネル構成に対応する。たとえば、手始めに、リスナーはLP1,230、すなわち、Setup_1,210のスイートスポットにいる。リスナーがLP1,230からLP2,240に移動すると、本明細書で説明するオーディオプロセッサは、図15で説明したように、音像および音像の向きがリスナーに追従するような入力信号を割り振るとともにレンダリングする。そのことは、たとえば、ラウドスピーカーセットアップSetup_1,210の(または入力信号の)前方および中央のチャネルが、ラウドスピーカーセットアップSetup_2,220の後方のラウドスピーカーによって再生されることを意味する。そしてそれぞれ、ラウドスピーカーセットアップSetup_1,210の(または入力信号の)後方のラウドスピーカーチャネルは、音像の向きを保つために、ラウドスピーカーセットアップSetup_2,220の前方および中央のラウドスピーカーによって再生される。
【0081】
言い換えれば、図2は、現況技術または通常のゾーンスイッチングシステムと本発明による方法との間の差異を説明するための説明的な例を示す。Setup_1,210およびSetup_2,220は両方とも、5チャネルサラウンドラウドスピーカーセットアップを特徴づける。差異は2つのセットアップの向きである。従来の言い方では、ラウドスピーカーLSS1_L、LSS1_C、LSS1_Rは、Setup_1,210の中の上部にある前方を規定するが、Setup_2,220では、この従来の前方(LSS2_L、LSS2_C、LSS2_R)は下部にある。通常、従来のプレイバックシナリオでは、DVDのようなプレイバックメディアおよび付属の増幅器のチャネルは、たとえば、第1の出力チャネルが左のラウドスピーカーに、第2のチャネルが右のラウドスピーカーに、かつ第3のチャネルが中央のラウドスピーカーに結び付けられることなどを規定する、たとえば、ITU規格に従って、マッピングが固定されて送信される。
たとえば、リスナーはSetup_1,210、すなわち、位置LP1,230からSetup_2,220、すなわち、位置LP2,240に位置を変えている(すなわち移動している)。従来または通常のオン/オフマルチルームシステムは、単に2つのセットアップの間で切り替えることになるが、ラウドスピーカーは、メディア/増幅器のそれらの関連するチャネルに関連付けられることになり、したがって、再生の前方像は異なる方向に変化することになる。
本発明の方法を使用すると、ラウドスピーカーはプレイバックデバイスの出力に、固定された方式では接続されない。プロセッサは、ラウドスピーカーの位置およびユーザの位置についての情報を使用して、一貫したオーディオプレイバックを生み出す。本例では、Setup_2,220において、LSS1_L、LSS1_C、およびLSS1_Rによって生成されているチャネルコンテンツはSetup_2,220への遷移の中でLSS2_SRおよびLSS2_SLによって引き継がれることになる。そのように、ラウドスピーカーセットアップにおける従来の前後区別は取り下げられ、レンダリングは実際の環境によって規定される。
たとえば、リスナーはSetup_1,210、すなわち、位置LP1,230からSetup_2,220、すなわち、位置LP2,240に位置を変えている(すなわち移動している)。従来または通常のオン/オフマルチルームシステムは、単に2つのセットアップの間で切り替えることになるが、ラウドスピーカーは、メディア/増幅器のそれらの関連するチャネルに関連付けられることになり、したがって、再生の前方像は異なる方向に変化することになる。
本発明の方法を使用すると、ラウドスピーカーはプレイバックデバイスの出力に、固定された方式では接続されない。プロセッサは、ラウドスピーカーの位置およびユーザの位置についての情報を使用して、一貫したオーディオプレイバックを生み出す。本例では、Setup_2,220において、LSS1_L、LSS1_C、およびLSS1_Rによって生成されているチャネルコンテンツはSetup_2,220への遷移の中でLSS2_SRおよびLSS2_SLによって引き継がれることになる。そのように、ラウドスピーカーセットアップにおける従来の前後区別は取り下げられ、レンダリングは実際の環境によって規定される。
【0082】
たとえば、本明細書で説明するオーディオプロセッサは、チャネルが固定されなくてよい。リスナーがSetup_1,210からSetup_2,220に移動しているとき、上記で説明したオーディオプロセッサは、聴取体験を絶えず最適化してよい。中間段階は、たとえば、ラウドスピーカーLSS1_L、LSS1_SL、LSS2_L、LSS2_SLのみに対してオーディオプロセッサがラウドスピーカー信号を提供することであり得、チャネルの個数が4つに減らされチャネルがそれらの通常の役割を果たしていないことを意味する。
【0083】
図3による使用シナリオ
図3は、図14における1400と類似のオーディオ再生システムの、例示的な使用シナリオ300を示す。使用シナリオ300は、図14における1410と類似のオーディオプロセッサによって駆動される2つのラウドスピーカーセットアップ、すなわち、Setup 1,310およびSetup 2,320を備える。ラウドスピーカーセットアップは、異なる部屋、すなわち、Room 1,330およびRoom 2,340の中にある。ラウドスピーカーセットアップは、壁350のような音響障害物によって随意に分離され得る。Setup 1,310とSetup 2,320の両方は、2.0ステレオラウドスピーカーセットアップである。ラウドスピーカーセットアップSetup 1,310は、スイートスポットLP1を伴う、ラウドスピーカーLSS1_1およびLSS1_2を備える標準の2.0ラウドスピーカーレイアウトを有する。ラウドスピーカーセットアップSetup 2,320は、ラウドスピーカーLSS2_1およびLSS2_2を備える非標準のステレオラウドスピーカーレイアウトを有する。図3は、2つのリスナー軌跡360、370をさらに示す。第1のリスナー軌跡360は、Setup 1,310のスイートスポットの近くにあり、リスナーはその中で、Room 1,330内でLP2_1からLP2_2に、LP2_3に、かつLP2_1に戻って移動する。第2の軌跡370は、Setup 1内のLP3_1からSetup 2,320内のLP3_2に進む。
図3は、図14における1400と類似のオーディオ再生システムの、例示的な使用シナリオ300を示す。使用シナリオ300は、図14における1410と類似のオーディオプロセッサによって駆動される2つのラウドスピーカーセットアップ、すなわち、Setup 1,310およびSetup 2,320を備える。ラウドスピーカーセットアップは、異なる部屋、すなわち、Room 1,330およびRoom 2,340の中にある。ラウドスピーカーセットアップは、壁350のような音響障害物によって随意に分離され得る。Setup 1,310とSetup 2,320の両方は、2.0ステレオラウドスピーカーセットアップである。ラウドスピーカーセットアップSetup 1,310は、スイートスポットLP1を伴う、ラウドスピーカーLSS1_1およびLSS1_2を備える標準の2.0ラウドスピーカーレイアウトを有する。ラウドスピーカーセットアップSetup 2,320は、ラウドスピーカーLSS2_1およびLSS2_2を備える非標準のステレオラウドスピーカーレイアウトを有する。図3は、2つのリスナー軌跡360、370をさらに示す。第1のリスナー軌跡360は、Setup 1,310のスイートスポットの近くにあり、リスナーはその中で、Room 1,330内でLP2_1からLP2_2に、LP2_3に、かつLP2_1に戻って移動する。第2の軌跡370は、Setup 1内のLP3_1からSetup 2,320内のLP3_2に進む。
【0084】
たとえば、リスナーが第1の軌跡360に沿って移動し、かつ/またはリスナーが第2の軌跡370に沿って移動するとき、本明細書で説明するオーディオプロセッサは、図15で説明したように、音像および音像の向きがリスナーに追従するような入力信号を割り振るとともにレンダリングする。
【0085】
言い換えれば、図3は、2つの部屋330、340および/または2つのセットアップ310、320を伴う別の例を示す。Room_1 330の中で、LSS1_1およびLSS1_2ラウドスピーカーを有する従来の2チャネルステレオシステムは、標準の追跡されないプレイバックに対して、スイートスポットLP1に配置された椅子においてリスナーが良好な上演を享受できるように配列される。たとえば、廊下であり得る、隣接するRoom_2 340の中で、2つのラウドスピーカーLSS2_1およびLSS2_2は、任意の配列をなして配置される。図3において、スイートスポット聴取地点LP1の他に、2つのさらなる可能な聴取シナリオが示される。第1の聴取シナリオは、リスナーがRoom_1 330内でLP2_1からLP2_2およびLP2_3に移動するという一例である。第2のシナリオは、リスナーがRoom_1 330の中の位置LP3_1からRoom_2 340の中のLP3_2に遷移することを示す。
たとえば、本明細書で説明するオーディオプロセッサは、リスナーが第1の軌跡360に沿ってまたは第2の軌跡370に沿って移動しているときに音像がリスナーに追従するようなラウドスピーカー信号を提供する。
たとえば、本明細書で説明するオーディオプロセッサは、リスナーが第1の軌跡360に沿ってまたは第2の軌跡370に沿って移動しているときに音像がリスナーに追従するようなラウドスピーカー信号を提供する。
【0086】
図6による使用シナリオ
図6は、図14における1400と類似のオーディオ再生システムの、例示的な使用シナリオ600を示す。使用シナリオ600は、図14における1410と類似のオーディオプロセッサによって駆動される3つのラウドスピーカーセットアップを備える。Setup 1,610は5.0システムであり、Setup 2,620およびSetup 3,630は単一のラウドスピーカーである。Setup 1,610およびSetup 2,620は同じ部屋の中にあるが、Setup 3,630は第2の部屋の中にある。Setup 3,630は、壁640を用いてまたは他の音響障害物を用いて、Setup 2,620およびSetup 1,610から随意に分離される。図6は、リスナーがSetup 1,610からのLP2_1からSetup 2,620からのLP2_2に、かつSetup 3,630の中のLP3_2に移動するときの、リスナーの軌跡650をさらに示す。このシナリオでは、リスナーがSetup 1,610からSetup 2,620に移動するとき、上記で説明したオーディオプロセッサは、ダウンミックスされたバージョンの入力信号をラウドスピーカーLSS1_1およびLSS1_4ならびにLSS2_1に提供している。ラウドスピーカーLSS1_1およびLSS1_4が周囲バージョンのオーディオ信号を再生しており、かつラウドスピーカーLSS2_1がオーディオ信号の方向性コンテンツを再生していることがさらに可能である。リスナーがさらにLP2_2からLP3_2に移動すると、ラウドスピーカーLSS1_1、LSS1_4、およびLSS2_1のサウンドはフェードアウトし、ダウンミックスされたバージョンの入力信号がラウドスピーカーLSS3_1によって再生される。
図6は、図14における1400と類似のオーディオ再生システムの、例示的な使用シナリオ600を示す。使用シナリオ600は、図14における1410と類似のオーディオプロセッサによって駆動される3つのラウドスピーカーセットアップを備える。Setup 1,610は5.0システムであり、Setup 2,620およびSetup 3,630は単一のラウドスピーカーである。Setup 1,610およびSetup 2,620は同じ部屋の中にあるが、Setup 3,630は第2の部屋の中にある。Setup 3,630は、壁640を用いてまたは他の音響障害物を用いて、Setup 2,620およびSetup 1,610から随意に分離される。図6は、リスナーがSetup 1,610からのLP2_1からSetup 2,620からのLP2_2に、かつSetup 3,630の中のLP3_2に移動するときの、リスナーの軌跡650をさらに示す。このシナリオでは、リスナーがSetup 1,610からSetup 2,620に移動するとき、上記で説明したオーディオプロセッサは、ダウンミックスされたバージョンの入力信号をラウドスピーカーLSS1_1およびLSS1_4ならびにLSS2_1に提供している。ラウドスピーカーLSS1_1およびLSS1_4が周囲バージョンのオーディオ信号を再生しており、かつラウドスピーカーLSS2_1がオーディオ信号の方向性コンテンツを再生していることがさらに可能である。リスナーがさらにLP2_2からLP3_2に移動すると、ラウドスピーカーLSS1_1、LSS1_4、およびLSS2_1のサウンドはフェードアウトし、ダウンミックスされたバージョンの入力信号がラウドスピーカーLSS3_1によって再生される。
【0087】
さらに、別のシナリオが図6に例示される。最初に、リスナーは、LSS1_1～LSS1_5を備えるサラウンドサウンドラウドスピーカーセットアップを使用して、LP1において5.0プレイバックを享受する。いくらかの時間の後、リスナーは、たとえば、台所の中で作業するためにLP2_2に移動する。この遷移の間、LSS2_1は、Setup 1,610の中でラウドスピーカーによって以前に再生されているダウンミックスされたバージョンの信号を再生し始めている。ユーザが位置LP2_2にいる間、システムは、たとえば、選ばれた好適なレンダリング設定に従って、次のいずれかを再生してよい。
・LSS2_1を使用してダウンミックスのみ、
・LSS2_1によって再生されるダウンミックスに加えて、Setup 1,610の中のシステム、またはSetup 2,620に最も近い少なくともラウドスピーカーは、LP2_2におけるリスナーに対して、周囲音を再生するために使用することができ、またはぼんやりしたものにする音場を生成するために使用することができ、あるいは
・ラウドスピーカートリプレットLSS2_1、LSS1_1、LSS1_4は、元の5チャネルコンテンツの3チャネルダウンミックスセッションを再生することができる。
・LSS2_1を使用してダウンミックスのみ、
・LSS2_1によって再生されるダウンミックスに加えて、Setup 1,610の中のシステム、またはSetup 2,620に最も近い少なくともラウドスピーカーは、LP2_2におけるリスナーに対して、周囲音を再生するために使用することができ、またはぼんやりしたものにする音場を生成するために使用することができ、あるいは
・ラウドスピーカートリプレットLSS2_1、LSS1_1、LSS1_4は、元の5チャネルコンテンツの3チャネルダウンミックスセッションを再生することができる。
【0088】
たとえば、リスナーが、隣接する部屋、すなわち、Setup 3,630の中にさらに遷移し、かつ部屋の中にモノラウドスピーカーしか存在しない場合、たとえば、コンテンツのモノダウンミックスがラウドスピーカーLSS3_1のみから再生される。
【0089】
説明するシステムはまた、複数のユーザに対して使用および適合され得る。一例として、2人の人々がZone_1またはSetup 1,610の中でTVを見ており、一方の人が台所から何かを得るためにZone_2またはSetup 2,620に行く。モノダウンミックスは、この人がプログラムから何も聞き損なわないようにその人に追従するが、他方の人は、Zone_2またはSetup 2,620(またはSetup 1,610)の中にとどまり、完全なサウンドを享受する。たとえば、アップミックスの一部であり得る、異なる環境へのより良好な適合性を可能にするための直進/環境分解が、システムの一部であり得る。
別の例として、音声コンテンツ、および/またはコンテンツの別のリスナー選択部分、および/または選択されたオブジェクトだけが、リスナーに追従している。
別の例として、音声コンテンツ、および/またはコンテンツの別のリスナー選択部分、および/または選択されたオブジェクトだけが、リスナーに追従している。
【0090】
たとえば、オーディオプロセッサは、リスナーの位置に応じて、オーディオプレイバックのためにどのラウドスピーカーが使用されるべきかを決定してよく、適合されたレンダリングを使用してラウドスピーカー信号を提供してよい。
【0091】
図4によるレンダリング手法
図14における1410と類似のオーディオプロセッサのリスナー適合レンダリングのための異なる手法が識別され得る。再生される聴覚オブジェクトが再生エリア内の固定位置を有することを意図する1つの手法がある。
図4は、図15の中の1520と類似のレンダリングの機能の、例示的なレンダリング手法400を示す。このレンダリング手法400では、オーディオオブジェクトの位置が固定される。図4は、リスナー410ならびに2つのサウンドオブジェクトS_1およびS_2を示す。
図14における1410と類似のオーディオプロセッサのリスナー適合レンダリングのための異なる手法が識別され得る。再生される聴覚オブジェクトが再生エリア内の固定位置を有することを意図する1つの手法がある。
図4は、図15の中の1520と類似のレンダリングの機能の、例示的なレンダリング手法400を示す。このレンダリング手法400では、オーディオオブジェクトの位置が固定される。図4は、リスナー410ならびに2つのサウンドオブジェクトS_1およびS_2を示す。
【0092】
図4aは初期状況を示し、リスナー410は所与の位置においてS_1およびS_2を知覚する。
図4bはレンダリングが回転不変であることを示し、リスナー410がその人の向きを変える場合、その人は、同じ位置において、または同じ絶対位置において、サウンドオブジェクトを知覚する。
図4cはレンダリングが並進不変であることを示し、リスナー410がその人の位置を変える場合、その人は、同じ位置において、または同じ絶対位置において、サウンドオブジェクトS_1、S_2を知覚する。
図4bはレンダリングが回転不変であることを示し、リスナー410がその人の向きを変える場合、その人は、同じ位置において、または同じ絶対位置において、サウンドオブジェクトを知覚する。
図4cはレンダリングが並進不変であることを示し、リスナー410がその人の位置を変える場合、その人は、同じ位置において、または同じ絶対位置において、サウンドオブジェクトS_1、S_2を知覚する。
【0093】
言い換えれば、本発明の方法は、様々な、時にはユーザ選択可能な、レンダリング方式に従うことができる。再生される聴覚オブジェクトが再生エリア内の固定位置を有することを意図する1つの手法がある。このエリア内のリスナー410が、その人の頭部を回転させるか、またはスイートスポットの中から外へ移動する場合でも、聴覚オブジェクトはこの位置を保つべきである。このことが図4に例示的に示される。知覚される2つの聴覚オブジェクトS_1およびS_2は、プレイバックシステムによって生成される。この図の中で、S_1およびS_2は、ラウドスピーカー、すなわち、物理的な音源でなく、ファントムソース、すなわち、この図の中に表示されないラウドスピーカーシステムを使用してレンダリングされる、知覚された聴覚オブジェクトである。リスナー410は、わずかに左にS_1を、また右に向かってS_2を知覚する。そのような手法の目標は、リスナーの位置または見ている方向とは無関係に、それらのサウンドオブジェクトの空間的な位置を保つことである。
【0094】
たとえば、オーディオプロセッサは、オーディオオブジェクト位置を決定するとき、またはどのラウドスピーカーが使用されるべきかを決めるとき、固定の絶対位置において聴覚オブジェクトを再生するための願望を考慮に入れてよい。
【0095】
図5によるレンダリング手法
図5は、図15の中の1520と類似のレンダリングの機能の、例示的なレンダリング手法500を示す。音像がリスナー510に追従する場合には、基本的な2つの異なる手法が識別されてよく、その両方が図5に示される。図5は、図14における1410と類似のオーディオプロセッサの異なるレンダリングシナリオを示し、ここで、リスナー510は、2つのサウンドオブジェクトすなわちファントムソースS_1およびS_2を知覚している。
図5は、図15の中の1520と類似のレンダリングの機能の、例示的なレンダリング手法500を示す。音像がリスナー510に追従する場合には、基本的な2つの異なる手法が識別されてよく、その両方が図5に示される。図5は、図14における1410と類似のオーディオプロセッサの異なるレンダリングシナリオを示し、ここで、リスナー510は、2つのサウンドオブジェクトすなわちファントムソースS_1およびS_2を知覚している。
【0096】
図5aは初期状況である。図5bは回転変異レンダリングを示し、ここで、リスナー510はその人の向きを変えており、知覚されるサウンドオブジェクトはリスナー510に対するそれらの相対位置を保つ。知覚されるサウンドオブジェクトは、リスナー510とともに回転している。
【0097】
図5cは回転不変レンダリングを示し、ここで、リスナー510はその人の向きを変え、サウンドオブジェクト、すなわち、ファントムソースS_1、S_2の知覚される位置(または絶対位置)はとどまる。
【0098】
図5dは並進変異レンダリングを示し、ここで、リスナー510はその人の位置を変え、知覚されるオーディオオブジェクト、すなわち、ファントムソースS_1、S_2はリスナー510に対する相対位置を保っている。リスナー510が位置を変えるとき、オーディオオブジェクトはその人に追従している。
【0099】
言い換えれば、図5aは、リスナー510および知覚された2つの聴覚オブジェクトを示す。
【0100】
図5bは回転変異システムを示す。この場合、知覚されるソースの位置は、リスナー510の頭部の向きに対して固定されたままである。このことは、リスナー510の頭部回転とのヘッドフォン挙動のラウドスピーカー類似性である。ヘッドフォン再生のこのデフォルトの挙動が、ラウドスピーカーレンダリングに対するデフォルトの挙動でないが、ラウドスピーカーにおいて利用可能であるべき精巧なレンダリング技術を必要とすることに留意されたい。
【0101】
図5cは、回転的に不変の手法を示し、ここで、リスナー510が異なるビュー方向に回転し、そのため、知覚される方向がリスナー510の向きに対して変わるとき、知覚されるソースは固定の絶対位置を保つ。
【0102】
図5dは、リスナー510の並進変化の変異である手法を示す。このことは、並進のリスナー頭部移動とのヘッドフォン挙動のラウドスピーカー類似性である。ヘッドフォン再生のこのデフォルトの挙動が、ラウドスピーカーレンダリングに対するデフォルトの挙動でないが、ラウドスピーカーにおいて利用可能であるべき精巧なレンダリング技術を必要とすることに留意されたい。サウンドがリスナー510に追従するときに様々な全体的なレンダリング結果を達成するための規定可能な規則に従って、様々な手法が混合および適用され得る。したがって、そのようなシステムまたはオーディオプロセッサのユーザは、実際のレンダリング方式を彼らの選好および趣味に調整することさえできる。リスナー510の移動に従って、レンダリング済みの音像を回転および随意に並進させることによって、仮想ヘッドフォンと類似の知覚も目標とされ得る。
【0103】
上記で説明したオーディオプロセッサの様々なレンダリングシナリオが図5に示される。オーディオプロセッサは、リスナーの並進移動を同様に考慮に入れて、たとえば、回転変異または回転不変のやり方で音像をレンダリングしてよい。オーディオプロセッサによって使用されるレンダリングは、使用事例(たとえば、ゲーム、映画、または音楽)によって規定されてよく、かつ/または同様にリスナーによって規定されてもよい
【0104】
図11によるレンダリング手法
図11は、オーディオプロセッサの、図15の中の1520と類似のレンダリングの機能の、例示的なレンダリング手法1100を示す。レンダリング手法1100は、リスナー1110、ならびに図14における1410と類似のオーディオプロセッサによってレンダリングされる静止サウンドオブジェクトS_1およびS_2を備える。
図11は、オーディオプロセッサの、図15の中の1520と類似のレンダリングの機能の、例示的なレンダリング手法1100を示す。レンダリング手法1100は、リスナー1110、ならびに図14における1410と類似のオーディオプロセッサによってレンダリングされる静止サウンドオブジェクトS_1およびS_2を備える。
【0105】
図11aは、1人のリスナー1110および2つのオーディオオブジェクト、すなわち、ファントムソースを伴う初期状況を示す。図11bは、リスナー1110はその人の位置を変えているが、オーディオオブジェクト、すなわち、ファントムソースS_1およびS_2がそれらの絶対位置を保っていることを示す。
【0106】
静止オブジェクトレンダリングモードでは、オブジェクトが位置決めされ、いくつかの部屋座標に対して特定の絶対位置にレンダリングされる。リスナー1110が移動しているとき、オブジェクトのこの固定位置は変わらない。レンダリングは、リスナー1110が、彼らのサウンドが部屋の中の同じ絶対位置から来ているように常にサウンドオブジェクトを知覚するような方法で、適合されなければならない。
【0107】
たとえば、オーディオプロセッサは、オーディオオブジェクト位置を決定すると、またはどのラウドスピーカーが使用されるべきかを決めると、固定の絶対位置において聴覚オブジェクトを再生してよい。言い換えれば、オーディオプロセッサは、リスナーがその人の位置を変える場合でも、オーディオオブジェクトの知覚されたロケーションがほぼ静止したままであるような方法で、オーディオオブジェクトをレンダリングする。
【0108】
図12によるレンダリング手法
図12は、図15の中の1520と類似のレンダリングの機能の、例示的なレンダリング手法1200を示す。レンダリング手法1200は、リスナー1210、ならびに図14における1410と類似のオーディオプロセッサによってレンダリングされる2つのサウンドオブジェクトS_1およびS_2を備える。レンダリング手法1200では、オーディオプロセッサは、リスナー1210の並進移動および回転移動も考慮に入れる。
図12は、図15の中の1520と類似のレンダリングの機能の、例示的なレンダリング手法1200を示す。レンダリング手法1200は、リスナー1210、ならびに図14における1410と類似のオーディオプロセッサによってレンダリングされる2つのサウンドオブジェクトS_1およびS_2を備える。レンダリング手法1200では、オーディオプロセッサは、リスナー1210の並進移動および回転移動も考慮に入れる。
【0109】
図12aは、1人のリスナー1210ならびに2つのオーディオオブジェクトS_1およびS_2を伴う初期状況を示す。
【0110】
図12bは、リスナー1210がその人の位置を変えた例示的な状況を示す。この場合、2つのオーディオオブジェクトS_1およびS_2は、リスナー1210に追従しており、そのことは、2つのオーディオオブジェクトがリスナー1210に対するそれらの相対位置を同じに保っていることを意味する。
【0111】
図12cは、リスナー1210がその人の向きを変える一例を示す。2つのオーディオオブジェクトS_1およびS_2は、リスナー1210からのそれらの相対位置を同じに保っている。そのことは、オーディオオブジェクトがリスナー1210とともに向きを変えていることを意味する。
【0112】
言い換えれば、「仮想ヘッドフォン」レンダリングモードでは、音像は、リスナー1210の向きまたは回転および位置または並進に従って移動する。音像は、リスナー1210の位置および向きに完全に背負い込まれ、そのことは、リスナー1210に対して、オブジェクトの位置が、静止オブジェクトモードとは対照的に、リスナー1210の移動に応じて部屋の中の彼らの絶対位置を変えたことを意味する。再生されるオーディオオブジェクトは、部屋の中の絶対位置に対して静止していないが、リスナー1210に対しては常に静止している。それらはリスナー1210の位置に、かつ随意にリスナー1210の向きにも追従する。
【0113】
たとえば、オーディオプロセッサは、オーディオオブジェクト位置を決定すると、またはどのラウドスピーカーが使用されるべきかを決めると、リスナーに対する固定の相対位置において聴覚オブジェクトを再生してよい。言い換えれば、オーディオプロセッサは、オーディオオブジェクトがリスナーとともにそれらの位置および向きを変えているような方法で、オーディオオブジェクトをレンダリングする。
【0114】
図13によるレンダリング手法
図13は、図15の中の1520と類似のレンダリングの機能の、例示的なレンダリング手法1300を示す。レンダリング手法1300は、リスナー1310、ならびに図14における1410と類似のオーディオプロセッサによってレンダリングされる2つのサウンドオブジェクトS_1およびS_2を備える。レンダリング手法1300では、オーディオプロセッサは、リスナー1310の並進移動しか考慮に入れない。
図13aは、1人のリスナー1310ならびに2つのオーディオオブジェクトS_1およびS_2を伴う初期状況を示す。
図13は、図15の中の1520と類似のレンダリングの機能の、例示的なレンダリング手法1300を示す。レンダリング手法1300は、リスナー1310、ならびに図14における1410と類似のオーディオプロセッサによってレンダリングされる2つのサウンドオブジェクトS_1およびS_2を備える。レンダリング手法1300では、オーディオプロセッサは、リスナー1310の並進移動しか考慮に入れない。
図13aは、1人のリスナー1310ならびに2つのオーディオオブジェクトS_1およびS_2を伴う初期状況を示す。
【0115】
図13bが示すように、リスナー1310がその人の位置を変えるとき、2つのオーディオオブジェクトS_1およびS_2はリスナー1310に追従している。そのことは、リスナー1310の位置からのオーディオオブジェクトS_1およびS_2の相対位置が同じままであることを意味する。
【0116】
図13cは、リスナー1310がその人の向きを変えるとき、2つのオーディオオブジェクトS_1およびS_2の絶対位置がとどまることを示す。
【0117】
言い換えれば、「主方向が背負い込まれる」レンダリングモードでは、音像がリスナー1310の位置、並進に従って移動するがリスナー1310の向き、回転の変化に対して安定であるような方法で、オーディオプロセッサによって音像がレンダリングされる。
【0118】
図9による実施形態
図9は、サウンド再生システム900の詳細な概略図を示し、サウンド再生システム900は、図14からのサウンド再生システム1400と類似であってよい。サウンド再生システム900は、ラウドスピーカーセットアップ920、図14におけるオーディオプロセッサ1410と類似のオーディオプロセッサ910、およびチャネルオブジェクト変換器940を備える。図4における入力信号1440のチャネルベースコンテンツ970が、チャネルオブジェクト変換器940に接続される。チャネルオブジェクト変換器940の追加の入力は、理想的なラウドスピーカーレイアウト990の中のラウドスピーカー位置および向きについての情報である。チャネルオブジェクト変換器940は、オーディオプロセッサ910に接続される。オーディオプロセッサ910の入力は、チャネルオブジェクト変換器940によって作成されたチャネルオブジェクト946、オブジェクトベースコンテンツからのオブジェクト943、ユーザインターフェース980を介してリスナーによって選択される選択済みのレンダリングモード985、ユーザ追跡デバイス950によって収集されたリスナーの位置および向き955、ならびにラウドスピーカーの位置および向き935ならびに放射特性945、ならびに(たとえば、音響障害物についての情報、またはたとえば、部屋音響についての情報のような)随意に他の環境特性965である。図9は、オーディオプロセッサ910の2つの主な機能、すなわち、オブジェクトレンダリング論理913と、それに続く物理的補正916とを示す。オーディオプロセッサ910の出力である、物理的補正916の出力は、ラウドスピーカーセットアップ920のラウドスピーカー930に接続されるラウドスピーカーフィードまたはラウドスピーカー信号960である。
図9は、サウンド再生システム900の詳細な概略図を示し、サウンド再生システム900は、図14からのサウンド再生システム1400と類似であってよい。サウンド再生システム900は、ラウドスピーカーセットアップ920、図14におけるオーディオプロセッサ1410と類似のオーディオプロセッサ910、およびチャネルオブジェクト変換器940を備える。図4における入力信号1440のチャネルベースコンテンツ970が、チャネルオブジェクト変換器940に接続される。チャネルオブジェクト変換器940の追加の入力は、理想的なラウドスピーカーレイアウト990の中のラウドスピーカー位置および向きについての情報である。チャネルオブジェクト変換器940は、オーディオプロセッサ910に接続される。オーディオプロセッサ910の入力は、チャネルオブジェクト変換器940によって作成されたチャネルオブジェクト946、オブジェクトベースコンテンツからのオブジェクト943、ユーザインターフェース980を介してリスナーによって選択される選択済みのレンダリングモード985、ユーザ追跡デバイス950によって収集されたリスナーの位置および向き955、ならびにラウドスピーカーの位置および向き935ならびに放射特性945、ならびに(たとえば、音響障害物についての情報、またはたとえば、部屋音響についての情報のような)随意に他の環境特性965である。図9は、オーディオプロセッサ910の2つの主な機能、すなわち、オブジェクトレンダリング論理913と、それに続く物理的補正916とを示す。オーディオプロセッサ910の出力である、物理的補正916の出力は、ラウドスピーカーセットアップ920のラウドスピーカー930に接続されるラウドスピーカーフィードまたはラウドスピーカー信号960である。
【0119】
チャネルベースコンテンツ970は、理想的なラウドスピーカーセットアップの標準的または理想的なラウドスピーカー位置および(随意に)向き990についての情報に基づいて、チャネルオブジェクト変換器940によってチャネルオブジェクト946に変換される。オブジェクトと一緒のチャネルオブジェクト946、またはオブジェクトベースコンテンツ943は、オーディオプロセッサ910のオーディオ入力信号である。オーディオプロセッサ910のオブジェクトレンダリング論理913は、選択済みのレンダリングモード985、リスナーの位置および(随意に)向き955、ラウドスピーカーの位置および(随意に)向き935、(随意に)ラウドスピーカーの特性945、ならびに随意に他の環境特性965に基づいて、チャネルオブジェクト946およびオーディオオブジェクト943をレンダリングする。レンダリングモード985は、ユーザインターフェース980によって随意に選択される。レンダリングされたチャネルオブジェクトおよびオーディオオブジェクトは、オーディオプロセッサ910の物理的補正モード916によって物理的に補正される。物理的に補正されたレンダリング済みの信号が、オーディオプロセッサ910の出力であるラウドスピーカーフィードまたはラウドスピーカー信号960である。ラウドスピーカー信号960は、ラウドスピーカーセットアップ920のラウドスピーカー930の入力である。
【0120】
言い換えれば、チャネルオブジェクト変換器940は、ラウドスピーカーセットアップ920の特定のラウドスピーカー930を対象とする各チャネル信号をオーディオオブジェクト943に変換し、所期のラウドスピーカーセットアップは、必ずしも実際のプレイバック状況において現在利用可能なラウドスピーカーセットアップの一部でなければならないとは限らず、そのことは、理想的に意図される生成ラウドスピーカー位置および向き990の知識を使用する所期のラウドスピーカー位置および(随意に)向き935における波形プラス関連するメタデータに、またはチャネルオブジェクト946に変換することを意味する。ここで、チャネルオブジェクトという用語を造り出す(または規定する)ことができる。チャネルオブジェクト946は、特定のチャネルのオーディオ波形信号、およびメタデータとしての、チャネルベースコンテンツ970の生成の間のこの特定のチャネルの再生のために選択されている付随するラウドスピーカー930の位置からなる(またはそれらを備える)。
【0121】
図9に示すラウドスピーカー930が、実際に利用可能なラウドスピーカーまたはラウドスピーカーセットアップを表す(または例示する)ことに留意されたい。たとえば、所期のラウドスピーカーセットアップは、実際に利用可能なラウドスピーカーのうちの1つまたは複数を備えてよく、たとえば、実際に利用可能な1つまたは複数のラウドスピーカーセットアップの個々のラウドスピーカーは、それぞれの利用可能なラウドスピーカーセットアップのラウドスピーカーのすべてを使用することなく所期のラウドスピーカーセットアップの中に含まれてよい。
言い換えれば、所期のラウドスピーカーセットアップは、実際に利用可能なラウドスピーカーセットアップからラウドスピーカーを「選定(pick out)」し得る。たとえば、ラウドスピーカーセットアップ920は(各々)、複数のラウドスピーカーを備えてよい。
変換後の次のステップはレンダリング913である。レンダラは、どのラウドスピーカーセットアップ920がプレイバックおよび/またはアクティブなセットアップに関与するのかを決める。レンダラ913は、場合によっては、完全にモノまで下がることができるダウンミックス、またはアップミックスを含む、これらのアクティブなセットアップの各々に対して好適な信号を生成する。これらの信号は、どのように元のマルチチャネルサウンドが、スイートスポットに位置することになるリスナーに最良にプレイバックされ得るのかを表し、セットアップ適合済みの信号を作成する。これらの適合済みの信号は、次いで、ラウドスピーカーに割り振られるとともに仮想ラウドスピーカーオブジェクトに変換され、仮想ラウドスピーカーオブジェクトは、その後、次の段階の中に供給される。
次の段階は、信号パニングおよびレンダリングである。この部分は、明らかなユーザ位置および随意に向き955、ラウドスピーカー位置および随意に向き935、ならびに随意に放射特性945、ならびに仮想ヘッドフォンモードまたは絶対レンダリングモードのようなリスナーによって選択されたレンダリングモード985を考慮に入れて、仮想ラウドスピーカーオブジェクトを実際のラウドスピーカー信号にレンダリングする。
最後に、物理的補正レイヤ916は、たとえば、リスナーの位置および随意に向き955、ならびに現実のラウドスピーカー位置および随意に向き935、ならびに(随意に)特性945に基づいて、遅延および/もしくは利得を変化させて、かつ/または放射特性を補正して、それぞれのラウドスピーカーセットアップ920のスイートスポットの中にリスナーがいないという物理的な因果関係を補正する。基礎をなす技術については出願[5]も参照されたい。
オブジェクトレンダリング論理の出力は、再生セットアップ920のためのチャネル信号またはラウドスピーカーフィード960である。このことは、信号が、調整されること、すなわち、規定された転送方向を伴う規定された基準リスナー位置に対してレンダリングされることを意味する。
物理的補正916は、場合によっては規定された転送方向を伴う規定されたリスナー位置に対して、遅延調整のように、規定された基準リスナー位置から等距離にあるラウドスピーカー930からなるべき再生セットアップをオブジェクトレンダリング論理が想定できるような、利得調整のように等しい音の大きさの、かつ周波数応答調整のようにリスナーの方を向く、利得調整および/もしくは遅延調整ならびに/または周波数調整を行う。
言い換えれば、所期のラウドスピーカーセットアップは、実際に利用可能なラウドスピーカーセットアップからラウドスピーカーを「選定(pick out)」し得る。たとえば、ラウドスピーカーセットアップ920は(各々)、複数のラウドスピーカーを備えてよい。
変換後の次のステップはレンダリング913である。レンダラは、どのラウドスピーカーセットアップ920がプレイバックおよび/またはアクティブなセットアップに関与するのかを決める。レンダラ913は、場合によっては、完全にモノまで下がることができるダウンミックス、またはアップミックスを含む、これらのアクティブなセットアップの各々に対して好適な信号を生成する。これらの信号は、どのように元のマルチチャネルサウンドが、スイートスポットに位置することになるリスナーに最良にプレイバックされ得るのかを表し、セットアップ適合済みの信号を作成する。これらの適合済みの信号は、次いで、ラウドスピーカーに割り振られるとともに仮想ラウドスピーカーオブジェクトに変換され、仮想ラウドスピーカーオブジェクトは、その後、次の段階の中に供給される。
次の段階は、信号パニングおよびレンダリングである。この部分は、明らかなユーザ位置および随意に向き955、ラウドスピーカー位置および随意に向き935、ならびに随意に放射特性945、ならびに仮想ヘッドフォンモードまたは絶対レンダリングモードのようなリスナーによって選択されたレンダリングモード985を考慮に入れて、仮想ラウドスピーカーオブジェクトを実際のラウドスピーカー信号にレンダリングする。
最後に、物理的補正レイヤ916は、たとえば、リスナーの位置および随意に向き955、ならびに現実のラウドスピーカー位置および随意に向き935、ならびに(随意に)特性945に基づいて、遅延および/もしくは利得を変化させて、かつ/または放射特性を補正して、それぞれのラウドスピーカーセットアップ920のスイートスポットの中にリスナーがいないという物理的な因果関係を補正する。基礎をなす技術については出願[5]も参照されたい。
オブジェクトレンダリング論理の出力は、再生セットアップ920のためのチャネル信号またはラウドスピーカーフィード960である。このことは、信号が、調整されること、すなわち、規定された転送方向を伴う規定された基準リスナー位置に対してレンダリングされることを意味する。
物理的補正916は、場合によっては規定された転送方向を伴う規定されたリスナー位置に対して、遅延調整のように、規定された基準リスナー位置から等距離にあるラウドスピーカー930からなるべき再生セットアップをオブジェクトレンダリング論理が想定できるような、利得調整のように等しい音の大きさの、かつ周波数応答調整のようにリスナーの方を向く、利得調整および/もしくは遅延調整ならびに/または周波数調整を行う。
【0122】
言い換えれば、物理的補正は、たとえば、ラウドスピーカーの、かつ/またはリスナーの位置とスイートスポットとの間の差異からの、理想的でない配置を補正してよいが、レンダリングは、たとえば、リスナーがラウドスピーカーセットアップのスイートスポットにいることを想定してよい。
【0123】
図10による実施形態
図10は、オーディオプロセッサ1010を示し、オーディオプロセッサ1010は、図14における1410と類似であってよい。オーディオプロセッサ1010の入力は、オーディオオブジェクト1043およびチャネルオブジェクト1046のようなオブジェクトベース入力信号、選択済みのレンダリングモード1085、ユーザまたはリスナー位置および随意に向き1055、ラウドスピーカーの位置および随意に向き1035、随意にラウドスピーカーの放射特性1045、ならびに随意に他の環境特性1065である。オーディオプロセッサ1010の出力はラウドスピーカー信号1060である。オーディオプロセッサ1010の機能は、2つの主なカテゴリー、すなわち、論理カテゴリー1050およびレンダリング1070に分離される。論理機能的カテゴリー1050は、ラウドスピーカーの識別および選択1020、それに続く好適な信号生成、たとえば、アップミックス/ダウンミックス1030、それに続く信号割振り1040を備える。これらのステップは、選択済みのレンダリングモード1085、リスナーの位置および随意に向き1055、ラウドスピーカーの位置および随意に向き1035、随意にラウドスピーカーの放射特性1045、ならびに随意に他の環境特性1065に基づいて実行される。レンダリング1070は、リスナーの位置および随意に向き1055、ラウドスピーカーの位置および随意に向き1035、随意にラウドスピーカーの放射特性1045、ならびに随意に他の環境特性1065に基づく。
図10は、オーディオプロセッサ1010を示し、オーディオプロセッサ1010は、図14における1410と類似であってよい。オーディオプロセッサ1010の入力は、オーディオオブジェクト1043およびチャネルオブジェクト1046のようなオブジェクトベース入力信号、選択済みのレンダリングモード1085、ユーザまたはリスナー位置および随意に向き1055、ラウドスピーカーの位置および随意に向き1035、随意にラウドスピーカーの放射特性1045、ならびに随意に他の環境特性1065である。オーディオプロセッサ1010の出力はラウドスピーカー信号1060である。オーディオプロセッサ1010の機能は、2つの主なカテゴリー、すなわち、論理カテゴリー1050およびレンダリング1070に分離される。論理機能的カテゴリー1050は、ラウドスピーカーの識別および選択1020、それに続く好適な信号生成、たとえば、アップミックス/ダウンミックス1030、それに続く信号割振り1040を備える。これらのステップは、選択済みのレンダリングモード1085、リスナーの位置および随意に向き1055、ラウドスピーカーの位置および随意に向き1035、随意にラウドスピーカーの放射特性1045、ならびに随意に他の環境特性1065に基づいて実行される。レンダリング1070は、リスナーの位置および随意に向き1055、ラウドスピーカーの位置および随意に向き1035、随意にラウドスピーカーの放射特性1045、ならびに随意に他の環境特性1065に基づく。
【0124】
チャネルオブジェクト1046およびオーディオオブジェクト1043のようなオブジェクトベース入力信号が、オーディオプロセッサ1010の中に供給される。選択済みのレンダリングモード1085、リスナー位置および随意に向き1055、ラウドスピーカー位置および随意に向き1035、随意にラウドスピーカーの放射特性1045、場合によっては他の環境特性1065、ならびにオブジェクトベース入力信号1043、1046に基づいて、オーディオプロセッサは、ラウドスピーカーを識別および選択し(1020)、好適な信号の生成またはアップミックス/ダウンミックス1030がそれに続き、ラウドスピーカーへの信号割振り1040がそれに続く。次のステップとして、割り振られた信号は、ラウドスピーカー信号1060を作成するために、ラウドスピーカー1070にレンダリングされる。
【0125】
言い換えれば、音場の再生は、サウンドがリスナーに追従するときにリスナーの実際の位置1035に基づくことを意図する。この目的で、チャネルベースコンテンツから作成されるチャネルオブジェクトは、リスナーまたはユーザの位置および場合によっては向きに基づいて再位置決めされ、それらに追従する。チャネルオブジェクトの適合され再位置決めされた目標位置に基づいて、このチャネルオブジェクトの再生に対して使用されようとしているラウドスピーカーが、すべての利用可能なラウドスピーカーの中から選択される。好ましくは、チャネルオブジェクトの目標位置に最も近いラウドスピーカーが選択される。チャネルオブジェクトは、次いで、標準的なパニング技法を使用し、すべてのラウドスピーカーの選択済みのサブセットを使用するように、レンダリングされ得る。プレイバックされるべきコンテンツが、すでにオブジェクトベースの形態で利用可能である場合、ラウドスピーカーのサブセットを選択するとともにコンテンツをレンダリングするための厳密に同じ手順が適用され得る。この場合、所期の位置情報は、オブジェクトベースコンテンツの中にすでに含まれる。
【0126】
図19による実効距離
図19は、音響障害物1970を伴わないかまたは伴う、ラウドスピーカーLSS1_1とリスナー1910との間の実効距離1950を示す。
図19aは、ラウドスピーカーLSS1_1およびリスナー1910を示す。ラウドスピーカーLSS1_1およびリスナー1910は、直線としての実効距離1950によって接続される。
図19bは、ラウドスピーカーLSS1_1、リスナー1910、およびそれらの間の音響障害物1970を示す。ラウドスピーカーLSS1_1およびリスナー1910は、図19aの中の実効距離よりも長い、曲線としての実効距離1950によって接続される。
図19は、音響障害物1970を伴わないかまたは伴う、ラウドスピーカーLSS1_1とリスナー1910との間の実効距離1950を示す。
図19aは、ラウドスピーカーLSS1_1およびリスナー1910を示す。ラウドスピーカーLSS1_1およびリスナー1910は、直線としての実効距離1950によって接続される。
図19bは、ラウドスピーカーLSS1_1、リスナー1910、およびそれらの間の音響障害物1970を示す。ラウドスピーカーLSS1_1およびリスナー1910は、図19aの中の実効距離よりも長い、曲線としての実効距離1950によって接続される。
【0127】
リスナー1910とラウドスピーカーLSS1_1との間の距離は、たとえば、リスナー1910とラウドスピーカーLSS1_1との間に配置された音響障害物1970の音響透過係数または音響減衰係数によって修正され得る。実効距離1950は、音響障害物1970の特性に起因する、ラウドスピーカーLSS1_1とリスナー1910との間の音響経路の伸長によって表すことができる。
たとえば、この実効距離1950は、異なるチャネルオブジェクトまたは適合済みの信号のレンダリングの際にどのラウドスピーカーが使用されるべきかを決めるために、オーディオプロセッサによって使用される。
たとえば、この実効距離1950は、異なるチャネルオブジェクトまたは適合済みの信号のレンダリングの際にどのラウドスピーカーが使用されるべきかを決めるために、オーディオプロセッサによって使用される。
【0128】
図20による音響障害物
図20は、ラウドスピーカーLSS1_1とリスナー2010との間の遮断する音響障害物および減衰させる音響障害物2070の概略図を示す。
図20aは、ラウドスピーカーLSS1_1、リスナー1910、およびそれらの間の音響障害物2070を示す。サウンド2090は、ラウドスピーカーLSS1_1の中から外に来ているが、音響障害物2070によって完全に遮断される。
図20bは、ラウドスピーカーLSS1_1、リスナー1910、およびそれらの間の音響障害物2070を示す。サウンド2090は、ラウドスピーカーLSS1_1の中から外に来ており、音響障害物2070によって減衰される。
図20は、ラウドスピーカーLSS1_1とリスナー2010との間の遮断する音響障害物および減衰させる音響障害物2070の概略図を示す。
図20aは、ラウドスピーカーLSS1_1、リスナー1910、およびそれらの間の音響障害物2070を示す。サウンド2090は、ラウドスピーカーLSS1_1の中から外に来ているが、音響障害物2070によって完全に遮断される。
図20bは、ラウドスピーカーLSS1_1、リスナー1910、およびそれらの間の音響障害物2070を示す。サウンド2090は、ラウドスピーカーLSS1_1の中から外に来ており、音響障害物2070によって減衰される。
【0129】
図20は、本明細書で説明するオーディオプロセッサに対する2つの例示的なシナリオを示す。
図20aにおいて、リスナー2010は音響障害物2070によって完全に遮断され、発せられたサウンド2090はリスナー2010に到達しない。この例示的な事例では、上記で説明したオーディオプロセッサは、たとえば、サウンド再生のためにLSS1_1を選ばなくてよい。
図20bにおいて、ラウドスピーカーLSS1_1の発せられたサウンドは、音響障害物2070によって減衰されるにすぎない。この例示的な事例では、上記で説明したオーディオプロセッサは、たとえば、ラウドスピーカーLSS1_1のボリュームを上げることによって減衰を補正してよい。
図20aにおいて、リスナー2010は音響障害物2070によって完全に遮断され、発せられたサウンド2090はリスナー2010に到達しない。この例示的な事例では、上記で説明したオーディオプロセッサは、たとえば、サウンド再生のためにLSS1_1を選ばなくてよい。
図20bにおいて、ラウドスピーカーLSS1_1の発せられたサウンドは、音響障害物2070によって減衰されるにすぎない。この例示的な事例では、上記で説明したオーディオプロセッサは、たとえば、ラウドスピーカーLSS1_1のボリュームを上げることによって減衰を補正してよい。
【0130】
さらなる実施形態
本明細書で説明する任意の実施形態が、個別に、または本明細書で説明する任意の他の実施形態と組み合わせて使用され得ることに留意されたい。特徴、機能、および詳細は、本明細書で開示する任意の他の実施形態の中で随意に導入され得る。
本明細書で説明する任意の実施形態が、個別に、または本明細書で説明する任意の他の実施形態と組み合わせて使用され得ることに留意されたい。特徴、機能、および詳細は、本明細書で開示する任意の他の実施形態の中で随意に導入され得る。
【0131】
少なくとも1人のリスナーのための最適化されたオーディオ再生を達成するという目的を伴う、リスナー位置決めおよびラウドスピーカー位置決めに基づいて1つまたは複数のオーディオ信号の再生またはレンダリングを調整する、オーディオプロセッサの第1のさらなる実施形態が提示される。
【0132】
聴取空間を扱う第1の下位実施形態グループの実施形態が以下に提示される。
【0133】
第1のさらなる実施形態に基づく第2のさらなる実施形態では、異なるセットアップの中で、かつ/または異なるゾーンおよび/もしくは異なる部屋の中で、可変の個数のラウドスピーカーが配置され得る。
【0134】
第1のさらなる実施形態に基づく第3のさらなる実施形態では、ラウドスピーカーについての様々な情報、たとえば、それらの特定の特性、ならびに/またはそれらの向きおよび/もしくはそれらの軸方向、ならびに/または特定のレイアウト(たとえば、2チャネルステレオセットアップ、ITU勧告による5.1チャネルサラウンドセットアップなど)におけるそれらの位置決めが知られている。
【0135】
先行する実施形態に基づく第4のさらなる実施形態では、部屋の内側で、かつ/または部屋境界に対して、かつ/または部屋の中の物体(たとえば、家具、ドア)に対して、ラウドスピーカーの位置が知られている。
【0136】
先行する実施形態に基づく第5のさらなる実施形態では、再生システムは、ラウドスピーカーの周囲の環境における物体(壁、家具など)の音響特性(たとえば、吸収係数、反射特性)についての情報を有する。
【0137】
レンダリング方策を扱う第2の下位実施形態グループの実施形態が以下に提示される。
【0138】
先行する実施形態に基づく第6のさらなる実施形態では、サウンドは異なるラウドスピーカー間で切り替えられる。その上、サウンドは、フェードおよび/または異なるラウドスピーカー間でクロスフェードされ得る。
【0139】
先行する実施形態に基づく第7のさらなる実施形態では、セットアップにおけるラウドスピーカーは再生メディアの特定のチャネルにリンク(たとえば、チャネル1=左、チャネル2=右)されないが、レンダリングが、実際のコンテンツについての情報および/または実際の再生セットアップについての情報に基づいて個々のラウドスピーカー信号を生成する。
【0140】
先行する実施形態に基づく第8のさらなる実施形態では、入力信号のダウンミックスまたはアップミックスがすべてのラウドスピーカーによって再生されるが、リスナーの位置に従って、またはリスナーに最も近いラウドスピーカーによって、またはリスナーおよび/もしくは他のラウドスピーカーに対するそれらの位置によって選択されるラウドスピーカーのうちのいくつかによって、ラウドスピーカーのレベルが調整される。
【0141】
先行する実施形態に基づく第9のさらなる実施形態では、サウンドまたは音像は、リスナーとともに並進移動されるようにレンダリングされる。言い換えれば、音像は、リスナーの並進移動に追従するようにレンダリングされる。たとえば、(リスナーによって知覚されるような)知覚される空間像または音像は、(たとえば、リスナーの移動に応じて)動かされる。
【0142】
先行する実施形態に基づく第10のさらなる実施形態では、(たとえば、ラウドスピーカー信号を使用して生成されるような、かつリスナーによって知覚されるような)サウンドまたは音像は、リスナーの向きに従って常に移動しているようにレンダリングされる。言い換えれば、音像は、リスナーの向きに追従するようにレンダリングされる。
【0143】
従来の解決策との実施形態の比較
以下では、本発明による実施形態がどのように通常の解決策を改善する助けとなるのかが説明される。
以下では、本発明による実施形態がどのように通常の解決策を改善する助けとなるのかが説明される。
【0144】
マルチルームプレイバックシステムまたはオーディオ再生システムのための通常の単純な解決策は、ラウドスピーカーシステムのための複数の出口を与える増幅器またはオーディオ/ビデオレシーバである。これは、たとえば、2つの2チャネルステレオペアのための4つの出口、または5チャネルサラウンドプラス1つの2チャネルステレオペアのための7つの出口であり得る。どのラウドスピーカーセットアップが再生しているのかという選択は、増幅器またはオーディオ/ビデオレシーバ(AVR:audio/video receiver)における切替えによって行うことができる。通常の解決策とは対照的に、一態様によれば、本発明はリスナーの位置に基づく自動切替えを可能にし、プレイバックされる信号は、(たとえば、自動的に)リスナーの位置またはラウドスピーカーシステムの実際のセットアップに適合される。
【0145】
今日、しばしば、いくつかのメインデバイスまたは制御デバイス、およびワイヤレスのアクティブラウドスピーカーのような追加のデバイスからなる、より多くの高度なマルチルームシステムが利用可能である。ワイヤレスとは、それらが制御デバイスまたは、たとえば、スマートフォンのような、モバイルデバイスのいずれかから、信号をワイヤレスに受信できることを意味する。それらの通常のシステムのうちのいくつかを用いて、モバイルスマートデバイスからサウンドプレイバックを制御することがすでに可能であり、その結果、ワイヤレスラウドスピーカーがそこに存在する場合でも、リスナーはその人がいる実際の部屋の中で音楽をプレイバックすることができる。いくつかの通常のシステムは、異なる部屋の中での同じかもしくは異なるコンテンツの同時プレイバックさえ可能にし、かつ/または音声コマンドを介して制御され得る。通常の解決策とは対照的に、本発明は、異なる部屋の中へのリスナーの自動追従を含む。通常の解決策では、プレイバックは、むしろプレイバックデバイスに追従し、現行のラウドスピーカーとのペアリングが手作業で実行されなければならない。さらに、本発明の一態様によれば、プレイバック信号は、リスナーの位置またはラウドスピーカーシステムの実際のセットアップに適合される。
【0146】
ワイヤレスラウドスピーカーを使用するそのような通常のシステムのうちのいくつかは、ワイヤレスアクティブモノラウドスピーカーのうちの2つをステレオラウドスピーカーペアとして働くように組み合わせるためのオプションを与える。また、いくつかの通常のシステムは、サラウンドラウドスピーカーとして働く最高2つのワイヤレスアクティブラウドスピーカーによって拡張され得る、サウンドバーのようなステレオまたはマルチチャネルのメインデバイスを与える。大型の中央制御デバイスを有する、ホームオートメーションシステムの一部としてのいくつかの高度な通常のシステムも与えられ、ラウドスピーカーが装備され得る。これらの通常の解決策は、たとえば、システムが朝にお気に入りの歌とともに人を起こすことができるような時間情報に基づく、個人化オプションをすでに含む。個人化の別の形態は、人が部屋に入るや否や、この通常のシステムが音楽を再生し始めることができることである。このことは、プレイバックを動きセンサーに結合することによって達成され、または代替として、照明スイッチのすぐ隣のようなスイッチボタンが、この部屋の中で音楽をオンおよびオフに切り替えることができる。通常の手法は、異なる部屋へのリスナーの、いくつかの種類の自動追従をすでに含むことができるが、そのことはこの部屋の中のラウドスピーカーを使用してプレイバックを開始および停止するにすぎない。対照的に、一態様によれば、本発明の解決策は、プレイバックをリスナーの位置またはラウドスピーカーシステムの実際のセットアップに継続的に適合させ、たとえば、異なる部屋の中のラウドスピーカーは、分離された個々のプレイバックシステムなどの異なるゾーンとして見られる。
【0147】
リスナーの位置に気付いているオーディオレンダリングのための従来の方法が、たとえば、リスナーの位置を追跡すること、ならびに最適な聴取位置からの逸脱を補正するように利得および遅延を調整することによる、[1]において記載されるように提案されている。リスナー追跡はまた、たとえば、[2]において、クロストーク消去(XTC:crosstalk cancelation)とともに使用されている。XTCはリスナーの極めて精密な位置決めを必要とし、そのことはリスナー追跡をほとんど不可欠にさせる。リスナー追跡を伴うレンダリングの通常の方法とは対照的に、一態様によれば、本発明の解決策は、異なる部屋の中の異なるラウドスピーカーセットアップまたはラウドスピーカーも参加させることを可能にする。
【0148】
説明したような、リスナーに追従するオーディオのための通常の解決策とは対照的に、一態様によれば、本発明の方法は、異なる部屋またはゾーンの中のラウドスピーカーをオンおよびオフに切り替えるだけでなく、シームレスな適合および遷移も生み出す。たとえば、リスナーが2つのゾーンまたはセットアップの間で遷移している間、両方のシステムは、オンおよびオフに切り替えられるだけでなく、遷移ゾーンの中でさえ快適な音像を生成するためにも使用される。このことは、リスナーおよび他のラウドスピーカーに対する位置、ならびに周波数特性のような、ラウドスピーカーについての利用可能な情報を考慮に入れる、特定のラウドスピーカーフィードをレンダリングすることによって達成される。
【0149】
結論
本発明の実施形態は、潜在的に異なる種類の、かつ様々な位置における、様々な個数のラウドスピーカーを備えるサウンド再生システムにおいてオーディオ信号を再生するためのシステムに関する。ラウドスピーカーは、たとえば、異なる部屋の中に位置することがあり、たとえば、分離された個々のラウドスピーカーセットアップまたはラウドスピーカーゾーンに属することがある。本発明の主な焦点によれば、オーディオプレイバックは、移動するリスナーに対して、ユーザロケーションおよび(随意に)向きを追跡すること、ならびに向きを適合させるとともにレンダリング手順をそれに応じて適合させることによって、単一の地点または限定されたエリアだけではなく大きい聴取エリア全体にわたって所望のプレイバックが達成されるように適合される。本発明の第2の焦点によれば、そのような高度なユーザ適合レンダリングは、いくつかの異なる部屋とラウドスピーカーゾーンまたはラウドスピーカーセットアップとの間でさえ実行され得る。ラウドスピーカーの位置ならびにリスナーの位置および/または向きについての知識を利用して、オーディオ再生が最適化され、オーディオ信号は、利用可能なラウドスピーカーまたは再生システムを使用して最適にレンダリングされる。一態様によれば、提案かつ発明された方法は、リスナーを自動的に追跡するシステムを提供し、かつ家屋の中の異なる部屋のような空間を通じてサウンドプレイバックがリスナーに追従することを可能にするために、マルチルームシステムの利点とリスナー追跡を伴うプレイバックシステムとを組み合わせ、常に部屋の中または背後における利用可能なラウドスピーカーの最良の可能な使用を行って、忠実かつ満足な聴覚印象を生み出す。
本発明の実施形態は、潜在的に異なる種類の、かつ様々な位置における、様々な個数のラウドスピーカーを備えるサウンド再生システムにおいてオーディオ信号を再生するためのシステムに関する。ラウドスピーカーは、たとえば、異なる部屋の中に位置することがあり、たとえば、分離された個々のラウドスピーカーセットアップまたはラウドスピーカーゾーンに属することがある。本発明の主な焦点によれば、オーディオプレイバックは、移動するリスナーに対して、ユーザロケーションおよび(随意に)向きを追跡すること、ならびに向きを適合させるとともにレンダリング手順をそれに応じて適合させることによって、単一の地点または限定されたエリアだけではなく大きい聴取エリア全体にわたって所望のプレイバックが達成されるように適合される。本発明の第2の焦点によれば、そのような高度なユーザ適合レンダリングは、いくつかの異なる部屋とラウドスピーカーゾーンまたはラウドスピーカーセットアップとの間でさえ実行され得る。ラウドスピーカーの位置ならびにリスナーの位置および/または向きについての知識を利用して、オーディオ再生が最適化され、オーディオ信号は、利用可能なラウドスピーカーまたは再生システムを使用して最適にレンダリングされる。一態様によれば、提案かつ発明された方法は、リスナーを自動的に追跡するシステムを提供し、かつ家屋の中の異なる部屋のような空間を通じてサウンドプレイバックがリスナーに追従することを可能にするために、マルチルームシステムの利点とリスナー追跡を伴うプレイバックシステムとを組み合わせ、常に部屋の中または背後における利用可能なラウドスピーカーの最良の可能な使用を行って、忠実かつ満足な聴覚印象を生み出す。
【0150】
本発明の方法は、様々なユーザ選択可能なレンダリング方式に従うことができる。オーディオ再生の完全な空間像は、空間的な向きが一定である並進移動、および空間像がリスナーの向きに対して方向づけられる回転移動のいずれかによって、リスナーに追従することができる。空間像は、規定された追従時間を用いて円滑にリスナーに追従することができる。このことは、変化は即時には起こらないが、並進もしくは回転の変化またはその両方の組合せが、調整可能な時定数内で新たなリスナー位置に適合することを意味する。
【0151】
ラウドスピーカーの位置は、固定の座標系の中に座標があることを意味する明示的か、または所与の半径を有するITUセットアップに従ってラウドスピーカーがセットアップされる暗黙的のいずれかであり得る。
【0152】
システムは、知られているラウドスピーカーの周囲についての知識を随意に有することができ、そのことは、たとえば、それらの部屋の間に壁がある、2つのラウドスピーカーセットアップを伴う2つの部屋を有する場合、システムが壁の位置ならびにドアおよび/または通路の位置を知り得ることを、システムが知っていることを意味し、そのことは、音響空間の区分をシステムが知ることができることを意味する。その上、システムは、環境、壁などの吸収および/または反射などの、音響特性についての情報を保有することができる。
【0153】
空間像は、規定可能な時定数内でリスナーに追従することができる。いくつかの状況に対して、そのことは、音像の追従が即時には起こらないが、空間像がゆっくりリスナーに追従するような時定数を伴って起こる場合に有利であり得る。
【0154】
説明する発明的方法および概念はまた、入力サウンドがアンビソニックフォーマットまたはより高次のアンビソニックフォーマットで記録されているかまたは配信される場合、同様に適用され得る。また、バイノーラル記録および類似の他の記録ならびに生成フォーマットが、本発明の方法によって処理され得る。
【0155】
さらなるレンダリング例はベストエフォートレンダリングである。リスナーが移動している間、たとえば、1つまたは複数のオブジェクトがレンダリングされるべきエリアの中に、単一のラウドスピーカーしか存在しないか、あるいはこのエリアの中の現行のラウドスピーカーが、互いから遠くに離間されるかまたは極めて大きい角度をカバーする状況が、発生することがある。そのような場合、ベストエフォートレンダリングが適用される。パラメータとして、たとえば、ペア単位のパニングがそこまで使用される、たとえば、2つのラウドスピーカーの間の最大許容距離、または最大角度が規定され得る。利用可能なラウドスピーカーが、距離または角度のような指定された制限を超える場合、オーディオオブジェクトの再生のために、最も近くの単一のラウドスピーカーだけが選択される。このことが、単一のラウドスピーカーのみから2つ以上のオブジェクトが再生されなければならない事例をもたらす場合、オーディオオブジェクト信号からラウドスピーカーフィードまたはラウドスピーカー信号を生成するために、(アクティブな)ダウンミックスが使用される。
【0156】
ラウドスピーカー選択に対するさらなる例は、最接近ラウドスピーカースナップ(snap-to-closest loudspeaker)法である。説明する手法の1つの具体例は、最接近ラウドスピーカースナップ事例である。この例では、オブジェクトまたはオブジェクトのダウンミックスを再生するために、最も近くの単一のラウドスピーカー(または代替として、最も近くの複数のラウドスピーカー)だけが常に選択される。規定可能な調整時間、またはフェージング時間もしくはクロスフェード時間を使用して、オブジェクトは常に、リスナーに対してそれらの位置に最も近いラウドスピーカーを使用して(または代替として、最も近くのラウドスピーカーの選択されたグループによって)再生される。リスナーが移動している間、再生のために使用される(1つまたは複数の)ラウドスピーカーの選択されたグループは、絶えずリスナーの位置に適合される。システムにおける1つのパラメータが、それぞれ、ラウドスピーカーが有しなければならない最小距離、有することが許容される最大距離を規定する。ラウドスピーカーは、既定の最小距離または最大距離よりもリスナーに近い場合のみ、含めることに対して考慮に入れられる。同様に、リスナーが特定のラウドスピーカーから離れて移動して、規定された最大距離を超える場合、それぞれ、ラウドスピーカーはフェードアウトされ最終的にオフに切り替えられ、その寄与はもはや再生に対して考慮に入れられない。
【0157】
「ラウドスピーカーレイアウト」という用語は、様々な意味で上記で使用されている。明確化のために、以下の区別が行われる。
【0158】
基準レイアウトとは、ミキシングおよびマスタリングプロセス中、オーディオ生成のモニタリングの間に使用されているようなラウドスピーカーの配列である。
それは、方位角および高さのような規定された位置においていくつかのラウドスピーカーによって規定され、通常、すべてのラウドスピーカーは、スイートスポット、すなわち、すべてのラウドスピーカーから等距離の場所において、リスナーの方を直接向くように傾けられる。通常はチャネルベース生成のために、メディア上のコンテンツと関連するラウドスピーカーとの間の直接マッピングが行われる。
たとえば、2チャネルステレオによって、2つのラウドスピーカーが、方位角が左チャネルに対して-30°かつ右チャネルに対して30°であって、耳の高さにおいてリスナーの前方で等距離に配置される。2チャネルメディアにおいて、左ラウドスピーカーに関連付けられている左チャネル用の信号は、通常は第1のチャネルであり、右チャネル用の信号は、通常は第2のチャネルである。
それは、方位角および高さのような規定された位置においていくつかのラウドスピーカーによって規定され、通常、すべてのラウドスピーカーは、スイートスポット、すなわち、すべてのラウドスピーカーから等距離の場所において、リスナーの方を直接向くように傾けられる。通常はチャネルベース生成のために、メディア上のコンテンツと関連するラウドスピーカーとの間の直接マッピングが行われる。
たとえば、2チャネルステレオによって、2つのラウドスピーカーが、方位角が左チャネルに対して-30°かつ右チャネルに対して30°であって、耳の高さにおいてリスナーの前方で等距離に配置される。2チャネルメディアにおいて、左ラウドスピーカーに関連付けられている左チャネル用の信号は、通常は第1のチャネルであり、右チャネル用の信号は、通常は第2のチャネルである。
【0159】
聴取環境または再生環境において見つけ出す実際のラウドスピーカーセットアップを、再生レイアウトとして示す。オーディオ熱狂者は、彼らが使用する入力、たとえば、2チャネルステレオ、または5.1サラウンド、または5.1+4H没入型サウンドにとって、彼らの家庭の再生レイアウトが基準レイアウトに準拠することに気を配る。しかしながら、標準的な消費者は、しばしば、どのようにラウドスピーカーを正しくセットアップすべきかを知らず、そのような実際の再生レイアウトは、所期の基準レイアウトから逸脱する。このことは欠点を有する。なぜなら、
再生レイアウトが基準レイアウトに整合する場合のみ、製作者によって意図されるような適切なプレイバックが可能である。基準レイアウトからの再生レイアウトのすべての逸脱は、所期の音像からの知覚された音像の逸脱につながる。本発明の方法は、この問題を改善する助けとなる。
再生レイアウトが基準レイアウトに整合する場合のみ、製作者によって意図されるような適切なプレイバックが可能である。基準レイアウトからの再生レイアウトのすべての逸脱は、所期の音像からの知覚された音像の逸脱につながる。本発明の方法は、この問題を改善する助けとなる。
【0160】
「セットアップ」または「ラウドスピーカーセットアップ」という用語も上記で使用されている。それによって、それ自体の中で完全な音像を生成することが可能なラウドスピーカーのグループを意味する。セットアップに属するラウドスピーカーは同時に対象とされ、すなわち信号が供給される。そのように、セットアップは、ある環境の中で利用可能なすべてのラウドスピーカーのサブセットであり得る。
レイアウトおよびセットアップという用語は、密接に関連する。そのため、上記の定義と同様に、基準レイアウトおよび再生レイアウトと呼ぶことができる。
レイアウトおよびセットアップという用語は、密接に関連する。そのため、上記の定義と同様に、基準レイアウトおよび再生レイアウトと呼ぶことができる。
【0161】
実施代替形態
いくつかの態様が装置のコンテキストで説明されているが、これらの態様がまた、対応する方法の説明を表すことは明らかであり、ここで、ブロックまたはデバイスは、方法ステップまたは方法ステップの特徴に対応する。同じように、方法ステップのコンテキストで説明した態様はまた、対応する装置の対応するブロックまたはアイテムまたは特徴の説明を表す。
いくつかの態様が装置のコンテキストで説明されているが、これらの態様がまた、対応する方法の説明を表すことは明らかであり、ここで、ブロックまたはデバイスは、方法ステップまたは方法ステップの特徴に対応する。同じように、方法ステップのコンテキストで説明した態様はまた、対応する装置の対応するブロックまたはアイテムまたは特徴の説明を表す。
【0162】
いくつかの実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実施され得る。実装形態は、それぞれの方法が実行されるようなプログラマブルコンピュータシステムと協働する(または協働することが可能な)、その上に記憶された電子的可読制御信号を有する、デジタル記憶媒体、たとえば、フロッピー(登録商標)ディスク、DVD、CD、ROM、PROM、EPROM、EEPROM、またはFLASH(登録商標)メモリを使用して実行され得る。
【0163】
本発明によるいくつかの実施形態は、本明細書で説明した方法のうちの1つが実行されるようなプログラマブルコンピュータシステムと協働することが可能な電子的可読制御信号を有する、データ担体を備える。
【0164】
概して、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で動作するとき、方法のうちの1つを実行するために動作可能である。プログラムコードは、たとえば、機械可読担体上に記憶されてよい。
【0165】
他の実施形態は、機械可読担体上に記憶される、本明細書で説明した方法のうちの1つを実行するためのコンピュータプログラムを備える。
【0166】
言い換えれば、本発明の方法の一実施形態は、したがって、コンピュータプログラムがコンピュータ上で動作するとき、本明細書で説明した方法のうちの1つを実行するためのプログラムコードを有するコンピュータプログラムである。
【0167】
本発明の方法のさらなる実施形態は、したがって、本明細書で説明した方法のうちの1つを実行するためのコンピュータプログラムを備える、その上に記録されたデータ担体(または、デジタル記憶媒体もしくはコンピュータ可読媒体)である。データ担体、デジタル記憶媒体、または記録媒体は、通常、有形かつ/または非移行性である。
【0168】
本発明の方法のさらなる実施形態は、したがって、本明細書で説明した方法のうちの1つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、たとえば、データ通信接続を介して、たとえば、インターネットを介して転送されるように構成されてよい。
【0169】
さらなる実施形態は、本明細書で説明した方法のうちの1つを実行するように構成または適合された処理手段、たとえば、コンピュータまたはプログラマブル論理デバイスを備える。
【0170】
さらなる実施形態は、本明細書で説明した方法のうちの1つを実行するためのコンピュータプログラムがその上にインストールされているコンピュータを備える。
【0171】
本発明によるさらなる実施形態は、本明細書で説明した方法のうちの1つを実行するためのコンピュータプログラムを(たとえば、電子的または光学的に)受信側に転送するように構成された装置またはシステムを備える。受信側は、たとえば、コンピュータ、モバイルデバイス、メモリデバイスなどであってよい。装置またはシステムは、たとえば、コンピュータプログラムを受信側に転送するためのファイルサーバを備えてよい。
【0172】
いくつかの実施形態では、本明細書で説明した方法の機能の一部または全部を実行するために、プログラマブル論理デバイス(たとえば、フィールドプログラマブルゲートアレイ)が使用されてよい。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書で説明した方法のうちの1つを実行するためにマイクロプロセッサと協働してよい。概して、本方法は、好ましくは任意のハードウェア装置によって実行される。
【0173】
本明細書で説明した装置は、ハードウェア装置を使用して、もしくはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して実装されてよい。
【0174】
本明細書で説明した装置、または本明細書で説明した装置の任意の構成要素は、少なくとも部分的にハードウェアおよび/またはソフトウェアで実装されてよい。
【0175】
本明細書で説明した方法は、ハードウェア装置を使用して、もしくはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して実行されてよい。
【0176】
参考文献
[1]「Adaptively Adjusting the Stereophonic Sweet Spot to the Listener's Position」、Sebastian MerchelおよびStephan Groth、J. Audio Eng. Soc.、Vol. 58、No. 10、2010年10月
[2]「https://www.princeton.edu/3D3A/PureStereo/Pure_Stereo.html」
[3]「Object-Based Audio Reproduction Using a Listener-Position Adaptive Stereo System」、Marcos F. Simon Galvez、Dylan Menzies、Russell Mason、およびFilippo M. Fazi、J. Audio Eng. Soc.、Vol. 64、No. 10、2016年10月
[4]The Binaural Sky、A Virtual Headphone for Binaural Room Synthesis、Intern. Tonmeistersymposium、Hohenkammer、2005年
[5]特許出願PCT/EP2018/000114、「AUDIO PROCESSOR, SYSTEM, METHOD AND COMPUTER PROGRAM FOR AUDIO RENDERING」
[6]GB2548091、「Content delivery to multiple devices based on user's proximity and orientation」
[1]「Adaptively Adjusting the Stereophonic Sweet Spot to the Listener's Position」、Sebastian MerchelおよびStephan Groth、J. Audio Eng. Soc.、Vol. 58、No. 10、2010年10月
[2]「https://www.princeton.edu/3D3A/PureStereo/Pure_Stereo.html」
[3]「Object-Based Audio Reproduction Using a Listener-Position Adaptive Stereo System」、Marcos F. Simon Galvez、Dylan Menzies、Russell Mason、およびFilippo M. Fazi、J. Audio Eng. Soc.、Vol. 64、No. 10、2016年10月
[4]The Binaural Sky、A Virtual Headphone for Binaural Room Synthesis、Intern. Tonmeistersymposium、Hohenkammer、2005年
[5]特許出願PCT/EP2018/000114、「AUDIO PROCESSOR, SYSTEM, METHOD AND COMPUTER PROGRAM FOR AUDIO RENDERING」
[6]GB2548091、「Content delivery to multiple devices based on user's proximity and orientation」
【符号の説明】
【0177】
110 オーディオプロセッサ
135 ラウドスピーカーの位置および向き
140 オーディオ入力または入力信号
145 ラウドスピーカーの放射特性
155 リスナー位置および向き
160 オーディオ出力またはラウドスピーカー信号
410、510 リスナー
700 オーディオ再生システム
710 オーディオプロセッサ
730 ラウドスピーカー
735 ラウドスピーカー位置および向き
740 入力信号
745 ラウドスピーカー放射特性
750 プレイバックデバイス
755 リスナーの位置および向き
760 ラウドスピーカー信号
793 モノスマートスピーカー
796 ステレオシステム
799 サウンドバー
800 ミキシングマトリックス
803 入力信号
807 出力信号
900 サウンド再生システム
910 オーディオプロセッサ
913 オブジェクトレンダリング論理
916 物理的補正
920 ラウドスピーカーセットアップ
930 ラウドスピーカー
935 ラウドスピーカーの位置および向き
940 チャネルオブジェクト変換器
943 オブジェクト
945 ラウドスピーカーの放射特性
946 チャネルオブジェクト
950 ユーザ追跡デバイス
955 リスナーの位置および向き
960 ラウドスピーカーフィード
965 他の環境特性
970 チャネルベースコンテンツ
980 ユーザインターフェース
985 レンダリングモード
990 ラウドスピーカーレイアウト
1010 オーディオプロセッサ
1020 ラウドスピーカーの識別および選択
1030 アップミックス/ダウンミックス
1035 ラウドスピーカーの位置および向き
1040 信号割振り
1043 オーディオオブジェクト
1045 ラウドスピーカーの放射特性
1046 チャネルオブジェクト
1050 論理カテゴリー
1055 ユーザまたはリスナー位置および向き
1060 ラウドスピーカー信号
1065 他の環境特性
1070 レンダリング
1085 レンダリングモード
1110、1210、1310 リスナー
1400 オーディオシステム
1410 オーディオプロセッサ
1420 ラウドスピーカーセットアップ
1430 ラウドスピーカー
1435 ラウドスピーカーの位置
1440 入力信号
1443 オーディオオブジェクト
1446 チャネルオブジェクト
1449 適合済みの信号
1450 リスナー
1455 リスナーの位置
1460 ラウドスピーカー信号
1510 オーディオプロセッサ
1520 レンダリング
1535 ラウドスピーカーの位置
1540 入力信号
1550 ラウドスピーカーへの信号の割振り
1555 リスナーの位置
1560 ラウドスピーカー信号
1610 オーディオプロセッサ
1620 レンダリング
1630 オブジェクト位置の算出または読取りおよび/もしくは抽出
1635 ラウドスピーカーの位置
1640 入力信号
1650 ラウドスピーカーへの信号の割振り
1655 リスナーの位置
1660 ラウドスピーカー信号
1670 ラウドスピーカーの識別
1680 アップミキシングおよび/またはダウンミキシング
1690 物理的補正
1700 オーディオシステム
1710 オーディオプロセッサ
1720 ラウドスピーカーセットアップ
1730 ラウドスピーカー
1735 ラウドスピーカーの位置
1740 入力信号
1743 オーディオオブジェクト
1746 チャネルオブジェクト
1749 適合済みの信号
1750 リスナー
1755 リスナーの位置
1760 ラウドスピーカー信号
1770 音響障害物
1775 音響障害物についての情報
1810 オーディオプロセッサ
1820 レンダリング
1835 ラウドスピーカーの位置
1840 入力信号
1850 ラウドスピーカーへの信号の割振り
1855 リスナーの位置
1860 ラウドスピーカー信号
1870 音響障害物についての情報
1910 リスナー
1950 実効距離
1970 音響障害物
2010 リスナー
2070 音響障害物
2090 サウンド
135 ラウドスピーカーの位置および向き
140 オーディオ入力または入力信号
145 ラウドスピーカーの放射特性
155 リスナー位置および向き
160 オーディオ出力またはラウドスピーカー信号
410、510 リスナー
700 オーディオ再生システム
710 オーディオプロセッサ
730 ラウドスピーカー
735 ラウドスピーカー位置および向き
740 入力信号
745 ラウドスピーカー放射特性
750 プレイバックデバイス
755 リスナーの位置および向き
760 ラウドスピーカー信号
793 モノスマートスピーカー
796 ステレオシステム
799 サウンドバー
800 ミキシングマトリックス
803 入力信号
807 出力信号
900 サウンド再生システム
910 オーディオプロセッサ
913 オブジェクトレンダリング論理
916 物理的補正
920 ラウドスピーカーセットアップ
930 ラウドスピーカー
935 ラウドスピーカーの位置および向き
940 チャネルオブジェクト変換器
943 オブジェクト
945 ラウドスピーカーの放射特性
946 チャネルオブジェクト
950 ユーザ追跡デバイス
955 リスナーの位置および向き
960 ラウドスピーカーフィード
965 他の環境特性
970 チャネルベースコンテンツ
980 ユーザインターフェース
985 レンダリングモード
990 ラウドスピーカーレイアウト
1010 オーディオプロセッサ
1020 ラウドスピーカーの識別および選択
1030 アップミックス/ダウンミックス
1035 ラウドスピーカーの位置および向き
1040 信号割振り
1043 オーディオオブジェクト
1045 ラウドスピーカーの放射特性
1046 チャネルオブジェクト
1050 論理カテゴリー
1055 ユーザまたはリスナー位置および向き
1060 ラウドスピーカー信号
1065 他の環境特性
1070 レンダリング
1085 レンダリングモード
1110、1210、1310 リスナー
1400 オーディオシステム
1410 オーディオプロセッサ
1420 ラウドスピーカーセットアップ
1430 ラウドスピーカー
1435 ラウドスピーカーの位置
1440 入力信号
1443 オーディオオブジェクト
1446 チャネルオブジェクト
1449 適合済みの信号
1450 リスナー
1455 リスナーの位置
1460 ラウドスピーカー信号
1510 オーディオプロセッサ
1520 レンダリング
1535 ラウドスピーカーの位置
1540 入力信号
1550 ラウドスピーカーへの信号の割振り
1555 リスナーの位置
1560 ラウドスピーカー信号
1610 オーディオプロセッサ
1620 レンダリング
1630 オブジェクト位置の算出または読取りおよび/もしくは抽出
1635 ラウドスピーカーの位置
1640 入力信号
1650 ラウドスピーカーへの信号の割振り
1655 リスナーの位置
1660 ラウドスピーカー信号
1670 ラウドスピーカーの識別
1680 アップミキシングおよび/またはダウンミキシング
1690 物理的補正
1700 オーディオシステム
1710 オーディオプロセッサ
1720 ラウドスピーカーセットアップ
1730 ラウドスピーカー
1735 ラウドスピーカーの位置
1740 入力信号
1743 オーディオオブジェクト
1746 チャネルオブジェクト
1749 適合済みの信号
1750 リスナー
1755 リスナーの位置
1760 ラウドスピーカー信号
1770 音響障害物
1775 音響障害物についての情報
1810 オーディオプロセッサ
1820 レンダリング
1835 ラウドスピーカーの位置
1840 入力信号
1850 ラウドスピーカーへの信号の割振り
1855 リスナーの位置
1860 ラウドスピーカー信号
1870 音響障害物についての情報
1910 リスナー
1950 実効距離
1970 音響障害物
2010 リスナー
2070 音響障害物
2090 サウンド
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19a】
【図19b】
【図20a】
【図20b】