特開 2023-164970 情報処理装置および方法、並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023164970

(43)【公開日】2023-11-14

(54)【発明の名称】情報処理装置および方法、並びにプログラム

(51)【国際特許分類】

   H04S 7/00 20060101AFI20231107BHJP

【ＦＩ】

H04S7/00 300

【審査請求】有

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2023144759

(22)【出願日】2023-09-06

(62)【分割の表示】P 2020513170の分割

【原出願日】2019-03-26

(31)【優先権主張番号】P 2018074616

(32)【優先日】2018-04-09

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【識別番号】100082131

【弁理士】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】本間 弘幸

(72)【発明者】

【氏名】知念 徹

(72)【発明者】

【氏名】及川 芳明

(57)【要約】      （修正有）

【課題】少ない演算量で高い臨場感を得ることができる情報処理装置、情報処理方法及びプログラムを提供する。
【解決手段】情報処理装置である信号処理装置１１は、所定のオブジェクトと他のオブジェクトとの位置関係に基づいて減衰量を決定し、その減衰量に基づいて前記所定のオブジェクトの信号のゲインを決定するゲイン決定部であるオブジェクト減衰処理部２３と、決定した前記ゲインと前記所定のオブジェクト信号とに基づいてレンダリング処理を行うレンダリング処理部２４と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

所定のオブジェクトの信号を減衰させるか否かを示す減衰無効情報と、前記所定のオブジェクトと他のオブジェクトとの位置関係に基づいて減衰量を決定し、前記減衰量に基づいて前記所定のオブジェクトの信号のゲインを決定するゲイン決定部と、
決定された前記ゲインと、前記所定のオブジェクトのオブジェクト信号とに基づいてレンダリング処理を行うレンダリング処理部と
を備える情報処理装置。

【請求項2】

前記他のオブジェクトは、前記所定のオブジェクトよりもユーザ位置側にある
請求項１に記載の情報処理装置。

【請求項3】

前記他のオブジェクトは、ユーザ位置と前記所定のオブジェクトとを結ぶ直線から所定の距離の範囲内に位置している
請求項１に記載の情報処理装置。

【請求項4】

前記範囲は前記他のオブジェクトの大きさにより定まる
請求項３に記載の情報処理装置。

【請求項5】

前記所定の距離は、前記他のオブジェクトの中心から前記他のオブジェクトにおける前記直線側の端までの距離である
請求項３に記載の情報処理装置。

【請求項6】

前記位置関係は、前記他のオブジェクトの大きさに依存する位置関係である
請求項３に記載の情報処理装置。

【請求項7】

前記位置関係は、前記他のオブジェクトの中心の前記直線からのずれ量である
請求項６に記載の情報処理装置。

【請求項8】

前記位置関係は、前記他のオブジェクトの中心から前記直線までの距離と、前記他のオブジェクトの中心から前記他のオブジェクトの前記直線側の端までの距離との比である
請求項６に記載の情報処理装置。

【請求項9】

前記ゲイン決定部は、前記減衰無効情報と、前記位置関係と、前記他のオブジェクトの減衰情報とに基づいて前記減衰量を決定する
請求項１に記載の情報処理装置。

【請求項10】

前記減衰情報は、前記他のオブジェクトにおける、前記位置関係に応じた前記信号の減衰量を得るための情報である
請求項９に記載の情報処理装置。

【請求項11】

前記位置関係は、前記他のオブジェクトと前記所定のオブジェクトとの間の距離である
請求項１に記載の情報処理装置。

【請求項12】

前記所定のオブジェクトの信号は、オーディオ信号である
請求項１に記載の情報処理装置。

【請求項13】

情報処理装置が、
所定のオブジェクトの信号を減衰させるか否かを示す減衰無効情報と、前記所定のオブジェクトと他のオブジェクトとの位置関係に基づいて減衰量を決定し、前記減衰量に基づいて前記所定のオブジェクトの信号のゲインを決定し、
決定された前記ゲインと、前記所定のオブジェクトのオブジェクト信号とに基づいてレンダリング処理を行う
情報処理方法。

【請求項14】

所定のオブジェクトの信号を減衰させるか否かを示す減衰無効情報と、前記所定のオブジェクトと他のオブジェクトとの位置関係に基づいて減衰量を決定し、前記減衰量に基づいて前記所定のオブジェクトの信号のゲインを決定し、
決定された前記ゲインと、前記所定のオブジェクトのオブジェクト信号とに基づいてレンダリング処理を行う
ステップを含む処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、情報処理装置および方法、並びにプログラムに関し、特に、少ない演算量で高い臨場感を得ることができるようにした情報処理装置および方法、並びにプログラムに関する。

【背景技術】

【0002】

従来、映画やゲーム等でオブジェクトオーディオ技術が使われ、オブジェクトオーディオを扱える符号化方式も開発されている。具体的には、例えば国際標準規格であるMPEG（Moving Picture Experts Group）-H Part 3:3D audio規格などが知られている（例えば、非特許文献１参照）。

【0003】

このような符号化方式では、従来の２チャンネルステレオ方式や５．１チャンネル等のマルチチャンネルステレオ方式とともに、移動する音源等を独立したオーディオオブジェクトとして扱い、オーディオオブジェクトの信号データとともにオブジェクトの位置情報をメタデータとして符号化することが可能である。

【0004】

このようにすることで、スピーカの数や配置の異なる様々な視聴環境で再生を行うことができる。また、従来の符号化方式では困難であった特定の音源の音の音量調整や、特定の音源の音に対するエフェクトの追加など、特定の音源の音を再生時に加工することが容易にできる。

【0005】

例えば非特許文献１の規格では、レンダリング処理に３次元VBAP（Vector Based Amplitude Panning）（以下、単にVBAPと称する）と呼ばれる方式が用いられる。

【0006】

これは一般的にパニングと呼ばれるレンダリング手法の１つで、ユーザ位置を原点とする球表面上に存在するスピーカのうち、同じく球表面上に存在するオーディオオブジェクトに最も近い３個のスピーカに対しゲインを分配することでレンダリングを行う方式である。

【0007】

また、VBAP以外にも、例えばゲインをx軸、y軸、およびz軸のそれぞれに対して分配するSpeaker-anchored coordinates pannerと呼ばれるパニング手法によるレンダリング処理も知られている（例えば、非特許文献２参照）。

【先行技術文献】

【非特許文献】

【0008】

【非特許文献1】INTERNATIONAL STANDARD ISO/IEC 23008-3 First edition 2015-10-15 Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 3: 3D audio

【非特許文献2】ETSI TS 103 448 v1.1.1(2016-09)

【発明の概要】

【発明が解決しようとする課題】

【0009】

ところで、上述したレンダリング方式では、複数のオーディオオブジェクトのオブジェクト信号は個々のオーディオオブジェクトごとにレンダリングされ、オーディオオブジェクト間の相対的な位置関係による音響の変化は全く考慮されていない。そのため、音声再生時に高い臨場感を得ることができなかった。

【0010】

例えば受聴者の位置から見て、ある第１のオーディオオブジェクトの背後で別の第２のオーディオオブジェクトから音が放射されたとする。そのような場合に、その第２のオーディオオブジェクトの音について、第１のオーディオオブジェクトで生じる音の反射や回析、吸収によって生じる減衰効果は全く無視されてしまう。

【0011】

なお、上述したレンダリング方式では、ユーザ位置が固定されているため、例えばユーザ位置と複数のオーディオオブジェクトの位置関係によって、事前にオブジェクト信号のレベルを調整することが可能である。

【0012】

このようなレベル調整によって、オーディオオブジェクト間の相対的な位置関係による音響の変化を表現することが可能となる。したがって、例えばオーディオオブジェクトにおける音の反射や回析、吸収により生じる減衰効果を物理法則に基づいて計算し、その計算結果に基づいてオーディオオブジェクトのオブジェクト信号のレベル調整を事前に行えば、高い臨場感を得ることができる。

【0013】

しかし、このような音の反射や回析、吸収により生じる減衰効果を物理法則に基づいて計算すると、多数のオーディオオブジェクトが存在する場合には演算量が多くなってしまうので現実的ではない。

【0014】

しかも、ユーザ位置が固定である固定視点では予めレベル調整を行うことで、音の反射や回析等を考慮したオブジェクト信号を生成しておくことができるが、ユーザ位置を移動可能な自由視点では、そのような事前のレベル調整は全く意味をなさなくなってしまう。

【0015】

本技術は、このような状況に鑑みてなされたものであり、少ない演算量で高い臨場感を得ることができるようにするものである。

【課題を解決するための手段】

【0016】

本技術の一側面の情報処理装置は、所定のオブジェクトの信号を減衰させるか否かを示す減衰無効情報と、前記所定のオブジェクトと他のオブジェクトとの位置関係に基づいて減衰量を決定し、前記減衰量に基づいて前記所定のオブジェクトの信号のゲインを決定するゲイン決定部と、決定された前記ゲインと、前記所定のオブジェクトのオブジェクト信号とに基づいてレンダリング処理を行うレンダリング処理部とを備える。

【0017】

本技術の一側面の情報処理方法またはプログラムは、所定のオブジェクトの信号を減衰させるか否かを示す減衰無効情報と、前記所定のオブジェクトと他のオブジェクトとの位置関係に基づいて減衰量を決定し、前記減衰量に基づいて前記所定のオブジェクトの信号のゲインを決定し、決定された前記ゲインと、前記所定のオブジェクトのオブジェクト信号とに基づいてレンダリング処理を行うステップを含む。

【0018】

本技術の一側面においては、所定のオブジェクトの信号を減衰させるか否かを示す減衰無効情報と、前記所定のオブジェクトと他のオブジェクトとの位置関係に基づいて減衰量が決定され、前記減衰量に基づいて前記所定のオブジェクトの信号のゲインが決定され、決定された前記ゲインと、前記所定のオブジェクトのオブジェクト信号とに基づいてレンダリング処理が行われる。

【発明の効果】

【0019】

本技術の一側面によれば、少ない演算量で高い臨場感を得ることができる。

【0020】

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。

【図面の簡単な説明】

【0021】

【図1】VBAPについて説明する図である。

【図2】信号処理装置の構成例を示す図である。

【図3】座標変換について説明する図である。

【図4】座標変換について説明する図である。

【図5】座標系について説明する図である。

【図6】減衰距離と半径比について説明する図である。

【図7】メタデータについて説明する図である。

【図8】減衰テーブルについて説明する図である。

【図9】補正テーブルについて説明する図である。

【図10】オーディオ出力処理を説明するフローチャートである。

【図11】コンピュータの構成例を示す図である。

【発明を実施するための形態】

【0022】

以下、図面を参照して、本技術を適用した実施の形態について説明する。

【0023】

〈第１の実施の形態〉
〈本技術について〉
本技術は、オーディオオブジェクトのレンダリングを行う場合に、空間内における複数のオーディオオブジェクトの位置関係に基づいてオーディオオブジェクトのゲイン情報を決定することで、少ない演算量でも十分に高い臨場感を得ることができるようにするものである。

【0024】

なお、本技術は、オーディオオブジェクトのレンダリングに限らず、空間内に存在する複数の各オブジェクトについて、それらのオブジェクトに関するパラメータをオブジェクト間の位置関係に応じて調整する場合に適用可能である。例えば本技術は、オブジェクト間の位置関係に応じて、オブジェクトの画像信号に関する輝度（光量）等のパラメータの調整量を決定する場合などにも適用可能である。

【0025】

以下では、オーディオオブジェクトのレンダリングを行う場合を具体的な例として説明を続ける。また、以下では、オーディオオブジェクトを単にオブジェクトとも称することとする。

【0026】

例えばレンダリング時には、上述したVBAPなどの所定の方式のレンダリング処理が行われる。VBAPでは空間におけるユーザ位置を原点とする球表面上に存在するスピーカのうち、同じく球表面上に存在するオブジェクトに最も近い３個のスピーカに対しゲインが分配される。

【0027】

例えば図１に示すように、３次元空間に受聴者であるユーザU11がおり、そのユーザU11の前方に３つのスピーカSP1乃至スピーカSP3が配置されているとする。

【0028】

また、ユーザU11の頭部の位置を原点Ｏとし、その原点Ｏを中心とする球の表面上にスピーカSP1乃至スピーカSP3が位置しているとする。

【0029】

いま、球表面上におけるスピーカSP1乃至スピーカSP3に囲まれる領域TR11内にオブジェクトが存在しており、そのオブジェクトの位置VSP1に音像を定位させることを考えるとする。

【0030】

そのような場合、VBAPではオブジェクトについて、位置VSP1の周囲にあるスピーカSP1乃至スピーカSP3に対してゲインが分配されることになる。

【0031】

具体的には、原点Ｏを基準（原点）とする３次元座標系において、原点Ｏを始点とし、位置VSP1を終点とする３次元のベクトルPにより位置VSP1を表すこととする。

【0032】

また、原点Ｏを始点とし、各スピーカSP1乃至スピーカSP3の位置を終点とする３次元のベクトルをベクトルL₁乃至ベクトルL₃とすると、ベクトルPは次式（１）に示すように、ベクトルL₁乃至ベクトルL₃の線形和によって表すことができる。

【0033】

【数1】

【0034】

ここで、式（１）においてベクトルL₁乃至ベクトルL₃に乗算されている係数g₁乃至係数g₃を算出し、これらの係数g₁乃至係数g₃を、スピーカSP1乃至スピーカSP3のそれぞれから出力する音のゲインとすれば、位置VSP1に音像を定位させることができる。

【0035】

例えば係数g₁乃至係数g₃を要素とするベクトルをg₁₂₃＝［g₁,g₂,g₃］とし、ベクトルL₁乃至ベクトルL₃を要素とするベクトルをL₁₂₃＝［L₁,L₂,L₃］とすると、上述した式（１）を変形して次式（２）を得ることができる。

【0036】

【数2】

【0037】

このような式（２）を計算して求めた係数g₁乃至係数g₃をゲインとして用いて、オブジェクトの音の信号であるオブジェクト信号を各スピーカSP1乃至スピーカSP3に出力することで、位置VSP1に音像を定位させることができる。

【0038】

なお、各スピーカSP1乃至スピーカSP3の配置位置は固定されており、それらのスピーカの位置を示す情報は既知の情報であるため、逆行列であるL₁₂₃ ^-1は事前に求めておくことができる。そのため、VBAPでは比較的容易な計算で、つまり少ない演算量でレンダリングを行うことが可能である。

【0039】

しかし、上述したようにVBAP等によるレンダリングにおいて空間内に複数のオブジェクトがある場合に、それらのオブジェクト間の相対的な位置関係による音響の変化は全く考慮されていないため、音声再生時に高い臨場感を得ることができなかった。

【0040】

また、予めオブジェクト信号のレベル調整を行っておくことも考えられるが、レベル調整のための減衰効果を物理法則に基づいて計算することは演算量が多く、現実的ではない。さらに、自由視点ではユーザの位置が変化するので、予めレベル調整を行っておくことは全く意味をなさなくなってしまう。

【0041】

そこで、本技術ではオブジェクトの減衰に関する情報を利用して、音の再生側においてオブジェクト信号のレベル調整を行うようにすることで、少ない演算量で高い臨場感を得ることができるようにした。

【0042】

特に、本技術ではオブジェクト間の相対的な位置関係に基づいて、オブジェクト信号のレベル調整のためのゲイン情報を決定することで、少ない演算量でも音の反射や回析、吸収により生じる減衰効果、すなわち音響の変化を生じさせることができる。これにより、高い臨場感を得ることができる。

【0043】

〈信号処理装置の構成例〉
次に、本技術を適用した信号処理装置の構成例について説明する。

【0044】

図２は本技術を適用した信号処理装置の一実施の形態の構成例を示す図である。

【0045】

図２に示す信号処理装置１１はデコード処理部２１、座標変換処理部２２、オブジェクト減衰処理部２３、およびレンダリング処理部２４を有している。

【0046】

デコード処理部２１は、送信されてきた入力ビットストリームを受信して復号（デコード）し、その結果得られたオブジェクトのメタデータおよびオブジェクト信号を出力する。

【0047】

ここで、オブジェクト信号は、オブジェクトの音を再生するためのオーディオ信号である。また、メタデータには、オブジェクトごとにオブジェクト位置情報、オブジェクト外径情報、オブジェクト減衰情報、オブジェクト減衰無効情報、およびオブジェクトゲイン情報が含まれている。

【0048】

オブジェクト位置情報は、オブジェクトが存在する空間（以下、受聴空間とも称する）におけるオブジェクトの絶対的な位置を示す情報である。

【0049】

例えばオブジェクト位置情報は、所定の位置を原点とする３次元直交座標系、すなわちｘｙｚ座標系のｘ座標、ｙ座標、およびｚ座標により表される、オブジェクトの位置を示す座標情報とされる。

【0050】

オブジェクト外径情報は、オブジェクトの外径を示す情報である。例えば、ここではオブジェクトが球形状であるものとし、その球の半径がオブジェクトの外径を示すオブジェクト外径情報とされることとする。

【0051】

なお、以下では、オブジェクトが球状であるものとして説明を行うが、オブジェクトはどのような形状であってもよい。例えばオブジェクトがｘ軸、ｙ軸、およびｚ軸の各方向に径を有する形状であるとし、それらの各軸方向のオブジェクトの半径を示す情報をオブジェクト外径情報とするようにしてもよい。

【0052】

また、spreadのための外径情報をオブジェクト外径情報として用いるようにしてもよい。例えばMPEG-H Part 3:3D audio規格では、音源の大きさを広げる技術としてspreadと呼ばれる技術が採用されており、音源の大きさを広げるために各オブジェクトの外径情報が記録できるフォーマットとなっている。そこで、このようなspreadのための外径情報をオブジェクト外径情報として用いるようにしてもよい。

【0053】

オブジェクト減衰情報は、オブジェクトに起因して他のオブジェクトからの音が減衰されるときの音の減衰量に関する情報である。オブジェクト減衰情報を用いることで、オブジェクト間の位置関係に応じた、所定のオブジェクトにおける他のオブジェクトのオブジェクト信号の減衰量を得ることができる。

【0054】

オブジェクト減衰無効情報は、オブジェクトの音、すなわちオブジェクト信号に対する減衰処理を行うか否か、つまりオブジェクト信号を減衰させるか否かを示す情報である。

【0055】

例えばオブジェクト減衰無効情報の値が１である場合、オブジェクト信号に対する減衰処理は無効とされる。すなわち、オブジェクト減衰無効情報の値が１である場合、オブジェクト信号に対する減衰処理は行われない。

【0056】

例えば音源制作者の意図として、あるオブジェクトは重要なものであり、そのオブジェクトの音については他のオブジェクトとの位置関係による減衰効果を生じさせたくないなどといった意図がある場合には、オブジェクト減衰無効情報の値が１に設定される。なお、以下では、オブジェクト減衰無効情報の値が１とされたオブジェクトを減衰無効オブジェクトとも称することとする。

【0057】

これに対して、オブジェクト減衰無効情報の値が０である場合、オブジェクトと他のオブジェクトの位置関係に応じて、オブジェクト信号に対する減衰処理が行われる。以下では、オブジェクト減衰無効情報の値が０である、減衰処理の対象となり得るオブジェクトを減衰処理オブジェクトとも称することとする。

【0058】

オブジェクトゲイン情報は、予め音源制作者側で定められた、オブジェクト信号のレベル調整を行うためのゲインを示す情報である。例えばオブジェクトゲイン情報は、ゲインを示すデシベル値などとされる。

【0059】

デコード処理部２１における復号により、各オブジェクトのオブジェクト信号とメタデータが得られると、デコード処理部２１は、得られたオブジェクト信号をレンダリング処理部２４に供給する。

【0060】

また、デコード処理部２１は、復号により得られたメタデータのオブジェクト位置情報を座標変換処理部２２に供給する。さらに、デコード処理部２１は、復号により得られたメタデータのオブジェクト外径情報、オブジェクト減衰情報、オブジェクト減衰無効情報、およびオブジェクトゲイン情報をオブジェクト減衰処理部２３に供給する。

【0061】

座標変換処理部２２は、デコード処理部２１から供給されたオブジェクト位置情報と、外部から供給されたユーザ位置情報とに基づいてオブジェクト球面座標位置情報を生成し、オブジェクト減衰処理部２３に供給する。換言すれば、座標変換処理部２２は、オブジェクト位置情報をオブジェクト球面座標位置情報へと変換する。

【0062】

ここで、ユーザ位置情報は、オブジェクトが存在する受聴空間内における受聴者となるユーザの絶対的な位置、すなわちユーザが所望する受聴点の絶対的な位置を示す情報であり、ｘｙｚ座標系のｘ座標、ｙ座標、およびｚ座標により表される座標情報とされる。

【0063】

このユーザ位置情報は、入力ビットストリームに含まれる情報ではなく、例えば信号処理装置１１に接続された外部ユーザインターフェースなどから供給される情報である。

【0064】

また、オブジェクト球面座標位置情報は球面座標系の座標、すなわち球面座標により表される、受聴空間におけるユーザから見たオブジェクトの相対的な位置を示す情報である。

【0065】

オブジェクト減衰処理部２３は、座標変換処理部２２から供給されたオブジェクト球面座標位置情報と、デコード処理部２１から供給されたオブジェクト外径情報、オブジェクト減衰情報、オブジェクト減衰無効情報、およびオブジェクトゲイン情報とに基づいて、オブジェクトゲイン情報を適宜、補正して得られる補正オブジェクトゲイン情報を求める。

【0066】

換言すれば、オブジェクト減衰処理部２３はオブジェクト球面座標位置情報、オブジェクト外径情報、オブジェクト減衰情報、オブジェクト減衰無効情報、およびオブジェクトゲイン情報に基づいて補正オブジェクトゲイン情報を決定するゲイン決定部として機能する。

【0067】

ここで、補正オブジェクトゲイン情報により示されるゲイン値は、オブジェクトの位置関係を考慮してオブジェクトゲイン情報により示されるゲイン値を適宜、補正することで得られるものである。

【0068】

このような補正オブジェクトゲイン情報は、オブジェクトの位置関係に起因してオブジェクトで生じる音の反射や回析、吸収によって生じる減衰、すなわち音響の変化が考慮されたオブジェクト信号のレベル調整を実現するためのものである。

【0069】

レンダリング処理部２４では、レンダリング時に補正オブジェクトゲイン情報に基づいてオブジェクト信号のレベル調整を行う処理が減衰処理として行われる。このような減衰処理は音の反射や回析、吸収に応じてオブジェクト信号のレベルを減衰させる処理であるということができる。

【0070】

オブジェクト減衰処理部２３は、オブジェクト球面座標位置情報および補正オブジェクトゲイン情報をレンダリング処理部２４に供給する。

【0071】

信号処理装置１１では、座標変換処理部２２およびオブジェクト減衰処理部２３が、各オブジェクトについて、他のオブジェクトとの位置関係に応じたオブジェクト信号のレベル調整のための補正オブジェクトゲイン情報を決定する情報処理装置として機能する。

【0072】

レンダリング処理部２４は、デコード処理部２１から供給されたオブジェクト信号と、オブジェクト減衰処理部２３から供給されたオブジェクト球面座標位置情報および補正オブジェクトゲイン情報とに基づいて出力オーディオ信号を生成し、後段のスピーカやヘッドホン、記録部などに供給する。

【0073】

具体的にはレンダリング処理部２４は、レンダリング処理としてVBAP等のパニング処理を行って出力オーディオ信号を生成する。

【0074】

例えばパニング処理としてVBAPが行われる場合には、オブジェクト球面座標位置情報と各スピーカの配置情報に基づいて上述した式（２）と同様の計算が行われ、スピーカごとのゲイン情報が求められる。そして、レンダリング処理部２４は、求めたゲイン情報と補正オブジェクトゲイン情報とに基づいて、各スピーカに対応するチャンネルのオブジェクト信号のレベル調整を行うことで、複数の各チャンネルの信号からなる出力オーディオ信号を生成する。複数のオブジェクトがある場合には、それらの各オブジェクトの同じチャンネルの信号が加算されて、最終的な出力オーディオ信号とされる。

【0075】

なお、レンダリング処理部２４で行われるレンダリング処理は、例えばMPEG-H Part 3:3D audio規格で採用されているVBAPや、Speaker-anchored coordinates pannerと呼ばれるパニング手法による処理など、どのような処理であってもよい。

【0076】

また、VBAPによるレンダリング処理では、球面座標系の位置情報であるオブジェクト球面座標位置情報が用いられるが、Speaker-anchored coordinates pannerによるレンダリング処理では、直交座標系の位置情報が用いられて直接レンダリングが行われる。したがって、直交座標系を用いたレンダリングを行う場合には、座標変換処理部２２では、ユーザの位置から見た各オブジェクトの位置を示す直交座標系の位置情報が座標変換により求められるようにすればよい。

【0077】

〈座標変換および補正オブジェクトゲイン情報の決定について〉
続いて、座標変換処理部２２において行われる座標変換、およびオブジェクト減衰処理部２３において行われる処理について、より詳細に説明する。

【0078】

座標変換処理部２２では、オブジェクト位置情報およびユーザ位置情報が入力とされて座標変換が行われ、オブジェクト球面座標位置情報が出力される。

【0079】

ここで、座標変換の入力とされるオブジェクト位置情報およびユーザ位置情報は、例えば図３に示すようなｘ軸、ｙ軸、およびｚ軸を用いた３次元直交座標系、すなわちｘｙｚ座標系の座標で表される。

【0080】

図３では、ｘｙｚ座標系の原点Ｏから見たユーザLP11の位置を示す座標がユーザ位置情報とされる。また、ｘｙｚ座標系の原点Ｏから見たオブジェクトOBJ1の位置を示す座標が、そのオブジェクトOBJ1のオブジェクト位置情報とされ、ｘｙｚ座標系の原点Ｏから見たオブジェクトOBJ2の位置を示す座標が、そのオブジェクトOBJ2のオブジェクト位置情報とされる。

【0081】

座標変換時には、座標変換処理部２２は、例えば図４に示すようにユーザLP11の位置が原点Ｏの位置となるように、全オブジェクトの受聴空間内の並行移動を行った後、それらの全オブジェクトのｘｙｚ座標系の座標を球面座標系の座標へと変換する。なお、図４において図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

【0082】

具体的には、座標変換処理部２２は、ユーザ位置情報に基づいて、ユーザLP11の位置をｘｙｚ座標系の原点Ｏへと移動させる移動ベクトルMV11を求める。この移動ベクトルMV11は、ユーザ位置情報により示されるユーザLP11の位置を始点とし、原点Ｏの位置を終点とするベクトルである。

【0083】

また、座標変換処理部２２は、移動ベクトルMV11と同じ大きさ（長さ）および方向で、かつオブジェクトOBJ1の位置を始点とするベクトルを移動ベクトルMV12とする。そして、座標変換処理部２２は、オブジェクトOBJ1のオブジェクト位置情報に基づいて、そのオブジェクトOBJ1の位置を移動ベクトルMV12に示される分だけ移動させる。

【0084】

同様にして、座標変換処理部２２は、移動ベクトルMV11と同じ大きさおよび方向で、かつオブジェクトOBJ2の位置を始点とするベクトルを移動ベクトルMV13とし、オブジェクトOBJ2のオブジェクト位置情報に基づいて、オブジェクトOBJ2の位置を移動ベクトルMV13に示される分だけ移動させる。

【0085】

さらに、座標変換処理部２２は、原点Ｏから見た移動後のオブジェクトOBJ1の位置を示す球面座標系の座標を求め、得られた座標をオブジェクトOBJ1のオブジェクト球面座標位置情報とする。同様に、座標変換処理部２２は、原点Ｏから見た移動後のオブジェクトOBJ2の位置を示す球面座標系の座標を求め、得られた座標をオブジェクトOBJ2のオブジェクト球面座標位置情報とする。

【0086】

ここで、球面座標系とｘｙｚ座標系との関係は、図５に示す関係となっている。なお、図５において図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

【0087】

図５では原点Ｏを通り、互いに垂直なｘ軸、ｙ軸、およびｚ軸がｘｙｚ座標系の軸となっている。例えばｘｙｚ座標系では、移動ベクトルMV12による移動後のオブジェクトOBJ1の位置はｘ座標であるX1、ｙ座標であるY1、およびｚ座標であるZ1が用いられて（X1,Y1,Z1）と表される。

【0088】

これに対して球面座標系では、方位角position_azimuth、仰角position_elevation、および半径position_radiusが用いられてオブジェクトOBJ1の位置が表される。

【0089】

いま、原点Ｏと、オブジェクトOBJ1の位置とを結ぶ直線を直線ｒとし、この直線ｒをｘｙ平面上に投影して得られた直線を直線Ｌとする。

【0090】

このとき、ｘ軸と直線Ｌとのなす角θがオブジェクトOBJ1の位置を示す方位角position_azimuthとされる。また、直線ｒとｘｙ平面とのなす角φがオブジェクトOBJ1の位置を示す仰角position_elevationとされ、直線ｒの長さがオブジェクトOBJ1の位置を示す半径position_radiusとされる。

【0091】

したがって、ユーザの位置、すなわち原点Ｏを基準としたオブジェクトの方位角、仰角、および半径からなる球面座標の情報が、そのオブジェクトのオブジェクト球面座標位置情報となる。なお、より詳細には、例えばｘ軸の正の方向がユーザの正面の方向などとされてオブジェクト球面座標位置情報が求められる。

【0092】

次に、オブジェクト減衰処理部２３において行われる処理について説明する。

【0093】

なお、ここでは説明を簡単にするため、受聴空間にはオブジェクトOBJ1およびオブジェクトOBJ2の２つのオブジェクトのみが存在するものとして説明を行う。

【0094】

具体的には、例えば図６に示すように受聴空間内にオブジェクトOBJ1およびオブジェクトOBJ2が存在しており、オブジェクトOBJ1の補正オブジェクトゲイン情報を決定するものとする。なお、図６において図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

【0095】

図６の例では、オブジェクトOBJ1は減衰無効オブジェクトではないオブジェクト、すなわちオブジェクト減衰無効情報の値が０である減衰処理オブジェクトであるものとする。

【0096】

オブジェクトOBJ1の補正オブジェクトゲイン情報を決定するにあたっては、まずオブジェクトOBJ1の位置を示すベクトルOP1が求められる。

【0097】

このベクトルOP1は、原点Ｏを始点とし、オブジェクトOBJ1のオブジェクト球面座標位置情報により示される位置O11を終点とするベクトルである。原点Ｏに位置するユーザは、位置O11にあるオブジェクトOBJ1から原点Ｏに向けて放射された音を聴取することになる。なお、より詳細には位置O11は、オブジェクトOBJ1の中心位置を示している。

【0098】

次に、オブジェクトOBJ1よりも原点Ｏからの距離が近いオブジェクト、つまりオブジェクトOBJ1よりもユーザ位置である原点Ｏ側にあるオブジェクトが被減衰オブジェクトとして選択される。被減衰オブジェクトは、減衰処理オブジェクトと原点Ｏとの間に位置するために減衰処理オブジェクトからの音の減衰要因となり得るオブジェクトである。

【0099】

図６の例では、オブジェクトOBJ2は、オブジェクト球面座標位置情報により示される位置O12に位置しており、その位置O12はオブジェクトOBJ1の位置O11よりも原点Ｏ側に位置している。すなわち、原点Ｏを始点とし、位置O12を終点とするベクトルOP2の大きさは、ベクトルOP1の大きさよりも小さい。

【0100】

そのため、図６の例では、オブジェクトOBJ1よりも原点Ｏ側に位置しているオブジェクトOBJ2がオブジェクトOBJ1に対する被減衰オブジェクトとして選択される。なお、より詳細には、位置O12はオブジェクトOBJ2の中心位置を示している。

【0101】

オブジェクトOBJ2の形状は位置O12を中心とする、オブジェクト外径情報により示される半径OR2の球の形状となっており、オブジェクトOBJ2は点音源ではない、所定の大きさを有するオブジェクトである。

【0102】

続いて、被減衰オブジェクトであるオブジェクトOBJ2について、オブジェクトOBJ2から、すなわち位置O12からベクトルOP1への法線ベクトルN2_1が求められる。

【0103】

位置O12を通り、ベクトルOP1と直交する直線と、ベクトルOP1との交点の位置を位置P2_1とすると、位置O12を始点とし、位置P2_1を終点とするベクトルが法線ベクトルN2_1となる。換言すれば、ベクトルOP1と法線ベクトルN2_1との交点が位置P2_1である。

【0104】

さらに、法線ベクトルN2_1と、オブジェクトOBJ2のオブジェクト外径情報により示される半径OR2とが比較されて、法線ベクトルN2_1の大きさが、被減衰オブジェクトであるオブジェクトOBJ2の外径の1/2である半径OR2以下であるかが判定される。

【0105】

この判定処理は、オブジェクトOBJ1から放射され、原点Ｏへと進む音の進路上に被減衰オブジェクトであるオブジェクトOBJ2があるか否かを判定する処理である。

【0106】

換言すれば、この判定処理は、オブジェクトOBJ2の中心位置である位置O12が、ユーザ位置である原点ＯとオブジェクトOBJ1の中心位置である位置O11とを結ぶ直線から、所定距離の範囲内に位置しているか否かを判定する処理であるともいえる。

【0107】

なお、ここでいう所定距離の範囲はオブジェクトOBJ2の大きさにより定まる範囲であり、具体的には所定距離とは、オブジェクトOBJ2における、位置O12から、原点Ｏと位置O11とを結ぶ直線側の端の位置までの距離、つまり半径OR2である。

【0108】

例えば図６の例では、法線ベクトルN2_1の大きさは、半径OR2以下となっている。すなわち、ベクトルOP1は、オブジェクトOBJ2と交差する。したがって、オブジェクトOBJ1から原点Ｏに向けて放射された音は、オブジェクトOBJ2において反射したり回析したり、吸収されたりして減衰し、原点Ｏへと向かうことになる。

【0109】

そこで、オブジェクト減衰処理部２３では、オブジェクトOBJ1とオブジェクトOBJ2の相対的な位置関係に応じて、オブジェクトOBJ1のオブジェクト信号のレベルを減衰させるための補正オブジェクトゲイン情報が決定される。換言すれば、オブジェクトゲイン情報が補正され、補正オブジェクトゲイン情報とされる。

【0110】

具体的には、オブジェクトOBJ1とオブジェクトOBJ2の相対的な位置関係を示す情報である減衰距離および半径比に基づいて、補正オブジェクトゲイン情報が決定される。

【0111】

なお、減衰距離とはオブジェクトOBJ1とオブジェクトOBJ2との間の距離である。

【0112】

この場合、原点Ｏを始点とし、位置P2_1を終点とするベクトルをベクトルOP2_1とすると、ベクトルOP1の大きさとベクトルOP2_1の大きさとの差、つまり位置P2_1から位置O11までの距離が、オブジェクトOBJ1のオブジェクトOBJ2についての減衰距離となる。換言すれば、｜OP1｜-｜OP2_1｜が減衰距離となる。

【0113】

また、この場合における半径比は、オブジェクトOBJ2の中心位置である位置O12から、原点Ｏと位置O11とを結ぶ直線までの距離と、位置O12からその直線側にあるオブジェクトOBJ2の端までの距離との比となる。

【0114】

ここでは、オブジェクトOBJ2の形状は球形状であるから、オブジェクトOBJ2の半径比は、法線ベクトルN2_1の大きさと半径OR2の比、つまり｜N2_1｜/OR2となる。

【0115】

半径比は、オブジェクトOBJ2の中心位置である位置O12のベクトルOP1からのずれ量、つまり原点Ｏと位置O11とを結ぶ直線からの位置O12のずれ量を示す情報である。このような半径比はオブジェクトOBJ2の大きさに依存するオブジェクトOBJ1との位置関係を示す情報であるといえる。

【0116】

なお、ここではオブジェクトの大きさに依存する位置関係を示す情報として半径比が用いられる例について説明するが、その他、原点Ｏと位置O11とを結ぶ直線から、その直線側にあるオブジェクトOBJ2の端の位置までの距離を示す情報等が用いられてもよい。

【0117】

オブジェクト減衰処理部２３では、例えばメタデータのオブジェクト減衰情報としての減衰テーブルインデックスおよび補正テーブルインデックスと、減衰距離および半径比とに基づいて、オブジェクトOBJ1のオブジェクトゲイン情報の補正値が求められる。そして、オブジェクト減衰処理部２３は、その補正値によりオブジェクトOBJ1のオブジェクトゲイン情報を補正することにより、補正オブジェクトゲイン情報を得る。

【0118】

ここで、減衰テーブルインデックスにより示される減衰テーブルと、補正テーブルインデックスにより示される補正テーブルについて説明する。

【0119】

例えば入力ビットストリームに含まれる所定の時間フレームのメタデータは、図７に示すようになっている。

【0120】

図７の例では、文字「オブジェクト１位置情報」はオブジェクトOBJ1のオブジェクト位置情報を示しており、文字「オブジェクト１ゲイン情報」はオブジェクトOBJ1のオブジェクトゲイン情報を示しており、文字「オブジェクト１減衰無効情報」はオブジェクトOBJ1のオブジェクト減衰無効情報を示している。

【0121】

また、文字「オブジェクト２位置情報」はオブジェクトOBJ2のオブジェクト位置情報を示しており、文字「オブジェクト２ゲイン情報」はオブジェクトOBJ2のオブジェクトゲイン情報を示しており、文字「オブジェクト２減衰無効情報」はオブジェクトOBJ2のオブジェクト減衰無効情報を示している。

【0122】

さらに、文字「オブジェクト２外径情報」はオブジェクトOBJ2のオブジェクト外径情報を示しており、文字「オブジェクト２減衰テーブルインデックス」は、オブジェクトOBJ2の減衰テーブルインデックスを示しており、文字「オブジェクト２補正テーブルインデックス」は、オブジェクトOBJ2の補正テーブルインデックスを示している。

【0123】

ここでは、減衰テーブルインデックスおよび補正テーブルインデックスが、オブジェクト減衰情報となっている。

【0124】

減衰テーブルインデックスは、上述した減衰距離に応じたオブジェクト信号の減衰量を示す減衰テーブルを識別するためのインデックスである。

【0125】

減衰処理オブジェクトと被減衰オブジェクトとの間の距離によって、被減衰オブジェクトによる音の減衰量は変化する。減衰距離に応じた適切な減衰量を少ない演算量で簡単に得るために、減衰距離と減衰量とが対応付けられた減衰テーブルが用いられる。

【0126】

例えばオブジェクトの材質などにより、音の吸収率や、回折、反射の効果は異なるため、オブジェクトの材質や形状、オブジェクト信号の周波数帯域などに応じて複数の減衰テーブルが予め用意されている。減衰テーブルインデックスは、それらの複数の減衰テーブルのうちの何れかを示すインデックスとなっており、オブジェクトの材質等に応じて音源制作者側で、オブジェクトごとに適切な減衰テーブルインデックスが指定される。

【0127】

また、補正テーブルインデックスは、上述した半径比に応じたオブジェクト信号の減衰量の補正率を示す補正テーブルを識別するためのインデックスである。

【0128】

半径比は、減衰処理オブジェクトから放射された音の進路を示す直線が、被減衰オブジェクトの中心からどれだけずれているかを示している。

【0129】

減衰距離が同じであっても、減衰処理オブジェクトから放射された音の進路からの被減衰オブジェクトのずれ量、すなわち半径比によって実際の減衰量は変化する。

【0130】

例えば、一般的に原点Ｏと減衰処理オブジェクトとを結ぶ直線が被減衰オブジェクトの中心から遠い外側部分を通る場合、その直線が被減衰オブジェクトの中心を通る場合と比べて回折効果により減衰量が少なくなる。そこで、半径比に応じてオブジェクト信号の減衰量を補正するために、半径比と補正率とが対応付けられた補正テーブルが用いられる。

【0131】

減衰テーブルにおける場合と同様に、オブジェクトの材質などにより半径比に応じた適切な補正率は変化するため、オブジェクトの材質や形状、オブジェクト信号の周波数帯域などに応じて複数の補正テーブルが予め用意されている。補正テーブルインデックスは、それらの複数の補正テーブルのうちの何れかを示すインデックスとなっており、オブジェクトの材質等に応じて音源制作者側で、オブジェクトごとに適切な補正テーブルインデックスが指定される。

【0132】

図７に示す例では、オブジェクトOBJ1はオブジェクト外径情報をもたない点音源として処理されるオブジェクトとなっているため、オブジェクトOBJ1のメタデータとしてオブジェクト位置情報、オブジェクトゲイン情報、およびオブジェクト減衰無効情報のみが与えられている。

【0133】

これに対して、オブジェクトOBJ2はオブジェクト外径情報を有し、他のオブジェクトからの放射音を減衰させるオブジェクトとなっている。そのため、オブジェクトOBJ2のメタデータとしてオブジェクト位置情報、オブジェクトゲイン情報、およびオブジェクト減衰無効情報に加えてオブジェクト外径情報とオブジェクト減衰情報も与えられている。

【0134】

特に、ここではオブジェクト減衰情報として、減衰テーブルインデックスと補正テーブルインデックスが与えられており、これらの減衰テーブルインデックスと補正テーブルインデックスがオブジェクトゲイン情報の補正値の算出に用いられる。

【0135】

例えばある１つの減衰テーブルインデックスにより示される減衰テーブルは、図８に示す減衰距離と減衰量の関係を示す情報となっている。

【0136】

図８において、縦軸は減衰量のデシベル値を示しており、横軸はオブジェクト間の距離、すなわち減衰距離を示している。例えば図６に示した例では、位置P2_1から位置O11までの距離が減衰距離となる。

【0137】

図８の例では、減衰距離が小さくなるほど減衰量が大きくなっており、減衰距離が小さいほど、減衰距離の変化量に対する減衰量の変化も大きくなっている。このことから減衰処理オブジェクトに対して被減衰オブジェクトが近くにあるほど、減衰処理オブジェクトの音の減衰量が大きくなることが分かる。

【0138】

また、例えばある１つの補正テーブルインデックスにより示される補正テーブルは、図９に示す半径比と補正率の関係を示す情報となっている。

【0139】

図９において、縦軸は減衰量の補正率を示しており、横軸は半径比を示している。例えば図６に示した例では、法線ベクトルN2_1の大きさと半径OR2の比が半径比となる。

【0140】

例えば半径比が０である場合、減衰処理オブジェクトから原点Ｏ、すなわちユーザへと向かって進む音は、被減衰オブジェクトの中心を通ることになり、半径比が１である場合、減衰処理オブジェクトから原点Ｏへと向かって進む音は、被減衰オブジェクトの境界部分を通ることになる。

【0141】

この例では半径比が大きくなるほど補正率が小さくなっており、半径比が大きいほど半径比の変化量に対する補正率の変化も大きくなっている。例えば補正率が1.0である場合、減衰テーブルで得られた減衰量がそのまま用いられ、補正率が０の場合には減衰テーブルで得られた減衰量が０とされて減衰効果が０となる。なお、半径比が１よりも大きい場合には、減衰処理オブジェクトから原点Ｏへと向かって進む音は被減衰オブジェクトのある領域を通らないので減衰処理は行われない。

【0142】

減衰距離と半径比に基づいて、それらの減衰距離および半径比に応じた減衰量と補正率が得られると、それらの減衰量と補正率に基づいて補正値が求められ、オブジェクトゲイン情報が補正される。

【0143】

具体的には、減衰量に補正率を乗算して得られる値、すなわち（補正率×減衰量）が補正値とされる。この補正値は、減衰量を補正率により補正して得られる最終的な減衰量である。補正値が得られると、その補正値がオブジェクトゲイン情報に加算されることでオブジェクトゲイン情報が補正される。そして、このようにして得られた補正後のオブジェクトゲイン情報、つまり補正値とオブジェクトゲイン情報の和が補正オブジェクトゲイン情報とされる。

【0144】

補正率と減衰量の積である補正値は、オブジェクト間の位置関係に基づいて決定された、あるオブジェクトの音の他のオブジェクトにおいて生じる減衰に対応するレベル調整を実現するためのオブジェクト信号の減衰量を示しているということができる。

【0145】

なお、ここでは事前に用意された減衰テーブルインデックスおよび補正テーブルインデックスがオブジェクト減衰情報としてメタデータに含められる例について説明した。しかし、図８や図９に示した減衰テーブルや補正テーブルに対応する折れ線の変化点をオブジェクト減衰情報とするなど、減衰量と補正率を得ることができれば、オブジェクト減衰情報はどのようなものであってもよい。

【0146】

その他、例えば減衰距離を入力として減衰量を出力する連続関数である減衰関数と、半径比を入力として補正率を出力する連続関数である補正率関数とを複数用意し、それらの複数の減衰関数の何れかを示すインデックスと、複数の補正率関数の何れかを示すインデックスとをオブジェクト減衰情報としてもよい。さらに、減衰量と半径比を入力として補正値を出力する連続関数を予め複数用意し、それらの関数のうちの何れかを示すインデックスをオブジェクト減衰情報としてもよい。

【0147】

〈オーディオ出力処理の説明〉
次に、信号処理装置１１の具体的な動作について説明する。すなわち、以下、図１０のフローチャートを参照して、信号処理装置１１によるオーディオ出力処理について説明する。

【0148】

ステップＳ１１において、デコード処理部２１は、受信した入力ビットストリームを復号（デコード）し、メタデータおよびオブジェクト信号を得る。

【0149】

デコード処理部２１は、得られたメタデータのオブジェクト位置情報を座標変換処理部２２に供給するとともに、得られたメタデータのオブジェクト外径情報、オブジェクト減衰情報、オブジェクト減衰無効情報、およびオブジェクトゲイン情報をオブジェクト減衰処理部２３に供給する。また、デコード処理部２１は、得られたオブジェクト信号をレンダリング処理部２４に供給する。

【0150】

ステップＳ１２において、座標変換処理部２２は、各オブジェクトについて、デコード処理部２１から供給されたオブジェクト位置情報と、外部から供給されたユーザ位置情報とに基づいて座標変換を行ってオブジェクト球面座標位置情報を生成し、オブジェクト減衰処理部２３に供給する。

【0151】

ステップＳ１３において、オブジェクト減衰処理部２３は、デコード処理部２１から供給されたオブジェクト減衰無効情報、および座標変換処理部２２から供給されたオブジェクト球面座標位置情報に基づいて、処理対象とする減衰処理オブジェクトを１つ選択するとともに、その減衰処理オブジェクトの位置ベクトルを求める。

【0152】

例えばオブジェクト減衰処理部２３は、オブジェクト減衰無効情報の値が０であるオブジェクトを１つ選択し、そのオブジェクトを減衰処理オブジェクトとする。そしてオブジェクト減衰処理部２３は、その減衰処理オブジェクトのオブジェクト球面座標位置情報に基づいて、原点Ｏ、つまりユーザの位置を始点とし、減衰処理オブジェクトの位置を終点とするベクトルを位置ベクトルとして算出する。

【0153】

したがって、例えば図６に示した例においてオブジェクトOBJ1が減衰処理オブジェクトとして選択された場合には、ベクトルOP1が位置ベクトルとして求められる。

【0154】

ステップＳ１４においてオブジェクト減衰処理部２３は、処理対象の減衰処理オブジェクトと他のオブジェクトのオブジェクト球面座標位置情報に基づいて、処理対象の減衰処理オブジェクトよりも原点Ｏからの距離が小さい（短い）１つのオブジェクトを、その減衰処理オブジェクトに対する被減衰オブジェクトとして選択する。

【0155】

例えば図６の例においてオブジェクトOBJ1が減衰処理オブジェクトとして選択された場合には、そのオブジェクトOBJ1よりも原点Ｏに近い位置にあるオブジェクトOBJ2が被減衰オブジェクトとして選択される。

【0156】

ステップＳ１５においてオブジェクト減衰処理部２３は、ステップＳ１３で得られた減衰処理オブジェクトの位置ベクトル、および被減衰オブジェクトのオブジェクト球面座標位置情報に基づいて、減衰処理オブジェクトの位置ベクトルに対する被減衰オブジェクトの中心からの法線ベクトルを求める。

【0157】

例えば図６に示した例においてオブジェクトOBJ1が減衰処理オブジェクトとして選択され、オブジェクトOBJ2が被減衰オブジェクトとして選択された場合には、法線ベクトルN2_1が求められることになる。

【0158】

ステップＳ１６においてオブジェクト減衰処理部２３は、ステップＳ１５で求めた法線ベクトルと、被減衰オブジェクトのオブジェクト外径情報とに基づいて、法線ベクトルの大きさが被減衰オブジェクトの半径以下であるか否かを判定する。

【0159】

例えば図６に示した例においてオブジェクトOBJ1が減衰処理オブジェクトとして選択され、オブジェクトOBJ2が被減衰オブジェクトとして選択された場合には、法線ベクトルN2_1の大きさが、オブジェクトOBJ2の外径の半分である半径OR2以下であるか否かが判定される。

【0160】

ステップＳ１６において法線ベクトルの大きさが被減衰オブジェクトの半径以下でないと判定された場合、被減衰オブジェクトは、減衰処理オブジェクトから原点Ｏ（ユーザ）へと向かって進む音の進路上にないのでステップＳ１７およびステップＳ１８の処理は行われず、処理はステップＳ１９へと進む。

【0161】

これに対してステップＳ１６において法線ベクトルの大きさが被減衰オブジェクトの半径以下であると判定された場合、被減衰オブジェクトは減衰処理オブジェクトから原点Ｏ（ユーザ）へと向かって進む音の進路上にあるので、処理はステップＳ１７へと進む。この場合、ユーザから見て略同一方向に減衰処理オブジェクトと被減衰オブジェクトが位置していることになる。

【0162】

ステップＳ１７においてオブジェクト減衰処理部２３は、ステップＳ１３で得られた減衰処理オブジェクトの位置ベクトル、およびステップＳ１５で得られた被減衰オブジェクトの法線ベクトルに基づいて減衰距離を求める。また、オブジェクト減衰処理部２３は、被減衰オブジェクトのオブジェクト外径情報と法線ベクトルに基づいて半径比も求める。

【0163】

例えば図６に示した例においてオブジェクトOBJ1が減衰処理オブジェクトとして選択され、オブジェクトOBJ2が被減衰オブジェクトとして選択された場合、位置P2_1から位置O11までの距離、すなわち｜OP1｜-｜OP2_1｜が減衰距離として求められる。さらにこの場合、法線ベクトルN2_1の大きさと半径OR2の比｜N2_1｜/OR2が半径比として求められる。

【0164】

ステップＳ１８においてオブジェクト減衰処理部２３は、減衰処理オブジェクトのオブジェクトゲイン情報と、被減衰オブジェクトのオブジェクト減衰情報と、ステップＳ１７で得られた減衰距離および半径比とに基づいて、減衰処理オブジェクトの補正オブジェクトゲイン情報を求める。

【0165】

例えばオブジェクト減衰情報として、上述した減衰テーブルインデックスおよび補正テーブルインデックスがメタデータに含まれている場合、オブジェクト減衰処理部２３は予め複数の減衰テーブルと補正テーブルを保持している。

【0166】

この場合、オブジェクト減衰処理部２３は、被減衰オブジェクトのオブジェクト減衰情報としての減衰テーブルインデックスにより示される減衰テーブルから、減衰距離に対して定まる減衰量を読み出す。

【0167】

また、オブジェクト減衰処理部２３は、被減衰オブジェクトのオブジェクト減衰情報としての補正テーブルインデックスにより示される補正テーブルから、半径比に対して定まる補正率を読み出す。

【0168】

そして、オブジェクト減衰処理部２３は、読み出した減衰量に補正率を乗算して補正値を求め、その補正値を減衰処理オブジェクトのオブジェクトゲイン情報に加算することで補正オブジェクトゲイン情報を求める。

【0169】

このようにして補正オブジェクトゲイン情報を求める処理は減衰距離や半径比、つまりオブジェクト間の位置関係に基づいてオブジェクト信号の減衰量を示す補正値を決定し、さらにその補正値に基づいてオブジェクト信号のレベル調整のためのゲインである補正オブジェクトゲイン情報を決定する処理であるということができる。

【0170】

補正オブジェクトゲイン情報が得られると、その後、処理はステップＳ１９へと進む。

【0171】

ステップＳ１８の処理が行われたか、またはステップＳ１６において法線ベクトルの大きさが半径以下でないと判定されるとステップＳ１９において、オブジェクト減衰処理部２３は、処理対象の減衰処理オブジェクトについて、未処理の被減衰オブジェクトがあるか否かを判定する。

【0172】

ステップＳ１９において、まだ未処理の被減衰オブジェクトがあると判定された場合、処理はステップＳ１４に戻り、上述した処理が繰り返し行われる。

【0173】

この場合、ステップＳ１８の処理では、既に求められている補正オブジェクトゲイン情報に対して、新たな被減衰オブジェクトについて求められた補正値が加算されて補正オブジェクトゲイン情報が更新されることになる。したがって、減衰処理オブジェクトに対して、法線ベクトルの大きさが半径以下となる複数の被減衰オブジェクトがある場合、オブジェクトゲイン情報に、複数の被減衰オブジェクトについて求められた各補正値を加算して得られたものが最終的な補正オブジェクトゲイン情報として得られることになる。

【0174】

また、ステップＳ１９において未処理の被減衰オブジェクトがない、つまり全ての被減衰オブジェクトについて処理が行われたと判定された場合、処理はステップＳ２０へと進む。

【0175】

ステップＳ２０において、オブジェクト減衰処理部２３は、全ての減衰処理オブジェクトを処理したか否かを判定する。

【0176】

ステップＳ２０において、まだ全ての減衰処理オブジェクトを処理していないと判定された場合、処理はステップＳ１３に戻り、上述した処理が繰り返し行われる。

【0177】

これに対して、ステップＳ２０において全ての減衰処理オブジェクトを処理したと判定された場合、処理はステップＳ２１へと進む。

【0178】

この場合、オブジェクト減衰処理部２３は、ステップＳ１７およびステップＳ１８の処理が行われなかったオブジェクト、つまり減衰処理が行われないオブジェクトについては、そのオブジェクトのオブジェクトゲイン情報を、そのまま補正オブジェクトゲイン情報とする。

【0179】

また、オブジェクト減衰処理部２３は、座標変換処理部２２から供給された全オブジェクトのオブジェクト球座面標位置情報と、補正オブジェクトゲイン情報とをレンダリング処理部２４に供給する。

【0180】

ステップＳ２１において、レンダリング処理部２４は、デコード処理部２１から供給されたオブジェクト信号と、オブジェクト減衰処理部２３から供給されたオブジェクト球面座標位置情報および補正オブジェクトゲイン情報とに基づいてレンダリング処理を行い、出力オーディオ信号を生成する。

【0181】

このようにして出力オーディオ信号が得られると、レンダリング処理部２４は、得られた出力オーディオ信号を後段に出力し、オーディオ出力処理は終了する。

【0182】

以上のようにして信号処理装置１１は、オブジェクト間の位置関係に応じてオブジェクトゲイン情報を補正し、補正オブジェクトゲイン情報とする。このようにすることで、少ない演算量で高い臨場感を得ることができる。

【0183】

すなわち、受聴空間においてユーザから見て略同一方向に複数のオブジェクトが存在する場合に、オブジェクトの音の吸収や回析、反射等による減衰効果を物理法則に基づいて計算するのではなく、テーブルを利用して減衰距離と半径比に応じた補正値を求めるという簡単な計算により、物理法則に基づく計算を行う場合と略同等の効果を得ることができる。したがって、受聴空間内をユーザが自由に移動する場合であっても、ユーザに対して少ない演算量で高い臨場感の３次元音響効果を与えることができる。

【0184】

なお、ここでは受聴空間内で任意の位置へとユーザが移動可能な自由視点における場合について説明したが、受聴空間内におけるユーザの位置が固定されている固定視点における場合も、自由視点における場合と同様にして、少ない演算量で高い臨場感を得ることができる。

【0185】

そのような場合、ユーザ位置情報により示されるユーザ位置は常に原点Ｏの位置となるので、座標変換処理部２２による座標変換処理は不要であり、オブジェクト位置情報は球面座標で表される位置情報とされる。特に、この場合、オブジェクト位置情報は、原点Ｏから見たオブジェクトの位置を示す情報とされる。また、オブジェクト減衰処理部２３による処理は、コンテンツの配信を受けるクライアント側で行われてもよいし、コンテンツを配信するサーバ側において行われるようにしてもよい。

【0186】

〈変形例〉
その他、以上においてはオブジェクト減衰無効情報が０または１である場合について説明したが、オブジェクト減衰無効情報が３以上の複数の値のうちの何れかとされるようにしてもよい。そのような場合、例えばオブジェクト減衰無効情報の値は、減衰無効オブジェクトであるか否かだけでなく、減衰量の補正量も示すようにされる。したがって、例えば補正率と減衰量から求まる補正値が、さらにオブジェクト減衰無効情報の値に応じて補正され、最終的な補正値とされる。

【0187】

さらに、以上においてはオブジェクトごとに減衰処理を無効とするか否かを示すオブジェクト減衰無効情報が定められる例について説明したが、受聴空間内の領域に対して減衰処理を無効とするか否かが定められるようにしてもよい。

【0188】

例えば、音源制作者の意図として受聴空間内のある特定の空間領域においては、オブジェクトの減衰効果を生じさせたくないといった意図があるときには、オブジェクト減衰無効情報に代えて、減衰効果を生じさせない空間領域を示すオブジェクト減衰無効領域情報が入力ビットストリームに格納されるようにすればよい。

【0189】

そのような場合、オブジェクト減衰処理部２３では、オブジェクト位置情報により示される位置が、オブジェクト減衰無効領域情報により示される空間領域内の位置となるオブジェクトは減衰無効オブジェクトとされる。これにより、音源制作者の意図を反映させたオーディオ再生を実現することができる。

【0190】

また、例えばユーザから見て略正面の方向に位置するオブジェクトは減衰無効オブジェクトとし、ユーザの後方に位置するオブジェクトは減衰処理オブジェクトとするなど、ユーザとオブジェクトの位置関係も考慮されるようにしてもよい。すなわち、ユーザとオブジェクトの位置関係に基づいて、オブジェクトが減衰無効オブジェクトとされるか否かが決定されるようにしてもよい。

【0191】

その他、以上においてはオブジェクト間の相対的な位置関係に応じてオブジェクト信号が減衰される例について説明したが、オブジェクト間の相対的な位置関係に応じてオブジェクト信号に対する残響効果の付与などを行うようにしてもよい。

【0192】

古くから、森の木々などにより残響効果が生じることはよく知られており、Kuttruffは、木々を球とみなし拡散方程式を解くことによって森林の残響をモデル化している。

【0193】

そこで、例えばユーザ位置と音源となるオブジェクトの位置を含む一定の空間内に、所定個数以上のオブジェクトが存在する場合には、その空間内にある各オブジェクトのオブジェクト信号に対して特定の残響効果を付与することなどが考えられる。

【0194】

この場合、残響効果を付与するためのパラメトリックリバーブの係数を入力ビットストリームに含め、ユーザ位置と音源となるオブジェクトの位置との相対的な関係に応じて、直接音と残響音の混合比を変化させることで残響効果付与の実現が可能となる。

【0195】

〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

【0196】

図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

【0197】

コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

【0198】

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

【0199】

入力部５０６は、キーボード、マウス、マイクロフォン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

【0200】

以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

【0201】

コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

【0202】

コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

【0203】

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

【0204】

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0205】

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0206】

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0207】

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0208】

さらに、本技術は、以下の構成とすることも可能である。

【0209】

（１）
所定のオブジェクトと他のオブジェクトとの位置関係に基づいて減衰量を決定し、前記減衰量に基づいて前記所定のオブジェクトの信号のゲインを決定するゲイン決定部を備える
情報処理装置。
（２）
前記他のオブジェクトは、前記所定のオブジェクトよりもユーザ位置側にある
（１）に記載の情報処理装置。
（３）
前記他のオブジェクトは、ユーザ位置と前記所定のオブジェクトとを結ぶ直線から所定の距離の範囲内に位置している
（１）または（２）に記載の情報処理装置。
（４）
前記範囲は前記他のオブジェクトの大きさにより定まる
（３）に記載の情報処理装置。
（５）
前記所定の距離は、前記他のオブジェクトの中心から前記他のオブジェクトにおける前記直線側の端までの距離である
（３）または（４）に記載の情報処理装置。
（６）
前記位置関係は、前記他のオブジェクトの大きさに依存する位置関係である
（３）乃至（５）の何れか一項に記載の情報処理装置。
（７）
前記位置関係は、前記他のオブジェクトの中心の前記直線からのずれ量である
（６）に記載の情報処理装置。
（８）
前記位置関係は、前記他のオブジェクトの中心から前記直線までの距離と、前記他のオブジェクトの中心から前記他のオブジェクトの前記直線側の端までの距離との比である
（６）に記載の情報処理装置。
（９）
前記ゲイン決定部は、前記位置関係と、前記他のオブジェクトの減衰情報とに基づいて前記減衰量を決定する
（１）乃至（８）の何れか一項に記載の情報処理装置。
（１０）
前記減衰情報は、前記他のオブジェクトにおける、前記位置関係に応じた前記信号の減衰量を得るための情報である
（９）に記載の情報処理装置。
（１１）
前記位置関係は、前記他のオブジェクトと前記所定のオブジェクトとの間の距離である
（１）乃至（１０）の何れか一項に記載の情報処理装置。
（１２）
前記ゲイン決定部は、前記所定のオブジェクトの信号を減衰させるか否かを示す減衰無効情報と、前記位置関係とに基づいて前記減衰量を決定する
（１）乃至（１１）の何れか一項に記載の情報処理装置。
（１３）
前記所定のオブジェクトの信号は、オーディオ信号である
（１）乃至（１１）の何れか一項に記載の情報処理装置。
（１４）
情報処理装置が、
所定のオブジェクトと他のオブジェクトとの位置関係に基づいて減衰量を決定し、前記減衰量に基づいて前記所定のオブジェクトの信号のゲインを決定する
情報処理方法。
（１５）
所定のオブジェクトと他のオブジェクトとの位置関係に基づいて減衰量を決定し、前記減衰量に基づいて前記所定のオブジェクトの信号のゲインを決定する
ステップを含む処理をコンピュータに実行させるプログラム。

【符号の説明】

【0210】

１１ 信号処理装置， ２１ デコード処理部， ２２ 座標変換処理部， ２３ オブジェクト減衰処理部， ２４ レンダリング処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】