ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-25
(45)【発行日】2024-12-03
(54)【発明の名称】符号化装置および方法、復号装置および方法、並びにプログラム
(51)【国際特許分類】
G10L 19/008 20130101AFI20241126BHJP
G10L 19/00 20130101ALI20241126BHJP
H04S 7/00 20060101ALI20241126BHJP
【ＦＩ】
G10L19/008 200
G10L19/00 330B
H04S7/00 320
【請求項の数】
20
(21)【出願番号】P 2021570021
(86)(22)【出願日】2020-12-25
(86)【国際出願番号】 JP2020048729
(87)【国際公開番号】W WO2021140959
(87)【国際公開日】2021-07-15
【審査請求日】2023-11-09
(31)【優先権主張番号】P 2020002711
(32)【優先日】2020-01-10
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】辻 実
(72)【発明者】
【氏名】知念 徹
【審査官】大野 弘
(56)【参考文献】
【文献】特開２００６－１４０５９５（ＪＰ，Ａ）
【文献】特開２０１３－０２１６８６（ＪＰ，Ａ）
【文献】国際公開第２０１８／０４７６６７（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１０Ｌ １９／００８
Ｇ１０Ｌ １９／００
Ｈ０４Ｓ ７／００
(57)【特許請求の範囲】
【請求項1】
オブジェクトのオーディオデータを符号化するオブジェクト符号化部と、前記オブジェクトの位置情報を含むメタデータを符号化するメタデータ符号化部と、
前記オーディオデータに対して行われる距離感制御処理のための距離感制御情報を決定する距離感制御情報決定部と、
前記距離感制御情報を符号化する距離感制御情報符号化部と、
符号化された前記オーディオデータ、符号化された前記メタデータ、および符号化された前記距離感制御情報を多重化し、符号化データを生成する多重化部と
を備える符号化装置。
【請求項2】
前記距離感制御情報には、前記距離感制御処理で用いられるパラメタを得るための制御ルール情報が含まれている請求項１に記載の符号化装置。
【請求項3】
前記パラメタは、聴取位置から前記オブジェクトまでの距離に応じて変化する請求項２に記載の符号化装置。
【請求項4】
前記制御ルール情報は、前記パラメタを得るための関数またはテーブルを示すインデックスである請求項２に記載の符号化装置。
【請求項5】
前記距離感制御情報には、前記距離感制御処理を実現するために組み合わせて行う１または複数の処理を示す構成情報が含まれている請求項２に記載の符号化装置。
【請求項6】
前記構成情報は、前記１または複数の処理、および前記１または複数の処理を行う順番を示す情報である請求項５に記載の符号化装置。
【請求項7】
前記処理は、ゲイン制御処理、フィルタ処理、またはリバーブ処理である請求項５に記載の符号化装置。
【請求項8】
前記距離感制御情報符号化部は、複数の前記オブジェクトごとに前記距離感制御情報を符号化する請求項１に記載の符号化装置。
【請求項9】
前記距離感制御情報符号化部は、１または複数の前記オブジェクトからなるオブジェクトグループごとに前記距離感制御情報を符号化する請求項１に記載の符号化装置。
【請求項10】
符号化装置が、オブジェクトのオーディオデータを符号化し、
前記オブジェクトの位置情報を含むメタデータを符号化し、
前記オーディオデータに対して行われる距離感制御処理のための距離感制御情報を決定し、
前記距離感制御情報を符号化し、
符号化された前記オーディオデータ、符号化された前記メタデータ、および符号化された前記距離感制御情報を多重化し、符号化データを生成する
符号化方法。
【請求項11】
オブジェクトのオーディオデータを符号化し、前記オブジェクトの位置情報を含むメタデータを符号化し、
前記オーディオデータに対して行われる距離感制御処理のための距離感制御情報を決定し、
前記距離感制御情報を符号化し、
符号化された前記オーディオデータ、符号化された前記メタデータ、および符号化された前記距離感制御情報を多重化し、符号化データを生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項12】
符号化データを非多重化し、オブジェクトの符号化されたオーディオデータ、前記オブジェクトの位置情報を含む符号化されたメタデータ、および前記オーディオデータに対して行われる距離感制御処理のための符号化された距離感制御情報を抽出する非多重化部と、前記符号化されたオーディオデータを復号するオブジェクト復号部と、
前記符号化されたメタデータを復号するメタデータ復号部と、
前記符号化された距離感制御情報を復号する距離感制御情報復号部と、
前記距離感制御情報に基づいて、前記オブジェクトの前記オーディオデータに対して前記距離感制御処理を行う距離感制御処理部と、
前記距離感制御処理により得られたオーディオデータと、前記メタデータとに基づいてレンダリング処理を行い、前記オブジェクトの音を再生するための再生オーディオデータを生成するレンダリング処理部と
を備える復号装置。
【請求項13】
前記距離感制御処理部は、前記距離感制御情報に含まれている制御ルール情報と聴取位置とから得られるパラメタに基づいて前記距離感制御処理を行う請求項１２に記載の復号装置。
【請求項14】
前記パラメタは、前記聴取位置から前記オブジェクトまでの距離に応じて変化する請求項１３に記載の復号装置。
【請求項15】
前記距離感制御処理部は、前記再生オーディオデータの再生環境に応じて前記パラメタの調整を行う請求項１３に記載の復号装置。
【請求項16】
前記距離感制御処理部は、前記パラメタに基づいて、前記距離感制御情報により示される１または複数の処理を組み合わせた前記距離感制御処理を行う請求項１３に記載の復号装置。
【請求項17】
前記処理は、ゲイン制御処理、フィルタ処理、またはリバーブ処理である請求項１６に記載の復号装置。
【請求項18】
前記距離感制御処理部は、前記距離感制御処理により、前記オブジェクトのウェット成分のオーディオデータを生成する請求項１２に記載の復号装置。
【請求項19】
復号装置が、符号化データを非多重化し、オブジェクトの符号化されたオーディオデータ、前記オブジェクトの位置情報を含む符号化されたメタデータ、および前記オーディオデータに対して行われる距離感制御処理のための符号化された距離感制御情報を抽出し、
前記符号化されたオーディオデータを復号し、
前記符号化されたメタデータを復号し、
前記符号化された距離感制御情報を復号し、
前記距離感制御情報に基づいて、前記オブジェクトの前記オーディオデータに対して前記距離感制御処理を行い、
前記距離感制御処理により得られたオーディオデータと、前記メタデータとに基づいてレンダリング処理を行い、前記オブジェクトの音を再生するための再生オーディオデータを生成する
復号方法。
【請求項20】
符号化データを非多重化し、オブジェクトの符号化されたオーディオデータ、前記オブジェクトの位置情報を含む符号化されたメタデータ、および前記オーディオデータに対して行われる距離感制御処理のための符号化された距離感制御情報を抽出し、前記符号化されたオーディオデータを復号し、
前記符号化されたメタデータを復号し、
前記符号化された距離感制御情報を復号し、
前記距離感制御情報に基づいて、前記オブジェクトの前記オーディオデータに対して前記距離感制御処理を行い、
前記距離感制御処理により得られたオーディオデータと、前記メタデータとに基づいてレンダリング処理を行い、前記オブジェクトの音を再生するための再生オーディオデータを生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、符号化装置および方法、復号装置および方法、並びにプログラムに関し、特にコンテンツ制作者の意図に基づいた距離感制御を実現することができるようにした符号化装置および方法、復号装置および方法、並びにプログラムに関する。
【背景技術】
【0002】
近年、オブジェクトベースのオーディオ技術が注目されている。
【0003】
オブジェクトベースオーディオでは、オーディオオブジェクトに対する波形信号と、所定の基準となる聴取位置からの相対位置により表されるオーディオオブジェクトの定位情報を示すメタデータとによりオブジェクトオーディオのデータが構成されている。
【0004】
そして、オーディオオブジェクトの波形信号が、メタデータに基づいて例えばVBAP（Vector Based Amplitude Panning）により所望のチャンネル数の信号にレンダリングされて再生される（例えば、非特許文献１および非特許文献２参照）。
【0005】
また、オブジェクトベースオーディオに関する技術として、例えばユーザが任意の聴取位置を指定可能な、より自由度の高いオーディオ再生を実現する技術も提案されている（例えば、特許文献１参照）。
【0006】
この技術では、オーディオオブジェクトの位置情報を聴取位置に応じて補正するとともに、聴取位置からオーディオオブジェクトまでの距離の変化に応じたゲイン制御やフィルタ処理を行うことで、ユーザの聴取位置の変更に伴う周波数特性や音量の変化、すなわちオーディオオブジェクトまでの距離感が再現されている。
【先行技術文献】
【非特許文献】
【0007】
【文献】ISO/IEC 23008-3 Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 3: 3D audio
【文献】Ville Pulkki, “Virtual Sound Source Positioning Using Vector Base Amplitude Panning”, Journal of AES, vol.45, no.6, pp.456-466, 1997
【特許文献】
【0008】
【文献】国際公開第２０１５／１０７９２６号
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、上述した技術では、聴取位置からオーディオオブジェクトまでの距離に応じた周波数特性や音量の変化を再現するためのゲイン制御やフィルタ処理は、予め既定されたものであった。
【0010】
そのため、コンテンツ制作者がそれとは異なる周波数特性や音量の変化による距離感の再現をしたくても、そのような距離感の再現を行うことはできなかった。すなわち、コンテンツ制作者の意図に基づいた距離感制御を実現することはできなかった。
【0011】
本技術は、このような状況に鑑みてなされたものであり、コンテンツ制作者の意図に基づいた距離感制御を実現することができるようにするものである。
【課題を解決するための手段】
【0012】
本技術の第１の側面の符号化装置は、オブジェクトのオーディオデータを符号化するオブジェクト符号化部と、前記オブジェクトの位置情報を含むメタデータを符号化するメタデータ符号化部と、前記オーディオデータに対して行われる距離感制御処理のための距離感制御情報を決定する距離感制御情報決定部と、前記距離感制御情報を符号化する距離感制御情報符号化部と、符号化された前記オーディオデータ、符号化された前記メタデータ、および符号化された前記距離感制御情報を多重化し、符号化データを生成する多重化部とを備える。
【0013】
本技術の第１の側面の符号化方法またはプログラムは、オブジェクトのオーディオデータを符号化し、前記オブジェクトの位置情報を含むメタデータを符号化し、前記オーディオデータに対して行われる距離感制御処理のための距離感制御情報を決定し、前記距離感制御情報を符号化し、符号化された前記オーディオデータ、符号化された前記メタデータ、および符号化された前記距離感制御情報を多重化し、符号化データを生成するステップを含む。
【0014】
本技術の第１の側面においては、オブジェクトのオーディオデータが符号化され、前記オブジェクトの位置情報を含むメタデータが符号化され、前記オーディオデータに対して行われる距離感制御処理のための距離感制御情報が決定され、前記距離感制御情報が符号化され、符号化された前記オーディオデータ、符号化された前記メタデータ、および符号化された前記距離感制御情報が多重化されて符号化データが生成される。
【0015】
本技術の第２の側面の復号装置は、符号化データを非多重化し、オブジェクトの符号化されたオーディオデータ、前記オブジェクトの位置情報を含む符号化されたメタデータ、および前記オーディオデータに対して行われる距離感制御処理のための符号化された距離感制御情報を抽出する非多重化部と、前記符号化されたオーディオデータを復号するオブジェクト復号部と、前記符号化されたメタデータを復号するメタデータ復号部と、前記符号化された距離感制御情報を復号する距離感制御情報復号部と、前記距離感制御情報に基づいて、前記オブジェクトの前記オーディオデータに対して前記距離感制御処理を行う距離感制御処理部と、前記距離感制御処理により得られたオーディオデータと、前記メタデータとに基づいてレンダリング処理を行い、前記オブジェクトの音を再生するための再生オーディオデータを生成するレンダリング処理部とを備える。
【0016】
本技術の第２の側面の復号方法またはプログラムは、符号化データを非多重化し、オブジェクトの符号化されたオーディオデータ、前記オブジェクトの位置情報を含む符号化されたメタデータ、および前記オーディオデータに対して行われる距離感制御処理のための符号化された距離感制御情報を抽出し、前記符号化されたオーディオデータを復号し、前記符号化されたメタデータを復号し、前記符号化された距離感制御情報を復号し、前記距離感制御情報に基づいて、前記オブジェクトの前記オーディオデータに対して前記距離感制御処理を行い、前記距離感制御処理により得られたオーディオデータと、前記メタデータとに基づいてレンダリング処理を行い、前記オブジェクトの音を再生するための再生オーディオデータを生成するステップを含む。
【0017】
本技術の第２の側面においては、符号化データが非多重化されて、オブジェクトの符号化されたオーディオデータ、前記オブジェクトの位置情報を含む符号化されたメタデータ、および前記オーディオデータに対して行われる距離感制御処理のための符号化された距離感制御情報が抽出され、前記符号化されたオーディオデータが復号され、前記符号化されたメタデータが復号され、前記符号化された距離感制御情報が復号され、前記距離感制御情報に基づいて、前記オブジェクトの前記オーディオデータに対して前記距離感制御処理が行われ、前記距離感制御処理により得られたオーディオデータと、前記メタデータとに基づいてレンダリング処理が行われ、前記オブジェクトの音を再生するための再生オーディオデータが生成される。
【図面の簡単な説明】
【0018】
【図1】符号化装置の構成例を示す図である。
【図2】復号装置の構成例を示す図である。
【図3】距離感制御処理部の構成例を示す図である。
【図4】リバーブ処理部の構成例を示す図である。
【図5】ゲイン制御処理の制御ルール例について説明する図である。
【図6】ハイシェルフフィルタによるフィルタ処理の制御ルール例について説明する図である。
【図7】ローシェルフフィルタによるフィルタ処理の制御ルール例について説明する図である。
【図8】リバーブ処理の制御ルール例について説明する図である。
【図9】ウェット成分の生成について説明する図である。
【図10】ウェット成分の生成について説明する図である。
【図11】距離感制御情報の例を示す図である。
【図12】ゲイン制御のパラメタ構成情報の例を示す図である。
【図13】フィルタ処理のパラメタ構成情報の例を示す図である。
【図14】リバーブ処理のパラメタ構成情報の例を示す図である。
【図15】符号化処理を説明するフローチャートである。
【図16】復号処理を説明するフローチャートである。
【図17】ゲイン値を得るためのテーブルと関数の例を示す図である。
【図18】ゲイン制御のパラメタ構成情報の例を示す図である。
【図19】距離感制御情報の例を示す図である。
【図20】距離感制御情報の例を示す図である。
【図21】距離感制御処理部の構成例を示す図である。
【図22】距離感制御情報の例を示す図である。
【図23】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【0019】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【0020】
〈第１の実施の形態〉
〈符号化装置の構成例〉
本技術は、１または複数のオーディオオブジェクトの音からなる、オブジェクトベースオーディオのオーディオコンテンツの再生に関するものである。
〈符号化装置の構成例〉
本技術は、１または複数のオーディオオブジェクトの音からなる、オブジェクトベースオーディオのオーディオコンテンツの再生に関するものである。
【0021】
以下では、オーディオオブジェクトを単にオブジェクトとも称し、オーディオコンテンツを単にコンテンツとも称することとする。
【0022】
本技術では、コンテンツ制作者が設定した、聴取位置からオブジェクトまでの距離感を再現する距離感制御処理のための距離感制御情報がオブジェクトのオーディオデータとともに復号側に伝送される。これにより、コンテンツ制作者の意図に基づいた距離感制御を実現することができるようになる。
【0023】
ここで、距離感制御処理とは、オブジェクトの音を再生する際に聴取位置からオブジェクトまでの距離感を再現するための処理、すなわちオブジェクトの音に対して距離感を付加する処理であり、任意の１または複数の処理を組み合わせて実行することにより実現される信号処理である。
【0024】
具体的には、例えば距離感制御処理では、オーディオデータに対するゲイン制御処理、周波数特性や各種の音響効果を付加するフィルタ処理、リバーブ処理などが行われる。
【0025】
このような距離感制御処理を復号側において再構成できるようにするための情報が距離感制御情報であり、距離感制御情報には構成情報と制御ルール情報が含まれている。換言すれば、距離感制御情報は構成情報および制御ルール情報からなる。
【0026】
例えば距離感制御情報を構成する構成情報は、コンテンツ制作者が設定した、距離感制御処理の構成をパラメタ化することで得られる、距離感制御処理を実現するために組み合わせて行う１または複数の信号処理を示す情報である。
【0027】
より具体的には、構成情報は距離感制御処理が何個の信号処理により構成されているか、それらの信号処理はどのような処理で、どのような順番で実行されるかを示している。
【0028】
なお、距離感制御処理を構成する１または複数の信号処理や、それらの信号処理を行う順番が予め定められている場合には、距離感制御情報には必ずしも構成情報が含まれている必要はない。
【0029】
また、制御ルール情報は、コンテンツ制作者が設定した、距離感制御処理を構成する各信号処理での制御ルールをパラメタ化することで得られる、距離感制御処理を構成する各信号処理で用いられるパラメタを得るための情報である。
【0030】
より具体的には、制御ルール情報は距離感制御処理を構成する各信号処理には、どのようなパラメタが用いられるか、それらのパラメタは、聴取位置からオブジェクトまでの距離に応じて、どのような制御ルールで変化するかを示している。
【0031】
符号化側では、このような距離感制御情報と、各オブジェクトのオーディオデータとが符号化されて復号側へと伝送される。
【0032】
また、復号側では、距離感制御情報に基づいて距離感制御処理が再構成され、各オブジェクトのオーディオデータに対して距離感制御処理が行われる。
【0033】
このとき、距離感制御情報に含まれる制御ルール情報に基づいて、聴取位置からオブジェクトまでの距離に応じたパラメタが決定され、そのパラメタに基づいて距離感制御処理を構成する信号処理が行われる。
【0034】
そして、距離感制御処理により得られたオーディオデータに基づいて3Dオーディオのレンダリング処理が行われ、コンテンツの音、すなわちオブジェクトの音を再生するための再生オーディオデータが生成される。
【0035】
それでは、以下、本技術を適用したより具体的な実施の形態について説明する。
【0036】
例えば本技術を適用したコンテンツ再生システムは、コンテンツを構成する１または複数の各オブジェクトのオーディオデータや距離感制御情報を符号化して符号化データを生成する符号化装置と、符号化データの供給を受けて再生オーディオデータを生成する復号装置とからなる。
【0037】
このようなコンテンツ再生システムを構成する符号化装置は、例えば図１に示すように構成される。
【0038】
図１に示す符号化装置１１は、オブジェクト符号化部２１、メタデータ符号化部２２、距離感制御情報決定部２３、距離感制御情報符号化部２４、および多重化部２５を有している。
【0039】
オブジェクト符号化部２１には、コンテンツを構成する１または複数の各オブジェクトのオーディオデータが供給される。このオーディオデータは、オブジェクトの音を再生するための波形信号（オーディオ信号）である。
【0040】
オブジェクト符号化部２１は、供給された各オブジェクトのオーディオデータを符号化し、その結果得られた符号化オーディオデータを多重化部２５に供給する。
【0041】
メタデータ符号化部２２には、各オブジェクトのオーディオデータのメタデータが供給される。
【0042】
メタデータには、空間内におけるオブジェクトの絶対的な位置を示す位置情報が少なくとも含まれている。この位置情報は、絶対座標系、すなわち、例えば空間内の所定の位置を基準とする３次元直交座標系におけるオブジェクトの位置を示す座標などとされる。また、メタデータには、オブジェクトのオーディオデータに対するゲイン制御（ゲイン補正）を行うためのゲイン情報などが含まれているようにしてもよい。
【0043】
メタデータ符号化部２２は、供給された各オブジェクトのメタデータを符号化し、その結果得られた符号化メタデータを多重化部２５に供給する。
【0044】
距離感制御情報決定部２３は、ユーザによる指定操作等に応じて距離感制御情報を決定し、決定した距離感制御情報を距離感制御情報符号化部２４に供給する。
【0045】
例えば距離感制御情報決定部２３は、ユーザによる指定操作に応じて、ユーザにより指定された構成情報および制御ルール情報を取得することで、それらの構成情報および制御ルール情報からなる距離感制御情報を決定する。
【0046】
また、例えば距離感制御情報決定部２３が、コンテンツの各オブジェクトのオーディオデータや、コンテンツのジャンル等のコンテンツに関する情報、コンテンツの再生空間に関する情報などに基づいて距離感制御情報を決定するようにしてもよい。
【0047】
なお、復号側において距離感制御処理を構成する各信号処理やそれらの信号処理の処理順が既知である場合には、距離感制御情報に構成情報が含まれていなくてもよい。
【0048】
距離感制御情報符号化部２４は、距離感制御情報決定部２３から供給された距離感制御情報を符号化し、その結果得られた符号化距離感制御情報を多重化部２５に供給する。
【0049】
多重化部２５は、オブジェクト符号化部２１から供給された符号化オーディオデータ、メタデータ符号化部２２から供給された符号化メタデータ、および距離感制御情報符号化部２４から供給された符号化距離感制御情報を多重化し、符号化データ（符号列）を生成する。多重化部２５は、多重化により得られた符号化データを、通信網等を介して復号装置に送信（伝送）する。
【0050】
〈復号装置の構成例〉
また、コンテンツ再生システムを構成する復号装置は、例えば図２に示すように構成される。
また、コンテンツ再生システムを構成する復号装置は、例えば図２に示すように構成される。
【0051】
図２に示す復号装置５１は、非多重化部６１、オブジェクト復号部６２、メタデータ復号部６３、距離感制御情報復号部６４、ユーザインターフェース６５、距離計算部６６、距離感制御処理部６７、および3Dオーディオレンダリング処理部６８を有している。
【0052】
非多重化部６１は、符号化装置１１から送信されてきた符号化データを受信し、受信した符号化データを非多重化することで、符号化データから符号化オーディオデータ、符号化メタデータ、および符号化距離感制御情報を抽出する。
【0053】
非多重化部６１は、符号化オーディオデータをオブジェクト復号部６２に供給し、符号化メタデータをメタデータ復号部６３に供給し、符号化距離感制御情報を距離感制御情報復号部６４に供給する。
【0054】
オブジェクト復号部６２は、非多重化部６１から供給された符号化オーディオデータを復号し、その結果得られたオーディオデータを距離感制御処理部６７に供給する。
【0055】
メタデータ復号部６３は、非多重化部６１から供給された符号化メタデータを復号し、その結果得られたメタデータを距離感制御処理部６７および距離計算部６６に供給する。
【0056】
距離感制御情報復号部６４は、非多重化部６１から供給された符号化距離感制御情報を復号し、その結果得られた距離感制御情報を距離感制御処理部６７に供給する。
【0057】
ユーザインターフェース６５は、例えばユーザの操作等に応じて、ユーザにより指定された聴取位置を示す聴取位置情報を距離計算部６６、距離感制御処理部６７、および3Dオーディオレンダリング処理部６８に供給する。
【0058】
ここで、聴取位置情報により示される聴取位置は、再生空間内でコンテンツの音を聴取する聴取者の絶対的な位置である。例えば聴取位置情報は、メタデータに含まれているオブジェクトの位置情報と同じ絶対座標系における聴取位置を示す座標などとされる。
【0059】
距離計算部６６は、メタデータ復号部６３から供給されたメタデータと、ユーザインターフェース６５から供給された聴取位置情報とに基づいて、オブジェクトごとに、聴取位置からオブジェクトまでの距離を計算し、その計算結果を示す距離情報を距離感制御処理部６７に供給する。
【0060】
距離感制御処理部６７は、メタデータ復号部６３から供給されたメタデータ、距離感制御情報復号部６４から供給された距離感制御情報、ユーザインターフェース６５から供給された聴取位置情報、および距離計算部６６から供給された距離情報に基づいて、オブジェクト復号部６２から供給されたオーディオデータに対して距離感制御処理を行う。
【0061】
このとき、距離感制御処理部６７は、制御ルール情報および距離情報に基づいてパラメタを求め、得られたパラメタに基づいてオーディオデータに対する距離感制御処理を行う。
【0062】
このような距離感制御処理により、オブジェクトのドライ成分のオーディオデータとウェット成分のオーディオデータとが生成される。
【0063】
ここで、ドライ成分のオーディオデータとは、もとのオブジェクトのオーディオデータに対して１または複数の処理を行うことで得られた、オブジェクトの直接音成分等のオーディオデータである。
【0064】
このドライ成分のオーディオデータのメタデータとして、もとのオブジェクトのメタデータ、すなわちメタデータ復号部６３から出力されたメタデータが用いられる。
【0065】
また、ウェット成分のオーディオデータは、もとのオブジェクトのオーディオデータに対して１または複数の処理を行うことで得られた、オブジェクトの音の残響成分等のオーディオデータである。
【0066】
したがって、ウェット成分のオーディオデータを生成することは、もとのオブジェクトに関連する新たなオブジェクトのオーディオデータを生成することであるといえる。
【0067】
距離感制御処理部６７では、もとのオブジェクトのメタデータ、制御ルール情報、距離情報、および聴取位置情報のうちの必要なものが適宜用いられて、ウェット成分のオーディオデータのメタデータが生成される。
【0068】
このメタデータには、少なくともウェット成分のオブジェクトの位置を示す位置情報が含まれている。
【0069】
例えばウェット成分のオブジェクトの位置情報は、再生空間内における聴取者から見たオブジェクトの位置を示す水平方向の角度（水平角）、高さ方向の角度（垂直角）、および聴取位置からオブジェクトまでの距離を示す半径により表現される極座標などとされる。
【0070】
距離感制御処理部６７は、ドライ成分のオーディオデータおよびメタデータと、ウェット成分のオーディオデータおよびメタデータとを3Dオーディオレンダリング処理部６８に供給する。
【0071】
3Dオーディオレンダリング処理部６８は、距離感制御処理部６７から供給されたオーディオデータおよびメタデータと、ユーザインターフェース６５から供給された聴取位置情報とに基づいて3Dオーディオのレンダリング処理を行い、再生オーディオデータを生成する。
【0072】
例えば3Dオーディオレンダリング処理部６８では、3Dオーディオのレンダリング処理として、極座標系でのレンダリング処理であるVBAPなどが行われる。
【0073】
この場合、3Dオーディオレンダリング処理部６８は、ドライ成分のオーディオデータについては、そのドライ成分のオブジェクトのメタデータに含まれる位置情報と、聴取位置情報とに基づいて極座標で表現された位置情報を生成し、得られた位置情報をレンダリング処理に用いる。この位置情報は、聴取者から見たオブジェクトの相対的な位置を示す水平角、垂直角、および聴取位置からオブジェクトまでの距離を示す半径により表現される極座標である。
【0074】
このようなレンダリング処理により、例えば出力先となるスピーカシステムを構成する複数の各スピーカに対応するチャンネルのオーディオデータからなるマルチチャンネルの再生オーディオデータが生成される。
【0075】
3Dオーディオレンダリング処理部６８は、レンダリング処理により得られた再生オーディオデータを後段に出力する。
【0076】
〈距離感制御処理部の構成例〉
次に、復号装置５１の距離感制御処理部６７の具体的な構成例について説明する。
次に、復号装置５１の距離感制御処理部６７の具体的な構成例について説明する。
【0077】
なお、ここでは距離感制御処理部６７の構成、つまり距離感制御処理を構成する１または複数の処理と、それらの処理の順番が予め定められている例について説明する。
【0078】
そのような場合、距離感制御処理部６７は、例えば図３に示すように構成される。
【0079】
図３に示す距離感制御処理部６７はゲイン制御部１０１、ハイシェルフフィルタ処理部１０２、ローシェルフフィルタ処理部１０３、およびリバーブ処理部１０４を有している。
【0080】
この例では、距離感制御処理としてゲイン制御処理、ハイシェルフフィルタによるフィルタ処理、ローシェルフフィルタによるフィルタ処理、およびリバーブ処理が順番に実行される。
【0081】
ゲイン制御部１０１は、オブジェクト復号部６２から供給されたオブジェクトのオーディオデータに対して、制御ルール情報と距離情報に応じたパラメタ（ゲイン値）でゲイン制御を行い、その結果得られたオーディオデータをハイシェルフフィルタ処理部１０２に供給する。
【0082】
ハイシェルフフィルタ処理部１０２は、制御ルール情報と距離情報に応じたパラメタにより定まるハイシェルフフィルタにより、ゲイン制御部１０１から供給されたオーディオデータに対してフィルタ処理を行い、その結果得られたオーディオデータをローシェルフフィルタ処理部１０３に供給する。
【0083】
ハイシェルフフィルタによるフィルタ処理では、聴取位置からオブジェクトまでの距離に応じて、オーディオデータの高域のゲインが抑制される。
【0084】
ローシェルフフィルタ処理部１０３は、制御ルール情報と距離情報に応じたパラメタにより定まるローシェルフフィルタにより、ハイシェルフフィルタ処理部１０２から供給されたオーディオデータに対してフィルタ処理を行う。
【0085】
ローシェルフフィルタによるフィルタ処理では、聴取位置からオブジェクトまでの距離に応じて、オーディオデータの低域がブースト（強調）される。
【0086】
ローシェルフフィルタ処理部１０３は、フィルタ処理により得られたオーディオデータを3Dオーディオレンダリング処理部６８およびリバーブ処理部１０４に供給する。
【0087】
ここで、ローシェルフフィルタ処理部１０３から出力されるオーディオデータは、上述したもとのオブジェクトのオーディオデータ、すなわちオブジェクトのドライ成分のオーディオデータである。
【0088】
リバーブ処理部１０４は、ローシェルフフィルタ処理部１０３から供給されたオーディオデータに対して、制御ルール情報と距離情報に応じたパラメタ（ゲイン）でリバーブ処理を行い、その結果得られたオーディオデータを3Dオーディオレンダリング処理部６８に供給する。
【0089】
ここで、リバーブ処理部１０４から出力されるオーディオデータは、上述したもとのオブジェクトの残響成分等であるウェット成分のオーディオデータである。換言すれば、ウェット成分のオブジェクトのオーディオデータである。
【0090】
〈リバーブ処理部の構成例〉
また、より詳細にはリバーブ処理部１０４は、例えば図４に示すように構成される。
また、より詳細にはリバーブ処理部１０４は、例えば図４に示すように構成される。
【0091】
図４に示す例では、リバーブ処理部１０４はゲイン制御部１４１、ディレイ生成部１４２、コムフィルタ群１４３、オールパスフィルタ群１４４、加算部１４５、加算部１４６、ディレイ生成部１４７、コムフィルタ群１４８、オールパスフィルタ群１４９、加算部１５０、および加算部１５１を有している。
【0092】
この例では、リバーブ処理によって、モノラルのオーディオデータに対して、ステレオの残響成分、すなわち、もとのオブジェクトの左右に位置する２つのウェット成分のオーディオデータが生成される。
【0093】
ゲイン制御部１４１は、ローシェルフフィルタ処理部１０３から供給されたドライ成分のオーディオデータに対して、制御ルール情報と距離情報から得られるウェットゲイン値に基づくゲイン制御処理（ゲイン補正処理）を行い、その結果得られたオーディオデータをディレイ生成部１４２およびディレイ生成部１４７に供給する。
【0094】
ディレイ生成部１４２は、ゲイン制御部１４１から供給されたオーディオデータを一定時間だけ保持することで遅延させ、コムフィルタ群１４３に供給する。
【0095】
また、ディレイ生成部１４２は、ゲイン制御部１４１から供給されたオーディオデータを遅延させることで得られる、コムフィルタ群１４３に供給されるオーディオデータとは遅延量が異なり、かつ互いに遅延量が異なる２つのオーディオデータを加算部１４５に供給する。
【0096】
コムフィルタ群１４３は、複数のコムフィルタからなり、ディレイ生成部１４２から供給されたオーディオデータに対して、複数のコムフィルタによるフィルタ処理を行い、その結果得られたオーディオデータをオールパスフィルタ群１４４に供給する。
【0097】
オールパスフィルタ群１４４は、複数のオールパスフィルタからなり、コムフィルタ群１４３から供給されたオーディオデータに対して、複数のオールパスフィルタによるフィルタ処理を行い、その結果得られたオーディオデータを加算部１４６に供給する。
【0098】
加算部１４５は、ディレイ生成部１４２から供給された２つのオーディオデータを加算し、加算部１４６に供給する。
【0099】
加算部１４６は、オールパスフィルタ群１４４から供給されたオーディオデータと、加算部１４５から供給されたオーディオデータとを加算し、その結果得られたウェット成分のオーディオデータを3Dオーディオレンダリング処理部６８に供給する。
【0100】
ディレイ生成部１４７は、ゲイン制御部１４１から供給されたオーディオデータを一定時間だけ保持することで遅延させ、コムフィルタ群１４８に供給する。
【0101】
また、ディレイ生成部１４７は、ゲイン制御部１４１から供給されたオーディオデータを遅延させることで得られる、コムフィルタ群１４８に供給されるオーディオデータとは遅延量が異なり、かつ互いに遅延量が異なる２つのオーディオデータを加算部１５０に供給する。
【0102】
コムフィルタ群１４８は、複数のコムフィルタからなり、ディレイ生成部１４７から供給されたオーディオデータに対して、複数のコムフィルタによるフィルタ処理を行い、その結果得られたオーディオデータをオールパスフィルタ群１４９に供給する。
【0103】
オールパスフィルタ群１４９は、複数のオールパスフィルタからなり、コムフィルタ群１４８から供給されたオーディオデータに対して、複数のオールパスフィルタによるフィルタ処理を行い、その結果得られたオーディオデータを加算部１５１に供給する。
【0104】
加算部１５０は、ディレイ生成部１４７から供給された２つのオーディオデータを加算し、加算部１５１に供給する。
【0105】
加算部１５１は、オールパスフィルタ群１４９から供給されたオーディオデータと、加算部１５０から供給されたオーディオデータとを加算し、その結果得られたウェット成分のオーディオデータを3Dオーディオレンダリング処理部６８に供給する。
【0106】
なお、ここでは１つのオブジェクトに対して、ステレオ（２つ）のウェット成分が生成される例について説明したが、１つのオブジェクトに対して１つのウェット成分が生成されるようにしてもよいし、３以上のウェット成分が生成されるようにしてもよい。また、リバーブ処理部１０４の構成は、図４に示した構成に限らず、他のどのような構成であってもよい。
【0107】
〈パラメタの制御ルールについて〉
以上のように距離感制御処理部６７を構成する各処理ブロックでは、聴取位置からオブジェクトまでの距離に応じて、それらの処理ブロックでの処理に用いられるパラメタ、すなわち処理の特性が変化する。
以上のように距離感制御処理部６７を構成する各処理ブロックでは、聴取位置からオブジェクトまでの距離に応じて、それらの処理ブロックでの処理に用いられるパラメタ、すなわち処理の特性が変化する。
【0108】
ここで、聴取位置からオブジェクトまでの距離に応じたパラメタの例、すなわちパラメタの制御ルールの例について説明する。
【0109】
例えばゲイン制御部１０１では、聴取位置からオブジェクトまでの距離に応じたパラメタとして、ゲイン制御処理に用いるゲイン値が決定される。
【0110】
この場合、ゲイン値は、例えば図５に示すように聴取位置からオブジェクトまでの距離に応じて変化する。
【0111】
例えば矢印Q11に示す部分には、距離に応じたゲイン値の変化が示されている。すなわち、縦軸はパラメタとしてのゲイン値を示しており、横軸は聴取位置からオブジェクトまでの距離を示している。
【0112】
折れ線L11に示すように、聴取位置からオブジェクトまでの距離dが所定の最小値MinからD0である間はゲイン値は0.0dBであり、距離dがD0からD1の間では、距離dが大きくなるにしたがってゲイン値は直線的に小さくなる。また、距離dがD1から所定の最大値Maxの間ではゲイン値は-40.0dBとなっている。
【0113】
このことから、図５に示す例では距離dが大きくなるにつれて、オーディオデータのゲインが抑制される制御が行われることが分かる。
【0114】
具体的な例としては、例えば距離dが1m（＝D0）以下である場合にはゲイン値を0.0dBとし、距離dが1mから100m（＝D1）までの間では、距離dが大きくなるにつれて-40.0dBまで直線的にゲイン値を変化させることができる。
【0115】
ここで、パラメタが変化する点を制御変化点と呼ぶこととすると、図５の例では折れ線L11における距離d＝D0である点（位置）、および距離d＝D1である点が制御変化点となる。
【0116】
この場合、例えば矢印Q12に示すように制御変化点に対応する距離d＝D0におけるゲイン値「0.0」と距離d＝D1におけるゲイン値「-40.0」とを復号装置５１に伝送すれば、復号装置５１では、任意の距離dにおけるゲイン値を得ることができる。
【0117】
また、ハイシェルフフィルタ処理部１０２では、例えば図６の矢印Q21に示すように、聴取位置からオブジェクトまでの距離dが大きくなるにつれて、高域のゲインを抑制するフィルタ処理が行われる。
【0118】
なお、矢印Q21に示す部分では、縦軸はパラメタとしてのゲイン値を示しており、横軸は聴取位置からオブジェクトまでの距離dを示している。
【0119】
特に、この例ではハイシェルフフィルタ処理部１０２により実現されるハイシェルフフィルタは、カットオフ周波数Fc、尖鋭度を示すQ値、およびカットオフ周波数Fcにおけるゲイン値により定まるものである。
【0120】
換言すれば、ハイシェルフフィルタ処理部１０２では、パラメタであるカットオフ周波数Fc、Q値、およびゲイン値により定まるハイシェルフフィルタによるフィルタ処理が行われる。
【0121】
矢印Q21に示す部分における折れ線L21は、距離dに対して定められた、カットオフ周波数Fcにおけるゲイン値を示している。
【0122】
この例では、距離dが最小値MinからD0である間はゲイン値は0.0dBであり、距離dがD0からD1の間では、距離dが大きくなるにしたがってゲイン値は直線的に小さくなる。
【0123】
また、距離dがD1からD2の間では、距離dが大きくなるにしたがってゲイン値は直線的に小さくなり、同様に距離dがD2からD3の間、および距離dがD3からD4の間でも距離dが大きくなるにしたがってゲイン値は直線的に小さくなる。さらに、距離dがD4から最大値Maxの間ではゲイン値は-12.0dBとなっている。
【0124】
このことから、図６に示す例では距離dが大きくなるにつれて、オーディオデータにおけるカットオフ周波数Fc付近の周波数成分のゲインが抑制される制御が行われることが分かる。
【0125】
具体的な例としては、例えば距離dが1m（＝D0）以下である場合には、カットオフ周波数Fc である6kHz以上の周波数成分をパススルーとし、距離dが1mから100m（＝D4）までの間では、距離dが大きくなるにつれて6kHz以上の周波数成分を-12.0dBまで変化させるようにすることができる。
【0126】
また、このようなハイシェルフフィルタを復号装置５１において実現するには、例えば矢印Q22に示すように距離d＝D0，D1，D2，D3，D4の５つの制御変化点についてのみ、パラメタであるカットオフ周波数Fc、Q値、およびゲイン値を伝送すればよい。
【0127】
なお、ここでは距離dによらず、カットオフ周波数Fcは6kHzであり、Q値は2.0である例について説明するが、これらのカットオフ周波数FcやQ値も距離dに応じて変化するようにしてもよい。
【0128】
さらに、ローシェルフフィルタ処理部１０３では、例えば図７の矢印Q31に示すように、聴取位置からオブジェクトまでの距離dが小さくなるにつれて、低域のゲインを増幅させるフィルタ処理が行われる。
【0129】
なお、矢印Q31に示す部分では、縦軸はパラメタとしてのゲイン値を示しており、横軸は聴取位置からオブジェクトまでの距離dを示している。
【0130】
特に、この例ではローシェルフフィルタ処理部１０３により実現されるローシェルフフィルタは、カットオフ周波数Fc、尖鋭度を示すQ値、およびカットオフ周波数Fcにおけるゲイン値により定まるものである。
【0131】
換言すれば、ローシェルフフィルタ処理部１０３では、パラメタであるカットオフ周波数Fc、Q値、およびゲイン値により定まるローシェルフフィルタによるフィルタ処理が行われる。
【0132】
矢印Q31に示す部分における折れ線L31は、距離dに対して定められた、カットオフ周波数Fcにおけるゲイン値を示している。
【0133】
この例では、距離dが最小値MinからD0である間はゲイン値は3.0dBであり、距離dがD0からD1の間では、距離dが大きくなるにしたがってゲイン値は直線的に小さくなる。また、距離dがD1から最大値Maxの間ではゲイン値は0.0dBとなっている。
【0134】
このことから、図７に示す例では距離dが小さくなるにつれて、オーディオデータにおけるカットオフ周波数Fc付近の周波数成分のゲインが増幅される制御が行われることが分かる。
【0135】
具体的な例としては、例えば距離dが3m（＝D1）以上である場合には、カットオフ周波数Fc である200Hz以下の周波数成分をパススルーとし、距離dが3mから10cm（＝D0）までの間では、距離dが小さくなるにつれて200Hz以下の周波数成分を+3.0dBまで変化させるようにすることができる。
【0136】
また、このようなローシェルフフィルタを復号装置５１において実現するには、例えば矢印Q32に示すように距離d＝D0，D1の２つの制御変化点についてのみ、パラメタであるカットオフ周波数Fc、Q値、およびゲイン値を伝送すればよい。
【0137】
なお、ここでは距離dによらず、カットオフ周波数Fcは200Hzであり、Q値は2.0である例について説明するが、これらのカットオフ周波数FcやQ値も距離dに応じて変化するようにしてもよい。
【0138】
さらに、リバーブ処理部１０４では、例えば図８の矢印Q41に示すように、聴取位置からオブジェクトまでの距離dが大きくなるにつれて、ウェット成分のゲイン（ウェットゲイン値）が大きくなるリバーブ処理が行われる。
【0139】
換言すれば、距離dが大きくなるにつれて、リバーブ処理で生成するウェット成分（残響成分）のドライ成分に対する割り合いが増加していくような制御が行われる。なお、ここでいうウェットゲイン値は、例えば図４に示したゲイン制御部１４１でのゲイン制御で用いられるゲイン値である。
【0140】
矢印Q41に示す部分では、縦軸はパラメタとしてのウェットゲイン値を示しており、横軸は聴取位置からオブジェクトまでの距離dを示している。また、折れ線L41は、距離dに対して定められたウェットゲイン値を示している。
【0141】
折れ線L41に示すように、聴取位置からオブジェクトまでの距離dが最小値MinからD0である間はウェットゲイン値はマイナス無限大（-InfdB）であり、距離dがD0からD1の間では、距離dが大きくなるにしたがってウェットゲイン値は直線的に大きくなる。また、距離dがD1から最大値Maxの間ではウェットゲイン値は-3.0dBとなっている。
【0142】
このことから、図８に示す例では距離dが大きくなるにつれて、ウェット成分が大きくなるような制御が行われることが分かる。
【0143】
具体的な例としては、例えば距離dが1m（＝D0）以下である場合には、ウェット成分のゲイン（ウェットゲイン値）を-InfdBとし、距離dが1mから50m（＝D1）までの間では、距離dが大きくなるにつれて-3.0dBまで直線的にゲインを変化させることができる。
【0144】
さらに、このようなリバーブ処理を復号装置５１において実現するには、例えば矢印Q42に示すように距離d＝D0，D1の２つの制御変化点についてのみ、パラメタであるウェットゲイン値を伝送すればよい。
【0145】
また、リバーブ処理においては、任意の数のウェット成分（残響成分）のオーディオデータを生成することができる。
【0146】
具体的には、例えば図９に示すように１つのオブジェクトのオーディオデータ、すなわちモノラルのオーディオデータに対して、ステレオの残響成分のオーディオデータを生成することができる。
【0147】
この例では、再生空間内における３次元直交座標系であるXYZ座標系の原点Oが聴取位置となっており、再生空間内には１つのオブジェクトOB11が配置されている。
【0148】
いま、再生空間内の任意のオブジェクトの位置を、原点Oから見た水平方向の位置を示す水平角と、原点Oから見た垂直方向の位置を示す垂直角で表すこととし、オブジェクトOB11の位置が水平角azと垂直角elから（az,el）と表されるものとする。
【0149】
なお、水平角azは、原点OとオブジェクトOB11とを結ぶ直線をLNとし、その直線LNをXZ平面に射影して得られる直線をLN’としたときに、直線LN’とZ軸とのなす角度である。また、垂直角elは、直線LNとXZ平面とのなす角度である。
【0150】
図９の例では、オブジェクトOB11に対して、２つのオブジェクトOB12およびオブジェクトOB13がウェット成分のオブジェクトとして生成されている。
【0151】
特に、ここではオブジェクトOB12およびオブジェクトOB13は、原点Oから見てオブジェクトOB11に対して左右対称の位置に配置されている。
【0152】
すなわち、オブジェクトOB12およびオブジェクトOB13は、オブジェクトOB11に対して、相対的に左右に60度ずつずれた位置に配置されている。
【0153】
したがって、オブジェクトOB12の位置は水平角（az+60）と垂直角elから表される位置（az+60,el）の位置であり、オブジェクトOB13の位置は水平角（az-60）と垂直角elから表される位置（az-60,el）の位置である。
【0154】
このように、オブジェクトOB11に対して左右対称の位置のウェット成分を生成する場合には、それらのウェット成分の位置を、オブジェクトOB11の位置に対するオフセット角度により指定することができる。例えば、この例では水平角のオフセット角度±60度を指定すればよい。
【0155】
なお、ここでは１つのオブジェクトに対して、左側と右側に位置する左右２つのウェット成分を生成する例について説明したが、上下左右の各位置のウェット成分を生成するなど、１つのオブジェクトに対して生成されるウェット成分の数はいくつであってもよい。
【0156】
【0157】
【0158】
すなわち、矢印Q51に示す部分において縦軸は水平角のオフセット角度を示しており、横軸は聴取位置からオブジェクトOB11までの距離dを示している。
【0159】
また、折れ線L51は各距離dに対して定められた左側のウェット成分であるオブジェクトOB12のオフセット角度を示している。この例では距離dが小さくなるほどオフセット角度が大きくなり、もとのオブジェクトOB11からより離れた位置に配置される。
【0160】
一方、折れ線L52は各距離dに対して定められた右側のウェット成分であるオブジェクトOB13のオフセット角度を示している。この例では距離dが小さくなるほどオフセット角度が小さくなり、もとのオブジェクトOB11からより離れた位置に配置される。
【0161】
このように距離dに応じてオフセット角度が変化する場合、例えば矢印Q52に示すように、距離d＝D0の制御変化点についてのみ、オフセット角度を復号装置５１に伝送すれば、コンテンツ制作者の意図する位置にウェット成分を生成することができる。
【0162】
以上のようにして、聴取位置からオブジェクトまでの距離dに応じた構成およびパラメタで距離感制御処理を行えば、適切に距離感を再現することができる。すなわち、聴取者に対してオブジェクトとの距離感を感じさせることができる。
【0163】
このとき、コンテンツ制作者が各距離dでのパラメタを自由に決定すれば、コンテンツ制作者の意図に基づく距離感制御を実現することができる。
【0164】
なお、以上において説明した距離dに応じたパラメタの制御ルールは、あくまで一例であって、コンテンツ制作者が制御ルールを自由に指定できるようにすることで、オブジェクトとの距離感の感じ方を変化させることができる。
【0165】
例えば屋外と屋内では距離に対する音の変化は異なるため、再現したい空間が屋外であるか屋内であるかによって制御ルールを変える必要がある。
【0166】
そこで、例えばコンテンツ制作者がコンテンツで再現したい空間に応じて制御ルールを決定（指定）することで、コンテンツ制作者の意図に基づいた距離感制御を実現し、より臨場感の高いコンテンツ再生を行うことができる。
【0167】
また、距離感制御処理部６７において、コンテンツ（再生オーディオデータ）の再生環境に応じて、距離感制御処理に用いられるパラメタをさらに調整することもできる。
【0168】
具体的には、例えばリバーブ処理で用いられるウェット成分のゲイン、つまり上述のウェットゲイン値を、コンテンツの再生環境に応じて調整することができる。
【0169】
実空間において実際にスピーカ等によりコンテンツを再生すると、その実空間ではスピーカ等から出力された音の残響が発生する。このとき、どの程度の残響が発生するかは、コンテンツの再生を行う実空間、つまり再生環境によって異なる。
【0170】
例えば、コンテンツを残響の多い環境で再生すると、再生されたコンテンツの音に対してさらに残響が付加される。そのため、実際にコンテンツを再生した場合に、距離感制御処理で実現される距離感、つまりコンテンツ制作者が意図する距離感よりも遠い距離感を聴取者に対して感じさせてしまう場合がある。
【0171】
そこで、再生環境での残響が少ない場合には、予め設定された制御ルール、すなわち制御ルール情報に従って距離感制御処理を行うが、再生環境での残響が比較的多い場合には、制御ルールに従って決定されたウェットゲイン値の微調整を行うようにしてもよい。
【0172】
具体的には、例えばユーザ等によりユーザインターフェース６５が操作され、屋外や屋内などの再生環境の種別情報、残響が多い再生環境であるか否かを示す情報などといった、再生環境の残響に関する情報が入力されたとする。そのような場合、ユーザインターフェース６５は、ユーザ等により入力された、再生環境の残響に関する情報を距離感制御処理部６７に供給する。
【0173】
すると、距離感制御処理部６７は、制御ルール情報、距離情報、およびユーザインターフェース６５から供給された再生環境の残響に関する情報に基づいて、ウェットゲイン値を算出する。
【0174】
具体的には、距離感制御処理部６７は、制御ルール情報および距離情報に基づいて、ウェットゲイン値を算出するとともに、再生環境の残響に関する情報に基づいて、残響の多い再生環境であるか否かの判定処理を行う。
【0175】
ここでは、例えば再生環境の残響に関する情報として、残響が多い再生環境であることを示す情報や、残響が多い再生環境を示す種別情報が供給された場合に、残響の多い再生環境であると判定される。
【0176】
そして、距離感制御処理部６７は、残響の多い再生環境ではない、つまり残響の少ない再生環境であると判定された場合、算出されたウェットゲイン値を、最終的なウェットゲイン値としてリバーブ処理部１０４に供給する。
【0177】
これに対して、距離感制御処理部６７は、残響の多い再生環境であると判定された場合、算出されたウェットゲイン値を、-6dBなどの所定の補正値により補正（調整）し、補正後のウェットゲイン値を最終的なウェットゲイン値としてリバーブ処理部１０４に供給する。
【0178】
なお、ウェットゲイン値の補正値は、予め定められた値であってもよいし、再生環境の残響に関する情報、つまり再生環境での残響の度合いに基づいて距離感制御処理部６７により算出されるようにしてもよい。
【0179】
このように再生環境に応じてウェットゲイン値を調整することで、コンテンツの再生環境によって生じる、コンテンツ制作者の意図する距離感とのずれを改善することができる。
【0180】
〈距離感制御情報の伝送について〉
次に、以上において説明した距離感制御情報の伝送方法について説明する。
次に、以上において説明した距離感制御情報の伝送方法について説明する。
【0181】
距離感制御情報符号化部２４で符号化される距離感制御情報は、例えば図１１に示す構成とすることができる。
【0182】
図１１では、「DistanceRender_Attn()」は、ゲイン制御部１０１で用いられるパラメタの制御ルールを示すパラメタ構成情報を示している。
【0183】
また、「DistanceRender_Filt()」は、ハイシェルフフィルタ処理部１０２またはローシェルフフィルタ処理部１０３で用いられるパラメタの制御ルールを示すパラメタ構成情報を示している。
【0184】
ここでは、ハイシェルフフィルタとローシェルフフィルタは、同じパラメタ構成で表現可能であるため、同じパラメタ構成情報DistanceRender_Filt()というSyntaxで記述されている。したがって距離感制御情報には、ハイシェルフフィルタ処理部１０２のパラメタ構成情報DistanceRender_Filt()と、ローシェルフフィルタ処理部１０３のパラメタ構成情報DistanceRender_Filt()とが含まれている。
【0185】
さらに「DistanceRender_Revb()」は、リバーブ処理部１０４で用いられるパラメタの制御ルールを示すパラメタ構成情報を示している。
【0186】
距離感制御情報に含まれているパラメタ構成情報DistanceRender_Attn()、パラメタ構成情報DistanceRender_Filt()、およびパラメタ構成情報DistanceRender_Revb()は、制御ルール情報に対応する。
【0187】
また、図１１に示す距離感制御情報では、距離感制御処理を構成する４つの処理のパラメタ構成情報が、それらの処理が行われる順番に並べられて格納されている。
【0188】
そのため、復号装置５１では距離感制御情報に基づいて、図３に示した距離感制御処理部６７の構成を特定することができる。換言すれば、図１１に示す距離感制御情報から、距離感制御処理がいくつの処理から構成され、それらの処理がどのような処理で、どのような順番で行われるかを特定することができる。したがって、この例では距離感制御情報には、実質的に構成情報が含まれているということができる。
【0189】
さらに、図１１に示したパラメタ構成情報DistanceRender_Attn()、パラメタ構成情報DistanceRender_Filt()、およびパラメタ構成情報DistanceRender_Revb()は、例えば図１２乃至図１４に示すように構成される。
【0190】
図１２は、ゲイン制御処理のパラメタ構成情報DistanceRender_Attn()の構成例、すなわちSyntax例を示す図である。
【0191】
【0192】
図１２の例では、制御変化点の数だけ、それらの制御変化点に対応する距離dを示す「distance[i]」と、その距離dにおけるパラメタとしてのゲイン値「gain[i]」が含まれている。このように各制御変化点の距離distance[i]とゲイン値gain[i]を伝送すれば、復号装置５１において図５に示したゲイン制御を実現することができる。
【0193】
図１３は、フィルタ処理のパラメタ構成情報DistanceRender_Filt()の構成例、すなわちSyntax例を示す図である。
【0194】
図１３において「filt_type」は、フィルタタイプを示すインデックスを示している。
【0195】
例えばインデックスfilt_type「0」はローシェルフフィルタを示しており、インデックスfilt_type「1」はハイシェルフフィルタを示しており、インデックスfilt_type「2」はピークフィルタを示している。
【0196】
また、インデックスfilt_type「3」はローパスフィルタを示しており、インデックスfilt_type「4」はハイパスフィルタを示している。
【0197】
したがって、例えばインデックスfilt_typeの値が「0」であれば、このパラメタ構成情報DistanceRender_Filt()には、ローシェルフフィルタの構成を特定するためのパラメタに関する情報が含まれていることが分かる。
【0198】
なお、図３に示した例では、距離感制御処理を構成するフィルタ処理のフィルタ例としてハイシェルフフィルタとローシェルフフィルタについて説明した。
【0199】
これに対して、図１３に示す例では、その他、ピークフィルタやローパスフィルタ、ハイパスフィルタなども用いることができるようになっている。
【0200】
なお、距離感制御処理を構成するフィルタ処理のためのフィルタは、ローシェルフフィルタやハイシェルフフィルタ、ピークフィルタ、ローパスフィルタ、ハイパスフィルタのうちのいくつかのみ用いることができるようにしてもよいし、他のフィルタも用いることができるようにしてもよい。
【0201】
図１３に示すパラメタ構成情報DistanceRender_Filt()では、インデックスfilt_type以降の領域には、そのインデックスfilt_typeにより示されるフィルタの構成を特定するためのパラメタ等が含まれている。
【0202】
すなわち、「num_points」はフィルタ処理のパラメタの制御変化点の数を示している。
【0203】
また、その「num_points」により示される制御変化点の数だけ、制御変化点に対応する距離dを示す「distance[i]」、その距離dにおけるパラメタとしての周波数「freq[i]」、Q値「Q[i]」、およびゲイン値「gain[i]」が含まれている。
【0204】
例えばインデックスfilt_typeがローシェルフフィルタを示す「0」であれば、パラメタである周波数「freq[i]」、Q値「Q[i]」、およびゲイン値「gain[i]」は、図７に示したカットオフ周波数Fc、Q値、およびゲイン値に対応する。
【0205】
なお、周波数freq[i]は、フィルタタイプがローシェルフフィルタやハイシェルフフィルタ、ローパスフィルタ、ハイパスフィルタであるときにはカットオフ周波数であるが、フィルタタイプがピークフィルタであるときには中心周波数となる。
【0206】
以上のように各制御変化点の距離distance[i]、周波数「freq[i]」、Q値「Q[i]」、およびゲイン値「gain[i]」を伝送すれば、復号装置５１において図６に示したハイシェルフフィルタや、図７に示したローシェルフフィルタを実現することができる。
【0207】
図１４は、リバーブ処理のパラメタ構成情報DistanceRender_Revb()の構成例、すなわちSyntax例を示す図である。
【0208】
図１４において「num_points」は、リバーブ処理のパラメタの制御変化点の数を示しており、この例では、制御変化点の数だけ、それらの制御変化点に対応する距離dを示す「distance[i]」と、その距離dにおけるパラメタとしてのウェットゲイン値「wet_gain[i]」が含まれている。このウェットゲイン値wet_gain[i]は、例えば図８に示したウェットゲイン値に対応する。
【0209】
また、図１４において「num_wetobjs」は、生成されるウェット成分の数、すなわちウェット成分のオブジェクトの数を示しており、それらのウェット成分の数だけウェット成分の位置を示すオフセット角度が格納されている。
【0210】
すなわち、「wet_azimuth_offset[i][j]」は、i番目の制御変化点に対応する距離distance[i]における、j番目のウェット成分（オブジェクト）の水平角のオフセット角度を示している。このオフセット角度wet_azimuth_offset[i][j]は、例えば図１０に示した水平角のオフセット角度に対応する。
【0211】
同様に「wet_elevation_offset[i][j]」は、i番目の制御変化点に対応する距離distance[i]における、j番目のウェット成分の垂直角のオフセット角度を示している。
【0212】
なお、生成されるウェット成分の数num_wetobjsは、復号装置５１で行わせようとするリバーブ処理によって決定され、例えばウェット成分の数num_wetobjsは外部から与えられるものとする。
【0213】
このように図１４の例では、各制御変化点における距離distance[i]およびウェットゲイン値wet_gain[i]と、各ウェット成分のオフセット角度wet_azimuth_offset[i][j]およびオフセット角度wet_elevation_offset[i][j]とが復号装置５１に伝送される。
【0214】
これにより復号装置５１では、例えば図４に示したリバーブ処理部１０４を実現することができ、ドライ成分のオーディオデータと、各ウェット成分のオーディオデータおよびメタデータとを得ることができる。
【0215】
〈符号化処理の説明〉
続いて、コンテンツ再生システムの動作について説明する。
続いて、コンテンツ再生システムの動作について説明する。
【0216】
まず、図１５のフローチャートを参照して、符号化装置１１により行われる符号化処理について説明する。
【0217】
ステップＳ１１においてオブジェクト符号化部２１は、供給された各オブジェクトのオーディオデータを符号化し、得られた符号化オーディオデータを多重化部２５に供給する。
【0218】
ステップＳ１２においてメタデータ符号化部２２は、供給された各オブジェクトのメタデータを符号化し、得られた符号化メタデータを多重化部２５に供給する。
【0219】
ステップＳ１３において距離感制御情報決定部２３は、ユーザによる指定操作等に応じて距離感制御情報を決定し、決定した距離感制御情報を距離感制御情報符号化部２４に供給する。
【0220】
ステップＳ１４において距離感制御情報符号化部２４は、距離感制御情報決定部２３から供給された距離感制御情報を符号化し、得られた符号化距離感制御情報を多重化部２５に供給する。これにより、例えば図１１に示した距離感制御情報（符号化距離感制御情報）が得られ、多重化部２５に供給される。
【0221】
ステップＳ１５において多重化部２５は、オブジェクト符号化部２１からの符号化オーディオデータ、メタデータ符号化部２２からの符号化メタデータ、および距離感制御情報符号化部２４からの符号化距離感制御情報を多重化し、符号化データを生成する。
【0222】
ステップＳ１６において多重化部２５は、多重化により得られた符号化データを、通信網等を介して復号装置５１に送信し、符号化処理は終了する。
【0223】
以上のようにして符号化装置１１は、距離感制御情報を含む符号化データを生成し、復号装置５１へと送信する。
【0224】
このように各オブジェクトのオーディオデータやメタデータに加えて距離感制御情報も復号装置５１に伝送することで、復号装置５１側においてコンテンツ制作者の意図に基づいた距離感制御を実現することができるようになる。
【0225】
〈復号処理の説明〉
また、符号化装置１１において図１５を参照して説明した符号化処理が行われると、復号装置５１では復号処理が行われる。以下、図１６のフローチャートを参照して、復号装置５１による復号処理について説明する。
また、符号化装置１１において図１５を参照して説明した符号化処理が行われると、復号装置５１では復号処理が行われる。以下、図１６のフローチャートを参照して、復号装置５１による復号処理について説明する。
【0226】
ステップＳ４１において非多重化部６１は、符号化装置１１から送信されてきた符号化データを受信する。
【0227】
ステップＳ４２において非多重化部６１は、受信した符号化データを非多重化し、符号化データから符号化オーディオデータ、符号化メタデータ、および符号化距離感制御情報を抽出する。
【0228】
非多重化部６１は、符号化オーディオデータをオブジェクト復号部６２に供給し、符号化メタデータをメタデータ復号部６３に供給し、符号化距離感制御情報を距離感制御情報復号部６４に供給する。
【0229】
ステップＳ４３においてオブジェクト復号部６２は、非多重化部６１から供給された符号化オーディオデータを復号し、得られたオーディオデータを距離感制御処理部６７に供給する。
【0230】
ステップＳ４４においてメタデータ復号部６３は、非多重化部６１から供給された符号化メタデータを復号し、得られたメタデータを距離感制御処理部６７および距離計算部６６に供給する。
【0231】
ステップＳ４５において距離感制御情報復号部６４は、非多重化部６１から供給された符号化距離感制御情報を復号し、得られた距離感制御情報を距離感制御処理部６７に供給する。
【0232】
ステップＳ４６において距離計算部６６は、メタデータ復号部６３から供給されたメタデータと、ユーザインターフェース６５から供給された聴取位置情報とに基づいて聴取位置からオブジェクトまでの距離を計算し、その計算結果を示す距離情報を距離感制御処理部６７に供給する。ステップＳ４６では、オブジェクトごとに距離情報が求められる。
【0233】
ステップＳ４７において距離感制御処理部６７は、オブジェクト復号部６２から供給されたオーディオデータ、メタデータ復号部６３から供給されたメタデータ、距離感制御情報復号部６４から供給された距離感制御情報、ユーザインターフェース６５から供給された聴取位置情報、および距離計算部６６から供給された距離情報に基づいて距離感制御処理を行う。
【0234】
【0235】
具体的には、例えば距離感制御処理部６７は、各制御変化点の距離distance[i]およびゲイン値gain[i]に基づいて、距離情報により示される距離dにおけるゲイン値を求め、ゲイン制御部１０１に供給する。
【0236】
また、距離感制御処理部６７は、ハイシェルフフィルタの各制御変化点の距離distance[i]、周波数freq[i]、Q値Q[i]、およびゲイン値gain[i]に基づいて、距離情報により示される距離dにおけるカットオフ周波数、Q値、およびゲイン値を求め、ハイシェルフフィルタ処理部１０２に供給する。
【0237】
これにより、ハイシェルフフィルタ処理部１０２は、距離情報により示される距離dに応じたハイシェルフフィルタを構築することができる。
【0238】
距離感制御処理部６７は、ハイシェルフフィルタの場合と同様にして、距離情報により示される距離dにおけるローシェルフフィルタのカットオフ周波数、Q値、およびゲイン値を求め、ローシェルフフィルタ処理部１０３に供給する。これにより、ローシェルフフィルタ処理部１０３は、距離情報により示される距離dに応じたローシェルフフィルタを構築することができる。
【0239】
さらに距離感制御処理部６７は、各制御変化点の距離distance[i]およびウェットゲイン値wet_gain[i]に基づいて、距離情報により示される距離dにおけるウェットゲイン値を求め、リバーブ処理部１０４に供給する。
【0240】
これにより、距離感制御情報から図３に示した距離感制御処理部６７が構築されたことになる。
【0241】
また、距離感制御処理部６７は、水平角のオフセット角度wet_azimuth_offset[i][j]および垂直角のオフセット角度wet_elevation_offset[i][j]と、オブジェクトのメタデータと、聴取位置情報とをリバーブ処理部１０４に供給する。
【0242】
ゲイン制御部１０１は、距離感制御処理部６７から供給されたゲイン値に基づいて、オブジェクトのオーディオデータに対してゲイン制御処理を行い、その結果得られたオーディオデータをハイシェルフフィルタ処理部１０２に供給する。
【0243】
ハイシェルフフィルタ処理部１０２は、距離感制御処理部６７から供給されたカットオフ周波数、Q値、およびゲイン値により定まるハイシェルフフィルタにより、ゲイン制御部１０１から供給されたオーディオデータに対してフィルタ処理を行い、その結果得られたオーディオデータをローシェルフフィルタ処理部１０３に供給する。
【0244】
ローシェルフフィルタ処理部１０３は、距離感制御処理部６７から供給されたカットオフ周波数、Q値、およびゲイン値により定まるローシェルフフィルタにより、ハイシェルフフィルタ処理部１０２から供給されたオーディオデータに対してフィルタ処理を行う。
【0245】
距離感制御処理部６７は、ローシェルフフィルタ処理部１０３でのフィルタ処理により得られたオーディオデータを、ドライ成分のオーディオデータとして、そのドライ成分のオブジェクトのメタデータとともに3Dオーディオレンダリング処理部６８に供給する。このドライ成分のメタデータは、メタデータ復号部６３から供給されたメタデータである。
【0246】
また、ローシェルフフィルタ処理部１０３は、フィルタ処理により得られたオーディオデータをリバーブ処理部１０４に供給する。
【0247】
するとリバーブ処理部１０４では、例えば図４を参照して説明したように、ドライ成分のオーディオデータに対するウェットゲイン値に基づくゲイン制御や、オーディオデータに対する遅延処理、コムフィルタやオールパスフィルタによるフィルタ処理などが行われ、ウェット成分のオーディオデータが生成される。
【0248】
また、リバーブ処理部１０４は、オフセット角度wet_azimuth_offset[i][j]およびオフセット角度wet_elevation_offset[i][j]と、オブジェクト（ドライ成分）のメタデータと、聴取位置情報とに基づいてウェット成分の位置情報を算出するとともに、その位置情報を含むウェット成分のメタデータを生成する。
【0249】
リバーブ処理部１０４は、このようにして生成された各ウェット成分のオーディオデータとメタデータとを3Dオーディオレンダリング処理部６８に供給する。
【0250】
ステップＳ４８において3Dオーディオレンダリング処理部６８は、距離感制御処理部６７から供給されたオーディオデータおよびメタデータと、ユーザインターフェース６５から供給された聴取位置情報とに基づいてレンダリング処理を行い、再生オーディオデータを生成する。例えばステップＳ４８ではVBAPなどがレンダリング処理として行われる。
【0251】
再生オーディオデータが生成されると、3Dオーディオレンダリング処理部６８は、生成された再生オーディオデータを後段に出力し、復号処理は終了する。
【0252】
以上のようにして復号装置５１は、符号化データに含まれている距離感制御情報に基づいて距離感制御処理を行い、再生オーディオデータを生成する。このようにすることで、コンテンツ制作者の意図に基づいた距離感制御を実現することができる。
【0253】
〈第１の実施の形態の変形例１〉
〈パラメタ構成情報の他の例〉
なお、以上においてはパラメタ構成情報として、図１２や図１３、図１４に示す例について説明したが、これに限らず、パラメタ構成情報は距離感制御処理のパラメタを得ることができるものであれば、どのようなものであってもよい。
〈パラメタ構成情報の他の例〉
なお、以上においてはパラメタ構成情報として、図１２や図１３、図１４に示す例について説明したが、これに限らず、パラメタ構成情報は距離感制御処理のパラメタを得ることができるものであれば、どのようなものであってもよい。
【0254】
例えば距離感制御処理を構成する１または複数の各処理について、聴取位置からオブジェクトまでの距離dに対するパラメタを得るためのテーブルや関数（数式）などを予め用意し、それらのテーブルや関数を示すインデックスをパラメタ構成情報に含めるようにすることも考えられる。この場合、テーブルや関数を示すインデックスがパラメタの制御ルールを示す制御ルール情報となる。
【0255】
このようにパラメタを得るためのテーブルや関数を示すインデックスを制御ルール情報とする場合、例えば図１７に示すように、パラメタとしてのゲイン制御処理のゲイン値を得るためのテーブルや関数を複数用意しておくことができる。
【0256】
この例では、例えばインデックスの値「1」に対しては、ゲイン制御処理のゲイン値を得るための関数「20log10(1/d)2」が用意されており、この関数に距離dを代入することにより、距離dに応じたゲイン制御処理のゲイン値を得ることができる。
【0257】
また、例えばインデックスの値「2」に対して、ゲイン制御処理のゲイン値を得るためのテーブルが用意されており、このテーブルを用いたときには距離dが大きくなるほど、パラメタとしてのゲイン値は小さくなる。
【0258】
復号装置５１の距離感制御処理部６７は、このような各インデックスに対応付けてテーブルや関数を予め保持している。
【0259】
【0260】
図１８の例では、パラメタ構成情報DistanceRender_Attn()には、コンテンツ制作者により指定された関数やテーブルを示すインデックス「index」が含まれている。
【0261】
したがって、距離感制御処理部６７では、このインデックスindexに対応付けられて保持されているテーブルや関数が読み出され、読み出されたテーブルや関数と、聴取位置からオブジェクトまでの距離dとに基づいてパラメタとしてのゲイン値が求められる。
【0262】
このように距離dに応じたパラメタを得るための複数のパターン、すなわち複数のテーブルや関数を予め定義しておけば、コンテンツ制作者はそれらのパターンのなかから所望のものを指定（選択）することで、自身の意図に合った距離感制御処理が行われるようにすることができる。
【0263】
なお、ここではゲイン制御処理のパラメタを得るためのテーブルや関数をインデックスにより指定する例について説明した。しかし、これに限らず、ハイシェルフフィルタ等のフィルタ処理やリバーブ処理における場合においても同様にして、インデックスによりパラメタの制御ルールを指定することができる。
【0264】
〈第１の実施の形態の変形例２〉
〈距離感制御情報の他の例〉
また、以上においては全てのオブジェクトについて、同じ制御ルールで、距離dに応じたパラメタが決定される例について説明したがオブジェクトごとにパラメタの制御ルールを設定（指定）できるようにしてもよい。
〈距離感制御情報の他の例〉
また、以上においては全てのオブジェクトについて、同じ制御ルールで、距離dに応じたパラメタが決定される例について説明したがオブジェクトごとにパラメタの制御ルールを設定（指定）できるようにしてもよい。
【0265】
そのような場合、距離感制御情報は、例えば図１９に示す構成とされる。
【0266】
図１９に示す例では、「num_objs」はコンテンツを構成するオブジェクトの数を示しており、例えばオブジェクトの数num_objsは外部から距離感制御情報決定部２３に与えられる。
【0267】
距離感制御情報にはこのオブジェクトの数num_objsの分だけ、オブジェクトが距離感制御の対象であるか否かを示すフラグ「isDistanceRenderFlg」が含まれている。
【0268】
例えばi番目のオブジェクトのフラグisDistanceRenderFlgの値が「1」である場合、そのオブジェクトは距離感制御の対象であるとされ、そのオブジェクトのオーディオデータに対して距離感制御処理が行われる。
【0269】
i番目のオブジェクトのフラグisDistanceRenderFlgの値が「1」である場合、距離感制御情報には、そのオブジェクトのパラメタ構成情報DistanceRender_Attn()、２個のパラメタ構成情報DistanceRender_Filt()、およびパラメタ構成情報DistanceRender_Revb()が含まれている。
【0270】
したがって、この場合には上述したように距離感制御処理部６７において、対象とされたオブジェクトのオーディオデータに対して距離感制御処理が行われ、得られたドライ成分やウェット成分のオーディオデータとメタデータが出力される。
【0271】
これに対して、i番目のオブジェクトのフラグisDistanceRenderFlgの値が「0」である場合、そのオブジェクトは距離感制御の対象ではない、つまり対象外であるとされ、そのオブジェクトのオーディオデータに対しては距離感制御処理が行われない。
【0272】
したがって、そのようなオブジェクトについては、オブジェクトのオーディオデータとメタデータがそのまま距離感制御処理部６７から3Dオーディオレンダリング処理部６８へと供給される。
【0273】
i番目のオブジェクトのフラグisDistanceRenderFlgの値が「0」である場合、距離感制御情報には、そのオブジェクトのパラメタ構成情報DistanceRender_Attn()、パラメタ構成情報DistanceRender_Filt()、およびパラメタ構成情報DistanceRender_Revb()は含まれていない。
【0274】
このように図１９に示す例では、距離感制御情報符号化部２４においてオブジェクトごとにパラメタ構成情報が符号化される。換言すれば、オブジェクトごとに距離感制御情報が符号化される。これにより、コンテンツ制作者の意図に基づいた距離感制御をオブジェクトごとに実現し、より臨場感の高いコンテンツ再生を行うことができる。
【0275】
特に、この例では距離感制御情報にフラグisDistanceRenderFlgを格納することで、オブジェクトごとに距離感制御を行うか否かを設定したうえで、オブジェクトごとに異なる距離感制御を行うことができるようになされている。
【0276】
例えば人の音声のオブジェクトについては、そのオブジェクト以外の他のオブジェクトとは異なる制御ルールを設定したり、距離感制御自体を行わないようにしたりすることで、距離感をあまり感じさせない、つまり聴取者にとって常に聞きやすい音（聞き取りやすい音）が再生されるようにすることができる。
【0277】
〈第１の実施の形態の変形例３〉
〈距離感制御情報の他の例〉
また、オブジェクトごとではなく、１または複数のオブジェクトからなるオブジェクトグループごとにパラメタの制御ルールを設定（指定）できるようにしてもよい。
〈距離感制御情報の他の例〉
また、オブジェクトごとではなく、１または複数のオブジェクトからなるオブジェクトグループごとにパラメタの制御ルールを設定（指定）できるようにしてもよい。
【0278】
そのような場合、距離感制御情報は、例えば図２０に示す構成とされる。
【0279】
図２０に示す例では、「num_obj_groups」はコンテンツを構成するオブジェクトグループの数を示しており、例えばオブジェクトグループの数num_obj_groupsは外部から距離感制御情報決定部２３に与えられる。
【0280】
距離感制御情報にはこのオブジェクトグループの数num_obj_groupsの分だけ、オブジェクトグループ、より詳細にはオブジェクトグループに属すオブジェクトが距離感制御の対象であるか否かを示すフラグ「isDistanceRenderFlg」が含まれている。
【0281】
例えばi番目のオブジェクトグループのフラグisDistanceRenderFlgの値が「1」である場合、そのオブジェクトグループは距離感制御の対象であるとされ、そのオブジェクトグループに属すオブジェクトのオーディオデータに対して距離感制御処理が行われる。
【0282】
i番目のオブジェクトグループのフラグisDistanceRenderFlgの値が「1」である場合、距離感制御情報には、そのオブジェクトグループのパラメタ構成情報DistanceRender_Attn()、２個のパラメタ構成情報DistanceRender_Filt()、およびパラメタ構成情報DistanceRender_Revb()が含まれている。
【0283】
したがって、この場合には上述したように距離感制御処理部６７において、対象とされたオブジェクトグループに属すオブジェクトのオーディオデータに対して距離感制御処理が行われる。
【0284】
これに対して、i番目のオブジェクトグループのフラグisDistanceRenderFlgの値が「0」である場合、そのオブジェクトグループは距離感制御の対象ではないとされ、オブジェクトグループのオブジェクトのオーディオデータに対して距離感制御処理は行われない。
【0285】
したがって、そのようなオブジェクトグループのオブジェクトについては、オブジェクトのオーディオデータとメタデータがそのまま距離感制御処理部６７から3Dオーディオレンダリング処理部６８へと供給される。
【0286】
i番目のオブジェクトグループのフラグisDistanceRenderFlgの値が「0」である場合、距離感制御情報には、そのオブジェクトグループのパラメタ構成情報DistanceRender_Attn()、パラメタ構成情報DistanceRender_Filt()、およびパラメタ構成情報DistanceRender_Revb()は含まれていない。
【0287】
このように図２０に示す例では、距離感制御情報符号化部２４においてオブジェクトグループごとにパラメタ構成情報が符号化される。換言すれば、オブジェクトグループごとに距離感制御情報が符号化される。これにより、コンテンツ制作者の意図に基づいた距離感制御をオブジェクトグループごとに実現し、より臨場感の高いコンテンツ再生を行うことができる。
【0288】
特に、この例では距離感制御情報にフラグisDistanceRenderFlgを格納することで、オブジェクトグループごとに距離感制御を行うか否かを設定したうえで、オブジェクトグループごとに異なる距離感制御を行うことができる。
【0289】
例えばドラムセットを構成するスネアドラムやバスドラム、タムタム、シンバルなどの複数の打楽器に対して同じ制御ルールを設定する場合、コンテンツ制作者は、それらの複数の打楽器のオブジェクトをまとめて１つのオブジェクトグループとすることができる。
【0290】
このようにすることで、同じオブジェクトグループに属す、ドラムセットを構成する複数の各打楽器に対応する各オブジェクトに対して同じ制御ルールを設定することができる。すなわち、複数の各オブジェクトに対して同じ制御ルール情報を付与することができる。さらに、図２０に示した例のように、オブジェクトグループごとにパラメタ構成情報を伝送することで、復号側に伝送するパラメタ等の情報、すなわち距離感制御情報の情報量をより少なくすることができる。
【0291】
〈第２の実施の形態〉
〈距離感制御処理部の構成例〉
また、以上においては復号装置５１に設けられた距離感制御処理部６７の構成が予め定められている例について説明した。すなわち、距離感制御情報の構成情報により示される、距離感制御処理を構成する１または複数の処理や、それらの処理の順番が予め定められている例について説明した。
〈距離感制御処理部の構成例〉
また、以上においては復号装置５１に設けられた距離感制御処理部６７の構成が予め定められている例について説明した。すなわち、距離感制御情報の構成情報により示される、距離感制御処理を構成する１または複数の処理や、それらの処理の順番が予め定められている例について説明した。
【0292】
しかし、これに限らず距離感制御情報の構成情報によって距離感制御処理部６７の構成を自由に変えることができるようにしてもよい。
【0293】
そのような場合、距離感制御処理部６７は、例えば図２１に示すように構成される。
【0294】
図２１に示す例では、距離感制御処理部６７は距離感制御情報に応じてプログラムを実行し、信号処理部２０１－１乃至信号処理部２０１－３、およびリバーブ処理部２０２－１乃至リバーブ処理部２０２－４のうちのいくつかの処理ブロックを実現する。
【0295】
信号処理部２０１－１は、距離計算部６６から供給された距離情報と、距離感制御情報復号部６４から供給された距離感制御情報とに基づいて、オブジェクト復号部６２から供給されたオブジェクトのオーディオデータに対して信号処理を施し、その結果得られたオーディオデータを信号処理部２０１－２に供給する。
【0296】
このとき、信号処理部２０１－１は、リバーブ処理部２０２－２が機能している場合、すなわちリバーブ処理部２０２－２が実現されている場合には、信号処理により得られたオーディオデータをリバーブ処理部２０２－２にも供給する。
【0297】
信号処理部２０１－２は、距離計算部６６から供給された距離情報と、距離感制御情報復号部６４から供給された距離感制御情報とに基づいて、信号処理部２０１－１から供給されたオーディオデータに対して信号処理を施し、その結果得られたオーディオデータを信号処理部２０１－３に供給する。このとき、信号処理部２０１－２は、リバーブ処理部２０２－３が機能している場合には、信号処理により得られたオーディオデータをリバーブ処理部２０２－３にも供給する。
【0298】
信号処理部２０１－３は、距離計算部６６から供給された距離情報と、距離感制御情報復号部６４から供給された距離感制御情報とに基づいて、信号処理部２０１－２から供給されたオーディオデータに対して信号処理を施し、その結果得られたオーディオデータを3Dオーディオレンダリング処理部６８に供給する。このとき、信号処理部２０１－３は、リバーブ処理部２０２－４が機能している場合には、信号処理により得られたオーディオデータをリバーブ処理部２０２－４にも供給する。
【0299】
なお、以下、信号処理部２０１－１乃至信号処理部２０１－３を特に区別する必要のない場合、単に信号処理部２０１とも称することとする。
【0300】
信号処理部２０１－１や、信号処理部２０１－２、信号処理部２０１－３で行われる信号処理は、距離感制御情報の構成情報により示される処理である。
【0301】
具体的には、信号処理部２０１で行われる信号処理は、例えばゲイン制御処理、ハイシェルフフィルタやローシェルフフィルタ等によるフィルタ処理などである。
【0302】
リバーブ処理部２０２－１は、距離計算部６６から供給された距離情報と、距離感制御情報復号部６４から供給された距離感制御情報とに基づいて、オブジェクト復号部６２から供給されたオブジェクトのオーディオデータに対してリバーブ処理を施すことで、ウェット成分のオーディオデータを生成する。
【0303】
また、リバーブ処理部２０２－１は、距離感制御情報復号部６４から供給された距離感制御情報、メタデータ復号部６３から供給されたメタデータ、ユーザインターフェース６５から供給された聴取位置情報に基づいて、ウェット成分の位置情報を含むメタデータを生成する。なお、リバーブ処理部２０２－１では、必要に応じて距離情報も用いられてウェット成分のメタデータが生成される。
【0304】
リバーブ処理部２０２－１は、このようにして生成したウェット成分のメタデータとオーディオデータを3Dオーディオレンダリング処理部６８に供給する。
【0305】
リバーブ処理部２０２－２は、距離計算部６６からの距離情報、距離感制御情報復号部６４からの距離感制御情報、信号処理部２０１－１からのオーディオデータ、メタデータ復号部６３からのメタデータ、およびユーザインターフェース６５からの聴取位置情報に基づいて、ウェット成分のメタデータおよびオーディオデータを生成し、3Dオーディオレンダリング処理部６８に供給する。
【0306】
リバーブ処理部２０２－３は、距離計算部６６からの距離情報、距離感制御情報復号部６４からの距離感制御情報、信号処理部２０１－２からのオーディオデータ、メタデータ復号部６３からのメタデータ、およびユーザインターフェース６５からの聴取位置情報に基づいて、ウェット成分のメタデータおよびオーディオデータを生成し、3Dオーディオレンダリング処理部６８に供給する。
【0307】
リバーブ処理部２０２－４は、距離計算部６６からの距離情報、距離感制御情報復号部６４からの距離感制御情報、信号処理部２０１－３からのオーディオデータ、メタデータ復号部６３からのメタデータ、およびユーザインターフェース６５からの聴取位置情報に基づいて、ウェット成分のメタデータおよびオーディオデータを生成し、3Dオーディオレンダリング処理部６８に供給する。
【0308】
これらのリバーブ処理部２０２－２やリバーブ処理部２０２－３、リバーブ処理部２０２－４では、リバーブ処理部２０２－１における場合と同様の処理が行われ、ウェット成分のメタデータおよびオーディオデータが生成される。
【0309】
なお、以下、リバーブ処理部２０２－１乃至リバーブ処理部２０２－４を特に区別する必要のない場合、単にリバーブ処理部２０２とも称する。
【0310】
距離感制御処理部６７では、リバーブ処理部２０２が１つも機能しない構成とされてもよいし、１または複数のリバーブ処理部２０２が機能する構成とされてもよい。
【0311】
したがって例えば距離感制御処理部６７は、オブジェクト（ドライ成分）に対して左右に位置するウェット成分を生成するリバーブ処理部２０２と、オブジェクトに対して上下に位置するウェット成分を生成するリバーブ処理部２０２とを有する構成とされてもよい。
【0312】
以上のようにすることで、距離感制御処理を構成する各信号処理や、それらの信号処理が行われる順番をコンテンツ制作者が自由に指定することができる。これにより、コンテンツ制作者の意図に基づいた距離感制御を実現することができる。
【0313】
【0314】
図２２に示す例では、「num_objs」はコンテンツを構成するオブジェクトの数を示しており、距離感制御情報にはこのオブジェクトの数num_objsの分だけ、オブジェクトが距離感制御の対象であるか否かを示すフラグ「isDistanceRenderFlg」が含まれている。
【0315】
なお、これらのオブジェクトの数num_objs、およびフラグisDistanceRenderFlgは、図１９に示した例と同様であるので、その説明は省略する。
【0316】
i番目のオブジェクトのフラグisDistanceRenderFlgの値が「1」である場合、距離感制御情報には、そのオブジェクトに対して行われる距離感制御処理を構成する各信号処理について、信号処理を示すid情報「proc_id」とパラメタ構成情報とが含まれている。
【0317】
すなわち、例えばj番目（但し0≦j＜4）の信号処理を示すid情報「proc_id」に応じて、ゲイン制御処理のパラメタ構成情報「DistanceRender_Attn()」、フィルタ処理のパラメタ構成情報「DistanceRender_Filt()」、リバーブ処理のパラメタ構成情報「DistanceRender_Revb()」、またはユーザ定義処理のパラメタ構成情報「DistanceRender_UserDefine()」が距離感制御情報に含まれている。
【0318】
具体的には、例えばid情報「proc_id」がゲイン制御処理を示す「ATTN」である場合、ゲイン制御処理のパラメタ構成情報「DistanceRender_Attn()」が距離感制御情報に含まれている。
【0319】
なお、パラメタ構成情報「DistanceRender_Attn()」、「DistanceRender_Filt()」、および「DistanceRender_Revb()」は、図１１における場合と同様であるので、その説明は省略する。
【0320】
また、パラメタ構成情報「DistanceRender_UserDefine()」は、ユーザによって任意に定義された信号処理であるユーザ定義処理で用いられるパラメタの制御ルールを示すパラメタ構成情報を示している。
【0321】
したがって、この例ではゲイン制御処理やフィルタ処理、リバーブ処理だけでなく、ユーザにより別途定義されたユーザ定義処理を、距離感制御処理を構成する信号処理として追加することができるようになっている。
【0322】
なお、ここでは距離感制御処理を構成する信号処理の数が４個である場合を例として説明したが、距離感制御処理を構成する信号処理の数はいくつであってもよい。
【0323】
図２２に示した距離感制御情報では、例えば距離感制御処理を構成する０番目の信号処理をゲイン制御処理とし、１番目の信号処理をハイシェルフフィルタによるフィルタ処理とし、２番目の信号処理をローシェルフフィルタによるフィルタ処理とし、３番目の信号処理をリバーブ処理とすれば、図３に示したものと同じ構成の距離感制御処理部６７が実現されることになる。
【0324】
そのような場合、図２１に示した距離感制御処理部６７では、信号処理部２０１－１乃至信号処理部２０１－３、およびリバーブ処理部２０２－４が実現され、リバーブ処理部２０２－１乃至リバーブ処理部２０２－３は実現されない（機能しない）。
【0325】
そして、信号処理部２０１－１乃至信号処理部２０１－３、およびリバーブ処理部２０２－４は、図３に示したゲイン制御部１０１、ハイシェルフフィルタ処理部１０２、ローシェルフフィルタ処理部１０３、およびリバーブ処理部１０４として機能する。
【0326】
このように、距離感制御情報が図２２に示す構成とされる場合においても、基本的には符号化装置１１では図１５を参照して説明した符号化処理が行われ、復号装置５１では図１６を参照して説明した復号処理が行われる。
【0327】
但し、符号化処理では、例えばステップＳ１３においてオブジェクトごとに、距離感制御処理の対象とするか否かや、距離感制御処理の構成などが決定され、ステップＳ１４では図２２に示した構成の距離感制御情報が符号化される。
【0328】
一方、復号処理では、ステップＳ４７において、図２２に示した構成の距離感制御情報に基づいて、オブジェクトごとに距離感制御処理部６７の構成が決定され、適宜、距離感制御処理が行われる。
【0329】
以上のように、本技術によれば、コンテンツ制作者の設定等に応じて、距離感制御情報をオブジェクトのオーディオデータとともに復号側に伝送することで、オブジェクトベースオーディオにおいて、コンテンツ制作者の意図に基づいた距離感制御を実現することができる。
【0330】
〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【0331】
図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【0332】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【0333】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
【0334】
入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
【0335】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【0336】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【0337】
コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【0338】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0339】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0340】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0341】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【0342】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【0343】
さらに、本技術は、以下の構成とすることも可能である。
【0344】
（１）
オブジェクトのオーディオデータを符号化するオブジェクト符号化部と、
前記オブジェクトの位置情報を含むメタデータを符号化するメタデータ符号化部と、
前記オーディオデータに対して行われる距離感制御処理のための距離感制御情報を決定する距離感制御情報決定部と、
前記距離感制御情報を符号化する距離感制御情報符号化部と、
符号化された前記オーディオデータ、符号化された前記メタデータ、および符号化された前記距離感制御情報を多重化し、符号化データを生成する多重化部と
を備える符号化装置。
（２）
前記距離感制御情報には、前記距離感制御処理で用いられるパラメタを得るための制御ルール情報が含まれている
（１）に記載の符号化装置。
（３）
前記パラメタは、聴取位置から前記オブジェクトまでの距離に応じて変化する
（２）に記載の符号化装置。
（４）
前記制御ルール情報は、前記パラメタを得るための関数またはテーブルを示すインデックスである
（２）または（３）に記載の符号化装置。
（５）
前記距離感制御情報には、前記距離感制御処理を実現するために組み合わせて行う１または複数の処理を示す構成情報が含まれている
（２）乃至（４）の何れか一項に記載の符号化装置。
（６）
前記構成情報は、前記１または複数の処理、および前記１または複数の処理を行う順番を示す情報である
（５）に記載の符号化装置。
（７）
前記処理は、ゲイン制御処理、フィルタ処理、またはリバーブ処理である
（５）または（６）に記載の符号化装置。
（８）
前記距離感制御情報符号化部は、複数の前記オブジェクトごとに前記距離感制御情報を符号化する
（１）乃至（７）の何れか一項に記載の符号化装置。
（９）
前記距離感制御情報符号化部は、１または複数の前記オブジェクトからなるオブジェクトグループごとに前記距離感制御情報を符号化する
（１）乃至（７）の何れか一項に記載の符号化装置。
（１０）
符号化装置が、
オブジェクトのオーディオデータを符号化し、
前記オブジェクトの位置情報を含むメタデータを符号化し、
前記オーディオデータに対して行われる距離感制御処理のための距離感制御情報を決定し、
前記距離感制御情報を符号化し、
符号化された前記オーディオデータ、符号化された前記メタデータ、および符号化された前記距離感制御情報を多重化し、符号化データを生成する
符号化方法。
（１１）
オブジェクトのオーディオデータを符号化し、
前記オブジェクトの位置情報を含むメタデータを符号化し、
前記オーディオデータに対して行われる距離感制御処理のための距離感制御情報を決定し、
前記距離感制御情報を符号化し、
符号化された前記オーディオデータ、符号化された前記メタデータ、および符号化された前記距離感制御情報を多重化し、符号化データを生成する
ステップを含む処理をコンピュータに実行させるプログラム。
（１２）
符号化データを非多重化し、オブジェクトの符号化されたオーディオデータ、前記オブジェクトの位置情報を含む符号化されたメタデータ、および前記オーディオデータに対して行われる距離感制御処理のための符号化された距離感制御情報を抽出する非多重化部と、
前記符号化されたオーディオデータを復号するオブジェクト復号部と、
前記符号化されたメタデータを復号するメタデータ復号部と、
前記符号化された距離感制御情報を復号する距離感制御情報復号部と、
前記距離感制御情報に基づいて、前記オブジェクトの前記オーディオデータに対して前記距離感制御処理を行う距離感制御処理部と、
前記距離感制御処理により得られたオーディオデータと、前記メタデータとに基づいてレンダリング処理を行い、前記オブジェクトの音を再生するための再生オーディオデータを生成するレンダリング処理部と
を備える復号装置。
（１３）
前記距離感制御処理部は、前記距離感制御情報に含まれている制御ルール情報と聴取位置とから得られるパラメタに基づいて前記距離感制御処理を行う
（１２）に記載の復号装置。
（１４）
前記パラメタは、前記聴取位置から前記オブジェクトまでの距離に応じて変化する
（１３）に記載の復号装置。
（１５）
前記距離感制御処理部は、前記再生オーディオデータの再生環境に応じて前記パラメタの調整を行う
（１３）または（１４）に記載の復号装置。
（１６）
前記距離感制御処理部は、前記パラメタに基づいて、前記距離感制御情報により示される１または複数の処理を組み合わせた前記距離感制御処理を行う
（１３）乃至（１５）の何れか一項に記載の復号装置。
（１７）
前記処理は、ゲイン制御処理、フィルタ処理、またはリバーブ処理である
（１６）に記載の復号装置。
（１８）
前記距離感制御処理部は、前記距離感制御処理により、前記オブジェクトのウェット成分のオーディオデータを生成する
（１２）乃至（１７）の何れか一項に記載の復号装置。
（１９）
復号装置が、
符号化データを非多重化し、オブジェクトの符号化されたオーディオデータ、前記オブジェクトの位置情報を含む符号化されたメタデータ、および前記オーディオデータに対して行われる距離感制御処理のための符号化された距離感制御情報を抽出し、
前記符号化されたオーディオデータを復号し、
前記符号化されたメタデータを復号し、
前記符号化された距離感制御情報を復号し、
前記距離感制御情報に基づいて、前記オブジェクトの前記オーディオデータに対して前記距離感制御処理を行い、
前記距離感制御処理により得られたオーディオデータと、前記メタデータとに基づいてレンダリング処理を行い、前記オブジェクトの音を再生するための再生オーディオデータを生成する
復号方法。
（２０）
符号化データを非多重化し、オブジェクトの符号化されたオーディオデータ、前記オブジェクトの位置情報を含む符号化されたメタデータ、および前記オーディオデータに対して行われる距離感制御処理のための符号化された距離感制御情報を抽出し、
前記符号化されたオーディオデータを復号し、
前記符号化されたメタデータを復号し、
前記符号化された距離感制御情報を復号し、
前記距離感制御情報に基づいて、前記オブジェクトの前記オーディオデータに対して前記距離感制御処理を行い、
前記距離感制御処理により得られたオーディオデータと、前記メタデータとに基づいてレンダリング処理を行い、前記オブジェクトの音を再生するための再生オーディオデータを生成する
ステップを含む処理をコンピュータに実行させるプログラム。
オブジェクトのオーディオデータを符号化するオブジェクト符号化部と、
前記オブジェクトの位置情報を含むメタデータを符号化するメタデータ符号化部と、
前記オーディオデータに対して行われる距離感制御処理のための距離感制御情報を決定する距離感制御情報決定部と、
前記距離感制御情報を符号化する距離感制御情報符号化部と、
符号化された前記オーディオデータ、符号化された前記メタデータ、および符号化された前記距離感制御情報を多重化し、符号化データを生成する多重化部と
を備える符号化装置。
（２）
前記距離感制御情報には、前記距離感制御処理で用いられるパラメタを得るための制御ルール情報が含まれている
（１）に記載の符号化装置。
（３）
前記パラメタは、聴取位置から前記オブジェクトまでの距離に応じて変化する
（２）に記載の符号化装置。
（４）
前記制御ルール情報は、前記パラメタを得るための関数またはテーブルを示すインデックスである
（２）または（３）に記載の符号化装置。
（５）
前記距離感制御情報には、前記距離感制御処理を実現するために組み合わせて行う１または複数の処理を示す構成情報が含まれている
（２）乃至（４）の何れか一項に記載の符号化装置。
（６）
前記構成情報は、前記１または複数の処理、および前記１または複数の処理を行う順番を示す情報である
（５）に記載の符号化装置。
（７）
前記処理は、ゲイン制御処理、フィルタ処理、またはリバーブ処理である
（５）または（６）に記載の符号化装置。
（８）
前記距離感制御情報符号化部は、複数の前記オブジェクトごとに前記距離感制御情報を符号化する
（１）乃至（７）の何れか一項に記載の符号化装置。
（９）
前記距離感制御情報符号化部は、１または複数の前記オブジェクトからなるオブジェクトグループごとに前記距離感制御情報を符号化する
（１）乃至（７）の何れか一項に記載の符号化装置。
（１０）
符号化装置が、
オブジェクトのオーディオデータを符号化し、
前記オブジェクトの位置情報を含むメタデータを符号化し、
前記オーディオデータに対して行われる距離感制御処理のための距離感制御情報を決定し、
前記距離感制御情報を符号化し、
符号化された前記オーディオデータ、符号化された前記メタデータ、および符号化された前記距離感制御情報を多重化し、符号化データを生成する
符号化方法。
（１１）
オブジェクトのオーディオデータを符号化し、
前記オブジェクトの位置情報を含むメタデータを符号化し、
前記オーディオデータに対して行われる距離感制御処理のための距離感制御情報を決定し、
前記距離感制御情報を符号化し、
符号化された前記オーディオデータ、符号化された前記メタデータ、および符号化された前記距離感制御情報を多重化し、符号化データを生成する
ステップを含む処理をコンピュータに実行させるプログラム。
（１２）
符号化データを非多重化し、オブジェクトの符号化されたオーディオデータ、前記オブジェクトの位置情報を含む符号化されたメタデータ、および前記オーディオデータに対して行われる距離感制御処理のための符号化された距離感制御情報を抽出する非多重化部と、
前記符号化されたオーディオデータを復号するオブジェクト復号部と、
前記符号化されたメタデータを復号するメタデータ復号部と、
前記符号化された距離感制御情報を復号する距離感制御情報復号部と、
前記距離感制御情報に基づいて、前記オブジェクトの前記オーディオデータに対して前記距離感制御処理を行う距離感制御処理部と、
前記距離感制御処理により得られたオーディオデータと、前記メタデータとに基づいてレンダリング処理を行い、前記オブジェクトの音を再生するための再生オーディオデータを生成するレンダリング処理部と
を備える復号装置。
（１３）
前記距離感制御処理部は、前記距離感制御情報に含まれている制御ルール情報と聴取位置とから得られるパラメタに基づいて前記距離感制御処理を行う
（１２）に記載の復号装置。
（１４）
前記パラメタは、前記聴取位置から前記オブジェクトまでの距離に応じて変化する
（１３）に記載の復号装置。
（１５）
前記距離感制御処理部は、前記再生オーディオデータの再生環境に応じて前記パラメタの調整を行う
（１３）または（１４）に記載の復号装置。
（１６）
前記距離感制御処理部は、前記パラメタに基づいて、前記距離感制御情報により示される１または複数の処理を組み合わせた前記距離感制御処理を行う
（１３）乃至（１５）の何れか一項に記載の復号装置。
（１７）
前記処理は、ゲイン制御処理、フィルタ処理、またはリバーブ処理である
（１６）に記載の復号装置。
（１８）
前記距離感制御処理部は、前記距離感制御処理により、前記オブジェクトのウェット成分のオーディオデータを生成する
（１２）乃至（１７）の何れか一項に記載の復号装置。
（１９）
復号装置が、
符号化データを非多重化し、オブジェクトの符号化されたオーディオデータ、前記オブジェクトの位置情報を含む符号化されたメタデータ、および前記オーディオデータに対して行われる距離感制御処理のための符号化された距離感制御情報を抽出し、
前記符号化されたオーディオデータを復号し、
前記符号化されたメタデータを復号し、
前記符号化された距離感制御情報を復号し、
前記距離感制御情報に基づいて、前記オブジェクトの前記オーディオデータに対して前記距離感制御処理を行い、
前記距離感制御処理により得られたオーディオデータと、前記メタデータとに基づいてレンダリング処理を行い、前記オブジェクトの音を再生するための再生オーディオデータを生成する
復号方法。
（２０）
符号化データを非多重化し、オブジェクトの符号化されたオーディオデータ、前記オブジェクトの位置情報を含む符号化されたメタデータ、および前記オーディオデータに対して行われる距離感制御処理のための符号化された距離感制御情報を抽出し、
前記符号化されたオーディオデータを復号し、
前記符号化されたメタデータを復号し、
前記符号化された距離感制御情報を復号し、
前記距離感制御情報に基づいて、前記オブジェクトの前記オーディオデータに対して前記距離感制御処理を行い、
前記距離感制御処理により得られたオーディオデータと、前記メタデータとに基づいてレンダリング処理を行い、前記オブジェクトの音を再生するための再生オーディオデータを生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【0345】
１１ 符号化装置， ２１ オブジェクト符号化部， ２２ メタデータ符号化部， ２３ 距離感制御情報決定部， ２４ 距離感制御情報符号化部， ２５ 多重化部， ５１ 復号装置， ６１ 非多重化部， ６２ オブジェクト復号部， ６３ メタデータ復号部， ６４ 距離感制御情報復号部， ６６ 距離計算部， ６７ 距離感制御処理部， ６８ 3Dオーディオレンダリング処理部， １０１ ゲイン制御部， １０２ ハイシェルフフィルタ処理部， １０３ ローシェルフフィルタ処理部， １０４ リバーブ処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】