特許 7533461 信号処理装置および方法、並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-05

(45)【発行日】2024-08-14

(54)【発明の名称】信号処理装置および方法、並びにプログラム

(51)【国際特許分類】

   H04S 3/00 20060101AFI20240806BHJP

   H04R 3/00 20060101ALI20240806BHJP

   H04R 1/02 20060101ALI20240806BHJP

   G10L 19/00 20130101ALI20240806BHJP

   G10L 19/008 20130101ALI20240806BHJP

   H04S 7/00 20060101ALI20240806BHJP

   H04R 7/04 20060101ALI20240806BHJP

   H04R 1/40 20060101ALI20240806BHJP

【ＦＩ】

H04S3/00 600

H04R3/00 310

H04R1/02 102Z

G10L19/00 330B

G10L19/008 200

H04S7/00 300

H04R7/04

H04R1/40 310

【請求項の数】 20

(21)【出願番号】P 2021533909

(86)(22)【出願日】2020-07-03

(86)【国際出願番号】 JP2020026170

(87)【国際公開番号】W WO2021014933

(87)【国際公開日】2021-01-28

【審査請求日】2023-05-12

(31)【優先権主張番号】P 2019133695

(32)【優先日】2019-07-19

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】戸栗 康裕

(72)【発明者】

【氏名】及川 芳明

【審査官】金子 秀彦

(56)【参考文献】

【文献】国際公開第２０１８／１２３３１０（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１９／０１９１２４０（ＵＳ，Ａ１）

【文献】国際公開第２０１８／１５４３０２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｓ ３／００

Ｈ０４Ｒ ３／００

Ｈ０４Ｒ １／０２

Ｇ１０Ｌ １９／００

Ｇ１０Ｌ １９／００８

Ｈ０４Ｓ ７／００

Ｈ０４Ｒ ７／０４

Ｈ０４Ｒ １／４０

(57)【特許請求の範囲】

【請求項1】

符号化データを非多重化して、符号化音声信号と、複数の各パネルスピーカについて生成された、前記パネルスピーカにおいて過振幅が生じるかを示す過振幅フラグとを抽出する非多重化部と、
前記符号化音声信号を復号する復号部と、
前記過振幅フラグと、前記復号により得られた音声信号とに基づいて、前記複数の各前記パネルスピーカの音声信号を調整する調整部と
を備える信号処理装置。

【請求項2】

前記調整部は、前記復号により得られた所定の前記音声信号の出力先として定められている出力先パネルスピーカで過振幅が生じる場合、前記出力先パネルスピーカと、過振幅が生じない他のパネルスピーカとを前記所定の前記音声信号の出力先として決定する
請求項１に記載の信号処理装置。

【請求項3】

前記調整部は、前記音声信号に基づいて、前記所定の前記音声信号を前記他のパネルスピーカに出力するときの配分ゲインを計算する
請求項２に記載の信号処理装置。

【請求項4】

前記他のパネルスピーカは、前記出力先パネルスピーカに隣接して配置された前記パネルスピーカである
請求項２に記載の信号処理装置。

【請求項5】

前記他のパネルスピーカは、サブウーハである
請求項２に記載の信号処理装置。

【請求項6】

前記音声信号はマルチチャンネル信号であり、前記複数の前記パネルスピーカごとに、出力されるチャンネルの前記音声信号が定められている
請求項１に記載の信号処理装置。

【請求項7】

前記音声信号はオーディオオブジェクトのオブジェクト信号である
請求項２に記載の信号処理装置。

【請求項8】

前記所定の前記音声信号の出力先とする前記他のパネルスピーカは、前記所定の前記音声信号に対応する前記オーディオオブジェクトの動きの有無に基づいて決定される
請求項７に記載の信号処理装置。

【請求項9】

前記オーディオオブジェクトが静止している場合、前記オーディオオブジェクトの位置から最も近い位置に配置されている前記パネルスピーカが前記他のパネルスピーカとされる
請求項８に記載の信号処理装置。

【請求項10】

前記オーディオオブジェクトが移動している場合、前記オーディオオブジェクトの移動方向に基づいて前記他のパネルスピーカが決定される
請求項８に記載の信号処理装置。

【請求項11】

前記符号化データには、前記所定の前記音声信号を前記他のパネルスピーカに出力するときの配分ゲインが含まれており、
前記調整部は、前記過振幅フラグと、前記復号により得られた音声信号と、前記配分ゲインとに基づいて、前記複数の各前記パネルスピーカの音声信号を調整する
請求項２に記載の信号処理装置。

【請求項12】

前記符号化データには、複数の前記パネルスピーカからなる、互いに異なる複数のパネル構成ごとに、前記パネルスピーカの前記過振幅フラグが含まれている
請求項１に記載の信号処理装置。

【請求項13】

信号処理装置が、
符号化データを非多重化して、符号化音声信号と、複数の各パネルスピーカについて生成された、前記パネルスピーカにおいて過振幅が生じるかを示す過振幅フラグとを抽出し、
前記符号化音声信号を復号し、
前記過振幅フラグと、前記復号により得られた音声信号とに基づいて、前記複数の各前記パネルスピーカの音声信号を調整する
信号処理方法。

【請求項14】

符号化データを非多重化して、符号化音声信号と、複数の各パネルスピーカについて生成された、前記パネルスピーカにおいて過振幅が生じるかを示す過振幅フラグとを抽出し、
前記符号化音声信号を復号し、
前記過振幅フラグと、前記復号により得られた音声信号とに基づいて、前記複数の各前記パネルスピーカの音声信号を調整する
ステップを含む処理をコンピュータに実行させるプログラム。

【請求項15】

複数の各パネルスピーカについて、前記パネルスピーカにおいて音声信号に基づく音を再生したときに過振幅が生じるかを検出し、その検出結果を示す過振幅フラグを生成する過振幅検出部と、
前記音声信号を符号化する符号化部と、
前記複数の前記パネルスピーカの前記過振幅フラグと、前記符号化により得られた符号化音声信号とを多重化して符号化データを生成する多重化部と
を備える信号処理装置。

【請求項16】

前記音声信号はマルチチャンネル信号であり、前記複数の前記パネルスピーカごとに、出力されるチャンネルの前記音声信号が定められている
請求項１５に記載の信号処理装置。

【請求項17】

所定の前記音声信号の出力先として定められている出力先パネルスピーカでの過振幅が検出された場合、前記音声信号に基づいて、前記所定の前記音声信号を前記出力先パネルスピーカと他のパネルスピーカとに出力するときの配分ゲインを計算する配分ゲイン計算部をさらに備え、
前記多重化部は、前記過振幅フラグと、前記符号化音声信号と、前記配分ゲインとを多重化して前記符号化データを生成する
請求項１５に記載の信号処理装置。

【請求項18】

前記過振幅検出部は、複数の前記パネルスピーカからなる、互いに異なる複数のパネル構成ごとに、前記パネルスピーカの前記過振幅フラグを生成する
請求項１５に記載の信号処理装置。

【請求項19】

信号処理装置が、
複数の各パネルスピーカについて、前記パネルスピーカにおいて音声信号に基づく音を再生したときに過振幅が生じるかを検出して、その検出結果を示す過振幅フラグを生成し、
前記音声信号を符号化し、
前記複数の前記パネルスピーカの前記過振幅フラグと、前記符号化により得られた符号化音声信号とを多重化して符号化データを生成する
信号処理方法。

【請求項20】

複数の各パネルスピーカについて、前記パネルスピーカにおいて音声信号に基づく音を再生したときに過振幅が生じるかを検出して、その検出結果を示す過振幅フラグを生成し、
前記音声信号を符号化し、
前記複数の前記パネルスピーカの前記過振幅フラグと、前記符号化により得られた符号化音声信号とを多重化して符号化データを生成する
ステップを含む処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、信号処理装置および方法、並びにプログラムに関し、特に少ない処理負荷で高品位な音を再生することができるようにした信号処理装置および方法、並びにプログラムに関する。

【背景技術】

【0002】

近年、テレビなどの映像を表示するパネルをアクチュエータで加振して音を再生する、いわゆるパネルスピーカシステムが普及してきている。

【0003】

このようなパネルスピーカシステムでは、スピーカとして機能するパネルの過振幅によってパネルの位置にずれが生じたり、パネルに表示される映像に揺れや歪みが生じたりすることがある。そのため、パネルを一定以上振動させないように、つまり過振幅が生じないようにする必要がある。

【0004】

特に映像が暗い部分では、パネルが振動すると、そのパネルで反射した光が揺れて見えるため、映像の揺れが目立ちやすい。

【0005】

そこで、コンテンツの再生側の装置において、音声の信号レベルからパネルの振動を予測し、所定以上の振動を検出した場合には信号レベルを抑制したり、信号の一部の帯域をカットしたりすることでパネルの過振幅を防止することが行われている。

【0006】

また、例えばフラットパネルを加振器により振動させて音を出力するフラットパネルスピーカにおいて、音声周波数全体で最も振動しやすい箇所を避けるように加振器を配置することで、大きな定在波の発生を抑制する技術も提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0007】

【文献】国際公開２０１８／１２３３１０号

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、上述した技術ではパネル状の振動板を有するパネルスピーカで音を再生させる場合に、再生側の処理負荷を抑えつつ高品位な音を再生することは困難であった。

【0009】

例えば、再生側の装置で過振幅を検出しながら音声再生を行うには、再生側で演算リソースが必要であり、また、突発的な過振幅を検出しようとするとバッファリングなどの処理遅延も発生してしまう。

【0010】

さらに、再生側の装置において過振幅を検出した場合に、単純に信号レベルを抑制してしまうと、所望の音圧レベルを得ることができずに音の品質が低下してしまうこともある。

【0011】

本技術は、このような状況に鑑みてなされたものであり、少ない処理負荷で高品位な音を再生することができるようにするものである。

【課題を解決するための手段】

【0012】

本技術の第１の側面の信号処理装置は、符号化データを非多重化して、符号化音声信号と、複数の各パネルスピーカについて生成された、前記パネルスピーカにおいて過振幅が生じるかを示す過振幅フラグとを抽出する非多重化部と、前記符号化音声信号を復号する復号部と、前記過振幅フラグと、前記復号により得られた音声信号とに基づいて、前記複数の各前記パネルスピーカの音声信号を調整する調整部とを備える。

【0013】

本技術の第１の側面の信号処理方法またはプログラムは、符号化データを非多重化して、符号化音声信号と、複数の各パネルスピーカについて生成された、前記パネルスピーカにおいて過振幅が生じるかを示す過振幅フラグとを抽出し、前記符号化音声信号を復号し、前記過振幅フラグと、前記復号により得られた音声信号とに基づいて、前記複数の各前記パネルスピーカの音声信号を調整するステップを含む。

【0014】

本技術の第１の側面においては、符号化データが非多重化されて、符号化音声信号と、複数の各パネルスピーカについて生成された、前記パネルスピーカにおいて過振幅が生じるかを示す過振幅フラグとが抽出され、前記符号化音声信号が復号され、前記過振幅フラグと、前記復号により得られた音声信号とに基づいて、前記複数の各前記パネルスピーカの音声信号が調整される。

【0015】

本技術の第２の側面の信号処理装置は、複数の各パネルスピーカについて、前記パネルスピーカにおいて音声信号に基づく音を再生したときに過振幅が生じるかを検出し、その検出結果を示す過振幅フラグを生成する過振幅検出部と、前記音声信号を符号化する符号化部と、前記複数の前記パネルスピーカの前記過振幅フラグと、前記符号化により得られた符号化音声信号とを多重化して符号化データを生成する多重化部とを備える。

【0016】

本技術の第２の側面の信号処理方法またはプログラムは、複数の各パネルスピーカについて、前記パネルスピーカにおいて音声信号に基づく音を再生したときに過振幅が生じるかを検出して、その検出結果を示す過振幅フラグを生成し、前記音声信号を符号化し、前記複数の前記パネルスピーカの前記過振幅フラグと、前記符号化により得られた符号化音声信号とを多重化して符号化データを生成するステップを含む。

【0017】

本技術の第２の側面においては、複数の各パネルスピーカについて、前記パネルスピーカにおいて音声信号に基づく音を再生したときに過振幅が生じるかが検出されて、その検出結果を示す過振幅フラグが生成され、前記音声信号が符号化され、前記複数の前記パネルスピーカの前記過振幅フラグと、前記符号化により得られた符号化音声信号とが多重化されて符号化データが生成される。

【図面の簡単な説明】

【0018】

【図1】一般的なパネル構成について説明する図である。

【図2】信号処理装置の構成例を示す図である。

【図3】符号化データのフォーマット例を示す図である。

【図4】符号化処理を説明するフローチャートである。

【図5】信号処理装置の構成例を示す図である。

【図6】隣接するパネルスピーカへの配分例について説明する図である。

【図7】隣接するパネルスピーカへの配分例について説明する図である。

【図8】復号処理を説明するフローチャートである。

【図9】信号処理装置の構成例を示す図である。

【図10】符号化データのフォーマット例を示す図である。

【図11】隣接パネルスピーカの相対的な位置について説明する図である。

【図12】符号化処理を説明するフローチャートである。

【図13】信号処理装置の構成例を示す図である。

【図14】復号処理を説明するフローチャートである。

【図15】信号処理装置の構成例を示す図である。

【図16】配分先パネルスピーカの調整について説明する図である。

【図17】符号化音声データのフォーマット例を示す図である。

【図18】符号化OAMのフォーマット例を示す図である。

【図19】符号化処理を説明するフローチャートである。

【図20】配分ゲイン計算処理を説明するフローチャートである。

【図21】信号処理装置の構成例を示す図である。

【図22】復号処理を説明するフローチャートである。

【図23】ストリーミング配信システムの構成例を示す図である。

【図24】再生処理および配信処理を説明するフローチャートである。

【図25】プリレンダリングレベルについて説明する図である。

【図26】コンピュータの構成例を示す図である。

【発明を実施するための形態】

【0019】

以下、図面を参照して、本技術を適用した実施の形態について説明する。

【0020】

〈第１の実施の形態〉
〈パネルスピーカシステムについて〉
本技術は、パネル状（板状）の振動板を振動させて音を出力するパネルスピーカを複数組み合わせてなるパネルスピーカシステムに関するものである。

【0021】

特に、本技術では、コンテンツの符号化側においてパネルスピーカの過振幅の発生の有無を検出することで、復号側（再生側）の処理負荷を低減させることができるようにした。

【0022】

また、本技術では、復号側において、過振幅の発生が検出されたパネルスピーカの一部の出力を、そのパネルスピーカに隣接する他のパネルスピーカに配分することで所望の音圧レベルを確保し、高品位な音を再生することができるようにした。

【0023】

それでは、以下、本技術について、より具体的に説明する。

【0024】

図１は、一般的なパネルスピーカシステムにおけるパネル構成の例を示している。

【0025】

パネル構成は、複数のパネルスピーカを並べて配置することにより１つの大きなパネルを形成する場合における、パネルスピーカの個数、つまりパネル枚数、各パネルスピーカの配置位置（配置パターン）、および各パネルスピーカのパネルの大きさや形状などである。

【0026】

図１の矢印Q11に示す例では、３個のパネルスピーカP0、パネルスピーカP1、およびパネルスピーカP2が図中、横方向に隣接して並べられている。

【0027】

また、パネルスピーカP0乃至パネルスピーカP2の各パネル部分により１つのパネルが形成されており、例えばこのパネルが映像を表示する表示パネルとしても機能する。

【0028】

換言すれば、表示パネル全体が縦方向に長い領域に３分割されており、それらの各領域がパネルスピーカP0乃至パネルスピーカP2となっている。

【0029】

特に、この例ではパネルスピーカP0乃至パネルスピーカP2のそれぞれは、左チャンネル、センターチャンネル、および右チャンネルに対応している。したがって、例えばパネルスピーカP0は、左チャンネルの音声信号に基づいて振動し、音を出力する。

【0030】

また、矢印Q12に示す例では、表示パネルが６分割されており、それらの分割された各領域のパネルがパネルスピーカP0乃至パネルスピーカP5とされている。

【0031】

特に、ここではパネルスピーカP0とパネルスピーカP1が左チャンネルに対応し、パネルスピーカP2とパネルスピーカP3がセンターチャンネルに対応し、パネルスピーカP4とパネルスピーカP5が右チャンネルに対応している。

【0032】

さらに、矢印Q13に示す例では、表示パネルが９分割されており、それらの分割された各領域のパネルがパネルスピーカP0乃至パネルスピーカP8とされている。

【0033】

特に、ここではパネルスピーカP0乃至パネルスピーカP2が左チャンネルに対応し、パネルスピーカP3乃至パネルスピーカP5がセンターチャンネルに対応し、パネルスピーカP6乃至パネルスピーカP8が右チャンネルに対応している。

【0034】

なお、図１で示したパネル構成や、各パネル構成におけるパネルスピーカに対するチャンネルの割り当てはあくまで一例であって、パネル構成やチャンネルの割り当ては、どのようなものであってもよい。

【0035】

このように、パネルスピーカシステムでは、様々なパネル構成が可能であるが、テレビの受信装置の仕様および規格はARIB（Association of Radio Industries and Businesses：電波産業会）の標準規格で規定されていることから、パネルスピーカシステムを搭載したテレビのパネル構成も標準規格で規定される可能性がある。

【0036】

したがって、ここでは何種類かのパネル構成と、各パネル構成でのチャンネルの割り当て方法が予め規定されているものとして説明を行う。

【0037】

〈符号化側の信号処理装置の構成例〉
図２は、本技術を適用した符号化側の信号処理装置の構成例を示す図である。

【0038】

図２に示す信号処理装置１１は、例えば映像と音声からなるコンテンツなど、少なくとも音声を含むコンテンツの音声信号を符号化し、その結果得られた符号化データを送信（出力）する符号化装置として機能する。

【0039】

信号処理装置１１は、パネル過振幅検出部２１、コア信号符号化部２２、および多重化部２３を有している。

【0040】

パネル過振幅検出部２１およびコア信号符号化部２２には、コンテンツの音声信号として、マルチチャンネル信号を構成する各チャンネルのチャンネル音声信号が供給される。各チャンネルのチャンネル音声信号は、それらの各チャンネルの音を再生するための音声信号である。

【0041】

パネル過振幅検出部２１は、供給された各チャンネル音声信号に基づいて、予め規定された互いに異なる複数のパネル構成ごとに、各パネルスピーカで過振幅が生じるかを検出し、その検出結果を示す過振幅フラグを多重化部２３に供給する。

【0042】

すなわち、パネル構成ごとに各チャンネルのチャンネル音声信号の出力先となるパネルスピーカが予め定められて（規定されて）いる。

【0043】

パネル過振幅検出部２１では、チャンネル音声信号に基づいてパネルスピーカを駆動したとき、つまりパネルスピーカでチャンネル音声信号に基づく音を再生したときの過振幅の発生の有無が検出される。

【0044】

例えば過振幅フラグの値が「１」である場合、パネルスピーカで過振幅が発生することを示しており、過振幅フラグの値が「０」である場合、パネルスピーカで過振幅は発生しないことを示している。

【0045】

コア信号符号化部２２は、供給された各チャンネル音声信号を所定の音声符号化方式で符号化し、その結果得られた符号化音声信号を多重化部２３に供給する。

【0046】

例えばチャンネル音声信号の音声符号化方式は、標準規格であるARIB STD-B32で規定された音声符号化方式などとされる。

【0047】

なお、コア信号符号化部２２で得られた符号化音声信号を復号し、その結果得られた復号後のチャンネル音声信号をパネル過振幅検出部２１の入力として過振幅の発生の有無を検出するようにしてもよい。そうすれば、より高精度に過振幅を検出することができる。

【0048】

多重化部２３は、パネル過振幅検出部２１から供給された過振幅フラグと、コア信号符号化部２２から供給された符号化音声信号とを所定のフォーマットで多重化し、その結果得られた符号化データを、復号側の装置に送信する。

【0049】

〈符号化データのフォーマット例〉
ここで、多重化部２３で得られる符号化データのフォーマット例について説明する。符号化データは、例えば図３に示すフォーマットで多重化される。

【0050】

図３の例では、文字「audio_encoded_data()」は、所定のオーディオフレームの符号化データを示しており、文字「encoded_channel_data()」は、所定の音声符号化方式で符号化された、１オーディオフレーム分の符号化音声信号を示している。

【0051】

また、文字「Number_of_PanelConfig」は、予め規定されているパネル構成のパターン数を示しており、文字「Num_of_SubPanels[i]」は、i番目のパネル構成パターンにおける構成パネルの枚数、つまりパネルスピーカ数を示している。

【0052】

さらに文字「Panel_Control_Flag[i][k]」は、i番目のパネル構成パターンにおけるk番目のパネルスピーカの過振幅フラグを示しており、過振幅フラグは１ビットで表現される。

【0053】

このように信号処理装置１１では、オーディオフレーム（以下、単にフレームと称する）ごとに符号化音声信号と過振幅フラグが多重化されて符号化データとされ、復号側の装置へと伝送される。

【0054】

また、各フレームでは予め規定された複数のパネル構成ごとに、それらのパネル構成の各パネルスピーカでチャネル音声信号に基づく音を再生したときに、過振幅が発生するか否かを示す過振幅フラグが各パネルスピーカについて生成される。

【0055】

〈符号化処理の説明〉
続いて、信号処理装置１１の動作について説明する。

【0056】

すなわち、以下、図４のフローチャートを参照して、信号処理装置１１により行われる符号化処理について説明する。この符号化処理は、信号処理装置１１に１フレーム分のチャンネル音声信号が供給されると開始される。

【0057】

ステップＳ１１においてパネル過振幅検出部２１は、供給された各チャンネル音声信号に基づいて、予め規定されたパネル構成ごとに、各パネルスピーカにおいて過振幅が生じるかを検出する。

【0058】

例えば上述したように、予め複数のパネル構成が定められており、各パネル構成において、どのパネルスピーカにどのチャンネルが割り当てられるか、つまりどのパネルスピーカにどのチャンネルのチャンネル音声信号が供給されるかも予め定められている。

【0059】

ここで、所定のパネル構成のときの１つのパネルスピーカに注目すると、そのパネルスピーカに供給されるチャンネル音声信号の信号レベルが同じであっても、パネルスピーカの共振周波数付近ではパネルスピーカのパネル（振動板）は、より大きく振動する。

【0060】

そこでパネル過振幅検出部２１では、予め規定されたパネル構成ごとに用意された、そのパネル構成での各パネルスピーカの振幅特性が用いられて、チャンネル音声信号からパネルスピーカの振幅が予測（推定）される。

【0061】

具体的には、例えばパネル過振幅検出部２１は、パネル構成ごとに、各パネルスピーカの振幅特性を近似した振幅予測フィルタを予め保持している。

【0062】

パネル過振幅検出部２１は、保持している振幅予測フィルタにより、パネルスピーカに供給されるチャンネル音声信号に対してフィルタリング処理を行うことで、そのパネルスピーカでチャンネル音声信号に基づく音を再生したときのパネルスピーカの振幅値を予測する。

【0063】

そして、パネル過振幅検出部２１は、予測により得られたパネルスピーカの振幅値（以下、予測振幅値とも称する）が所定の上限値を超えた場合、つまり予測振幅値が上限値よりも大きい場合、過振幅が発生すると判定し、値が「１」である過振幅フラグを生成する。

【0064】

これに対してパネル過振幅検出部２１は、パネルスピーカの予測振幅値が上述の上限値以下である場合、過振幅は発生しないとして、値が「０」である過振幅フラグを生成する。

【0065】

パネル過振幅検出部２１は、このようにしてパネル構成ごとに、各パネルスピーカについて過振幅フラグを生成すると、それらの過振幅フラグを多重化部２３に供給する。

【0066】

なお、パネルスピーカの振幅値が同じであっても、そのパネルスピーカを構成する、振動板としても表示部としても機能するパネルに表示される映像が暗いと、その映像の揺れや歪みがより目立つことになる。

【0067】

そこで、例えばパネルスピーカのパネル部分に表示される映像（画像）の輝度値と、パネルスピーカの振幅特性（例えば、振幅の最大値）とに基づいて、パネルスピーカの振幅の上限値を動的に定めるようにしてもよい。

【0068】

ステップＳ１２においてコア信号符号化部２２は、供給された各チャンネル音声信号を所定の音声符号化方式で符号化し、その結果得られた符号化音声信号を多重化部２３に供給する。

【0069】

ステップＳ１３において多重化部２３は、パネル過振幅検出部２１から供給された過振幅フラグと、コア信号符号化部２２から供給された符号化音声信号とを所定のフォーマットで多重化する。これにより、例えば図３に示した符号化データが得られる。

【0070】

ステップＳ１４において多重化部２３は、ステップＳ１３の処理で得られた符号化データを復号側の装置に送信し、符号化処理は終了する。

【0071】

なお、符号化データは、有線または無線により復号側の装置に送信される他、例えばリムーバブル記録媒体等に出力されて記録されたり、所定のコンテンツ配信サーバ等に供給されたりしてもよい。

【0072】

以上のようにして信号処理装置１１は、パネル構成ごとに各パネルスピーカでの過振幅の発生の有無を検出し、その検出結果を示す過振幅フラグを生成する。そして、信号処理装置１１は、過振幅フラグと符号化音声信号とを多重化し、符号化データとする。

【0073】

このように符号化側である信号処理装置１１で過振幅の検出を行うことで、復号側の装置における処理負荷を低減させることができる。

【0074】

また、生成した過振幅フラグを符号化音声信号とともに復号側の装置に送信することで、復号側においてはどのパネルスピーカで過振幅が発生するかを把握することができる。

【0075】

したがって、復号側では、過振幅が発生するパネルスピーカに供給される音声信号の一部、すなわち音声信号に基づく音の音圧レベルの一部を隣接する他のパネルスピーカに配分することで十分な音圧レベルを確保し、高品位な音を再生することができるようになる。

【0076】

〈復号側の信号処理装置の構成例〉
続いて、符号化側の信号処理装置１１から送信された符号化データを受信して復号する、復号側の信号処理装置について説明する。

【0077】

そのような復号側の信号処理装置は、例えば図５に示すように構成される。

【0078】

図５に示す信号処理装置５１は、信号処理装置１１から送信された符号化データを受信して復号する復号装置として機能するとともに、パネルスピーカ５２－１乃至パネルスピーカ５２－Ｎとサブウーハ５３に対して出力信号を供給して音を出力させる再生制御装置としても機能する。

【0079】

パネルスピーカ５２－１乃至パネルスピーカ５２－Ｎおよびサブウーハ５３は、パネルスピーカシステムを構成し、例えばテレビなど、映像と音声を再生する再生装置に設けられている。

【0080】

例えばパネルスピーカ５２－１乃至パネルスピーカ５２－Ｎを構成する各パネルは、スピーカの振動板としても機能するとともに、コンテンツの映像を表示する表示パネルとしても機能する。

【0081】

この場合、パネルスピーカ５２－１乃至パネルスピーカ５２－Ｎの各パネルは、タイル状に並べられて１つの大きな表示パネルとして機能する。パネルスピーカ５２－１乃至パネルスピーカ５２－Ｎの各パネルの大きさや配置、パネル枚数などは、予め定められた複数のパネル構成のうちの何れかのパネル構成のものと同じとなっている。

【0082】

なお、以下、パネルスピーカ５２－１乃至パネルスピーカ５２－Ｎを特に区別する必要のない場合、単にパネルスピーカ５２とも称する。

【0083】

サブウーハ５３は、パネルスピーカ５２で出力される音よりも低い周波数帯域の音を再生するスピーカであり、信号処理装置５１から供給された出力信号に基づいて音を出力する。

【0084】

なお、ここでは信号処理装置５１と、パネルスピーカ５２およびサブウーハ５３からなるパネルスピーカシステムとが異なる装置である例について説明する。しかし、これらの信号処理装置５１、パネルスピーカ５２、およびサブウーハ５３は、テレビなどの１つの再生装置に設けられていてもよい。

【0085】

信号処理装置５１は、非多重化部６１、コア信号復号部６２、およびパネル出力調整部６３を有している。

【0086】

非多重化部６１は、信号処理装置１１の多重化部２３により送信された符号化データを受信するとともに、受信した符号化データを非多重化し、符号化データから過振幅フラグおよび符号化音声信号を抽出する。

【0087】

非多重化部６１は、非多重化により得られた各パネル構成の過振幅フラグのうち、パネルスピーカ５２のパネル構成の過振幅フラグをパネル出力調整部６３に供給するとともに、非多重化により得られた符号化音声信号をコア信号復号部６２に供給する。

【0088】

コア信号復号部６２は、非多重化部６１から供給された、マルチチャンネル信号の各チャンネルの符号化音声信号を、コア信号符号化部２２での音声符号化方式に対応する復号方式で復号し、その結果得られたチャンネル音声信号をパネル出力調整部６３に供給する。

【0089】

パネル出力調整部６３は、非多重化部６１から供給された過振幅フラグと、コア信号復号部６２から供給されたチャンネル音声信号に基づいて、各パネルスピーカ５２およびサブウーハ５３に供給する、パネルスピーカ５２のパネル構成に応じた出力信号を調整する。

【0090】

パネル出力調整部６３は、配分ゲイン計算部７１およびパネル出力制御部７２を有している。

【0091】

配分ゲイン計算部７１は、非多重化部６１から供給された過振幅フラグと、コア信号復号部６２から供給されたチャンネル音声信号とに基づいて、過振幅が生じるパネルスピーカ５２に供給されるチャンネル音声信号の一部を他のパネルスピーカ５２やサブウーハ５３へと配分するときの配分ゲインを示す配分ゲイン情報を生成する。

【0092】

換言すれば、配分ゲイン計算部７１は、過振幅が生じるチャンネルのチャンネル音声信号の配分先のパネルスピーカ５２やサブウーハ５３と、その配分時の配分ゲインとを決定し、その結果を示す配分ゲイン情報を生成する。

【0093】

配分ゲイン計算部７１は、生成した配分ゲイン情報とともに過振幅フラグをパネル出力制御部７２へと供給する。

【0094】

なお、以下、過振幅が発生するパネルスピーカ、つまりチャンネル音声信号の配分元となるパネルスピーカを配分元パネルスピーカとも称し、チャンネル音声信号の配分先のパネルスピーカを配分先パネルスピーカとも称することとする。

【0095】

また、以下、配分元パネルスピーカに隣接して設けられたパネルスピーカを、隣接パネルスピーカとも称することとする。

【0096】

パネル出力制御部７２は、コア信号復号部６２から供給されたチャンネル音声信号と、配分ゲイン計算部７１から供給された過振幅フラグおよび配分ゲイン情報とに基づいて、各パネルスピーカ５２およびサブウーハ５３に供給する音声信号である出力信号を生成する。

【0097】

パネル出力制御部７２は、パネルスピーカ５２やサブウーハ５３ごとに出力信号を生成すると、生成したそれらの出力信号をパネルスピーカ５２およびサブウーハ５３に供給し、コンテンツの音を再生させる。

【0098】

〈配分先と配分ゲインの決定について〉
ここで、配分ゲイン計算部７１とパネル出力制御部７２で行われる処理、すなわち配分先のパネルスピーカ５２やサブウーハ５３の決定と、配分ゲインの計算、出力信号の生成について説明する。

【0099】

例えば、所定のチャンネルCH1に対応するパネルスピーカ５２の過振幅フラグの値が「０」である場合、つまり過振幅が発生しない場合、予め規定された方法に従って、そのチャンネルCH1のチャンネル音声信号が、対応するパネルスピーカ５２にそのまま振り分けられる。

【0100】

この場合、チャンネルCH1のチャンネル音声信号が、そのままチャンネルCH1に対応するパネルスピーカ５２に供給される出力信号とされる。

【0101】

換言すれば、チャンネルCH1のチャンネル音声信号は、そのチャンネルCH1に対応するパネルスピーカ５２に隣接する他のパネルスピーカ５２やサブウーハ５３には配分されない。したがって、この場合、チャンネルCH1のチャンネル音声信号の配分ゲインの計算は行われない。

【0102】

これに対して、所定のチャンネルCH1に対応するパネルスピーカ５２の過振幅フラグの値が「１」であり、過振幅が発生する場合には、そのチャンネルCH1のチャンネル音声信号の音圧レベルの一部が、チャンネルCH1に対応するパネルスピーカ５２に隣接する他のパネルスピーカ５２やサブウーハ５３に配分される。

【0103】

そして、配分先のパネルスピーカ５２やサブウーハ５３へのチャンネルCH1のチャンネル音声信号（音圧レベル）の配分量を示す配分ゲインが計算される。

【0104】

この場合、チャンネルCH1に対応するパネルスピーカ５２と、配分先とされたパネルスピーカ５２やサブウーハ５３とがチャンネルCH1のチャンネル音声信号の出力先として決定されたことになる。

【0105】

配分ゲインは、配分先とされたパネルスピーカ５２やサブウーハ５３にチャンネルCH1のチャンネル音声信号を出力（配分）するときの、そのチャンネルCH1のチャンネル音声信号のゲインである。

【0106】

例えば図６に示すように、９個のパネルスピーカ５２が設けられているとする。

【0107】

図６では、文字「P0」乃至「P8」が記された図中の各四角形が１つのパネルスピーカ５２を表している。以下では、文字「Pi」（但し、i＝0,1,…,8）が記された四角形により表されるパネルスピーカ５２をパネルスピーカPiとも称することとする。

【0108】

いま、パネルスピーカP0の過振幅フラグが「１」であり、パネルスピーカP0で過振幅が発生するとする。

【0109】

この場合、もともとパネルスピーカP0に供給されるチャンネル音声信号の音圧レベルの一部が、そのパネルスピーカP0に隣接するパネルスピーカP1、パネルスピーカP3、パネルスピーカP4や、サブウーハ５３に配分される。

【0110】

基本的には、配分元パネルスピーカのチャンネル音声信号の音圧レベルの一部が配分される場合、隣接パネルスピーカのうち、過振幅フラグが「０」である隣接パネルスピーカが配分先として決定（選択）される。

【0111】

しかし、例えば過振幅フラグが「０」である隣接パネルスピーカのうち、配分元パネルスピーカのチャンネルと同じチャンネルの隣接パネルスピーカに対して優先的に音圧レベルの配分が行われるようにしてもよい。

【0112】

また、この例では音圧レベルの一部が隣接パネルスピーカに対して配分される。そのため、あるチャンネルでは、配分元のパネルスピーカだけでなく、配分先のパネルスピーカからもそのチャンネルの音が出力されることになるので、音像の定位位置に微小なずれが生じてしまう。

【0113】

しかし、この例では再生対象となる音声信号は、各チャンネルのチャンネル音声信号であるため、そのような音像定位位置の微小なずれは聴取者に知覚されることはないので、コンテンツの音の音像感を損ねることはない。

【0114】

ここで、配分先パネルスピーカにチャンネル音声信号の音圧レベルの一部を配分する具体的な方法の例について説明する。

【0115】

例えば、対応するチャンネルのチャンネル音声信号に基づいて駆動したときの、つまりチャンネル音声信号に基づいて音を出力したときのパネルスピーカ５２の振幅が図７に示すようになっているとする。

【0116】

なお、図７において横軸には各パネルスピーカ５２が示されており、縦軸はパネルスピーカ５２の振幅値、より詳細には予測振幅値を示している。

【0117】

この例では、パネルスピーカP0乃至パネルスピーカP4の予測振幅値は、それぞれy₀乃至y₄となっており、振幅値の上限値がy_Tとされている。

【0118】

したがって、パネルスピーカP0では予測振幅値y₀が上限値y_Tを超えているので過振幅が発生するが、他のパネルスピーカP1、パネルスピーカP3、およびパネルスピーカP4では、予測振幅値y₁、予測振幅値y₃、および予測振幅値y₄は上限値y_T以下であるので過振幅は発生しない。

【0119】

ここでは、パネルスピーカP0において過振幅が発生するので、予測振幅値y₀における上限値y_Tを超える分の出力レベル（音圧レベル）が、隣接するパネルスピーカP1、パネルスピーカP3、およびパネルスピーカP4に配分される。

【0120】

隣接パネルスピーカへの音圧レベルの配分にあたっては、図中の矢印により表されるように、例えば配分先パネルスピーカにおける振幅値の上限値までの余裕（余剰）、すなわち上限値y_Tと予測振幅値との差分に比例して出力レベルが配分される。

【0121】

また、その際、配分先のパネルスピーカ５２において過振幅が生じないように、つまり配分後の最終的な予測振幅値が上限値y_Tを超えないように配分が行われる。

【0122】

さらに、隣接するパネルスピーカ５２へとチャンネル音声信号の音圧レベルを配分するときに、配分元のパネルスピーカ５２と配分先のパネルスピーカ５２でのゲイン（配分ゲイン）の和が１となるようにされる。換言すれば、各チャンネルの音圧レベルが変化しないようになされる。

【0123】

しかし、配分先パネルスピーカ５２で過振幅が生じないようにすると、配分ゲインの和が１となるようにすることができない、つまり１未満となることがある。そのようなときには、残りの音圧レベルはサブウーハ５３に配分される。

【0124】

以上で説明した音圧レベルの配分の具体的な計算例を以下に示す。

【0125】

ここでは、パネルスピーカP0において過振幅が発生するものとする。

【0126】

いま、例えばパネルスピーカP0に供給されるチャンネル音声信号をx₀とし、次式（１）に示すように、チャンネル音声信号x₀に所定のゲインg₀を乗算してゲイン補正を行うことで得られる信号がパネルスピーカP0の出力信号x₀’とされることとする。

【0127】

【数1】

【0128】

なお、以下では、ゲインg₀のように、配分元のパネルスピーカ５２に供給される出力信号を生成するためのゲインも配分ゲインと称することとする。

【0129】

式（１）で示されるパネルスピーカP0の配分ゲインg₀は、例えば次式（２）に示すように、上限値y_TとパネルスピーカP0の予測振幅値y₀との比を計算することで、求めることができる。このように配分ゲインg₀を定めることで、パネルスピーカP0の振幅値は上限値y_Tとなる。

【0130】

【数2】

【0131】

また、パネルスピーカP0についての音圧レベルの配分先パネルスピーカPi（但し、i＝1,3,4）の音圧レベル配分前の出力信号、つまり配分先パネルスピーカPiに対応するチャンネルのチャンネル音声信号をx_iとし、配分先パネルスピーカPiへの配分ゲインをα_iとする。この場合、配分先パネルスピーカPiに供給される、音圧レベル配分後の最終的な出力信号x_i’は次式（３）に示すようになる。

【0132】

【数3】

【0133】

なお、式（３）において、Sは音圧レベルを配分可能な隣接パネルスピーカの集合を表しており、隣接パネルスピーカのうちの過振幅フラグが「１」であるものは集合Sから除外されている。

【0134】

式（３）では、過振幅が生じるパネルスピーカP0のチャンネル音声信号x₀に、配分先パネルスピーカPiの配分ゲインα_iを乗算して得られる信号、つまりチャンネル音声信号x₀を配分ゲインα_iによりゲイン補正して得られる信号α_ix₀が、配分先パネルスピーカPiへと配分された分の信号となっている。

【0135】

そして、その信号α_ix₀とチャンネル音声信号x_iとの和が、最終的な配分先パネルスピーカPiの出力信号x_i’とされる。

【0136】

例えば、チャンネル音声信号x₀が所定のチャンネルCH0の音を再生するための信号であり、チャンネル音声信号x_iがチャンネルCH1の音を再生するための信号であるとする。

【0137】

このとき、パネルスピーカPiが出力信号x_i’に基づいて音を出力すると、パネルスピーカPiからは、チャンネルCH1の音と、配分ゲインα_iの分だけのチャンネルCH0の音とが出力されることになる。

【0138】

つまり、もともとはパネルスピーカP0のみにより再生されることになっていたチャンネルCH0の音が、そのパネルスピーカP0と配分先パネルスピーカPiによって再生されることになる。なお、パネル構成によっては、チャンネル音声信号x₀とチャンネル音声信号x_iが同じチャンネルの信号であることもある。

【0139】

このようにすることで、パネルスピーカP0での過振幅の発生を防止しつつ十分な音圧レベルを確保し、高品位な音声再生を実現することができる。

【0140】

配分ゲイン計算部７１では、このような配分ゲインg₀と配分ゲインα_iを求める計算が行われるが、その際に配分先パネルスピーカで振幅値が上限値y_Tを超えないように、配分ゲインα_iの最大値α_i ^MAXが以下の式（４）に示すようにして定められる。

【0141】

【数4】

【0142】

式（４）においてy_iは配分先パネルスピーカPiのもともとの予測振幅値を示している。したがって、この例では配分先パネルスピーカPiの予測振幅値y_iと、配分元のパネルスピーカP0の予測振幅値y₀と、上限値y_Tとに基づいて最大値α_i ^MAXが定められる。

【0143】

なお、上述した式（１）や式（４）では、各予測振幅値は、実際のチャンネル音声信号から、振幅予測フィルタなどを用いて求めればよい。

【0144】

このようにして各配分先パネルスピーカPiの配分ゲインα_iの最大値α_i ^MAXが求められると、各配分先パネルスピーカPiの最大値α_i ^MAXと配分ゲインg₀とに基づいて、次式（５）の計算により各配分先パネルスピーカPiの配分ゲインα_iが求められる。

【0145】

【数5】

【0146】

このようにして配分ゲインα_iを求めることは、各配分先パネルスピーカPiにおける振幅の余裕（余剰）、すなわち予測振幅値y_iと上限値y_Tとの差分の大きさに比例して、各配分先パネルスピーカPiに音圧レベルを配分することを意味している。

【0147】

また、次式（６）に示すように全配分ゲインの和が１となるように、つまり次式（６）が満たされるようにされる。

【0148】

【数6】

【0149】

但し、配分ゲインα_iが最大値α_i ^MAXを超えてしまう場合には、その配分ゲインα_iは、次式（７）に示すように最大値α_i ^MAXとされ、さらにその最大値α_i ^MAXを超えてしまう分の音圧レベルがサブウーハ５３へと配分される。すなわち、以下の式（８）に示すβがサブウーハ５３の配分ゲインとして求められる。

【0150】

【数7】

【0151】

【数8】

【0152】

このように適宜、サブウーハ５３へと音圧レベルを配分すると、全配分ゲインの和は１となる。このように全配分ゲインの和が１となるようにすることで、配分前と同じ音圧レベルを確保することができる。すなわち、音圧レベルが低下してしまうことはない。

【0153】

なお、サブウーハ５３に配分ゲインβでチャンネル音声信号x₀の音圧レベルが配分された場合、サブウーハ５３の最終的な出力信号x_SW ^’は次式（９）に示すようになる。

【0154】

【数9】

【0155】

式（９）においてx_SWは、もともとサブウーハ５３に割り当てられたチャンネル音声信号、つまりサブウーハ５３に対応するチャンネルのチャンネル音声信号を示している。

【0156】

なお、隣接パネルスピーカのなかに、過振幅フラグが「０」であるものがない場合には、配分元パネルスピーカのチャンネル音声信号の配分先はサブウーハ５３のみとなる。

【0157】

以上のように過振幅フラグとチャンネル音声信号に基づいて音圧レベルを配分する処理は、各チャンネル音声信号について過振幅の発生の有無を検出し、その検出結果に応じて過振幅が発生しないように振幅制御を行う処理と比較すると、少ない処理負荷（処理量）で実現することが可能である。特に、チャンネル数が多くなるほど、その処理負荷の差は多くなる。

【0158】

また、符号化側である信号処理装置１１で過振幅フラグを生成するようにしたので、復号側である信号処理装置５１では、過振幅を検出するためのバッファリング等を行う必要がなくなるので、バッファリング等による再生遅延も生じることがない。

【0159】

〈復号処理の説明〉
続いて、信号処理装置５１の動作について説明する。

【0160】

すなわち、以下、図８のフローチャートを参照して、信号処理装置５１により行われる復号処理について説明する。この復号処理は、信号処理装置５１の非多重化部６１により１フレーム分の符号化データが受信されると開始される。

【0161】

ステップＳ４１において非多重化部６１は、受信した符号化データを非多重化し、得られた過振幅フラグを配分ゲイン計算部７１に供給するとともに、得られた符号化音声信号をコア信号復号部６２に供給する。

【0162】

ステップＳ４２においてコア信号復号部６２は、非多重化部６１から供給された符号化音声信号をコア信号符号化部２２での音声符号化方式に対応する復号方式で復号し、得られたチャンネル音声信号を配分ゲイン計算部７１およびパネル出力制御部７２に供給する。

【0163】

ステップＳ４３において配分ゲイン計算部７１は、非多重化部６１から供給された過振幅フラグと、コア信号復号部６２から供給されたチャンネル音声信号とに基づいて、過振幅が生じるパネルスピーカ５２についての配分ゲインを計算する。

【0164】

例えば配分ゲイン計算部７１は、過振幅フラグの値が「１」であるパネルスピーカ５２について、上述した式（２）と同様の計算を行い、そのパネルスピーカ５２の配分ゲインg₀を算出する。

【0165】

また、配分ゲイン計算部７１は、配分元となるパネルスピーカ５２に隣接する、過振幅フラグの値が「０」である隣接パネルスピーカ５２について上述した式（５）を計算することで、配分先パネルスピーカ５２の配分ゲインα_iを算出する。

【0166】

なお、このとき配分ゲインα_iが最大値α_i ^MAXを超えてしまうものについては、配分ゲイン計算部７１は、式（７）に示すように最大値α_i ^MAXを最終的な配分ゲインα_iの値とする。

【0167】

さらに、配分ゲイン計算部７１は上述の式（６）が満たされない場合には、サブウーハ５３も配分先として決定し、式（８）を計算してサブウーハ５３の配分ゲインβを求める。

【0168】

このようにして配分ゲインを求めると、配分ゲイン計算部７１は、求めた配分ゲインを示す配分ゲイン情報と、過振幅フラグとをパネル出力制御部７２に供給する。

【0169】

ステップＳ４４においてパネル出力制御部７２は、コア信号復号部６２から供給されたチャンネル音声信号と、配分ゲイン計算部７１から供給された過振幅フラグおよび配分ゲイン情報とに基づいて、パネルスピーカ５２およびサブウーハ５３の出力信号を生成する。

【0170】

例えばパネル出力制御部７２は、過振幅フラグが「１」であるパネルスピーカ５２については、上述した式（１）と同様の計算を行うことで、そのパネルスピーカ５２に供給する出力信号を生成する。

【0171】

また、例えばパネル出力制御部７２は、過振幅フラグが「０」であり、かつチャンネル音声信号の配分先となっているパネルスピーカ５２については、式（３）と同様の計算を行うことで、そのパネルスピーカ５２に供給する出力信号を生成する。

【0172】

一方、パネル出力制御部７２は、過振幅フラグが「０」であり、かつチャンネル音声信号の配分先となっていないパネルスピーカ５２については、対応するチャンネルのチャンネル音声信号をそのままパネルスピーカ５２に供給する出力信号とする。

【0173】

さらに、パネル出力制御部７２は、サブウーハ５３がチャンネル音声信号の配分先となっている場合には、上述の式（９）と同様の計算を行って出力信号を生成し、サブウーハ５３がチャンネル音声信号の配分先となっていない場合には、対応するチャンネルのチャンネル音声信号をそのままサブウーハ５３に供給する出力信号とする。

【0174】

パネル出力制御部７２は、全てのパネルスピーカ５２およびサブウーハ５３について出力信号が得られると、得られた各出力信号をパネルスピーカ５２およびサブウーハ５３に供給し、各チャンネルの音声、すなわちコンテンツの音を再生させる。

【0175】

このようにしてコンテンツの音が再生されると、復号処理は終了する。

【0176】

以上のようにして信号処理装置５１は、過振幅フラグとチャンネル音声信号に基づいて配分ゲインを求め、各パネルスピーカ５２やサブウーハ５３の最終的な出力信号を生成する。換言すれば、過振幅フラグやチャンネル音声信号に基づいて、各パネルスピーカ５２やサブウーハ５３に供給する出力信号を調整（決定）する。このようにすることで、少ない処理負荷で高品位な音を再生することができる。

【0177】

〈第２の実施の形態〉
〈符号化側の信号処理装置の構成例〉
ところで、以上においては符号化側において過振幅フラグを生成し、復号側において、その過振幅フラグに基づいて配分ゲインを計算していたが、配分ゲインの計算も符号化側で行うようにしてもよい。そうすることで、復号側における処理負荷と再生時の遅延をさらに低減させることができるようになる。

【0178】

符号化側で配分ゲインを計算する場合、符号化側の信号処理装置１１は、例えば図９に示すように構成される。なお、図９において図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

【0179】

図９に示す信号処理装置１１は、パネル過振幅検出部２１、コア信号符号化部２２、コア信号復号部１０１、配分ゲイン計算部１０２、および多重化部２３を有している。

【0180】

図９に示す信号処理装置１１の構成は、新たにコア信号復号部１０１および配分ゲイン計算部１０２が設けられた点で図２の信号処理装置１１の構成と異なり、その他の点では図２の信号処理装置１１と同様の構成となっている。

【0181】

コア信号復号部１０１および配分ゲイン計算部１０２は、信号処理装置５１のコア信号復号部６２および配分ゲイン計算部７１に対応している。

【0182】

コア信号復号部１０１は、コア信号符号化部２２から供給された符号化音声信号を、コア信号符号化部２２での音声符号化方式に対応する復号方式で復号し、その結果得られた復号音声信号をパネル過振幅検出部２１および配分ゲイン計算部１０２に供給する。コア信号復号部１０１では、いわゆる局所復号（ローカルデコード）が行われる。

【0183】

パネル過振幅検出部２１は、コア信号復号部１０１から供給された各チャンネルの復号音声信号に基づいて過振幅フラグを生成し、配分ゲイン計算部１０２および多重化部２３に供給する。

【0184】

配分ゲイン計算部１０２は、コア信号復号部１０１から供給された復号音声信号と、パネル過振幅検出部２１から供給された過振幅フラグとに基づいて配分ゲイン情報を生成し、多重化部２３に供給する。

【0185】

多重化部２３は、コア信号符号化部２２からの符号化音声信号、パネル過振幅検出部２１からの過振幅フラグ、および配分ゲイン計算部１０２からの配分ゲイン情報を多重化し、符号化データを生成する。

【0186】

〈符号化データのフォーマット例〉
符号化データに配分ゲイン情報、すなわち配分ゲインが含まれる場合、符号化データは、例えば図１０に示すフォーマットで多重化される。

【0187】

図１０に示す例では、文字「audio_encoded_data()」は、所定フレームの符号化データを示しており、文字「encoded_channel_data()」は、所定の音声符号化方式で符号化された、１フレーム分の符号化音声信号を示している。

【0188】

また、文字「Number_of_PanelConfig」は、予め規定されているパネル構成のパターン数を示しており、文字「Num_of_SubPanels[i]」は、i番目のパネル構成パターンにおける構成パネルの枚数（パネルスピーカ数）を示している。

【0189】

さらに文字「Panel_Control_Flag[i][k]」は、i番目のパネル構成パターンにおけるk番目のパネルスピーカの過振幅フラグを示しており、過振幅フラグは１ビットで表現される。

【0190】

また、過振幅フラグ「Panel_Control_Flag[i][k]」の値が「１」である場合には、文字「Panel_Gain[p]」により示される配分先パネルスピーカの配分ゲインと、文字「Panel_Gain_SubWf」により示されるサブウーハの配分ゲインとが格納されている。ここでは、各配分ゲインは３ビットで量子化されて表現される。なお、この例では、実際には配分先パネルスピーカとなっていないパネルスピーカの配分ゲインも格納されており、その配分ゲインは「０」とされるが、実際に配分先パネルスピーカとされたパネルスピーカについてのみ配分ゲインが格納されるようにしてもよい。

【0191】

配分先パネルスピーカの配分ゲイン「Panel_Gain[p]」において、pは隣接パネルスピーカ、すなわち配分先パネルスピーカを特定するためのインデックス（番号）となっている。

【0192】

隣接パネルスピーカの数は、配分元パネルスピーカから見て上下左右の各方向に隣接するものと、斜め方向に隣接するものとを含めて最大で８個となるので、インデックスpは０から７までの値となっている。

【0193】

各インデックスpにより示される隣接パネルスピーカと、配分元パネルスピーカとの相対的な位置関係は、例えば図１１に示すように予め定められている。

【0194】

図１１の例では、各四角形は１つのパネルスピーカを表している。特に図中、中央に配置されている四角形が配分元のパネルスピーカを表しており、その周囲に配置された四角形内の数値はインデックスpの値を示している。

【0195】

したがって、例えばインデックスp＝6により示される隣接パネルスピーカは、配分元パネルスピーカの図中、下側に配置されたパネルスピーカであり、インデックスp＝4により示される隣接パネルスピーカは、配分元パネルスピーカの図中、右側に配置されたパネルスピーカである。また、例えばインデックスp＝7により示される隣接パネルスピーカは、配分元パネルスピーカの図中、右斜め下に配置されたパネルスピーカである。

【0196】

〈符号化処理の説明〉
続いて、図９に示した信号処理装置１１の動作について説明する。

【0197】

すなわち、以下、図１２のフローチャートを参照して、図９の信号処理装置１１により行われる符号化処理について説明する。

【0198】

なお、ステップＳ７１の処理は、図４のステップＳ１２の処理と同様であるので、その説明は省略する。但し、ステップＳ７１では、符号化により得られた符号化音声信号が、コア信号符号化部２２から多重化部２３およびコア信号復号部１０１に供給される。

【0199】

ステップＳ７２においてコア信号復号部１０１は、コア信号符号化部２２から供給された符号化音声信号を復号し、その結果得られた復号音声信号をパネル過振幅検出部２１および配分ゲイン計算部１０２に供給する。

【0200】

ステップＳ７３においてパネル過振幅検出部２１は、コア信号復号部１０１から供給された各チャンネルの復号音声信号に基づいて過振幅が生じるかを検出して過振幅フラグを生成し、配分ゲイン計算部１０２および多重化部２３に供給する。なお、ステップＳ７３では、図４のステップＳ１１と同様の処理が行われる。

【0201】

ステップＳ７４において配分ゲイン計算部１０２は、コア信号復号部１０１から供給された復号音声信号と、パネル過振幅検出部２１から供給された過振幅フラグとに基づいて配分ゲインを計算し、その計算結果を示す配分ゲイン情報を多重化部２３に供給する。

【0202】

ステップＳ７４では、図８のステップＳ４３と同様の処理が行われて、予め規定されたパネル構成ごとに、過振幅フラグが「１」である各パネルスピーカについて配分先パネルスピーカやサブウーハの配分ゲインが計算される。

【0203】

ステップＳ７５において多重化部２３は、コア信号符号化部２２からの符号化音声信号、パネル過振幅検出部２１からの過振幅フラグ、および配分ゲイン計算部１０２からの配分ゲイン情報を多重化し、符号化データを生成する。例えばステップＳ７５では、図１０に示したフォーマットの符号化データが生成される。

【0204】

符号化データが生成されると、ステップＳ７６において多重化部２３は、符号化データを復号側の信号処理装置５１に送信し、符号化処理は終了する。

【0205】

以上のようにして信号処理装置１１は、過振幅フラグおよび配分ゲイン情報を生成し、それらの過振幅フラグおよび配分ゲイン情報と、符号化音声信号とを多重化して符号化データを生成する。このようにすることで、復号側の処理負荷を低減させつつ高品位な音を再生することができるようになる。

【0206】

〈復号側の信号処理装置の構成例〉
また、図９に示した符号化側の信号処理装置１１から送信された符号化データを受信して復号する、復号側の信号処理装置は、例えば図１３に示すように構成される。

【0207】

なお、図１３において図５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

【0208】

信号処理装置５１は、非多重化部６１、コア信号復号部６２、およびパネル出力調整部６３を有しており、また、パネル出力調整部６３はパネル出力制御部７２を有している。

【0209】

図１３に示す信号処理装置５１の構成は、配分ゲイン計算部７１が設けられていない点で図５に示した信号処理装置５１の構成と異なっており、その他の点では図５の信号処理装置５１と同じ構成となっている。

【0210】

図１３の例では、非多重化部６１は、非多重化により符号化データから抽出された過振幅フラグおよび配分ゲイン情報をパネル出力制御部７２に供給する。

【0211】

パネル出力制御部７２は、非多重化部６１から供給された過振幅フラグおよび配分ゲイン情報と、コア信号復号部６２から供給されたチャンネル音声信号とに基づいて、各パネルスピーカ５２およびサブウーハ５３に供給する出力信号を調整する。

【0212】

換言すれば、パネル出力制御部７２は、過振幅フラグ、配分ゲイン情報、およびチャンネル音声信号に基づいて、各パネルスピーカ５２やサブウーハ５３に供給する出力信号を生成する。

【0213】

〈復号処理の説明〉
続いて、信号処理装置５１の動作について説明する。

【0214】

すなわち、以下、図１４のフローチャートを参照して、図１３の信号処理装置５１により行われる復号処理について説明する。

【0215】

ステップＳ１０１において非多重化部６１は、受信した符号化データを非多重化し、得られた過振幅フラグおよび配分ゲイン情報をパネル出力制御部７２に供給するとともに、得られた符号化音声信号をコア信号復号部６２に供給する。

【0216】

ステップＳ１０２においてコア信号復号部６２は、非多重化部６１から供給された符号化音声信号を復号し、得られたチャンネル音声信号をパネル出力制御部７２に供給する。

【0217】

ステップＳ１０３においてパネル出力制御部７２は、非多重化部６１から供給された過振幅フラグおよび配分ゲイン情報と、コア信号復号部６２から供給されたチャンネル音声信号とに基づいて出力信号を生成する。

【0218】

なお、ステップＳ１０３では、図８のステップＳ４４と同様の処理が行われ、各パネルスピーカ５２およびサブウーハ５３に供給する出力信号が生成される。

【0219】

このようにして出力信号が生成されると、パネル出力制御部７２は、各出力信号をパネルスピーカ５２およびサブウーハ５３に供給してコンテンツの音を再生させ、復号処理は終了する。

【0220】

以上のようにして信号処理装置５１は、過振幅フラグや配分ゲイン情報に基づいて各パネルスピーカ５２やサブウーハ５３に供給する出力信号を生成する。このようにすることで、少ない処理負荷で高品位な音を再生することができる。

【0221】

以上のような第１の実施の形態、および第２の実施の形態によれば、パネルスピーカシステムにおいて、通常通りの再生ではパネルスピーカの過振幅が発生してしまう場合でも、隣接パネルスピーカに出力の一部を配分することで、音圧レベルを下げることなく、また、音像感を損ねることなく、高品位な音を再生することができる。

【0222】

しかも、復号側（再生側）の端末装置である信号処理装置５１におけるリソースの負荷（処理負荷）や処理遅延を増加させることなく、パネル構成に応じて隣接パネルスピーカにチャンネル音声信号の配分を行うことができる。これにより、少ない処理量（処理負荷）と処理遅延で、高品位な音声再生を実現することができる。

【0223】

〈第３の実施の形態〉
〈符号化側の信号処理装置の構成例〉
ところで、近年、MPEG(Moving Picture Experts Group)-H 3D Audio (ISO/IEC 23008-3)など、オブジェクト音源、すなわちオーディオオブジェクト（以下、単にオブジェクトと称する）を用いた、いわゆるオブジェクトオーディオの符号化方法やレンダリング方法などが開発されている。

【0224】

オブジェクト音源の復元情報はOAM（Object Audio Metadata）と呼ばれるメタデータとして伝送され、再生時にOAM中に記載されたオブジェクトの位置情報などに基づいてオブジェクトがレンダリングされて音が再生される。

【0225】

ところが、オブジェクトオーディオをパネルスピーカシステムで再生する場合、パネルスピーカで過振幅が発生すると、そのパネルスピーカのパネル内に位置するオブジェクトの音像感が損なわれてしまう。

【0226】

特に、オブジェクトが移動している場合には、過振幅するパネルスピーカ上にオブジェクトがあると、過振幅のタイミングでそのオブジェクトの音が再生されなかったり、オブジェクトの音の音像位置がずれたりして再生品質が大きく損なわれてしまうことがある。

【0227】

そこで、例えば第１の実施の形態や第２の実施の形態における場合と同様にして、オブジェクトの音を再生するためのオブジェクト信号の一部を隣接パネルスピーカに配分すれば、少ない処理負荷で音像感の低下を抑制し、高品質な音声再生を行うことができる。

【0228】

さらに、これに加えてオブジェクトの移動の有無や移動方向を考慮してオブジェクト信号の配分を行えば、音像感の低下をさらに抑制することができる。

【0229】

以下では、オブジェクトオーディオの再生に本技術を適用した実施の形態について説明する。

【0230】

図１５は、本技術を適用した符号化側の信号処理装置の構成例を示す図である。なお、図１５において図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

【0231】

図１５に示す信号処理装置１３１は、例えばコンテンツの音のデータとして、オブジェクトの音を再生するためのオブジェクト信号と、各チャンネルのチャンネル音声信号とが入力され、それらのオブジェクト信号やチャンネル音声信号を符号化する符号化装置として機能する。

【0232】

信号処理装置１３１は、プリレンダラ／ミキサ部１４１、オブジェクトレンダラ１４２、パネル過振幅検出部２１、オブジェクト用配分ゲイン計算部１４３、OAM符号化部１４４、コア信号符号化部２２、および多重化部２３を有している。

【0233】

プリレンダラ／ミキサ部１４１には、各オブジェクトのオブジェクト信号とOAM（オブジェクト音源メタデータ）、各チャンネルのチャンネル音声信号、およびプリレンダリングレベルが供給される。

【0234】

OAMは、オブジェクトのメタデータであり、OAMには、少なくともオブジェクトの３次元空間内の配置位置を示す位置情報、およびオブジェクトの優先度を示す優先度情報が含まれている。

【0235】

プリレンダリングレベルは、符号化側においてプリレンダリングを行うオブジェクト数を示す情報であり、例えばプリレンダリングレベルとしてLev-1、Lev-2、およびLev-3の何れかが指定される。

【0236】

ここでは、プリレンダリングされるオブジェクトの数が多い順に、Lev-1、Lev-2、およびLev-3となっている。すなわち、プリレンダリングレベルがLev-1である場合、プリレンダリングされるオブジェクトの数は最も多くなる。なお、プリレンダリングレベルは、これに限らず、どのように指定されるようにしてもよい。

【0237】

コンテンツを構成するオブジェクトの数が多い場合、復号側（再生側）において全てのオブジェクトをレンダリングしようとすると、復号側での処理量が多くなってしまう。

【0238】

そこで、プリレンダラ／ミキサ部１４１は、コンテンツを構成するオブジェクトのうち、優先度の低いオブジェクトについては符号化側でレンダリング（プリレンダリング）を行う。

【0239】

すなわち、プリレンダラ／ミキサ部１４１は、優先度の低いオブジェクトのOAMに基づいて、それらの優先度の低いオブジェクトのオブジェクト信号を各チャンネルのチャンネル音声信号にマッピングし、プリレンダリング済みのチャンネル音声信号を生成する。

【0240】

このようなプリレンダリングにより得られる各チャンネルのプリレンダリング済みのチャンネル音声信号は、各チャンネルの音と、プリレンダリングされた各オブジェクトの音とを再生するための音声信号である。

【0241】

特にプリレンダリング済みのチャンネル音声信号に基づいて音声を再生した場合、各オブジェクトの音の音像は、それらの各オブジェクトのOAMに含まれている位置情報により示される位置に定位する。

【0242】

なお、プリレンダラ／ミキサ部１４１では、複数のオブジェクトのうち、優先度情報により示される優先度が低いものから順番に、プリレンダリングレベルに対して定まる個数のオブジェクトが選択されていき、それらの選択されたオブジェクトがプリレンダリング対象のオブジェクトとされる。また、複数のオブジェクトのうち、プリレンダリング対象とされなかったオブジェクト、つまり残りの全てのオブジェクトがプリレンダリングの対象外のオブジェクトとされる。

【0243】

以下では、プリレンダリングの対象外とされたオブジェクトを対象外オブジェクトとも称し、プリレンダリング対象とされたオブジェクトを対象オブジェクトとも称することとする。

【0244】

プリレンダラ／ミキサ部１４１は、プリレンダリングレベルとOAMに基づいて、対象オブジェクトを選択すると、それらの対象オブジェクトのOAMとオブジェクト信号、および各チャンネルのチャンネル音声信号に基づいてプリレンダリングを行い、プリレンダリング済みのチャンネル音声信号を生成する。ここでは、例えばプリレンダリングとして、VBAP（Vector Based Amplitude Panning）などが行われる。

【0245】

プリレンダラ／ミキサ部１４１は、プリレンダリング済みのチャンネル音声信号と、対象外オブジェクトのオブジェクト信号およびOAMとをオブジェクトレンダラ１４２に供給する。

【0246】

また、プリレンダラ／ミキサ部１４１は、対象外オブジェクトのOAMをオブジェクト用配分ゲイン計算部１４３およびOAM符号化部１４４に供給する。

【0247】

さらに、プリレンダラ／ミキサ部１４１は、プリレンダリングにより得られたプリレンダリング済みのチャンネル音声信号、および対象外オブジェクトのオブジェクト信号をコア信号符号化部２２に供給する。

【0248】

オブジェクトレンダラ１４２は、プリレンダラ／ミキサ部１４１から供給されたプリレンダリング済みのチャンネル音声信号と、対象外オブジェクトのオブジェクト信号およびOAMとに基づいて、対象外オブジェクトのレンダリングを行う。

【0249】

すなわち、オブジェクトレンダラ１４２は、OAMに基づいて対象外オブジェクトのオブジェクト信号をプリレンダリング済みのチャンネル音声信号にマッピングすることで、各チャンネルの合成チャンネル信号を生成する。

【0250】

例えばオブジェクトレンダラ１４２では、レンダリングの処理としてVBAPなどが行われ、プリレンダリング済みのチャンネル音声信号と同じチャンネル構成であり、各対象外オブジェクトの音を再生するための信号が生成される。さらに、それらの各対象外オブジェクトの音を再生するための信号と、プリレンダリング済みのチャンネル音声信号との同じチャンネルの信号が加算されて合成チャンネル信号とされる。

【0251】

各チャンネルの合成チャンネル信号に基づいて音を再生すると、チャンネル音声信号に基づく音と、対象オブジェクトの音と、対象外オブジェクトの音とが再生される。

【0252】

特に、合成チャンネル信号に基づいて音を再生した場合、各対象外オブジェクトの音の音像は、それらの対象外オブジェクトのOAMに含まれている位置情報により示される位置に定位する。

【0253】

オブジェクトレンダラ１４２は、レンダリングにより得られた各チャンネルの合成チャンネル信号を、パネル過振幅検出部２１およびオブジェクト用配分ゲイン計算部１４３に供給する。

【0254】

パネル過振幅検出部２１は、オブジェクトレンダラ１４２から供給された合成チャンネル信号に基づいて、パネル構成ごとに各パネルスピーカについて過振幅フラグを生成し、オブジェクト用配分ゲイン計算部１４３および多重化部２３に供給する。

【0255】

オブジェクト用配分ゲイン計算部１４３は、プリレンダラ／ミキサ部１４１から供給されたOAM、オブジェクトレンダラ１４２から供給された合成チャンネル信号、およびパネル過振幅検出部２１から供給された過振幅フラグに基づいて配分ゲイン情報を生成し、多重化部２３に供給する。

【0256】

OAM符号化部１４４は、プリレンダラ／ミキサ部１４１から供給された対象外オブジェクトのOAMを所定の符号化方式により符号化し、その結果得られた符号化OAMを多重化部２３に供給する。

【0257】

コア信号符号化部２２は、プリレンダラ／ミキサ部１４１から供給された、対象外オブジェクトのオブジェクト信号と、プリレンダリング済みのチャンネル音声信号とを所定の音声符号化方式で符号化し、その結果得られた符号化音声信号を多重化部２３に供給する。

【0258】

多重化部２３は、パネル過振幅検出部２１から供給された過振幅フラグ、オブジェクト用配分ゲイン計算部１４３から供給された配分ゲイン情報、OAM符号化部１４４から供給された符号化OAM、およびコア信号符号化部２２から供給された符号化音声信号を所定のフォーマットで多重化し、得られた符号化データを復号側の装置に送信する。

【0259】

〈配分ゲインの計算について〉
ここで、オブジェクト用配分ゲイン計算部１４３における配分ゲインの計算方法の具体的な例について説明する。

【0260】

オブジェクト用配分ゲイン計算部１４３には、時間的に連続する各フレームについて、オブジェクト（対象外オブジェクト）のOAMが供給される。

【0261】

したがって、オブジェクト用配分ゲイン計算部１４３は、各時刻、すなわち各フレームのOAMに含まれる位置情報から、オブジェクトが各パネル構成のパネルスピーカのパネル上に位置しているか否かや、オブジェクトの動きの有無を特定することができる。

【0262】

例えば、あるパネル構成では図１６に示すように、パネルスピーカP0乃至パネルスピーカP8の合計９個のパネルスピーカにより１つの表示パネルが形成されているものとする。なお、図１６において各四角形は１つのパネルスピーカを表している。

【0263】

このとき、矢印Q31に示すように、オブジェクトOB11がパネルスピーカP0のパネル内に位置しており、オブジェクトOB11が矢印A11に示す方向、すなわちパネルスピーカP4の方向に移動しているとする。

【0264】

なお、オブジェクトOB11の移動方向は、そのオブジェクトOB11の現在のフレームと過去のフレームのOAMを参照することで推定することができる。また、データの先読みが可能であれば、オブジェクトOB11の未来のフレームのOAMを参照することで、オブジェクトOB11の動きをより正確に特定することが可能である。

【0265】

このような状態において、パネルスピーカP0で過振幅が生じるときに、オブジェクトOB11の音を含む、パネルスピーカP0に供給される合成チャンネル信号の一部を隣接パネルスピーカに配分することを考える。パネルスピーカP0に供給される合成チャンネル信号にオブジェクトOB11の音が含まれているか否かは、そのオブジェクトOB11のOAM、特にOAMに含まれる位置情報により特定することができる。

【0266】

このような場合、例えばパネルスピーカP0に隣接する、パネルスピーカP3やパネルスピーカP4、パネルスピーカP1など、複数の隣接パネルスピーカを配分先として選択すると、オブジェクトOB11の音像が複数位置に分かれてしまい、音像が広がってしまう。すなわち、音像の定位感（音像感）がぼやけてしまう。

【0267】

そこで、例えばオブジェクトOB11が移動している場合には、そのオブジェクトOB11の移動先であるパネルスピーカP4にのみ合成チャンネル信号を配分するようにすればよい。すなわち、オブジェクトOB11の移動方向に基づいて、パネルスピーカP4が配分先として決定される。

【0268】

なお、この場合、パネルスピーカP4の配分ゲインは、例えば式（５）と同様の計算により求めることができる。

【0269】

但し、この場合には、配分可能なパネルスピーカが１つである、つまり集合Sに属する隣接パネルスピーカがパネルスピーカP4のみであるという条件で式（５）の計算を行えばよい。

【0270】

さらに、式（５）と同様の計算により求めたパネルスピーカP4の配分ゲインα_iが最大値α_i ^MAXを超えてしまう場合には、その配分ゲインα_iは、次式（７）に示すように最大値α_i ^MAXとされ、その最大値α_i ^MAXを超えてしまう分の音圧レベルがサブウーハ５３へと配分される。

【0271】

これに対して、例えば矢印Q32に示すように、オブジェクトOB11がパネルスピーカP0のパネル内に位置しており、オブジェクトOB11が静止しているとする。

【0272】

このような状態において、パネルスピーカP0で過振幅が生じる場合、例えば過振幅フラグが「０」である隣接パネルスピーカのうち、オブジェクトOB11の位置から最も近い位置に配置されているパネルスピーカのみが配分先パネルスピーカとされる。

【0273】

したがって、この例ではオブジェクトOB11から最も近い位置にあるパネルスピーカP3が配分先パネルスピーカとして決定（選択）される。

【0274】

なお、過振幅が生じるパネルスピーカのパネル内に位置するオブジェクトが複数ある場合には、それらの複数のオブジェクトのうちの優先度が最も高いオブジェクトの位置や移動方向に基づいて配分先パネルスピーカを決定すればよい。

【0275】

〈符号化データのフォーマット例〉
また、信号処理装置１３１の多重化部２３で得られる符号化データは、例えば図１７に示す符号化音声データと、図１８に示す符号化OAMとからなる。

【0276】

例えば図１７では、文字「audio_encoded_data()」は符号化音声データを示しており、この符号化音声データはフレームごとに復号側に伝送される。

【0277】

また、この例では符号化音声データ「audio_encoded_data()」は、符号化音声信号、過振幅フラグ、配分ゲイン情報を多重化するフォーマットとなっており、このフォーマットは図１０に示した例と略同じフォーマットとなっている。

【0278】

すなわち、図１７では文字「encoded_channel_data()」は１フレーム分の符号化音声信号を示しており、文字「Number_of_PanelConfig」は、予め規定されているパネル構成のパターン数を示している。

【0279】

また、文字「Num_of_SubPanels[i]」は、i番目のパネル構成パターンにおける構成パネルの枚数（パネルスピーカ数）を示しており、文字「Panel_Control_Flag[i][k]」は、i番目のパネル構成パターンにおけるk番目のパネルスピーカの過振幅フラグを示している。

【0280】

さらに、この例ではオブジェクトが配分元パネルスピーカのパネル内に位置している場合には、単一の配分先パネルスピーカの相対的な位置を示す情報と、その配分先パネルスピーカの配分ゲインとが伝送されるようになっており、配分ゲイン情報の伝送が効率化されている。

【0281】

具体的には、文字「object_exist」は、i番目のパネル構成パターンにおけるk番目のパネルスピーカのパネル内におけるオブジェクトの有無を示すオブジェクト存在フラグを示している。

【0282】

オブジェクト存在フラグ「object_exist」は、過振幅フラグ「Panel_Control_Flag[i][k]」が「１」である場合、つまり対象となるパネルスピーカが配分元パネルスピーカである場合に格納されている。

【0283】

また、オブジェクト存在フラグ「object_exist」の値が「１」である場合、つまり配分元パネルスピーカのパネル内にオブジェクトが存在している場合には、さらに文字「Panel_relative_id」により示される配分先パネルスピーカの相対的な位置を示す番号（インデックス）と、文字「Panel_Gain」により示される配分ゲインとが含まれている。

【0284】

ここで、相対的な位置を示す番号「Panel_relative_id」は、例えば上述したインデックスpであり、３ビットで表現される。また、配分ゲイン「Panel_Gain」も３ビットで量子化されて表現されている。

【0285】

これに対して、オブジェクト存在フラグ「object_exist」の値が「０」である場合、すなわち配分元パネルスピーカのパネル内にオブジェクトが存在していない場合には、図１０における場合と同様に、文字「Panel_Gain[p]」により示される配分先パネルスピーカの配分ゲインが格納されている。

【0286】

また、過振幅フラグ「Panel_Control_Flag[i][k]」が「１」である場合、必要に応じて文字「Panel_Gain_SubWf」により示されるサブウーハの配分ゲインも格納されている。

【0287】

一方、図１８に示す符号化OAMは、例えば１フレームごとや数フレームごとなど、所定のオブジェクト処理時間ごとに伝送される。

【0288】

図１８の例では、文字「object_matadata()」は、符号化データ中における、１フレームなどの所定の時間区間におけるオブジェクト音源メタデータ、すなわち符号化OAMを示している。

【0289】

また、符号化OAMには、文字「object_index」により示される、オブジェクトを識別するためのインデックスが含まれている。

【0290】

さらに符号化OAMには、文字「position_azimuth」により示されるオブジェクトの位置を示す方位角、文字「position_elevation」により示されるオブジェクトの位置を示す仰角、および文字「position_radius」により示されるオブジェクトの位置を示す半径が含まれている。

【0291】

その他、符号化OAMには、文字「gain_factor」により示されるオブジェクトのゲイン補正のためのゲイン、および文字「dynamic_object_prority」により示されるオブジェクトのレンダリング時の優先度を示す優先度情報なども含まれている。

【0292】

〈符号化処理の説明〉
続いて、信号処理装置１３１の動作について説明する。

【0293】

すなわち、以下、図１９のフローチャートを参照して、信号処理装置１３１により行われる符号化処理について説明する。

【0294】

ステップＳ１３１においてプリレンダラ／ミキサ部１４１は、プリレンダリングを行う。

【0295】

すなわち、プリレンダラ／ミキサ部１４１は、供給されたプリレンダリングレベルと各オブジェクトのOAMとに基づいて、プリレンダリングの対象オブジェクトを選択する。

【0296】

そして、プリレンダラ／ミキサ部１４１は、供給された対象オブジェクトのオブジェクト信号およびOAMと、供給された各チャンネルのチャンネル音声信号とに基づいてVBAP等を行うことで、各チャンネルのプリレンダリング済みのチャンネル音声信号を生成する。

【0297】

プリレンダラ／ミキサ部１４１は、供給された対象外オブジェクトのオブジェクト信号およびOAMと、各チャンネルのプリレンダリング済みのチャンネル音声信号とをオブジェクトレンダラ１４２に供給する。

【0298】

また、プリレンダラ／ミキサ部１４１は、対象外オブジェクトのOAMをオブジェクト用配分ゲイン計算部１４３およびOAM符号化部１４４に供給するとともに、プリレンダリング済みのチャンネル音声信号、および対象外オブジェクトのオブジェクト信号をコア信号符号化部２２に供給する。

【0299】

ステップＳ１３２においてオブジェクトレンダラ１４２は、プリレンダラ／ミキサ部１４１から供給された各チャンネルのプリレンダリング済みのチャンネル音声信号と、対象外オブジェクトのオブジェクト信号およびOAMとに基づいて対象外オブジェクトのレンダリングを行う。例えばステップＳ１３２では、レンダリングの処理としてVBAPなどが行われ、各チャンネルの合成チャンネル信号が生成される。

【0300】

オブジェクトレンダラ１４２は、レンダリングにより得られた各チャンネルの合成チャンネル信号を、パネル過振幅検出部２１およびオブジェクト用配分ゲイン計算部１４３に供給する。

【0301】

ステップＳ１３３においてパネル過振幅検出部２１は、オブジェクトレンダラ１４２から供給された合成チャンネル信号に基づいて、パネル構成ごとに各パネルスピーカについて過振幅フラグを生成し、オブジェクト用配分ゲイン計算部１４３および多重化部２３に供給する。例えばステップＳ１３３では、上述した図４のステップＳ１１と同様の処理が行われて過振幅が検出され、過振幅フラグが生成される。

【0302】

ステップＳ１３４においてオブジェクト用配分ゲイン計算部１４３は、プリレンダラ／ミキサ部１４１から供給されたOAM、オブジェクトレンダラ１４２から供給された合成チャンネル信号、およびパネル過振幅検出部２１から供給された過振幅フラグに基づいて配分ゲイン計算処理を行う。

【0303】

なお、配分ゲイン計算処理の詳細は後述するが、この配分ゲイン計算処理では、パネル構成ごとに配分ゲインが計算され、配分ゲイン情報が生成される。

【0304】

オブジェクト用配分ゲイン計算部１４３は、配分ゲイン計算処理により得られた配分ゲイン情報を多重化部２３に供給する。

【0305】

ステップＳ１３５においてOAM符号化部１４４は、プリレンダラ／ミキサ部１４１から供給された対象外オブジェクトのOAMを符号化し、その結果得られた符号化OAMを多重化部２３に供給する。

【0306】

ステップＳ１３６においてコア信号符号化部２２は、プリレンダラ／ミキサ部１４１から供給された、対象外オブジェクトのオブジェクト信号と、プリレンダリング済みのチャンネル音声信号とを符号化し、得られた符号化音声信号を多重化部２３に供給する。

【0307】

ステップＳ１３７において多重化部２３は、パネル過振幅検出部２１から供給された過振幅フラグ、オブジェクト用配分ゲイン計算部１４３から供給された配分ゲイン情報、OAM符号化部１４４から供給された符号化OAM、およびコア信号符号化部２２から供給された符号化音声信号を多重化し、符号化データを生成する。ここでは、例えば図１７および図１８に示したフォーマットで符号化データが生成される。

【0308】

ステップＳ１３８において多重化部２３は、符号化データを復号側の装置に送信し、符号化処理は終了する。

【0309】

以上のようにして信号処理装置１３１は、過振幅フラグおよび配分ゲイン情報を生成し、それらの過振幅フラグおよび配分ゲイン情報や符号化音声信号を多重化して符号化データを生成する。このようにすることで、復号側の処理負荷を低減させつつ高品位な音を再生することができるようになる。

【0310】

〈配分ゲイン計算処理の説明〉
ここで、図２０のフローチャートを参照して、図１９のステップＳ１３４に対応し、信号処理装置１３１により行われる配分ゲイン計算処理について説明する。なお、この配分ゲイン計算処理は、予め規定されたパネル構成ごとに行われる。

【0311】

ステップＳ１７１においてオブジェクト用配分ゲイン計算部１４３は、処理対象となっているパネル構成において、そのパネル構成での複数のパネルスピーカのなかから、処理対象とする１つのパネルスピーカを対象パネルスピーカとして選択する。

【0312】

ステップＳ１７２においてオブジェクト用配分ゲイン計算部１４３は、パネル過振幅検出部２１から供給された、対象パネルスピーカの過振幅フラグに基づいて、対象パネルスピーカで過振幅が生じるか否かを判定する。

【0313】

ステップＳ１７２において過振幅が生じないと判定された場合、すなわち、過振幅フラグが「０」である場合、対象パネルスピーカについての出力の配分は不要であるので、処理はステップＳ１８０へと進む。

【0314】

これに対して、ステップＳ１７２において過振幅が生じると判定された場合、すなわち、過振幅フラグが「１」である場合、ステップＳ１７３においてオブジェクト用配分ゲイン計算部１４３は、対象パネルスピーカのパネル内にオブジェクトがあるか否かを判定する。

【0315】

例えばオブジェクト用配分ゲイン計算部１４３は、プリレンダラ／ミキサ部１４１から供給された各対象外オブジェクトのOAMに基づいて、それらの対象外オブジェクトの位置が対象パネルスピーカのパネル内に位置しているかを特定することにより判定の処理を行う。

【0316】

ステップＳ１７３においてオブジェクトがないと判定された場合、その後、処理はステップＳ１７４へと進む。

【0317】

ステップＳ１７４においてオブジェクト用配分ゲイン計算部１４３は、対象パネルスピーカに隣接する隣接パネルスピーカの過振幅フラグに基づいて、それらの隣接パネルスピーカのうち、過振幅が生じない、つまり過振幅フラグが「０」である隣接パネルスピーカを、配分先のパネルスピーカとして選択する。

【0318】

この場合、配分ゲインの計算時、すなわち後述するステップＳ１７９では、過振幅が生じない１または複数の隣接パネルスピーカに対して、それらの隣接パネルスピーカの振幅値の上限値までの余裕に比例して音圧レベルが配分されることになる。

【0319】

このようにして配分先パネルスピーカが選択（決定）されると、その後、処理はステップＳ１７９へと進む。

【0320】

これに対して、ステップＳ１７３において対象パネルスピーカのパネル内にオブジェクトがあると判定された場合、その後、処理はステップＳ１７５へと進む。

【0321】

ステップＳ１７５においてオブジェクト用配分ゲイン計算部１４３は、プリレンダラ／ミキサ部１４１から供給された各対象外オブジェクトのOAMに基づいて、対象パネルスピーカのパネル内に位置する対象外オブジェクトのなかから、最も優先度の高い対象外オブジェクトを選択する。ここでは、例えば図１８に示した優先度情報「dynamic_object_prority」に基づいて選択が行われる。

【0322】

なお、以下、ステップＳ１７５で選択された、最も優先度の高い対象外オブジェクトを特に選択オブジェクトとも称することとする。

【0323】

ステップＳ１７６においてオブジェクト用配分ゲイン計算部１４３は、選択オブジェクトのOAMに基づいて、その選択オブジェクトが移動しているか否かを判定する。

【0324】

ここでは、例えば選択オブジェクトの現フレームと過去のフレームなど、複数のフレームのOAMに基づいて、選択オブジェクトの移動（動き）の有無や移動方向が特定され、選択オブジェクトが移動しているか否かが判定される。

【0325】

例えば選択オブジェクトの移動の有無や移動方向は、互いに異なる時刻（フレーム）における選択オブジェクトの位置の差分に基づいて特定可能である。また、信号処理装置１３１において処理遅延が許容できるのであれば、現フレームの次のフレームなど、時間的に未来のフレームのOAMも用いられて移動の有無や移動方向が特定されてもよい。

【0326】

ステップＳ１７６において選択オブジェクトが移動していると判定された場合、その後、処理はステップＳ１７７へと進む。

【0327】

ステップＳ１７７においてオブジェクト用配分ゲイン計算部１４３は、選択オブジェクトの移動方向に基づいて、その選択オブジェクトの移動先にある隣接パネルスピーカを配分先のパネルスピーカとして選択する。ステップＳ１７７の処理が行われると、その後、処理はステップＳ１７９へと進む。

【0328】

一方、ステップＳ１７６において選択オブジェクトが移動していない、つまり選択オブジェクトが静止していると判定された場合、その後、処理はステップＳ１７８へと進む。

【0329】

ステップＳ１７８においてオブジェクト用配分ゲイン計算部１４３は、選択オブジェクトの位置に基づいて、対象パネルスピーカに隣接する隣接パネルスピーカのうち、選択オブジェクトから最も近い位置にある隣接パネルスピーカを配分先のパネルスピーカとして選択する。ステップＳ１７８の処理が行われると、その後、処理はステップＳ１７９へと進む。

【0330】

ステップＳ１７４、ステップＳ１７７、またはステップＳ１７８の処理が行われると、ステップＳ１７９の処理が行われる。

【0331】

ステップＳ１７９においてオブジェクト用配分ゲイン計算部１４３は、配分先として選択した配分先パネルスピーカの配分ゲインを計算する。

【0332】

例えばステップＳ１７９では、図８のステップＳ４３と同様の処理が行われて配分先スピーカの配分ゲインだけでなく、配分元パネルスピーカの配分ゲインも計算され、さらにサブウーハにも配分が行われるときには、そのサブウーハの配分ゲインも計算される。

【0333】

なお、例えばステップＳ１７７やステップＳ１７８が行われた場合には、配分先パネルスピーカは１つとなるが、そのような場合においても集合Sに属する隣接パネルスピーカが１つであるという条件で式（５）や式（８）と同様の計算を行うことで、配分ゲインを得ることができる。

【0334】

ステップＳ１７９の処理が行われたか、またはステップＳ１７２において過振幅が生じないと判定された場合、ステップＳ１８０においてオブジェクト用配分ゲイン計算部１４３は、全てのパネルスピーカについて処理を行ったか否かを判定する。

【0335】

例えばステップＳ１８０では、全てのパネルスピーカが対象パネルスピーカとされて、ステップＳ１７２乃至ステップＳ１７９の処理が行われた場合、全てのパネルスピーカについて処理が行われたと判定される。

【0336】

ステップＳ１８０において、まだ全てのパネルスピーカについて処理を行っていないと判定された場合、処理はステップＳ１７１に戻り、上述した処理が繰り返し行われる。

【0337】

これに対して、ステップＳ１８０において全てのパネルスピーカについて処理を行ったと判定された場合、オブジェクト用配分ゲイン計算部１４３は、ステップＳ１７１乃至ステップＳ１８０の処理で得られた配分ゲインを示す配分ゲイン情報を多重化部２３に供給し、配分ゲイン計算処理は終了する。

【0338】

配分ゲイン計算処理が終了すると、図１９のステップＳ１３４が行われたことになるので、その後、処理は図１９のステップＳ１３５へと進む。

【0339】

以上のようにして信号処理装置１３１は、対象パネルスピーカのパネル内でのオブジェクトの有無や、オブジェクトの移動の有無、オブジェクトの移動方向に基づいて配分先パネルスピーカを選択し、配分ゲインを計算する。

【0340】

このようにすることで、より適切な隣接パネルスピーカに音圧レベルを配分することができ、より高い音像感で音を再生することができるようになる。すなわち、より高品位な音を再生することができるようになる。

【0341】

なお、以上において説明した配分ゲイン計算処理を行ってもパネルスピーカで過振幅が生じる場合には、例えば優先度が２番目に高いオブジェクトを選択オブジェクトとして、さらにステップＳ１７６乃至ステップＳ１７９の処理を行うようにしてもよい。そのようにすることで、複数の配分先パネルスピーカへと配分を行い、過振幅の発生を防止することができる。

【0342】

〈復号側の信号処理装置の構成例〉
続いて、符号化側の信号処理装置１３１から送信された符号化データを受信して復号する、復号側の信号処理装置について説明する。

【0343】

そのような復号側の信号処理装置は、例えば図２１に示すように構成される。なお、図２１において図５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

【0344】

図２１に示す信号処理装置１７１は、非多重化部６１、OAM復号部１８１、オブジェクトレンダラ１８２、コア信号復号部６２、チャンネル変換部１８３、ミキサ部１８４、およびパネル出力調整部６３を有している。また、パネル出力調整部６３はパネル出力制御部７２を有している。

【0345】

非多重化部６１は、信号処理装置１３１の多重化部２３から送信された符号化データを受信して非多重化することで、符号化データから過振幅フラグ、配分ゲイン情報、符号化OAM、および符号化音声信号を抽出する。

【0346】

非多重化部６１は、過振幅フラグおよび配分ゲイン情報をパネル出力制御部７２に供給し、符号化OAMをOAM復号部１８１に供給し、符号化音声信号をコア信号復号部６２に供給する。

【0347】

OAM復号部１８１は、非多重化部６１から供給された符号化OAMを復号し、その結果得られたOAMをオブジェクトレンダラ１８２に供給する。

【0348】

コア信号復号部６２は、非多重化部６１から供給された符号化音声信号を復号し、その結果得られたオブジェクト信号をオブジェクトレンダラ１８２に供給するとともに、復号により得られたプリレンダリング済みのチャンネル音声信号をチャンネル変換部１８３に供給する。

【0349】

オブジェクトレンダラ１８２は、OAM復号部１８１から供給されたOAMと、コア信号復号部６２から供給されたオブジェクト信号とに基づいてVBAP等のレンダリングを行い、その結果得られたレンダリングオブジェクト信号をミキサ部１８４に供給する。

【0350】

例えばオブジェクトレンダラ１８２では、図１５の信号処理装置１３１のオブジェクトレンダラ１４２において行われるレンダリングと同様の処理が行われ、各チャンネルのレンダリングオブジェクト信号が生成される。

【0351】

チャンネル変換部１８３は、コア信号復号部６２から供給されたプリレンダリング済みのチャンネル音声信号を、そのチャンネル音声信号のチャンネル構成とは異なる他のチャンネル構成の各チャンネルの変換チャンネル信号に変換する変換処理を行う。

【0352】

すなわち、チャンネル変換部１８３では、所定チャンネル構成のチャンネル音声信号が、復号側、つまりパネルスピーカ５２およびサブウーハ５３で再生可能なチャンネル構成（チャンネル数）の変換チャンネル信号に変換される。

【0353】

例えばチャンネル変換部１８３では、プリレンダリング済みのチャンネル音声信号に対して、変換処理としてダウンミックスまたはアップミックスが行われて、パネルスピーカ５２およびサブウーハ５３に対応するチャンネル構成の変換チャンネル信号が生成される。チャンネル変換部１８３は、変換処理により得られた変換チャンネル信号をミキサ部１８４に供給する。

【0354】

なお、変換処理は必要に応じて行われればよく、プリレンダリング済みのチャンネル音声信号のチャンネル構成のままでよい場合には、そのプリレンダリング済みのチャンネル音声信号がそのまま変換チャンネル信号として出力される。

【0355】

ミキサ部１８４は、オブジェクトレンダラ１８２から供給されたレンダリングオブジェクト信号と、チャンネル変換部１８３から供給された変換チャンネル信号とを合成し、その結果得られた各チャンネルの再生信号をパネル出力制御部７２に供給する。

【0356】

すなわち、ミキサ部１８４ではレンダリングオブジェクト信号と変換チャンネル信号の同じチャンネルの信号が加算（ミキシング）され、各チャンネルの再生信号が生成される。

【0357】

パネル出力制御部７２は、非多重化部６１から供給された過振幅フラグおよび配分ゲイン情報と、ミキサ部１８４から供給された再生信号とに基づいて、各パネルスピーカ５２およびサブウーハ５３に供給する出力信号を決定する。

【0358】

すなわち、パネル出力制御部７２は、過振幅フラグ、配分ゲイン情報、および再生信号に基づいて、各パネルスピーカ５２やサブウーハ５３に供給する出力信号を生成する。この出力信号は、オブジェクト信号やチャンネル音声信号から生成された信号であるから、パネル出力制御部７２では、オブジェクト信号やチャンネル音声信号の出力先となるパネルスピーカ５２やサブウーハ５３が調整（決定）されるともいうことができる。

【0359】

〈復号処理の説明〉
次に、信号処理装置１７１の動作について説明する。

【0360】

すなわち、以下、図２２のフローチャートを参照して、信号処理装置１７１により行われる復号処理について説明する。

【0361】

ステップＳ２１１において非多重化部６１は、受信した符号化データを非多重化し、過振幅フラグ、配分ゲイン情報、符号化OAM、および符号化音声信号を抽出する。

【0362】

非多重化部６１は、過振幅フラグおよび配分ゲイン情報をパネル出力制御部７２に供給し、符号化OAMをOAM復号部１８１に供給し、符号化音声信号をコア信号復号部６２に供給する。

【0363】

ステップＳ２１２においてOAM復号部１８１は、非多重化部６１から供給された符号化OAMを復号し、得られたOAMをオブジェクトレンダラ１８２に供給する。

【0364】

ステップＳ２１３においてコア信号復号部６２は、非多重化部６１から供給された符号化音声信号を復号し、得られたオブジェクト信号をオブジェクトレンダラ１８２に供給するとともに、復号により得られたプリレンダリング済みのチャンネル音声信号をチャンネル変換部１８３に供給する。

【0365】

ステップＳ２１４においてオブジェクトレンダラ１８２は、OAM復号部１８１から供給されたOAMと、コア信号復号部６２から供給されたオブジェクト信号とに基づいてレンダリングを行い、得られたレンダリングオブジェクト信号をミキサ部１８４に供給する。

【0366】

ステップＳ２１５においてチャンネル変換部１８３は、コア信号復号部６２から供給されたプリレンダリング済みのチャンネル音声信号に対して変換処理を行い、その結果得られた変換チャンネル信号をミキサ部１８４に供給する。

【0367】

ステップＳ２１６においてミキサ部１８４は、オブジェクトレンダラ１８２から供給されたレンダリングオブジェクト信号と、チャンネル変換部１８３から供給された変換チャンネル信号とを合成して各チャンネルの再生信号を生成する。ミキサ部１８４は、得られた再生信号をパネル出力制御部７２に供給する。

【0368】

ステップＳ２１７においてパネル出力制御部７２は、非多重化部６１から供給された過振幅フラグおよび配分ゲイン情報と、ミキサ部１８４から供給された再生信号とに基づいて、各パネルスピーカ５２およびサブウーハ５３に供給する出力信号を生成する。例えばステップＳ２１７では、図８のステップＳ４４と同様の処理が行われ、各パネルスピーカ５２およびサブウーハ５３に供給する出力信号が生成される。

【0369】

このようにして出力信号が生成されると、パネル出力制御部７２は、各出力信号をパネルスピーカ５２およびサブウーハ５３に供給してコンテンツの音を再生させ、復号処理は終了する。

【0370】

以上のようにして信号処理装置１７１は、過振幅フラグと配分ゲイン情報に基づいて各パネルスピーカ５２やサブウーハ５３に供給する出力信号を生成する。このようにすることで、少ない処理負荷で高品位な音を再生することができる。

【0371】

以上において説明した第３の実施の形態では、特にパネルスピーカシステムでオブジェクトオーディオを再生するときにパネルスピーカで過振幅が生じる場合には、オブジェクトに近い位置にあるパネルスピーカや、オブジェクトの移動先のパネルスピーカに再生信号の一部が配分される。したがって、オブジェクトの音像感や移動感を損ねることなく過振幅を抑制し、高品位な音を再生することができる。

【0372】

〈第４の実施の形態〉
〈ストリーミング配信システムの構成例〉
ところで、オブジェクトオーディオのストリーミング配信システムでは、再生側の端末装置のパネル構成に関わらずオブジェクトオーディオ、すなわちオブジェクトオーディオのコンテンツが配信される。

【0373】

そのため、再生側のパネルスピーカの数、すなわちパネル枚数が少ない場合でも多数のオブジェクトの処理が必要であったり、逆にパネル枚数が十分多い場合でも少数のオブジェクトしか伝送されなかったりして、オブジェクトオーディオを効果的に再生できない。

【0374】

そこで、再生側のパネル構成を示すパネル構成情報と、再生側の演算リソースに基づいて求められる、再生側で処理が可能な最大のオブジェクト数を示す最大オブジェクト数情報とを配信側に伝送することで、コンテンツの適切な配信および再生を行うことができるようにしてもよい。

【0375】

そのような場合、配信側ではパネル構成情報と最大オブジェクト数情報とに基づいて、再生側のパネル構成やリソース環境に応じた適切なプリレンダリングや、過振幅に応じた再生信号の配分などを行うことができる。

【0376】

このようなストリーミング配信システムは、例えば図２３に示すように構成される。

【0377】

図２３に示すストリーミング配信システムは、再生側の端末装置である再生装置２０１と、オブジェクトオーディオのコンテンツの配信側のサーバである配信装置２０２を有している。

【0378】

これらの再生装置２０１と配信装置２０２とは、インターネットなどのネットワークを介して接続されており、配信装置２０２は、再生装置２０１に対してオブジェクトオーディオ形式でコンテンツを配信する。

【0379】

再生装置２０１は、端末情報送信部２１１、オブジェクトオーディオ復号部２１２、およびパネルスピーカシステム２１３を有している。

【0380】

また、配信装置２０２は、プリレンダリング制御部２２１およびオブジェクトオーディオ符号化部２２２を有している。

【0381】

再生装置２０１の端末情報送信部２１１は、ネットワークを介して、パネル構成情報および最大オブジェクト数情報を配信装置２０２に送信する。

【0382】

オブジェクトオーディオ復号部２１２は、図２１に示した信号処理装置１７１と同じ構成となっており、配信装置２０２から伝送（送信）されてきたコンテンツの符号化データを受信し、復号処理を行う。

【0383】

パネルスピーカシステム２１３は、例えば図２１に示したパネルスピーカ５２およびサブウーハ５３からなるスピーカシステムであり、オブジェクトオーディオ復号部２１２から供給された出力信号に基づいてコンテンツの音を再生する。

【0384】

また、配信装置２０２のプリレンダリング制御部２２１は、端末情報送信部２１１から受信したパネル構成情報および最大オブジェクト数情報に基づいてプリレンダリングレベルを決定し、オブジェクトオーディオ符号化部２２２に供給する。

【0385】

オブジェクトオーディオ符号化部２２２は、プリレンダリング制御部２２１から供給されたプリレンダリングレベルと、供給されたOAM、オブジェクト信号、およびチャンネル音声信号とに基づいて符号化データを生成し、再生装置２０１に送信する。このオブジェクトオーディオ符号化部２２２は、図１５に示した信号処理装置１３１と同じ構成となっている。

【0386】

〈再生処理および配信処理の説明〉
続いて、再生装置２０１と配信装置２０２の動作について説明する。

【0387】

すなわち、以下、図２４のフローチャートを参照して、再生装置２０１による再生処理と、配信装置２０２による配信処理について説明する。

【0388】

まず、再生装置２０１による再生処理が開始され、再生装置２０１が配信装置２０２に対してコンテンツのストリーミング配信を要求する初期処理として、最大オブジェクト数を求める処理が行われる。

【0389】

すなわち、再生装置２０１の端末情報送信部２１１は、再生装置２０１の演算リソースに基づいて、オブジェクトオーディオ復号部２１２が処理可能なオブジェクト数の最大値である最大オブジェクト数を求め、最大オブジェクト数情報を生成する。

【0390】

また、端末情報送信部２１１は、図示せぬメモリ等から、パネルスピーカシステム２１３のパネル構成を示すパネル構成情報を読み出す。

【0391】

すると、ステップＳ２４１において端末情報送信部２１１は、最大オブジェクト数情報およびパネル構成情報を、ネットワークを介して配信装置２０２に送信する。

【0392】

これにより、再生装置２０１から配信装置２０２に対して、コンテンツのストリーミング配信が要求されたことになる。なお、コンテンツの再生中に演算リソースが変化した場合や、パネルスピーカシステム２１３が切り替えられてパネル構成が変化した場合などにおいては、コンテンツの再生中に最大オブジェクト数情報およびパネル構成情報が送信されるようにしてもよい。

【0393】

また、配信装置２０２では、ステップＳ２６１においてプリレンダリング制御部２２１は、端末情報送信部２１１から送信されてきた最大オブジェクト数情報およびパネル構成情報を受信する。

【0394】

ステップＳ２６２においてプリレンダリング制御部２２１は、受信した最大オブジェクト数情報およびパネル構成情報に基づいて、コンテンツのストリーミング配信時のプリレンダリングレベルを決定する。

【0395】

例えばパネルスピーカシステム２１３を構成するパネルスピーカ数（パネル枚数）が少ない場合、多数のオブジェクトのオブジェクト信号を再生装置２０１に伝送しても、動的にオブジェクトをレンダリングする効果は少ない。

【0396】

したがって、例えばパネル構成情報により示されるパネル枚数、つまりパネルスピーカ５２の数が少ない場合には、効率的に処理を行うようにするため、プリレンダリングされるオブジェクト、すなわち上述の対象オブジェクトの数は多くなるようにされる。

【0397】

また、再生装置２０１側においてレンダリングされるオブジェクト、つまり対象外オブジェクトの数が、最大オブジェクト数を超える場合、再生装置２０１では、最大オブジェクト数を超えた分の対象外オブジェクトは破棄される。このとき、優先度が低いものから順番に破棄される対象外オブジェクトが選択される。

【0398】

したがって、最大オブジェクト数が少ない場合には、プリレンダリングされるオブジェクト、つまり対象オブジェクトが多くなるようになされる。

【0399】

ここで、最大オブジェクト数情報により示される最大オブジェクト数、パネル構成情報により示されるパネル枚数に対して定められるプリレンダリングレベルの具体的な例を図２５に示す。

【0400】

図２５の例では、プリレンダリングレベルは、上述したLev-1、Lev-2、およびLev-3の何れかとされる。

【0401】

特に、プリレンダリングレベルがLev-1とされた場合、最も対象オブジェクトの数は多く、プリレンダリングレベルがLev-3とされた場合、最も対象オブジェクトの数は少ない。

【0402】

図２５では、最大オブジェクト数が多くなるほど、またパネル枚数が多くなるほど、対象オブジェクトの数は少なくなるように、すなわち再生装置２０１側でレンダリングされる対象外オブジェクトの数が多くなるようになっている。

【0403】

例えばパネル枚数が１乃至２枚と少なく、最大オブジェクト数も１乃至１５個と少ない場合には、プリレンダリングレベルはLev-1とされる。

【0404】

このようにしてプリレンダリングレベルが決定されると、プリレンダリング制御部２２１は、決定したプリレンダリングレベルをオブジェクトオーディオ符号化部２２２に供給する。

【0405】

図２４のフローチャートの説明に戻り、ステップＳ２６３においてオブジェクトオーディオ符号化部２２２は、プリレンダリング制御部２２１から供給されたプリレンダリングレベルと、供給されたOAM、オブジェクト信号、およびチャンネル音声信号とに基づいて符号化処理を行う。

【0406】

ステップＳ２６３では、図１９を参照して説明した符号化処理が行われる。すなわち、符号化データが生成され、得られた符号化データがオブジェクトオーディオ符号化部２２２により再生装置２０１へと送信される。

【0407】

このようにして符号化処理が行われると、配信装置２０２による配信処理は終了する。

【0408】

また、符号化処理が行われると、再生装置２０１では、ステップＳ２４２においてオブジェクトオーディオ復号部２１２は、配信装置２０２から送信されてきた符号化データを受信する。

【0409】

ステップＳ２４３においてオブジェクトオーディオ復号部２１２は、受信した符号化データに基づいて復号処理を行い、パネルスピーカシステム２１３に供給する出力信号を生成する。

【0410】

ステップＳ２４３では、図２２を参照して説明した復号処理が行われ、パネルスピーカシステム２１３を構成する各パネルスピーカ５２およびサブウーハ５３に供給する出力信号が生成される。

【0411】

オブジェクトオーディオ復号部２１２は、このようにして生成された出力信号をパネルスピーカシステム２１３に供給する。

【0412】

ステップＳ２４５においてパネルスピーカシステム２１３は、オブジェクトオーディオ復号部２１２から供給された出力信号に基づいて、コンテンツの音を再生し、再生処理は終了する。

【0413】

以上のようにして再生装置２０１は、最大オブジェクト数情報とパネル構成情報を配信装置２０２に送信する。また、配信装置２０２は、再生装置２０１から受信した最大オブジェクト数情報とパネル構成情報に基づいてプリレンダリングレベルを決定し、符号化データを生成する。

【0414】

このようにすることで、少ない処理負荷で高品位な音を再生することができるだけでなく、再生装置２０１側の演算リソースやパネル構成に応じて、より効率的にコンテンツの配信および再生を行うことができる。

【0415】

〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

【0416】

図２６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

【0417】

コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

【0418】

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

【0419】

入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

【0420】

以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

【0421】

コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

【0422】

コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

【0423】

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

【0424】

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0425】

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0426】

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0427】

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0428】

さらに、本技術は、以下の構成とすることも可能である。

【0429】

（１）
符号化データを非多重化して、符号化音声信号と、複数の各パネルスピーカについて生成された、前記パネルスピーカにおいて過振幅が生じるかを示す過振幅フラグとを抽出する非多重化部と、
前記符号化音声信号を復号する復号部と、
前記過振幅フラグと、前記復号により得られた音声信号とに基づいて、前記複数の各前記パネルスピーカの音声信号を調整する調整部と
を備える信号処理装置。
（２）
前記調整部は、前記復号により得られた所定の前記音声信号の出力先として定められている出力先パネルスピーカで過振幅が生じる場合、前記出力先パネルスピーカと、過振幅が生じない他のパネルスピーカとを前記所定の前記音声信号の出力先として決定する
（１）に記載の信号処理装置。
（３）
前記調整部は、前記音声信号に基づいて、前記所定の前記音声信号を前記他のパネルスピーカに出力するときの配分ゲインを計算する
（２）に記載の信号処理装置。
（４）
前記他のパネルスピーカは、前記出力先パネルスピーカに隣接して配置された前記パネルスピーカである
（２）または（３）に記載の信号処理装置。
（５）
前記他のパネルスピーカは、サブウーハである
（２）乃至（４）の何れか一項に記載の信号処理装置。
（６）
前記音声信号はマルチチャンネル信号であり、前記複数の前記パネルスピーカごとに、出力されるチャンネルの前記音声信号が定められている
（１）乃至（５）の何れか一項に記載の信号処理装置。
（７）
前記音声信号はオーディオオブジェクトのオブジェクト信号である
（２）に記載の信号処理装置。
（８）
前記所定の前記音声信号の出力先とする前記他のパネルスピーカは、前記所定の前記音声信号に対応する前記オーディオオブジェクトの動きの有無に基づいて決定される
（７）に記載の信号処理装置。
（９）
前記オーディオオブジェクトが静止している場合、前記オーディオオブジェクトの位置から最も近い位置に配置されている前記パネルスピーカが前記他のパネルスピーカとされる
（８）に記載の信号処理装置。
（１０）
前記オーディオオブジェクトが移動している場合、前記オーディオオブジェクトの移動方向に基づいて前記他のパネルスピーカが決定される
（８）に記載の信号処理装置。
（１１）
前記符号化データには、前記所定の前記音声信号を前記他のパネルスピーカに出力するときの配分ゲインが含まれており、
前記調整部は、前記過振幅フラグと、前記復号により得られた音声信号と、前記配分ゲインとに基づいて、前記複数の各前記パネルスピーカの音声信号を調整する
（２）に記載の信号処理装置。
（１２）
前記符号化データには、複数の前記パネルスピーカからなる、互いに異なる複数のパネル構成ごとに、前記パネルスピーカの前記過振幅フラグが含まれている
（１）乃至（１１）の何れか一項に記載の信号処理装置。
（１３）
信号処理装置が、
符号化データを非多重化して、符号化音声信号と、複数の各パネルスピーカについて生成された、前記パネルスピーカにおいて過振幅が生じるかを示す過振幅フラグとを抽出し、
前記符号化音声信号を復号し、
前記過振幅フラグと、前記復号により得られた音声信号とに基づいて、前記複数の各前記パネルスピーカの音声信号を調整する
信号処理方法。
（１４）
符号化データを非多重化して、符号化音声信号と、複数の各パネルスピーカについて生成された、前記パネルスピーカにおいて過振幅が生じるかを示す過振幅フラグとを抽出し、
前記符号化音声信号を復号し、
前記過振幅フラグと、前記復号により得られた音声信号とに基づいて、前記複数の各前記パネルスピーカの音声信号を調整する
ステップを含む処理をコンピュータに実行させるプログラム。
（１５）
複数の各パネルスピーカについて、前記パネルスピーカにおいて音声信号に基づく音を再生したときに過振幅が生じるかを検出し、その検出結果を示す過振幅フラグを生成する過振幅検出部と、
前記音声信号を符号化する符号化部と、
前記複数の前記パネルスピーカの前記過振幅フラグと、前記符号化により得られた符号化音声信号とを多重化して符号化データを生成する多重化部と
を備える信号処理装置。
（１６）
前記音声信号はマルチチャンネル信号であり、前記複数の前記パネルスピーカごとに、出力されるチャンネルの前記音声信号が定められている
（１５）に記載の信号処理装置。
（１７）
所定の前記音声信号の出力先として定められている出力先パネルスピーカでの過振幅が検出された場合、前記音声信号に基づいて、前記所定の前記音声信号を前記出力先パネルスピーカと他のパネルスピーカとに出力するときの配分ゲインを計算する配分ゲイン計算部をさらに備え、
前記多重化部は、前記過振幅フラグと、前記符号化音声信号と、前記配分ゲインとを多重化して前記符号化データを生成する
（１５）または（１６）に記載の信号処理装置。
（１８）
前記過振幅検出部は、複数の前記パネルスピーカからなる、互いに異なる複数のパネル構成ごとに、前記パネルスピーカの前記過振幅フラグを生成する
（１５）乃至（１７）の何れか一項に記載の信号処理装置。
（１９）
信号処理装置が、
複数の各パネルスピーカについて、前記パネルスピーカにおいて音声信号に基づく音を再生したときに過振幅が生じるかを検出して、その検出結果を示す過振幅フラグを生成し、
前記音声信号を符号化し、
前記複数の前記パネルスピーカの前記過振幅フラグと、前記符号化により得られた符号化音声信号とを多重化して符号化データを生成する
信号処理方法。
（２０）
複数の各パネルスピーカについて、前記パネルスピーカにおいて音声信号に基づく音を再生したときに過振幅が生じるかを検出して、その検出結果を示す過振幅フラグを生成し、
前記音声信号を符号化し、
前記複数の前記パネルスピーカの前記過振幅フラグと、前記符号化により得られた符号化音声信号とを多重化して符号化データを生成する
ステップを含む処理をコンピュータに実行させるプログラム。

【符号の説明】

【0430】

１１ 信号処理装置， ２１ パネル過振幅検出部， ２２ コア信号符号化部， ２３ 多重化部， ５１ 信号処理装置， ５２－１乃至５２－Ｎ，５２ パネルスピーカ， ５３ サブウーハ， ６１ 非多重化部， ６２ コア信号復号部， ６３ パネル出力調整部， ７１ 配分ゲイン計算部， ７２ パネル出力制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】