(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0004】
種々の音響方式を表現可能な共通のフォーマットとして、「単一の音響空間層を持つ音響信号」の検討は進んでいる。ここで、空間的に配置された複数のチャンネル信号によって構築される音を単一の音響空間層とする。これまでの番組制作では番組に必要な音を全て単一の音響空間層に配置している。これまで一つにまとめていた音響空間層を幾つかの層に分割して音響番組制作を行い、「複数の音響空間層を持つ音響信号」の形式を用いることで、番組交換時の受取先や家庭の環境に合わせて受信した音響信号の変形・変換・入替を容易に行うことができるようになる。これ以降、「マルチチャンネル音響方式」とは「複数の音響空間層を持つ音響方式」を意図するものとして説明を行う。
【0005】
例えば、マルチチャンネル音響方式を用いて放送される放送番組は、様々な音響方式によって制作され、様々な再生環境において再生される。チャンネル数の増加に伴い、スピーカ設置の制約から番組制作時の音響方式と再生環境の音響方式が異なる場合が考えられる。また、後方のサラウンドチャンネルに背景音が収録されている場合と音声が収録されている場合で、チャンネル変換係数を変えたい場合もある。5.1サラウンドから2チャンネルステレオに変換する場合など、チャンネル変換係数が定められている場合があるが、想定される再生環境が一様ではなく、画一的なチャンネル変換係数を定めるだけでは、十分な音響品質が得られなかった。
【0006】
したがって、かかる点に鑑みてなされた本発明の目的は、複数の音響空間層を持つマルチチャンネル音響方式に対応し、マルチチャンネル音響信号の制作環境と再生環境とのスピーカ配置が異なる場合でも、再生環境に適したマルチチャンネル音響信号のチャンネル変換が可能な音響信号再生装置、及び当該音響信号を作成する音響信号作成装置を提供することにある。
【課題を解決するための手段】
【0007】
上述した諸課題を解決すべく、本発明に係る音響信号再生装置は、複数の音響空間層を含むマルチチャンネル音響信号の再生装置であって、前記マルチチャンネル音響信号に含まれるメタデータ
は、各音響チャンネル信号のスピーカ配置、映像フォーマット、及び、制作環境のスピーカ配置から再生環境のスピーカ配置へのチャンネル変換係数を含み、前記チャンネル変換係数は前記音響空間層毎に記載されており、さらに、前記チャンネル変換係数は前記映像フォーマット毎に当該映像フォーマットで想定される視野角に応じて記載されており、前記メタデータに記載されたチャンネル変換係数に基づき、前記各音響空間層に含まれる音響チャンネル信号の制作環境のスピーカ配置から、再生環境のスピーカ配置へと前記音響チャンネル信号の変換を行う再生チャンネル変換部を備える。
【0008】
また、
前記メタデータには、さらに音響チャンネル信号の変換時の各音響空間層の加算割合が記載されており、前記加算割合に基づく音量の割合で、各音響空間層の信号が加算されることが好ましい。
【0010】
さらに、上述した諸課題を解決すべく、本発明に係る音響信号作成装置は、複数の音響空間層を含むマルチチャンネル音響信号の作成装置であって、各音響空間層の音響チャンネル信号と、
各音響チャンネル信号のスピーカ配置、映像フォーマット、及び、制作環境のスピーカ配置から再生環境のスピーカ配置へのチャンネル変換係数を含むメタデータと、を多重化する多重化部を備え
ており、前記メタデータの前記チャンネル変換係数は、前記音響空間層毎に記載されており、さらに、前記チャンネル変換係数は前記映像フォーマット毎に当該映像フォーマットで想定される視野角に応じて記載されている。
【0011】
また、前記多重化部は、
さらに音響チャンネル信号の変換時の各音響空間層の加算割合を含む前記メタデータを多重化することが好ましい。
【発明の効果】
【0013】
本発明に係る音響信号再生装置及び音響信号作成装置によれば、複数の音響空間層を持つマルチチャンネル音響方式に対応し、マルチチャンネル音響信号の制作環境と再生環境とのスピーカ配置が異なる場合でも、再生環境に適したマルチチャンネル音響信号のチャンネル変換を行うことが可能になる。
【発明を実施するための形態】
【0015】
以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。ここで、本発明は、「複数の音響空間層を持つ音響信号」であるマルチチャンネル音響信号に対応するものである。本件出願人は、「単一の音響空間層を持つ音響信号」について韓国特許出願(10-2012-0112984)を行っており、また、「複数の音響空間層を持つ音響信号」について日本国特許出願(特願2013-010544)を行っている。
【0016】
図1は、本発明の一実施形態に係る音響信号再生装置の構成を示す図である。音響信号再生装置10は、デマルチプレクサ11(DEMUX)と、復号化部12と、再生チャンネル変換部13と、チャンネル変換判定部15と、チャンネル変換係数生成部16とを備え、音響信号再生装置10の出力信号はスピーカ14により音として再生される。
【0017】
デマルチプレクサ11は、入力されたマルチチャンネル音響データストリームをメタデータと音響チャンネル信号に分離する。デマルチプレクサ11は、音響チャンネル信号を復号化部12に出力し、メタデータをチャンネル変換判定部15に出力する。
【0018】
図2は、本実施形態におけるマルチチャンネル音響信号(音響データストリーム)に含まれる音響空間層(制作環境)及び再生環境のチャンネル配置の一例を示す図である。チャンネル配置100はマルチチャンネル音響信号に含まれる音響空間層(制作環境)のチャンネル配置であり、利用者001を中心に10チャンネル(110〜200)が配置される。一方、チャンネル配置300はマルチチャンネル音響信号の再生環境のチャンネル配置であり、利用者001を中心に5チャンネル(310〜350)が配置される。即ち、
図2の場合、10チャンネルの制作環境から、5チャンネルの再生環境へのチャンネル変換が必要となる。
【0019】
図3は、
図2に示すチャンネル配置におけるチャンネル変換係数含むメタデータの一例を示す図である。
図3のメタデータには、マルチチャンネル音響信号に含まれる音響空間層(Sound Field 01)は、制作環境のチャンネル配置として10チャンネルを持つことが記載される。また、各音響チャンネル信号110〜200に対して、音響チャンネル信号の番号(Channel 01-10)、チャンネルラベル(FL FR FC BL BR FLc FRc SiL SiR BC)、スピーカ位置(角度)が記載されている。例えば、音響チャンネル信号110は、チャンネル番号がChannel 01、チャンネルラベルがFL、スピーカ位置は利用者正面をゼロ度として時計回りに300度と記載されている。また、他の9つの音響チャンネル信号120〜200についても、それぞれの音響チャンネル信号の番号、チャンネルラベル、スピーカ位置が記載されている。
【0020】
さらに
図3のメタデータは、10チャンネルの制作環境から5チャンネルの再生環境に変換する場合のチャンネル変換係数(Channel conversion)が含まれる。再生環境における各チャンネル310〜350に対して、チャンネルラベル(L R C BL BR)、スピーカ位置、チャンネル変換係数が記載されている。例えば、再生環境におけるチャンネル310は、チャンネルラベルがL、スピーカ位置は利用者正面をゼロ度として時計回りに330度であり、チャンネル変換係数として、制作環境の音響チャンネル信号を「FLc+0.88*FL+0.632*SiL」と計算したものを音響信号とすることが記載されている。また、他の4つのチャンネル320〜350についても、それぞれのチャンネルのチャンネルラベル、スピーカ位置、チャンネル変換係数が記載されている。
【0021】
なお、
図3では、スピーカ位置を水平面内の配置として表しているが、スピーカ位置を三次元的に表すことも可能である。例えば、メタデータに利用者を中心とした各音響チャンネル信号の方位角、仰角、距離を記載することによって、スピーカ位置を三次元的に表現することができる。また、スピーカ位置を三次元座標によって表現することも可能である。また、
図3では、チャンネル変換係数をスピーカ位置の角度比によって求めているが、後方のチャンネルは少しレベルを下げて加算するなどしてもよい。
【0022】
復号化部12は、デマルチプレクサ11からの音響チャンネル信号をチャンネルごとに復号化し、メタデータに基づいて、音響チャンネル信号を音響空間層毎にグルーピングすする。復号化部12は、デコードした音響チャンネル信号を再生チャンネル変換部13に出力する。
【0023】
チャンネル変換判定部15は、メタデータから取得する制作環境のチャンネル配置と、予め記憶されている再生環境データから取得した再生環境のチャンネル配置とを比較し、チャンネル変換を行うかどうかを判定する。チャンネル変換判定部15は、制作環境及び再生環境のチャンネル配置が同じ場合など、チャンネル変換が不要であると判定した場合、各音響チャンネル信号をそのままスピーカ14の入力信号とするよう再生チャンネル変換部13に指示を出す。また、チャンネル変換判定部15は、制作環境及び再生環境のチャンネル配置が異なる場合など、チャンネル変換が必要であると判定した場合、チャンネル変換係数生成部16にチャンネル変換係数を生成するよう指示を出す。
【0024】
チャンネル変換係数生成部16は、メタデータを参照し、制作環境及び再生環境のチャンネル変換係数がメタデータに記載されているか判定する。チャンネル変換係数生成部16は、メタデータに制作環境及び再生環境のチャンネル変換係数が記載されている場合、当該チャンネル変換係数を再生チャンネル変換部13に出力する。また、チャンネル変換係数生成部16は、メタデータに制作環境及び再生環境のチャンネル変換係数が記載されていない場合、制作環境及び再生環境のチャンネル配置に基づきチャンネル変換係数を算出し、再生チャンネル変換部13に出力する。チャンネル変換係数生成部16によるチャンネル変換係数の算出は、再生環境のスピーカにより制作環境のスピーカ方向に虚音像を生成するなど、任意の好適な方法を用いることができる。例えば、チャンネル変換係数の算出方法として、VBAP(Vector Base Amplitude Panning)や音響インテンシティが一致するように算出する方法などがある。このほか、WFS(Wave Field Synthesis)といった方法でチャンネル変換係数を算出してもよい。
【0025】
再生チャンネル変換部13は、チャンネル変換判定部15がチャンネル変換は不要であると判定した場合、復号化部12からの各音響チャンネル信号をそのままスピーカ14への入力信号として出力する。再生チャンネル変換部13は、チャンネル変換判定部15がチャンネル変換は必要であると判定した場合、チャンネル変換係数生成部16からのチャンネル変換係数に基づき各音響チャンネル信号を加算し、スピーカ14への入力信号として出力する。
【0026】
このように、本実施形態によれば、再生チャンネル変換部13は、マルチチャンネル音響信号に含まれるメタデータに記載されたチャンネル変換係数に基づき、各音響空間層に含まれる音響チャンネル信号の制作環境のスピーカ配置から、再生環境のスピーカ配置へと音響チャンネル信号の変換を行う。これにより、複数の音響空間層を持つマルチチャンネル音響方式に対応し、マルチチャンネル音響信号の制作環境と再生環境とのスピーカ配置が異なる場合でも、再生環境に適したマルチチャンネル音響信号のチャンネル変換が可能になる。特に、5.1サラウンドから2チャンネルステレオに変換する場合などの典型的な変換以外に、任意のスピーチ配置間のチャンネル変換を柔軟に規定することが可能となる。
【0027】
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各部材、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを1つに組み合わせたり、或いは分割したりすることが可能である。
【0028】
例えば、スーパーハイビジョン(Ultra High Definition Television)の映像フォーマットであるUHDTV-1とUHDTV-2とでは想定されている視野角が異なるため、再生環境のチャンネル数が同じ場合でも、メタデータには映像フォーマット毎に異なるチャンネル変換係数が記載されることが望ましい。
図4は、
図2に示すチャンネル配置におけるチャンネル変換係数含むメタデータの一例を示す図である。
図4に示すメタデータは、10チャンネルの制作環境から5チャンネルの再生環境に変換する場合のチャンネル変換係数に関する点で
図3と共通するが、映像フォーマットごとに異なるチャンネル変換係数が記載されるものである。
図4のメタデータには、マルチチャンネル音響信号に含まれる音響空間層(Sound Field 01)は、制作環境のチャンネル配置として10チャンネルを持つことと、映像フォーマットがUHDTV-2であることが記載される。さらに
図4のメタデータには、UTDTV-2とUHDTV-1とのそれぞれについて、10チャンネルの制作環境から5チャンネルの再生環境に変換する場合のチャンネル変換係数が記載されている。具体的には、UHDTV-1とUHDTV-2とでは画面の両サイドに位置するLチャンネルとRチャンネルのスピーカ位置が異なる。このため、例えば再生環境のLchは制作環境のFLチャンネルと対応するか、又は制作環境のFLcチャンネルと対応するかという差異があり、かかる差異に基づき各映像フォーマットで異なるチャンネル変換係数が設定される。
【0029】
この場合、再生チャンネル変換部13は、制作環境及び再生環境の映像フォーマットに対応するチャンネル変換係数により音響チャンネル信号の変換を行う。これにより、制作環境及び再生環境の映像フォーマットに合わせた最適なチャンネル変換が可能となり、音響信号の再生品質を向上させることが可能となる。
【0030】
また、音響空間層毎に異なるチャンネル変換係数をメタデータに記載することも可能である。
図5は、複数の音響空間層(制作環境)及び再生環境のチャンネル配置の一例を示す図である。チャンネル配置200はマルチチャンネル音響信号に含まれる第1の音響空間層(制作環境)のチャンネル配置を示すものであり、利用者001を中心に5チャンネル(210〜250)が配置される。また、チャンネル配置300はマルチチャンネル音響信号に含まれる第2の音響空間層(制作環境)のチャンネル配置を示すものであり、利用者001を中心に5チャンネル(310〜350)が配置される。チャンネル配置400はマルチチャンネル音響信号の再生環境のチャンネル配置であり、利用者001を中心に2チャンネル(410、420)が配置される。即ち、
図5の場合、第1及び第2の音響空間層に共通する5チャンネルの制作環境から、2チャンネルの再生環境へのチャンネル変換が必要となる。
【0031】
図6は、
図5に示すチャンネル配置におけるチャンネル変換係数含むメタデータの一例を示す図である。
図6のメタデータには、マルチチャンネル音響信号の番組コンテンツはドラマ(Drama)であって、2つの音響空間層を持つことが記載されている。第1の音響空間層200(Sound Field 01)は音声(Dialogue)であり、制作環境のチャンネル配置として5チャンネル(210〜250)を持つことが記載される。第2の音響空間層300(Sound Field 02)は背景音(BGM)であり、制作環境のチャンネル配置として5チャンネル(310〜350)を持つことが記載される。
【0032】
さらに
図6のメタデータは、5チャンネルの制作環境から2チャンネルの再生環境へのチャンネル変換係数が、第1及び第2の音響空間層それぞれに対して記載される。具体的には、音声である第1の音響空間層200(Sound Field 01)は、どの方向からも明瞭に発言内容が聞こえるように、BL、BRも均等に加算するチャンネル変換係数となる。一方、背景音である第2の音響空間層300(Sound Field 02)では、後方チャンネルは会場の歓声などにより前方から同じ音量で再生すると大きく感じられる場合がある。そこで、第2の音響空間層300においては、BL、BRのチャンネルの比率を小さく加算するチャンネル変換係数となる。さらに、第1及び第2の音響空間層全体の加算割合が記載されており、第1の音響空間層200の音量を1とした場合、第2の音響空間層300の音量の割合が0.8となるように各音響空間層の信号が加算される。
【0033】
この場合、再生チャンネル変換部13は、各音響空間層に対応するチャンネル変換係数により各音響空間層の音響チャンネル信号の変換を行う。これにより、例えば後方のサラウンドチャンネルに背景音が収録されている場合と音声が収録されている場合など、収録されている音響空間層の種類、役割によってチャンネル変換係数を変えることができ、より番組コンテンツ及び再生環境に合致したチャンネル変換が可能となる。
【0034】
図7は、本発明の一実施形態に係る音響信号作成装置の構成を示す図である。音響信号作成装置20は、ミキサ21と、符号化部22と、マルチプレクサ23(MUX)とを備える。
【0035】
ミキサ21は、複数の音響信号をミキシングして、音響空間層毎の音響チャンネル信号として符号化部22に出力する。
【0036】
符号化部22は、ミキサ21からの各音響空間層の音響チャンネル信号を符号化してマルチプレクサ23に出力する。
【0037】
マルチプレクサ23(多重化部)は、各音響空間層の音響チャンネル信号と、制作環境のスピーカ配置から再生環境のスピーカ配置へのチャンネル変換係数を含むメタデータとを多重化するものであり、番組制作者等により入力されるメタデータと、符号化された音響チャンネル信号を多重化して複数の音響空間層を持つマルチチャンネル音響信号を作成する。また、マルチプレクサ23は、映像フォーマット毎に記載されたチャンネル変換係数を多重化することができる。また、マルチプレクサ23は、音響空間層毎に記載された前記チャンネル変換係数を多重化することができる。マルチプレクサ23は、放送又は伝送によりマルチチャンネル音響信号を伝えるため、マルチチャンネル音響信号を多重化して電波またはIP回線等で家庭など遠隔地に伝送する。
【0038】
このように、本実施形態によれば、マルチプレクサ23は、各音響空間層の音響チャンネル信号と、制作環境のスピーカ配置から再生環境のスピーカ配置へのチャンネル変換係数を含むメタデータとを多重化する。これにより、音響信号再生装置側で、複数の音響空間層を持つマルチチャンネル音響方式に対応し、マルチチャンネル音響信号の制作環境と再生環境とのスピーカ配置が異なる場合でも、再生環境に適したマルチチャンネル音響信号のチャンネル変換が可能になる。特に、5.1サラウンドから2チャンネルステレオに変換する場合などの典型的な変換以外に、任意のスピーチ配置間のチャンネル変換を柔軟に規定することが可能となる。
【0039】
また、マルチプレクサ23は、映像フォーマット毎に記載されたチャンネル変換係数を多重化する。これにより、音響信号再生装置側で、制作環境及び再生環境の映像フォーマットに合わせた最適なチャンネル変換が可能となり、音響信号の再生品質を向上させることが可能となる。
【0040】
また、マルチプレクサ23は、音響空間層毎に記載された前記チャンネル変換係数を多重化する。これにより、音響信号再生装置側で、例えば後方のサラウンドチャンネルに背景音が収録されている場合と音声が収録されている場合など、収録されている音響空間層の種類、役割によってチャンネル変換係数を変えることができ、より番組コンテンツ及び再生環境に合致したチャンネル変換が可能となる。