特許第6626397号(P6626397)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電信電話株式会社の特許一覧
特許6626397音像量子化装置、音像逆量子化装置、音像量子化装置の動作方法、音像逆量子化装置の動作方法およびコンピュータプログラム
<>
  • 特許6626397-音像量子化装置、音像逆量子化装置、音像量子化装置の動作方法、音像逆量子化装置の動作方法およびコンピュータプログラム 図000002
  • 特許6626397-音像量子化装置、音像逆量子化装置、音像量子化装置の動作方法、音像逆量子化装置の動作方法およびコンピュータプログラム 図000003
  • 特許6626397-音像量子化装置、音像逆量子化装置、音像量子化装置の動作方法、音像逆量子化装置の動作方法およびコンピュータプログラム 図000004
  • 特許6626397-音像量子化装置、音像逆量子化装置、音像量子化装置の動作方法、音像逆量子化装置の動作方法およびコンピュータプログラム 図000005
  • 特許6626397-音像量子化装置、音像逆量子化装置、音像量子化装置の動作方法、音像逆量子化装置の動作方法およびコンピュータプログラム 図000006
  • 特許6626397-音像量子化装置、音像逆量子化装置、音像量子化装置の動作方法、音像逆量子化装置の動作方法およびコンピュータプログラム 図000007
  • 特許6626397-音像量子化装置、音像逆量子化装置、音像量子化装置の動作方法、音像逆量子化装置の動作方法およびコンピュータプログラム 図000008
  • 特許6626397-音像量子化装置、音像逆量子化装置、音像量子化装置の動作方法、音像逆量子化装置の動作方法およびコンピュータプログラム 図000009
  • 特許6626397-音像量子化装置、音像逆量子化装置、音像量子化装置の動作方法、音像逆量子化装置の動作方法およびコンピュータプログラム 図000010
  • 特許6626397-音像量子化装置、音像逆量子化装置、音像量子化装置の動作方法、音像逆量子化装置の動作方法およびコンピュータプログラム 図000011
  • 特許6626397-音像量子化装置、音像逆量子化装置、音像量子化装置の動作方法、音像逆量子化装置の動作方法およびコンピュータプログラム 図000012
  • 特許6626397-音像量子化装置、音像逆量子化装置、音像量子化装置の動作方法、音像逆量子化装置の動作方法およびコンピュータプログラム 図000013
  • 特許6626397-音像量子化装置、音像逆量子化装置、音像量子化装置の動作方法、音像逆量子化装置の動作方法およびコンピュータプログラム 図000014
  • 特許6626397-音像量子化装置、音像逆量子化装置、音像量子化装置の動作方法、音像逆量子化装置の動作方法およびコンピュータプログラム 図000015
  • 特許6626397-音像量子化装置、音像逆量子化装置、音像量子化装置の動作方法、音像逆量子化装置の動作方法およびコンピュータプログラム 図000016
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6626397
(24)【登録日】2019年12月6日
(45)【発行日】2019年12月25日
(54)【発明の名称】音像量子化装置、音像逆量子化装置、音像量子化装置の動作方法、音像逆量子化装置の動作方法およびコンピュータプログラム
(51)【国際特許分類】
   H04S 3/00 20060101AFI20191216BHJP
【FI】
   H04S3/00 200
【請求項の数】7
【全頁数】17
(21)【出願番号】特願2016-82126(P2016-82126)
(22)【出願日】2016年4月15日
(65)【公開番号】特開2017-192103(P2017-192103A)
(43)【公開日】2017年10月19日
【審査請求日】2018年5月24日
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100129230
【弁理士】
【氏名又は名称】工藤 理恵
(72)【発明者】
【氏名】堤 公孝
(72)【発明者】
【氏名】高田 英明
【審査官】 柴垣 俊男
(56)【参考文献】
【文献】 特開2001−346297(JP,A)
【文献】 特開2007−336184(JP,A)
【文献】 特開2005−006018(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04S 3/00
(57)【特許請求の範囲】
【請求項1】
複数の方向ベクトルを格納する方向ベクトル格納部と、
観測点から音像までの音源方向ベクトルの方向に対応する方向ベクトルを前記方向ベクトル格納部から取得する音源方向量子化部と、
複数の距離を格納する距離格納部と、
前記音源方向ベクトルのノルムに対応する距離を前記距離格納部から取得する音源距離量子化部と
前記音像の位置に音源を配置した場合の虚音源の位置を算出する虚音源生成部を備え、
前記音源方向量子化部は、
前記観測点から虚音源までの虚音源方向ベクトルの方向に対応する方向ベクトルを前記方向ベクトル格納部から取得し、
前記音源距離量子化部は、
前記虚音源方向ベクトルのノルムに対応する距離を前記距離格納部から取得する
ことを特徴とする音像量子化装置。
【請求項2】
複数の方向のそれぞれに対応づけてパニングゲインを格納するパニングゲイン格納部と、
観測点から音像までの音源方向ベクトルの方向を取得し、前記方向に対応するパニングゲインを前記パニングゲイン格納部から取得するパニングゲイン決定部と、
複数の距離のそれぞれに対応づけて距離減衰ゲインを格納する距離減衰ゲイン格納部と、
前記音源方向ベクトルのノルムを取得し、前記ノルムに応じた距離減衰ゲインを前記距離減衰ゲイン格納部から取得する音源距離逆量子化部と、を備え
前記パニングゲイン決定部は、前記観測点から、前記音像の位置に音源を配置した場合の虚音源までの虚音源方向ベクトルの方向を取得し、前記方向に対応するパニングゲインを前記パニングゲイン格納部から取得し、
前記音源距離逆量子化部は、前記虚音源方向ベクトルのノルムを取得し、前記ノルムに応じた距離減衰ゲインを前記距離減衰ゲイン格納部から取得する
ことを特徴とする音像逆量子化装置。
【請求項3】
前記距離減衰ゲイン格納部の各距離減衰ゲインは個別の音源距離インデクスに対応づけられ、
前記音源距離逆量子化部は、
前記音源方向ベクトルのノルムに対応する音源距離インデクスを取得し、前記距離減衰ゲイン格納部から、取得した前記音源距離インデクスと同じ音源距離インデクスに対応づけられた距離減衰ゲインを取得する
ことを特徴とする請求項2記載の音像逆量子化装置。
【請求項4】
音像の位置に音源を配置した場合の虚音源の位置を算出するステップと、
観測点から前記音像までの音源方向ベクトルの方向に対応する方向ベクトルを方向ベクトル格納部から取得するステップと、
前記音源方向ベクトルのノルムに対応する距離を距離格納部から取得するステップと
前記観測点から前記虚音源までの虚音源方向ベクトルの方向に対応する方向ベクトルを前記方向ベクトル格納部から取得するステップと、
前記虚音源方向ベクトルのノルムに対応する距離を前記距離格納部から取得するステップと
を行うことを特徴とする音像量子化装置の動作方法。
【請求項5】
観測点から音像までの音源方向ベクトルの方向を取得し、前記方向に対応するパニングゲインをパニングゲイン格納部から取得するステップと、
前記音源方向ベクトルのノルムを取得し、前記ノルムに応じた距離減衰ゲインを距離減衰ゲイン格納部から取得するステップと、
前記観測点から、前記音像の位置に音源を配置した場合の虚音源までの虚音源方向ベクトルの方向を取得し、前記方向に対応するパニングゲインを前記パニングゲイン格納部から取得するステップと、
前記虚音源方向ベクトルのノルムを取得し、前記ノルムに応じた距離減衰ゲインを前記距離減衰ゲイン格納部から取得するステップと
を行うことを特徴とする音像逆量子化装置の動作方法。
【請求項6】
前記距離減衰ゲイン格納部の各距離減衰ゲインは個別の音源距離インデクスに対応づけられ、
前記ノルムに対応する音源距離インデクスを取得し、前記距離減衰ゲイン格納部から、取得した前記音源距離インデクスと同じ音源距離インデクスに対応づけられた距離減衰ゲインを取得する
ことを特徴とする請求項5記載の音像逆量子化装置の動作方法。
【請求項7】
請求項1記載の音像量子化装置または請求項2または3記載の音像逆量子化装置としてコンピュータを機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、空間中に音像を形成する際のゲインの計算負荷を低減する技術に関する。
【背景技術】
【0002】
従来において、パブリックビューイングやコンサートでは、上映会場に設置した複数のスピーカから音声や音楽などを再生する。近年、仮想的な音源(音像)を上映空間に形成することにより、これまで以上に臨場感のある音響再生を実現する取り組みが行われている。
【0003】
非特許文献1に開示の方法によれば、上映会場内の仮想空間中に音像の位置を定義し、音像の位置に応じてスピーカの音量を調整することで観客が感じる音像の位置を制御できる。
【0004】
また、上映空間に仮想的な音源を作り出す音響再生技術に関し、特許文献1は、電話会議相手から送られてくる音声に対して擬似的に音像を与えることにより、臨場感の高い電話会議を実現する。
【0005】
特許文献1では、あらかじめ通話相手の地点ごとに音像を定位させる位置を固定し、通話相手から伝送される音声符号に含まれるゲインを用いて低演算量で音像定位を実現できるが、音源の位置を柔軟に動かすことができないという問題がある。
【0006】
一方、非特許文献2に開示の技術では、人間が知覚できる音像位置の分解能には限界があり、例えば観客に対して正面横方向であれば約3〜4度程度の精度でしか音像の位置を区別することができない。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2011−182141号公報
【非特許文献】
【0008】
【非特許文献1】Ville Pulkki, ”Virtual Sound Source Positioning Using Vector Base Amplitude Panning,” J. Audio Engineering Society, Vol.45, No.6, 1997, June.
【非特許文献2】G. Kearney, Enda Bates, Frank Boland and Dermot Furlong, ”A Comparative Study of the Performance of Spatialization Techniques for a Distributed Audience in a Concert Hall Environment,” in Proc. of 31th International Conference of the Audio Engineering Society, June 2007.
【発明の概要】
【発明が解決しようとする課題】
【0009】
非特許文献1の手法は、音像定位効果を持つ音響再生技術としては、比較的シンプルな装置構成で実現できるが、音像の数が増加したり音像が動いたりすると、その都度スピーカに与えるゲインを再計算する必要が生じるため、計算負荷が増大するという問題がある。
【0010】
また、特許文献1に記載の手法も低演算量で音像定位を行うことができるが、2チャンネルステレオを前提とした技術であるため、マルチチャネル音声に対する音像定位への対応が問題となる。
【0011】
本発明は、上記事情に鑑みなされたもので、空間中に音像を形成する際のゲインの計算負荷を低減する技術を提供することを目的とする。
【課題を解決するための手段】
【0012】
上記課題を解決するために、第1の本発明の音像量子化装置は、複数の方向ベクトルを格納する方向ベクトル格納部と、観測点から音像までの音源方向ベクトルの方向に対応する方向ベクトルを前記方向ベクトル格納部から取得する音源方向量子化部と、複数の距離を格納する距離格納部と、前記音源方向ベクトルのノルムに対応する距離を前記距離格納部から取得する音源距離量子化部とを備えることを特徴とする。
【0013】
第2の本発明の音像逆量子化装置は、複数の方向のそれぞれに対応づけてパニングゲインを格納するパニングゲイン格納部と、観測点から音像までの音源方向ベクトルの方向を取得し、前記方向に対応するパニングゲインを前記パニングゲイン格納部から取得するパニングゲイン決定部と、複数の距離のそれぞれに対応づけて距離減衰ゲインを格納する距離減衰ゲイン格納部と、前記音源方向ベクトルのノルムを取得し、前記ノルムに応じた距離減衰ゲインを前記距離減衰ゲイン格納部から取得する音源距離逆量子化部とを備えることを特徴とする。
【0014】
第3の本発明の音像量子化装置の動作方法は、観測点から音像までの音源方向ベクトルの方向に対応する方向ベクトルを方向ベクトル格納部から取得するステップと、前記音源方向ベクトルのノルムに対応する距離を距離格納部から取得するステップとを行うことを特徴とする。
【0015】
第4の本発明の音像逆量子化装置の動作方法は、観測点から音像までの音源方向ベクトルの方向を取得し、前記方向に対応するパニングゲインをパニングゲイン格納部から取得するステップと、前記音源方向ベクトルのノルムを取得し、前記ノルムに応じた距離減衰ゲインを距離減衰ゲイン格納部から取得するステップとを行うことを特徴とする。
【0016】
第5の本発明のコンピュータプログラムは、音像量子化装置または音像逆量子化装置としてコンピュータを機能させるためのコンピュータプログラムである。
【発明の効果】
【0017】
本発明によれば、空間中に音像を形成する際のゲインの計算負荷を低減できる。
【図面の簡単な説明】
【0018】
図1】実施形態1のシステム構成図である。
図2】音源方向ベクトルと音像位置の関係を示す図である。
図3】方向ベクトルの例を示す図である。
図4】方向ベクトル格納部12に格納された方向ベクトルの具体例を示す図である。
図5】距離格納部14に格納された距離の例を示す図である。
図6】パニングゲイン格納部21に格納されたパニングゲインの例を示す図である。
図7】距離減衰ゲイン格納部23に格納された距離減衰ゲインの例を示す図である。
図8】各ゲイン(パニングゲイン、距離減衰ゲイン)とチャネルの関係を示す図である。
図9】実施形態2のシステム構成図である。
図10】実施形態2における処理の流れを示すフローチャートである。
図11】実音源(音像)と虚音源の位置関係を示す図である。
図12】ステップS7の詳細なフローチャートである。
図13】実施形態2で生成される音響信号の波形図である。
図14】本実施形態の技術についての性能の評価結果であり、音像の方向を固定した場合(実験1)の評価結果を示す図である。
図15】本実施形態の技術についての性能の評価結果であり、音像の方向を変化させた場合(実験2)の評価結果を示す図である。
【発明を実施するための形態】
【0019】
以下、本発明の実施形態について図面を参照して説明する。本実施の形態は、例えば、上映空間中に仮想的な音源を作り出す演出効果をもつ音響再生技術を開示するものである。
【0020】
非特許文献2に記載の通り、人間が区別できる音像位置の精度には限界がある。そこで、実施形態では、音像を定位させる位置や方向を空間内で事前に量子化し、各位置に音像がある場合に各チャネルに与えるスピーカのゲインを予め設定し、音源ごとに量子化された音像位置や方向に対応するインデクスで音源位置を符号化する。
【0021】
再生時には、上記インデクスを元に、対応する音源を再生する際のスピーカのゲインが一意に特定できるため、非常に低い演算負荷で多数の音源に対し音像定位効果を与えることができる。
【0022】
以下、実施形態を実施形態1、2に分けて詳しく説明する。
【0023】
[実施形態1]
実施形態1は、残響を利用した音像制御を行う最も基本的な構成例であり、図1にシステム構成を示す。
【0024】
実施形態1のシステムは、音像量子化装置1と、音像逆量子化装置2と、音響再生装置3と、音響装置4を有する構成である。
【0025】
音像量子化装置1は、例えば、事前にコンテン製作者らが定めた音像(仮想的な音源)の位置を取得し、空間、例えば映画の上映会場の着座位置などの観測点から、取得した音像の位置の方向を求めるとともに、観測点から音像の位置までの距離を求める。
【0026】
音像逆量子化装置2は、音響信号を入力し、求めた方向と距離を基に、取得した音像の位置に実際に音像が形成されるように、音響信号にゲインを割り当てる。
【0027】
音響再生装置3は、割り当て後の音響信号を音響装置4の各スピーカなどに与え、音響装置4の各スピーカなどは、音響信号に応じた音響を再生する。再生された音響により、取得した音像の位置に実際に音像が形成される。
【0028】
音響装置4は、上映会場に配置されたn(nは複数)チャネル(CH1〜CHn)のスピーカなどである。
【0029】
音像量子化装置1は、音像位置算出部11と、方向ベクトル格納部12と、音源方向量子化部13と、距離格納部14と、音源距離量子化部15と、を有する。
【0030】
音像位置算出部11は、事前にコンテン製作者らが定めた音像の位置を取得し、取得した音像の位置と予め定められた観測点の位置に基づいて、図2に示すように、観測点から音像までの音源方向ベクトルを算出する。音源方向ベクトルは、例えば水平方向の所定の方向(X軸)を基準とした方位角と、XY平面を基準とした仰角と、観測点から音像までのノルムとからなる。
【0031】
図1に戻り、方向ベクトル格納部12は、予め複数の方向ベクトルを格納している。方向ベクトルとしては、観測点からの方位角(−180度〜+180度)と仰角(−90度〜+90度)を一様に分割したベクトルなどを用いることができる。例えば、図3に示すように、仰角を+45度、方位角を−135度、−45度、+45度、+135度に分割した、4個の方向ベクトルV1〜V4を用いる。これら方向ベクトルは、方向ベクトル格納部12に格納される。
【0032】
図4は、方向ベクトル格納部12に格納された方向ベクトルの具体例を示す図である。
【0033】
方向ベクトル格納部12は、上記例の場合、4個の方向ベクトルを格納し、各方向ベクトルには、方向ベクトルを一意に示す方向インデクスv1〜v4が対応づけられている。方向ベクトルは、音源方向ベクトルと基準を同一とした方位角と仰角とからなる。
【0034】
なお、実用上は、方位角、仰角の量子化ステップを5度程度以下の解像度で分割した方向ベクトルを方向ベクトル格納部12に格納する。すなわち、知覚上、音像に不連続性が生じない程度に量子化できるような十分な数の方向ベクトルを方向ベクトル格納部12に格納する。
【0035】
図1に戻り、音源方向量子化部13は、音源方向ベクトルを音像位置算出部11から取得し、音源方向ベクトルの方向(方位角と仰角)を量子化する。つまり、方向(方位角と仰角)に対応する方向ベクトルを方向ベクトル格納部12から取得する。具体的には、音源方向量子化部13は、方向ベクトル格納部12に格納された各方向ベクトルと音源方向ベクトルの内積を計算し、全ての方向ベクトルとの内積計算の結果、最大の内積を与える方向ベクトルに対応づけられた方向インデクスを音像逆量子化装置2に送信(出力)する。
【0036】
距離格納部14は、事前に例えば学習により定めた複数の距離を格納している。
【0037】
図5は、距離格納部14に格納された距離の例を示す図である。
【0038】
距離格納部14は、複数の距離を格納し、各距離には、距離を一意に示す音源距離インデクスd1、d2、d3、d4、…が対応づけられている。
【0039】
図1に戻り、音源距離量子化部15は、音源方向ベクトルを音像位置算出部11から取得し、距離格納部14を用いて、音源方向ベクトルのノルムを量子化する。つまり、音源距離量子化部15は、ノルムに対応する距離を距離格納部14から取得する。例えば、音源距離量子化部15は、ノルムと各距離の差を計算し、最も小さい差に対応する音源距離インデクスを音像逆量子化装置2に送信(出力)する。
【0040】
音像逆量子化装置2は、パニングゲイン格納部21と、パニングゲイン決定部22と、距離減衰ゲイン格納部23と、音源距離逆量子化部24と、ゲイン調整部25と、を有する。
【0041】
音像逆量子化装置2は、方向インデクスと音源距離インデクスを音像量子化装置1から受信する。
【0042】
音像逆量子化装置2のパニングゲイン決定部22は、方向インデクスを取得し、方向インデクスに対応するパニングゲインをパニングゲイン格納部21から取得し、音響信号の各チャネルに割り当てる。
【0043】
図6は、パニングゲイン格納部21に格納されたパニングゲインの例を示す図である。
【0044】
パニングゲイン格納部21は、複数の方向のそれぞれに対応づけてパニングゲインを格納する。例えば、パニングゲイン格納部21は、4個の方向インデクスv1〜v4のそれぞれに対応づけて、パニングゲインを格納する。各パニングゲインは、音響信号のチャネル(CH1、CH2、…、CHn)ごとのチャネルゲインからなる。各方向インデクスv1〜v4に対応づけられたパニングゲインは、一般的にはチャネルごとに異なるチャネルゲイン(値)をとるベクトルであるが、同じ値が同じベクトルに含まれていてもよい。
【0045】
パニングゲイン決定部22は、観測点から音像までの音源方向ベクトルの方向、つまり、方向インデクスを取得し、パニングゲイン格納部21から、取得した方向、つまり、方向インデクスに対応するパニングゲインを取得し、パニングゲインの各チャネルゲインを対応するチャネルに割り当てる。
【0046】
音源距離逆量子化部24は、音源距離インデクスに対応する距離減衰ゲインを、パニングゲインの各チャネルゲインが割り当てられた各チャネルに割り当てる。
【0047】
図7は、距離減衰ゲイン格納部23に格納された距離減衰ゲインの例を示す図である。
【0048】
距離減衰ゲイン格納部23は、複数の距離のそれぞれに対応づけて距離減衰ゲインを格納する。距離減衰ゲインはスカラ量である。例えば、各距離減衰ゲインは、個別の音源距離インデクスd1、d2、d3、d4、…に対応づけられている。すなわち、各距離減衰ゲインは、実質的に距離に対応づけられている。
【0049】
図1に戻り、音源距離逆量子化部24は、音源距離インデクスを取得し、音源距離インデクスに対応した遅延(スカラ量に応じた遅延)を、パニングゲインの各チャネルゲインが割り当てられた各チャネルに割り当て、音響信号に遅延を持たせて加算を行う。
【0050】
具体的には、音源距離逆量子化部24は、距離減衰ゲイン格納部23から、取得した音源距離インデクスと同じ音源距離インデクスに対応づけられた距離減衰ゲインを取得し、パニングゲインの各チャネルゲインが割り当てられた各チャネルに距離減衰ゲインを割り当て、音響信号に遅延を持たせて加算を行う。
【0051】
ゲイン調整部25は、各チャネルに割り当てられたゲイン(チャネルゲイン、距離減衰ゲイン)を音響信号に割り当て(音響信号を処理し)、割り当て後のチャネル数分の音響信号を音響再生装置3に送信する。なお、音響信号の処理は、例えば、音像逆量子化装置2が備えるバッファ内で行う。すなわち、音響信号をバッファに格納し、バッファ内でゲイン(チャネルゲイン、距離減衰ゲイン)を音響信号に割り当てる(処理する)。
【0052】
音響再生装置3は、各音響信号を受信し、各音響信号を、音響装置4の、対応するチャネルのスピーカなどに送信する。音響装置4の各スピーカは、受信した音響信号に応じた音響を再生する。再生された音響により、所望の位置、つまり、入力された音像の位置に実際に音像が形成される。
【0053】
図8は、各ゲイン(パニングゲイン、距離減衰ゲイン)とチャネルの関係を示す図である。
【0054】
音像逆量子化装置2に入力された音響信号(以下、「元の音響信号」という)は、パニングゲイン決定部22により取得されたチャネルCH1のチャネルゲインに応じた増幅量又は減衰量で増幅又は減衰される。また、増幅又は減衰後の音響信号は、音源距離逆量子化部24により取得された距離減衰ゲインに応じた遅延量で遅延が生じるように処理される。
【0055】
また、元の音響信号は、同様に、チャネルCH2のチャネルゲインに応じた増幅量又は減衰量で増幅又は減衰される。また、増幅又は減衰後の音響信号は、同じ距離減衰ゲインに応じた遅延量で遅延が生じるように処理される。
【0056】
また、他のチャネルについても同様の処理がなされる。
【0057】
これにより、チャネルCH1のスピーカは、元の音響信号に対して遅延したタイミングから、元の音響信号を例えば増幅した音響信号により音響を再生する。
【0058】
また、チャネルCH1のスピーカは、チャネルCH1と同じ遅延したタイミングから、元の音響信号を例えば増幅した音響信号により音響を再生する。
【0059】
また、チャネルCHnのスピーカは、チャネルCH1、2と同じ遅延したタイミングから、元の音響信号を例えば減衰した音響信号により音響を再生する。
【0060】
こうして再生された音響により、入力された音像の位置に実際に音像が形成される。
【0061】
(実施形態1の変形例)
上記実施形態1では、音源距離量子化部15は、音源距離インデクスを送信し、音源距離逆量子化部24は、音源距離インデクスに対応づけられた距離減衰ゲインを読み出した(逆量子化した)が、音源距離逆量子化部24は、音源方向ベクトルのノルムから距離減衰ゲインを算出する構成としてもよい。例えば、音像量子化装置1は、距離格納部14と音源距離量子化部15を備えず、音像位置算出部11が音源方向ベクトルのノルムを音像逆量子化装置2に送信する。音源距離逆量子化部24は、送信されたノルムを取得し、ノルムに応じた距離減衰ゲイン(例えばノルムの逆数に応じた距離減衰ゲイン)を算出する。その他の処理は実施形態1と同じである。
【0062】
または、音像量子化装置1においてノルムをスカラ量子化などで量子化し、音源距離逆量子化部24が逆量子化を行い、これにより、ノルムに相当する値を算出する構成としてもよい。
【0063】
以上のように、実施形態1によれば、音像を定位させる位置や方向を空間内で事前に量子化し符号化しておくことで、再生時に音源を再現する際のスピーカーに与えるゲインの計算負荷が低減できる。つまり、実施形態1によれば、音像量子化装置1は、複数の方向ベクトルを格納する方向ベクトル格納部12と、観測点から音像までの音源方向ベクトルの方向に対応する方向ベクトルを方向ベクトル格納部12から取得する音源方向量子化部13と、複数の距離を格納する距離格納部14と、音源方向ベクトルのノルムに対応する距離を距離格納部14から取得する音源距離量子化部15とを備える。
【0064】
また、距離減衰ゲイン格納部23の各距離減衰ゲインは個別の音源距離インデクスに対応づけられ、音源距離逆量子化部24は、音源方向ベクトルのノルムに対応する音源距離インデクスを取得し、距離減衰ゲイン格納部23から、取得した音源距離インデクスと同じ音源距離インデクスに対応づけられた距離減衰ゲインを取得する。
【0065】
また、変形例の音像逆量子化装置2は、複数の方向のそれぞれに対応づけてパニングゲインを格納するパニングゲイン格納部21と、観測点から音像までの音源方向ベクトルの方向を取得し、た方向に対応するパニングゲインをパニングゲイン格納部21から取得するパニングゲイン決定部22と、複数の距離のそれぞれに対応づけて距離減衰ゲインを格納する距離減衰ゲイン格納部23と、音源方向ベクトルのノルムを取得し、ノルムに応じた距離減衰ゲインを距離減衰ゲイン格納部23から取得する音源距離逆量子化部24とを備える。
【0066】
よって、パニングゲインと距離減衰ゲインを逐一計算する必要性がなく、計算負荷を低減できる。
また、計算負荷が少ないので、入力した音像の位置に音像を迅速に形成でき、別の音像の位置を入力すれば、音像を迅速に移動できる。
【0067】
また、音像量子化装置1では、観測点から音像までの音源方向ベクトルの方向に対応する方向ベクトルを方向ベクトル格納部12から取得するステップと、音源方向ベクトルのノルムに対応する距離を距離格納部から取得するステップとを行う。
【0068】
また、音像逆量子化装置2では、観測点から音像までの音源方向ベクトルの方向を取得し、方向に対応するパニングゲインをパニングゲイン格納部21から取得するステップと、音源方向ベクトルのノルムを取得し、ノルムに応じた距離減衰ゲインを距離減衰ゲイン格納部23から取得するステップとを行う。
【0069】
よって、パニングゲインと距離減衰ゲインを逐一計算する必要性がなく、計算負荷を低減できる。
また、計算負荷が少ないので、入力した音像の位置に音像を迅速に形成でき、別の音像の位置を入力すれば、音像を迅速に移動できる。
【0070】
[実施形態2]
実施形態2では、壁面からの反射音を生成する発明を開示する。
【0071】
図9は、実施形態2において壁面からの反射音を利用した音像制御を行うシステム構成図である。
【0072】
実施形態2では、実施形態1の音像量子化装置1に対して、さらに虚音源生成部16を有する音像量子化装置1aを用いる。
【0073】
ここでは、音像逆量子化装置2は、音響信号を格納するバッファを各チャネルにつき有することとする。
【0074】
バッファには、音響信号の生成にあたり、例えば、20mSなどの1フレームに相当する時間蓄積した音響信号を入力信号として格納する。あるいは、コーデックを用いてエンコード、デコードして得られた音響信号を音声波形として用い、パニングゲインと距離減衰ゲインを適用の上、距離減衰ゲインに対応する遅延時間に応じて、各チャネルのバッファに対して重畳加算処理を行う。そして、この逆量子化の動作を音源(詳しくは後述する)の数だけ繰り返し、各スピーカから再生する音響信号を出力する。
【0075】
以下、詳しく説明する。
【0076】
図10は、実施形態2における処理の流れを示すフローチャートである。
【0077】
まず、音像逆量子化装置2は、上記バッファを初期化する(S1)。
【0078】
次に、虚音源生成部16は、例えば、事前にコンテン製作者らが定めた音像の位置を取得し、音像の位置と観測点から、音像の位置に音源を配置した場合の虚音源の位置を算出し、取得した音像の位置、ならびに、算出した虚音源の位置を音像位置算出部11に出力する(S3)。
【0079】
ステップS3で虚音源生成部16は、図11に示すように、音像の位置に実音源(スピーカなど)を配置し、上映会場の壁面を鏡に見立てた場合に鏡面に現れる実音源の位置、すなわち虚音源の位置を算出する。また、虚音源生成部16は、さらに虚音源の鏡像もまた、虚音源として位置を算出する。なお、虚音源は、無限に生成可能だが、虚音源生成部16は、事前に定めた閾値を超えない範囲に含まれる虚音源を対象として、位置を算出すればよい。
【0080】
次に、音像位置算出部11は、実施形態1と同様に、音像の位置から音源方向ベクトルを算出するとともに、各虚音源に対しても、観測点から虚音源までの音源方向ベクトル(音像の位置から算出する音源方向ベクトルと区別して「虚音源方向ベクトル」という)を算出する(S5)。以下、音像の位置から算出した音源方向ベクトルを「虚音源方向ベクトル」と区別して「実音源方向ベクトル」という。
【0081】
ステップS5では、また、音源方向量子化部13が、実音源方向ベクトルの方向に対応する方向ベクトルと各虚音源方向ベクトルの方向に対応する方向ベクトルを方向ベクトル格納部12から取得し、音源距離量子化部15が、実音源方向ベクトルのノルムに対応する距離と各虚音源方向ベクトルのノルムに対応する距離を距離格納部14から取得する。実際には、方向ベクトルに対応する方向インデクスと距離に対応する音源距離インデクスを取得する。
【0082】
つまり、実音源方向ベクトルに対してだけでなく、各虚音源方向ベクトルに対しても、実施形態1と同様に、方向インデクスと音源距離インデクスを取得する。
【0083】
次に、音像逆量子化装置2が、音源毎のインデクスを逆量子化して、各チャネルに付与するパニングゲイン、距離減衰ゲイン(遅延時間)を出力する。つまり、音像逆量子化装置2は、音像量子化装置1から、方向インデクスと音源距離インデクスを受信し、バッファにおいて、方向インデクスと音源距離インデクスに基づいて、音響装置4の各チャネルのスピーカに与える音響信号を1フレーム分だけ生成し、音響再生装置3に送信する(S7)。
【0084】
つまり、ゲイン調整部25が、各チャネルに割り当てられたゲイン(チャネルゲイン、距離減衰ゲイン)を音響信号に割り当て(音響信号を処理し)、割り当て後のチャネル数分の音響信号を音響再生装置3に送信する(S7)。
【0085】
次に、音響信号において次のフレームがあるか否かを判定し(S9)、次のフレームがある場合は(S9:YES)、ステップS7に戻り、次のフレームがない(音響信号の入力が終了)した場合は(S9:NO)、処理を終える。
【0086】
図12は、ステップS7の詳細なフローチャートである。
【0087】
パニングゲイン決定部22は、実音源方向ベクトルおよび各虚音源方向ベクトルから得られた方向インデクスを取得し、音源距離逆量子化部24は、実音源方向ベクトルおよび各虚音源方向ベクトルから得られた音源距離インデクスを取得する(S71)。
【0088】
次に、パニングゲイン決定部22が、実音源方向ベクトルから得られた方向インデクスを逆量子化、つまり、方向インデクスに対応づけられたパニングゲインをパニングゲイン格納部21から取得する(S73)。
【0089】
次に、音源距離逆量子化部24が、実音源方向ベクトルから得られた音源距離インデクスを逆量子化、つまり、音源距離インデクスに対応づけられた距離減衰ゲインを距離減衰ゲイン格納部23から取得する(S75)。
【0090】
次に、パニングゲイン決定部22が、取得したパニングゲインの各チャネルゲインを各チャネルに割り当て、音源距離逆量子化部24が、パニングゲインの各チャネルゲインが割り当てられた各チャネルに、取得した距離減衰ゲインを割り当て、重畳加算する(S77)。
【0091】
次に、全音源の割り当てが完了したか、つまり、実音源方向ベクトルと各虚音源方向ベクトルの全てにつき、方向インデクスおよび音源距離インデクスから得たパニングゲインおよび距離減衰ゲインの割り当てが終了したか否かを判定する(S79)。
【0092】
ステップS79でNOと判定された場合は、ステップS73に戻り、以降は、虚音源方向ベクトルを1つづつ対象とし、対象の虚音源方向ベクトルから得られた方向インデクスおよび音源距離インデクスについて、実音源方向ベクトルから得られた方向インデクスおよび音源距離インデクスと同様に、パニングゲインの取得(S73)、距離減衰ゲインの取得(S75)およびゲインの割り当て(S77)を行う。
【0093】
ステップS79でYESと判定された場合は、処理を終了する。
【0094】
なお、図10のステップS7では、ゲイン調整部25は、各チャネルにつき、実音源方向ベクトルから得たインデクスによる割り当て、処理後の音響信号と各虚音源方向ベクトルから得たインデクスによる割り当て、処理後の音響信号を合成する。そして、ゲイン調整部25は、各チャネルにつき、合成後の音響信号を音響再生装置3に送信する。
【0095】
図13は、実施形態2で生成される音響信号の波形図である。
【0096】
チャネルCH1〜CHnの音響信号の第1フレームにおいては、ピークは異なるが、実音源(音像)を生成するための波形が同じタイミングから出現する。ピークは、実音源方向ベクトルから得られたチャネルゲインの適用により、チャネルゲインに応じたものとなる。タイミングは、実音源方向ベクトルから得られた距離減衰ゲインの適用により、距離減衰ゲインに応じたものとなる。
【0097】
このタイミングから遅延して、各チャネルでは、ピークは異なるが、観測点に一番近い虚音源を生成するための波形(図では虚音源1の波形として記載)が出現する。ピークは、この虚音源1に対応する虚音源方向ベクトルから得られたチャネルゲインの適用により、チャネルゲインに応じたものとなる。出現のタイミングは、この虚音源方向ベクトルから得られた距離減衰ゲインの適用により、距離減衰ゲインに応じたものとなる。
【0098】
このタイミングから遅延して、各チャネルでは、ピークは異なるが、観測点に2番目に近い虚音源を生成するための波形(図では虚音源2の波形として記載)が出現する。ピークは、この虚音源2に対応する虚音源方向ベクトルから得られたチャネルゲインの適用により、チャネルゲインに応じたものとなる。出現のタイミングは、この虚音源方向ベクトルから得られた距離減衰ゲインの適用により、距離減衰ゲインに応じたものとなる。
【0099】
こうして、実音源(音像)を生成するための波形と各虚音源を生成するための波形を合成した第1フレームが生成される。
【0100】
第2フレーム以降も同様に、実音源(音像)を生成するための波形と各虚音源を生成するための波形が合成される。
【0101】
実施形態2では、虚音源に対応する波形により、壁面からの反射音を生成することができ、すなわち、残響を生成でき、その際においても、パニングゲインと距離減衰ゲインを逐一計算する必要性がなく、計算負荷を低減できる。
【0102】
以上のように、実施形態2によれば、音像量子化装置1は、音像の位置に音源を配置した場合の虚音源の位置を算出する虚音源生成部16を備え、音源方向量子化部13は、観測点から虚音源までの虚音源方向ベクトルの方向に対応する方向ベクトルを方向ベクトル格納部12から取得し、音源距離量子化部15は、虚音源方向ベクトルのノルムに対応する距離を距離格納部14から取得する。
【0103】
よって、壁面からの反射音、残響を生成でき、その際においても、パニングゲインと距離減衰ゲインを逐一計算する必要性がなく、計算負荷を低減できる。
【0104】
次に、本実施形態の技術についての性能を評価するため、一般被験者を対象とした品質評価試験を実施したので、実験手法と評価結果を説明する。
【0105】
(実験方法)
非特許文献1に記載の従来技術と、本実施形態の技術を用いて特定の方向から聞こえる音声サンプルを作成した。サンプル作成に当たっては、白色雑音を生成し、雑音に対して、従来技術と本実施形態の技術のそれぞれを用いて生成したゲインを適用してサンプルを作成した。サンプルの長さは、従来技術と本実施形態の技術のそれぞれにつき8秒間とした。
【0106】
上記サンプルを社外の一般被験者24名に対し、ランダムに選択した32方向から呈示した音声について、従来技術と比較して「音源の方向は変化していないかどうか?」と質問し、「変化していない」との回答の回答数を集計した。
【0107】
本実施形態の技術を使用した場合、量子化ステップを、2度、4度、8度、12度、45度と変化させてサンプルを作成し、各量子化ステップごとに回答数を集計した。
【0108】
実験1では、音源の方向を固定したサンプルを被験者に呈示し、実験2では、音源の方向が変化する(音像が被験者の周囲を回転する)サンプルを呈示した。実験2における音源方向の変化の速度は5段階(8秒間で被験者の周囲を1/4周,1/2周,1周,2周,3周回る)とした。
【0109】
(評価結果)
音像の方向を固定した場合(実験1)と、音像の方向を変化させた場合(実験2)の結果をそれぞれ、図14図15に示す。
【0110】
グラフは1試行あたりの回答数の平均値(棒グラフ)と、95%信頼度区間を示す。
【0111】
音源の方向を固定した場合(実験1)は、量子化ステップを12度としても量子化ステップ2度の場合と有意な差は確認できなかった。一方、音源の方向が変化する場合(実験2)は、量子化ステップを4度より大きくすると音像の知覚が有意に劣化することが確認できた。上記結果より、量子化ステップを4度程度まで間引いても生成される音像の品質を劣化させることなく演算量も削減できることが確認できた。
【0112】
なお、実施形態では、空間として、映画の上映会場を例にしたが、他の閉空間(例えば体育館)や開放空間(例えば屋外競技場)などを利用してもよい。実施形態2では、上記の体育館または室内の催し物会場などを利用できる。
【0113】
また、実施形態1または実施形態2の音像量子化装置または音像逆量子化装置としてコンピュータを機能させるためのコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に記録でき、また、インターネットなどの通信網を介して伝送させて、広く流通させることができる。
【0114】
上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
【符号の説明】
【0115】
1、1a 音像量子化装置
2 音像逆量子化装置
3 音響再生装置
4 音響装置
11 音像位置算出部
12 方向ベクトル格納部
13 音源方向量子化部
14 距離格納部
15 音源距離量子化部
16 虚音源生成部
21 パニングゲイン格納部
22 パニングゲイン決定部
23 距離減衰ゲイン格納部
24 音源距離逆量子化部
25 ゲイン調整部
CH1、CH2、…、CHn チャネル
v1、v2、v3、v4 方向インデクス
d1、d2、d3、d4、… 音源距離インデクス
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15