(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-06-23
(45)【発行日】2025-07-01
(54)【発明の名称】情報処理方法および情報処理装置
(51)【国際特許分類】
H04S 7/00 20060101AFI20250624BHJP
H04R 3/00 20060101ALI20250624BHJP
【FI】
H04S7/00 310
H04R3/00 310
(21)【出願番号】P 2021029793
(22)【出願日】2021-02-26
【審査請求日】2023-12-21
(31)【優先権主張番号】P 2020052801
(32)【優先日】2020-03-24
(33)【優先権主張国・地域又は機関】JP
【前置審査】
(73)【特許権者】
【識別番号】000004075
【氏名又は名称】ヤマハ株式会社
(74)【代理人】
【識別番号】110000970
【氏名又は名称】弁理士法人 楓国際特許事務所
(72)【発明者】
【氏名】白木原 太
(72)【発明者】
【氏名】森川 直
(72)【発明者】
【氏名】納戸 健太郎
(72)【発明者】
【氏名】三輪 明宏
【審査官】稲葉 崇
(56)【参考文献】
【文献】特開2015-179986(JP,A)
【文献】国際公開第2019/149337(WO,A1)
【文献】国際公開第2020/045126(WO,A1)
【文献】特開2000-013900(JP,A)
【文献】特開2009-278381(JP,A)
【文献】特開2017-212731(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04S 7/00
H04R 3/00
(57)【特許請求の範囲】
【請求項1】
論理空間または物理空間の一方に対応する情報の第1の空間情報、および論理空間または物理空間の他方に対応する情報の第2の空間情報の設定を受け付け、
前記第1の空間情報における第1座標において、音像を定位させる位置を示す第1音像定位情報を受け付け、
前記第1音像定位情報を前記第2の空間情報における第2座標に対応する第2音像定位情報に変換する、
前記論理空間と前記物理空間は異なる形状であることを特徴とする、
情報処理方法
であって、
前記第1の空間情報、前記第2の空間情報、前記第1音像定位情報、および前記第2音像定位情報を表示し、
表示した前記第1の空間情報の中にさらに物理的な空間に対応する第3の空間情報の指定を受け付ける、
情報処理方法。
【請求項2】
音信号を取得し、
前記音信号を前記第2音像定位情報に対応する位置に前記音像を定位させる、
請求項1に記載の情報処理方法。
【請求項3】
前記第1の空間情報および前記第2の空間情報は2次元空間の情報を含む、
請求項1または請求項2に記載の情報処理方法。
【請求項4】
前記第1の空間情報および前記第2の空間情報は3次元空間の情報を含む、
請求項1または請求項2に記載の情報処理方法。
【請求項5】
前記3次元空間の情報は、平面座標と、高さ方向に複数のレイヤを示す情報と、を含む、
請求項4に記載の情報処理方法。
【請求項6】
前記複数のレイヤの高さ情報に基づいて、前記第1音像定位情報を前記第2音像定位情報に変換する、
請求項5に記載の情報処理方法。
【請求項7】
前記第1音像定位情報は、複数の音像を含むグループとして規定され、
前記複数の音像の少なくともいずれか1つの位置の変更を受け付けた場合、前記グループに含まれる前記複数の音像のそれぞれの相対的な位置関係を保持して前記第1音像定位情報を変更し、
前記グループに含まれる前記複数の音像のそれぞれの前記第1音像定位情報を前記第2音像定位情報に変換する、
請求項1乃至請求項6のいずれか1項に記載の情報処理方法。
【請求項8】
前記第2の空間情報において前記音像の位置の変更を受け付け、
前記受け付けた変更に基づいて、前記第1音像定位情報を求め、その後、前記第3の空間情報と前記第2の空間情報に基づいて、前記第1音像定位情報を第2音像定位情報に変換する、
請求項
1乃至請求項7のいずれか1項に記載の情報処理方法。
【請求項9】
論理空間または物理空間の一方に対応する情報の第1の空間情報、および論理空間または物理空間の他方に対応する情報の第2の空間情報の設定を受け付ける空間設定部と、
前記第1の空間情報における第1座標において、音像を定位させる位置を示す第1音像定位情報を受け付ける音像定位情報受付部と、
前記第1音像定位情報を前記第2の空間情報における第2座標に対応する第2音像定位情報に変換する変換部と、
前記第1の空間情報、前記第2の空間情報、前記第1音像定位情報、および前記第2音像定位情報を表示する表示器と、
前記第1音像定位情報を指定する利用者の操作を受け付ける操作部と、
を備え、
前記論理空間と前記物理空間は異なる形状であ
り、
前記操作部は、前記表示器に表示した前記第1の空間情報の中に第3の空間情報の指定を受け付ける、
情報処理装置。
【請求項10】
音信号を取得する音信号取得部と、
前記音信号を前記第2音像定位情報に対応する位置に前記音像を定位させる定位処理部と、
を備えた請求項
9に記載の情報処理装置。
【請求項11】
前記第1の空間情報および前記第2の空間情報は2次元空間の情報を含む、
請求項
9または請求項
10に記載の情報処理装置。
【請求項12】
前記第1の空間情報および前記第2の空間情報は3次元空間の情報を含む、
請求項
9または請求項
10記載の情報処理装置。
【請求項13】
前記3次元空間の情報は、平面座標と、高さ方向に複数のレイヤを示す情報と、を含む、
請求項
12に記載の情報処理装置。
【請求項14】
前記変換部は、前記複数のレイヤの高さ情報に基づいて、前記第1音像定位情報を前記第2音像定位情報に変換する、
請求項
13に記載の情報処理装置。
【請求項15】
第1音像定位情報は、複数の音像を含むグループとして規定され、
音像定位情報受付部は、前記複数の音像の少なくともいずれか1つの位置の変更を受け付けた場合、前記グループに含まれる前記複数の音像のそれぞれの相対的な位置関係を保持して前記第1音像定位情報を変更し、
前記変換部は、前記グループに含まれる前記複数の音像のそれぞれの前記第1音像定位情報を前記第2音像定位情報に変換する、
請求項
9乃至請求項
14のいずれか1項に記載の情報処理装置。
【請求項16】
前記操作部は、前記第2の空間情報において前記音像の位置の変更を受け付け、
前記変換部は、前記受け付けた変更に基づいて、前記第1音像定位情報を求め、その後、前記第3の空間情報と前記第2の空間情報に基づいて、前記第1音像定位情報を第2音像定位情報に変換する、
請求項
9乃至請求項15のいずれか1項に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の一実施形態は、情報処理方法および情報処理装置に関する。
【背景技術】
【0002】
特許文献1の音声調整卓は、直方体形状の空間において、音像定位点の座標を受け付ける。特許文献1の音声調整卓は、受け付けた座標に音像が定位するように、空間に配置された複数のスピーカから出力される音の音量を計算する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、コンサートホール等の物理的な空間は、直方体形状に限らない。したがって、特許文献1の音声調整卓の様な装置は、直方体空間で音像定位点の座標を受け付けても、物理的な空間の座標を考慮していないため、利用者の意図通りの位置に音像を定位させることができない場合がある。
【0005】
そこで、本発明の一実施形態の目的の一つは、物理的な空間の形状を考慮した音像定位を実現する情報処理方法および情報処理装置を提供することにある。
【課題を解決するための手段】
【0006】
本発明の一実施形態に係る情報処理方法は、第1の空間情報および第2の空間情報の設定を受け付け、前記第1の空間情報における第1座標において、音像を定位させる位置を示す第1音像定位情報を受け付け、前記第1音像定位情報を前記第2の空間情報における第2座標に対応する第2音像定位情報に変換する。
【発明の効果】
【0007】
本発明の一実施形態によれば、物理的な空間の形状を考慮した音像定位を実現することができる。
【図面の簡単な説明】
【0008】
【
図1】情報処理装置1の構成を示すブロック図である。
【
図2】表示器15に表示される音像定位の設定画面の一例を示す図である。
【
図3】プロセッサ12の動作を示すフローチャートである。
【
図6】変形例1に係る情報処理装置1Aの構成を示すブロック図である。
【
図7】情報処理装置1Aの動作を示すフローチャートである。
【
図10】複数の音源55Aおよび音源55Bの音像定位置情報を編集する場合の表示器15に表示される音像定位の設定画面の一例を示す図である。
【
図11】
図11(A)および
図11(B)は、複数の音源55Aおよび音源55Bの音像定位置情報を編集する場合の表示器15に表示される音像定位の設定画面の一例を示す図である。
【
図12】表示器15に表示される音像定位の設定画面の一例を示す図である。
【
図13】
図13(A)および
図13(B)は、表示器15に表示される音像定位の設定画面の一例を示す図である。
【
図14】
図14(A)および
図14(B)は、表示器15に表示される音像定位の設定画面の一例を示す図である。
【
図15】
図15(A)および
図15(B)は、表示器15に表示される音像定位の設定画面の一例を示す図である。
【
図16】情報処理装置1または情報処理装置1Aの動作を示すフローチャートである。
【発明を実施するための形態】
【0009】
図1は、情報処理装置1の構成を示すブロック図である。情報処理装置1は、通信部11、プロセッサ12、RAM13、フラッシュメモリ14、表示器15、およびユーザI/F16を備えている。
【0010】
情報処理装置1は、パーソナルコンピュータ、スマートフォン、あるいはタブレット型コンピュータ等からなる。また、オーディオミキサ等の音響機器も、情報処理装置の一例である。
【0011】
通信部11は、サーバ等の他装置と通信する。通信部11は、例えばBluetooth(登録商標)またはWi-Fi(登録商標)等の無線通信機能、USBまたはLAN等の有線通信機能を有する。通信部11は、例えばコンサートホール等の物理的な空間の形状を示す空間情報を取得する。空間情報は、ある位置を基準点(原点)とした2次元または3次元の座標を示す情報である。空間情報は、例えばコンサートホール等の物理的な空間の形状を示すCADデータ等の2次元または3次元の座標を含む情報である。
【0012】
プロセッサ12は、CPU、DSP、またはSoC(System on a Chip)等からなる。プロセッサ12は、記憶媒体であるフラッシュメモリ14からプログラムを読み出し、RAM13に一時記憶することで、種々の動作を行う。プロセッサ12は、読み出したプログラムにより、空間設定部141、音像定位情報受付部142、および変換部143等の機能的構成を実現する。なお、プログラムは、フラッシュメモリ14に記憶している必要はない。プロセッサ12は、例えば、サーバ等の他装置から必要な場合にダウンロードしてRAM13に一時記憶してもよい。
【0013】
表示器15は、LCD等からなる。表示器15は、例えば
図2に示す様な音像定位の設定画面を表示する。
【0014】
ユーザI/F16は、操作部の一例である。ユーザI/F16は、マウス、キーボード、あるいはタッチパネル等からなる。ユーザI/F16は、利用者の操作を受け付ける。なお、タッチパネルは、表示器15に積層されていてもよい。
【0015】
図2および
図3を参照して、音像定位の設定画面について説明する。
図2は、表示器15に表示される音像定位の設定画面の一例を示す図である。
図3は、プロセッサ12の動作を示すフローチャートである。
図2に示す音像定位の設定画面は、コンテンツの編集画面の一例である。利用者は、音像定位の設定画面において、コンテンツに含まれる音源の音像定位位置を編集する。
【0016】
表示器15は、論理座標系の論理空間画像151、物理座標系の物理空間画像152を表示する。この例では、表示器15は、画面の左上に論理空間画像151を表示し、画面の右上に物理空間画像152を表示する。また、表示器15は、画面の左下に論理平面画像153を表示し、画面の右下に物理平面画像154を表示する。
【0017】
論理空間画像151は、一例として直方体形状である。論理平面画像153は、論理平面画像153を平面視した図に対応する。物理空間画像152は、一例として八角柱形状である。物理平面画像154は、物理空間画像152を平面視した図に対応する。
【0018】
まず、プロセッサ12の空間設定部141は、論理的な空間に対応する情報である第1の空間情報、およびコンサートホール等の物理的な空間に対応する情報である第2の空間情報の設定を受け付ける(S11)。
【0019】
第1の空間情報は、論理座標である。論理座標は、例えば、0~1の正規化された座標である。本実施形態では、空間設定部141は、第1の空間情報として直方体の空間情報の設定を受け付けるが、他にも角錐、角柱、多面体、円柱、円錐、あるいは球体等の様々な空間情報を受け付けてもよい。また、空間設定部141は、2次元空間の情報を受け付けてもよい。2次元空間は、例えば、直線で構成される多角形、曲線で構成される円形、あるいは直線および曲線で構成される複合形状等を含む。
【0020】
第2の空間情報は、物理座標である。物理座標は、コンサートホール等の物理的な空間の形状を示すCADデータ等に含まれる2次元または3次元の座標である。プロセッサ12の空間設定部141は、例えばフラッシュメモリ14からCADデータ等の2次元または3次元の座標を含む情報を読み出すことで、第2の空間情報の設定を受け付ける。
【0021】
次に、空間設定部141は、論理空間画像151、物理空間画像152、論理平面画像153、および物理平面画像154を生成し、表示器15に表示する(S12)。
図2の例では、論理空間画像151は、立方体形状の立面図の画像であり、論理平面画像153は、正方形状の画像である。物理空間画像152および物理平面画像154は、コンサートホール等の実在の空間を模した画像である。空間設定部141は、CADデータ等の2次元または3次元の座標を含む情報に基づいて、物理空間画像152および物理平面画像154を生成する。
【0022】
次に、プロセッサ12の音像定位情報受付部142は、スピーカの配置情報または音像定位情報を受け付ける(S13)。スピーカの配置情報および音像定位情報は、それぞれ論理座標系の座標であり、第1音像定位情報の一例である。
【0023】
利用者は、ユーザI/F16を操作して、
図2に示す論理空間画像151または論理平面画像153において、スピーカの配置情報または音像定位情報を編集する。例えば、
図2の例では、利用者は、論理空間画像151および論理平面画像153において、センタスピーカ50C、左スピーカ50L、右スピーカ50R、左リアスピーカ50SL、および右リアスピーカ50SRを配置している。センタスピーカ50C、左スピーカ50L、右スピーカ50R、左リアスピーカ50SL、および右リアスピーカ50SRは、高さ方向の中間に配置されている。
【0024】
論理平面画像153における左上の頂点の位置を原点とすると、左スピーカ50Lの座標は、(x,y)=(0,0)である。右スピーカ50Rの座標は、(x,y)=(1,0)である。センタスピーカ50Cの座標は、(x,y)=(0.5,0)である。左リアスピーカ50SLの座標は、(x,y)=(0,1)である。右リアスピーカ50SRの座標は、(x,y)=(1,1)である。
【0025】
また、
図2の例では、利用者は、論理空間画像151および論理平面画像153において、中心よりも左側(左端と中心との間)に、音源55の音像定位位置を配置している。すなわち、音源55の座標は、(x,y)=(0.25,0.5)である。
【0026】
図2の例では、センタスピーカ50C、左スピーカ50L、右スピーカ50R、左リアスピーカ50SL、右リアスピーカ50SR、および音源の高さ方向の座標は、すべてz=0.5である。
【0027】
音像定位情報受付部142は、例えば、
図2に示した様に、利用者のスピーカの配置情報または音源の音像定位情報を編集する操作を受け付けることで、スピーカの配置情報または音源位置情報を受け付ける(S13:Yes)。
【0028】
変換部143は、受け付けたスピーカの配置情報または音源位置情報に基づいて、座標変換を行なう(S14)。
【0029】
図4および
図5は、座標変換の概念を説明する図である。変換部143は、スピーカの配置情報および音源位置情報を、論理座標系の第1空間情報の第1座標から、物理座標系の第2空間情報の第2座標に変換する。
図4の例では、物理座標系において8つの基準点70A(x1,y1),70B(x2,y2),70C(x3,y3),70D(x4,y4),70E(x5,y5),70F(x6,y6),70G(x7,y7),70H(x8,y8)、および変換前の論理座標系の8つの基準点70A(0,0),70B(0.25,0),70C(0.75,0),70D(1,0),70E(0,1),70F(0.25,1),70G(0.75,1),70H(1,1)がある。変換部143は、変換前の論理座標系の8つの基準点の重心G、および変換後の物理座標系の8つの基準点の重心G’を求め、これら重心を中心とした三角形のメッシュを生成する。変換部143は、論理座標系の三角形の内部空間と物理座標系の三角形の内部空間を所定の座標変換によって変換する。変換は、例えばアフィン変換を用いる。アフィン変換は、幾何学的変換の一例である。アフィン変換は、変換後のx座標(x’)およびy座標(y’)をそれぞれ変換前のx座標(x)およびy座標(y)の関数として表す。すなわち、アフィン変換は、x’=ax+by+cおよびy’=dx+ey+fの式で座標変換を行なう。変換前の三角形の三頂点の座標と、変換後の三角形の三頂点の座標より、係数a~fは、一意に求めることができる。変換部143は、すべての三角形について同様にアフィン変換係数を求めることにより、論理座標系の第1座標から、物理座標系の第2空間情報の第2座標に変換する。なお、係数a~fは、最小自乗法により求めてもよい。
【0030】
そして、変換部143は、求めた係数a~fを用いて、スピーカの配置情報および音源位置情報の座標を変換する。
図5では、変換部143は、上記式を用いて、音源55の論理座標系の座標(x,y)を物理座標系の座標(x’,y’)に変換する。
【0031】
これにより、スピーカの配置情報および音源位置情報の座標は、物理的な空間の形状に合わせた第2音像定位情報に変換される。プロセッサ12は、第2音像定位情報を、例えばフラッシュメモリ14に記憶する。あるいは、プロセッサ12は、第2音像定位情報を、例えば通信部11を介して音響機器等の他装置に送信する。音響機器は、受信した第2音像定位情報に基づいて、音像を定位させる処理を行なう。音響機器は、第2音像定位情報に含まれるスピーカの配置情報および音源位置情報に基づいて、指定された位置に音源の音像が定位するように、複数のスピーカに出力する音信号のレベルバランスを計算し、音信号のレベルを調整する。よって、本実施形態の情報処理装置1は、物理的な空間の形状を考慮した音像定位を実現することができる。
【0032】
なお、上記メッシュは、三角形以外の多角形のメッシュや、それらの組み合わせでも良い。例えば、変換部143は、
図9に示す様に、四角形のメッシュを生成し、座標変換を行なってもよい。変換手法は、上記アフィン変換に限らない。例えば、変換部143は、以下の様な式に基づいて四角形のメッシュを変換し、音源55の論理座標系の座標(x,y)を物理座標系の座標(x’,y’)に変換してもよい(ただしx0,y0,x1,y1,x2,y2,x3,y3はそれぞれ変換点の座標である)。
x’=x0+(x1-x0)x+(x3-x0)y+(x0-x1+x2-x3)xy
y’=y0+(y1-y0)x+(y3-y0)y+(y0-y1+y2-y3)xy
変換手法は、他にも、例えば、等長写像、相似変換、あるいは射影変換等の他の幾何学的変換であってもよい。例えば射影変換は、x’=(ax+by+c)/(gx+hy+1)およびy’=(dx+ey+f)/(gx+hy+1)の式で表される。係数は、上述のアフィン変換と同様に求める。例えば四角形の射影変換を構成する8つの係数(a~h)は、8連立方程式により一意に求めることができる。または、係数は、例えば最小自乗法により求めてもよい。
【0033】
図6は、変形例1に係る情報処理装置1Aの構成を示すブロック図である。
図7は、情報処理装置1Aの動作を示すフローチャートである。情報処理装置1と同じ構成、機能、および動作は、同じ符号を付し、説明を省略する。
【0034】
情報処理装置1Aは、さらにオーディオI/F17を備えている。オーディオI/F17は、アナログオーディオ端子またはデジタルオーディオ端子等からなる。プロセッサ12は、オーディオI/F17を介して、音源の音信号を取得する。これにより、プロセッサ12は、音信号取得部として機能する。また、音信号は通信部11を介して外部の装置から取得してもよい。また、音信号は、フラッシュメモリ14に記憶していてもよい。
【0035】
オーディオI/F17は、コンサートホール等の実在の空間に設置された、センタスピーカ50C、左スピーカ50L、右スピーカ50R、左リアスピーカ50SL、および右リアスピーカ50SRに接続されている。
【0036】
プロセッサ12は、DSPを備えている。プロセッサ12は、音信号に対して所定の信号処理を施す。プロセッサ12は、オーディオI/F17を介して、信号処理後の音信号をセンタスピーカ50C、左スピーカ50L、右スピーカ50R、左リアスピーカ50SL、および右リアスピーカ50SRに出力する。
【0037】
プロセッサ12は、フラッシュメモリ14に記憶されているプログラムをRAM13に読み出すことにより、さらに定位処理部144の機能的構成を実現する。プロセッサ12の定位処理部144は、変換部143で変換したスピーカの配置情報および音源位置情報(第2音像定位情報)に基づいて、音信号を第2音像定位情報に対応する位置に音像定位させる処理を行なう(S15)。すなわち、定位処理部144は、第2音像定位情報に含まれるスピーカの配置情報および音源位置情報に基づいて、指定された位置に音源の音像が定位するように、センタスピーカ50C、左スピーカ50L、右スピーカ50R、左リアスピーカ50SL、および右リアスピーカ50SRに出力する音信号のレベルバランスを計算し、音信号のレベルを調整する。この様に、情報処理装置は、音像定位処理を行なってもよい。
【0038】
図2乃至
図5では、2次元空間(平面)における座標変換を示した。しかし、情報処理装置は、3次元空間における座標変換を行なってもよい。この場合、変換後の座標のx’,y’,z’は、それぞれx,y,zの関数で表される。変換部143は、当該関数に基づいて、スピーカの配置情報および音源位置情報を変換する。
【0039】
また、3次元空間の情報は、平面座標(x,y)と、高さ方向に複数のレイヤを示す情報と、含む態様であってもよい。
【0040】
図8は、レイヤの概念を示す図である。利用者は、ユーザI/F16を操作して、レイヤ、スピーカの配置情報または音源の音像定位情報を編集する。
図8の例では、利用者は、高さ方向に並ぶ3つのレイヤの高さを指定する。また、利用者は、指定したレイヤのいずれかにおいてスピーカの配置または音源の音像を指定する。
図8の例では、利用者は、レイヤ151L1、レイヤ151L2、レイヤ151L3、レイヤ152L1、レイヤ152L2、およびレイヤ152L3を指定し、これらのレイヤからスピーカの配置または音源の音像を指定する。
【0041】
変換部143は、物理座標系の平面の座標(x’,y’)を上述の様に幾何学的変換で変換する。高さの座標は、利用者により指定される。
図8の例では、論理座標系のレイヤ151L1は、z=1.0であり、レイヤ151L2は、z=0.5の座標であり、レイヤ151L3は、z=0である。物理座標系のレイヤ152L1は、実在の空間における最も高い位置、すなわち天井面の座標に対応する。物理座標系のレイヤ152L3は、実在の空間における最も低い位置、すなわち床面の座標に対応する。レイヤ152L2は、天井面の座標および床面の座標の間の座標である。例えば、音源55が論理座標系のレイヤ151L3に配置されている場合、変換部143は、物理座標系のレイヤ152L3の高さ方向の座標z3を、第2音像定位情報の高さ情報として求める。
【0042】
また、スピーカの配置情報または音源位置情報のいずれかは、複数のレイヤ間の座標を指定してもよい。例えば、スピーカの配置情報はレイヤで指定し、音源位置情報は3次元空間内の自由な位置を指定してもよい。この場合、変換部143は、複数のレイヤの高さ情報に基づいて、音源位置情報を求める。変換部143は、例えば線形補間により、物理座標系の座標を求める。例えば、音源がレイヤ151L1およびレイヤ151L2の間にある場合、変換部143は、変換前の音源の座標zから変換後の音源座標z’を、以下のよう求める。
【0043】
z’=(z-z1)*(z’2-z’1)/(z2-z1)+z’1
無論、レイヤの数は3つに限らない。レイヤの数は、2つまたは4つ以上であってもよい。
【0044】
本実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲は、特許請求の範囲と均等の範囲を含む。
【0045】
例えば、利用者は、物理空間画像152または物理平面画像154において、スピーカの配置情報および音源の音像定位情報を編集してもよい。この場合、空間設定部141は、第1の空間情報として物理座標系の空間情報を受け付け、第2の空間情報として論理座標系の空間情報を受け付ける。変換部143は、物理座標系のスピーカの配置情報および音源位置情報(第1音像定位情報)を、論理座標系のスピーカの配置情報および音源位置情報(第2音像定位情報)に変換する。
【0046】
なお、音源の数は1つに限らない。
図10は、複数の音源55Aおよび音源55Bの音像定位置情報を編集する場合の表示器15に表示される音像定位の設定画面の一例を示す図である。
図10の例では、情報処理装置1または情報処理装置1Aは、論理平面画像153および物理平面画像154を表示するが、実際には論理空間画像151および物理空間画像152も表示している。情報処理装置1の動作は、
図3に示したフローチャートと同様であり、情報処理装置1Aの動作は、
図7に示したフローチャートと同様である。
【0047】
この例では、利用者は、論理平面画像153および物理平面画像154において、音源55Aおよび音源55Bの音像定位位置を配置している。音源55Aの座標は、(x1,y1)=(0.25,0.5)である。音源55Bの座標は、(x2,y2)=(0.25,0.25)である。
【0048】
利用者は、論理平面画像153または物理平面画像154に配置された音源55Aおよび音源55Bをそれぞれ編集する。例えば、利用者は、物理平面画像154に配置された音源55Aおよび音源55Bをそれぞれ異なる位置に変更する。変換部143は、変更後の音源55Aおよび音源55Bの物理座標系の音源位置座標(第1音像定位情報)をそれぞれ、論理座標系の音源位置情報(第2音像定位情報)に変換する。
【0049】
また、第1音像定位情報は、複数の音像を含むグループとして規定されてもよい。
図11(A)および
図11(B)は、複数の音源55Aおよび音源55Bの音像定位置情報を編集する場合の表示器15に表示される音像定位の設定画面の一例を示す図である。
【0050】
この場合、音源55Aおよび音源55Bは、同じグループとして規定されている。そして、第1音像定位情報は、音源55Aおよび音源55Bを含むグループとして規定されている。さらに、第2音像定位情報も、音源55Aおよび音源55Bを含むグループとして規定されている。利用者は、論理平面画像153または物理平面画像154に配置された音源55Aまたは音源55Bのいずれかを編集する。音像定位情報受付部142は、同じグループに含まれる複数の音像のそれぞれの相対的な位置関係を保持して第1音像定位情報を変更する。例えば、利用者は、
図11(A)に示す様に、論理平面画像153に配置された音源55Aを(x1,y1)=(0.25,0.5)の座標から、(x1,y1)=(0.75,0.75)の座標に変更する。音像定位情報受付部142は、同じグループに含まれる音源55Aおよび音源55Bの相対的な位置関係を保持して音源55Bの座標を変更する。音源55Aの座標は、(x1,y1)=(0.25,0.5)である。音源55Bの座標は、(x2,y2)=(0.25,0.25)である。この場合、相対的な位置は、(x1-x2,y1-y2)=(0.0.25)である。したがって、音像定位情報受付部142は、音源55Bの座標を(x2,y2)=(0.75.0.5)に変更する。表示器15は、変更後の音源55Aおよび音源55Bの座標に応じて論理平面画像153に音源55Aおよび音源55Bを表示する。そして、変換部143は、変更後の音源55Aおよび音源55Bの論理座標系の音源位置座標(第1音像定位情報)をそれぞれ、物理座標系の音源位置情報(第2音像定位情報)に変換する。あるいは、変換部143は、論理座標系における変更後の音源55Aおよび相対的な位置の座標をそれぞれ、物理座標系に変換してもよい。この場合、変換部143は、物理座標系の音源55Aの座標および相対的な位置の座標に基づいて、物理座標系の音源55Bの位置を求めてもよい。その後、表示器15は、
図11(B)に示す様に、物理平面画像154において、音源55Aおよび音源55Bの位置を変更する。
【0051】
利用者は、物理平面画像154に配置された音源55Aおよび音源55Bのいずれかを変更してもよい。例えば、利用者が物理平面画像154に配置された音源55Aを変更すると、音像定位情報受付部142は、同じグループに含まれる音源55Aおよび音源55Bの相対的な位置関係を保持して音源55Bの座標を変更する。表示器15は、変更後の音源55Aおよび音源55Bの座標に応じて物理平面画像154に音源55Aおよび音源55Bを表示する。そして、変換部143は、変更後の音源55Aおよび音源55Bの物理座標系の音源位置座標(第1音像定位情報)をそれぞれ、論理座標系の音源位置情報(第2音像定位情報)に変換する。その後、表示器15は、論理平面画像153において、音源55Aおよび音源55Bの位置を変更する。
【0052】
なお、表示器15は、例えばグループの代表点を表示してもよい。ユーザは、グループの代表点の位置を変更することで、音源55Aおよび音源55Bの位置をまとめて変更してもよい。この場合も、音像定位情報受付部142は、同じグループに含まれる音源55Aおよび音源55Bの相対的な位置関係を保持して各音源の座標を変更する。
【0053】
次に、物理平面画像154内にさらに別の物理座標系の空間情報(第3の空間情報)の指定を受け付ける例について説明する。
図12は、情報処理装置1または情報処理装置1Aの表示器15に表示される音像定位の設定画面の一例を示す図である。説明を容易にするために、
図12においてはスピーカの表示を省略する。この場合も情報処理装置1の動作は、
図3に示したフローチャートと同様であり、情報処理装置1Aの動作は、
図7に示したフローチャートと同様である。
【0054】
この例では、表示器15は、物理平面画像154内にさらに物理平面画像155を表示する。物理平面画像155は、物理平面画像154に対応する第1の空間情報とは別の第3の空間情報に対応する。第3の空間情報も、物理座標である。空間設定部141は、
図3および
図7に示したS11の動作において、例えばフラッシュメモリ14からCADデータ等の2次元または3次元の座標を含む情報を読み出すことで、第3の空間情報の設定を受け付ける。この様にして、空間設定部141は、表示器15に表示した第1の空間情報の中に第3の空間情報の指定を受け付ける。音像定位情報受付部142は、論理平面画像153または物理平面画像154において音像の位置を受け付ける。変換部143は、物理座標系の音源位置座標を論理座標系の音源位置座標に変換する、または論理座標系の音源位置座標を物理座標系の音源位置座標に変換する。
【0055】
また、音像定位情報受付部142は、論理平面画像153または物理平面画像154において音像の位置の変更を受け付ける。例えば、
図13(A)に示す様に、利用者は、物理平面画像154に配置された音源55の位置を物理平面画像155の右上端部に指定する。
【0056】
表示器15は、物理平面画像154において変更後の音源55の位置を表示する。
図13(A)の例では、表示器15は、物理平面画像154内に表示されている物理平面画像155の右上端部に音源55の位置を表示する。
【0057】
変換部143は、アフィン変換等により、物理座標系の音源位置座標(第1音像定位情報)を論理座標系の音源位置座標(第2音像定位情報)に変換する。上述した実施形態では、変換部143は、物理平面画像154に対応する物理座標と、論理平面画像153に対応する論理座標との変換を行った。一方、
図13(A)の例では、物理座標系の第3の空間情報は、論理座標系の第2の空間情報に対応する。例えば、物理平面画像155の左下端部の座標が論理座標系の座標(x,y)=(0,0)に対応し、物理平面画像155の左上端部の座標が論理座標系の座標(x,y)=(0,1)に対応し、物理平面画像155の右下端部の座標が論理座標系の座標(x,y)=(1,0)に対応し、物理平面画像155の右上端部の座標が論理座標系の座標(x,y)=(1,1)に対応する。
【0058】
変換部143は、物理平面画像155の第3の空間情報と論理平面画像153の第2の空間情報と、に基づいて論理座標系の音源位置座標を求める。つまり、変換部143は、物理平面画像155に対応する物理座標を、論理平面画像153に対応する論理座標に変換する。
【0059】
図13(A)の例では、音源55は、物理平面画像155の右上端部に位置する。したがって、音源55の論理座標系の音源位置座標は、(x,y)=(1,1)となる。表示器15は、変換部143で求められた論理座標系の音源位置座標に音源55の位置を表示する。
【0060】
この様に、変換部143は、第3の空間情報と第2の空間情報に基づいて、物理座標系の第1音像定位情報を論理座標系の第2音像定位情報に変換する。
【0061】
なお、
図14(A)に示す様に、ユーザは、音源55の位置を、物理平面画像154内で物理平面画像155の外にも指定できる。物理平面画像155の端部の座標は、論理平面画像153の端部の座標に対応する。そのため、音源55が物理平面画像155の外に位置する場合、変換部143は、論理座標系の音源55の座標のx座標またはy座標の少なくともいずれかを、論理平面画像153の端部に対応する0または1に対応させる。
図14(B)の例では、音源55の座標のx座標およびy座標ともに物理平面画像155の外に指定されているため、ユーザが音源55の位置を物理平面画像155の右上端部からさらに右上に変更しても論理平面画像153の音源55の位置は、(x,y)=(1,1)のまま変化しない。
【0062】
なお、同じグループで規定された複数の音源についても同様である。同じグループで規定された複数の音源のうち少なくとも1つの音源が物理平面画像155の外に指定された場合、変換部143は、当該外に指定された音源について、論理座標系の音源55の座標のx座標またはy座標の少なくともいずれかを、0または1に対応させる。そして、当該外に指定された音源と同じグループとして規定されている、当該外に指定された音源以外の他の音源については、当該外に指定された音源の、当該指定された物理座標系の座標と、当該グループにおいて保持すべきそれぞれの相対的な位置関係となるように、物理座標系の座標を変更する。
【0063】
上述した様に、利用者は、論理平面画像153または物理平面画像154に配置された音源55を編集する。ユーザは、
図15(A)の様に音源55が物理平面画像155の外に位置する場合において、論理平面画像153の音源55の位置を変更する場合もある。上述の様に、物理座標系の物理平面画像155は、論理座標系の論理平面画像153に対応する。
図15(A)の様に音源55が物理平面画像155の外に位置し、ユーザが論理平面画像153の音源55の位置を変更した場合において、仮に、変換部143が論理座標系の座標を物理座標系の座標に変換すると、物理座標系の音源55の位置が物理平面画像155の外から物理平面画像155の中に瞬間的に移動することなる。音響機器は、物理座標系の音源55の位置に基づいて、音像を定位させる処理を行なうため、物理座標系の音源55の位置が物理平面画像155の外から物理平面画像155の中に瞬間的に移動すると、音像の定位位置が急激に変化する。
【0064】
そこで、情報処理装置1または情報処理装置1Aは、
図16のフローチャートに示す動作を行う。情報処理装置1または情報処理装置1Aは、音源55が物理平面画像155の外に位置する状態で、論理座標系で音源55の位置の変更を受け付けた場合に、
図16に示す動作を行う。まず変換部143は、物理座標系の音源55の位置(物理座標系の音源位置座標(第1音像定位情報))を求める(S31)。具体的には、変換部143は、論理座標系における、音源55の移動前と移動後の相対的な位置を求める。そして、変換部143は、当該相対的な位置を物理座標系の相対的な位置に換算して、物理座標系における移動後の音源55の位置を求める。この場合、変換部143は、物理平面画像155に対応する物理座標系と論理座標系とを対応付けて、論理座標系の相対的な位置を物理座標系の相対的な位置に換算してもよい。あるいは、変換部143は、物理平面画像154に対応する物理座標系と論理座標系とを対応付けて、論理座標系の相対的な位置を物理座標系の相対的な位置に換算してもよい。
【0065】
また、変換部143は、物理平面画像154に対応する物理座標系と論理座標系とを対応付けて、論理座標系における音源55の移動後の座標を物理座標系の移動後の座標に変換し、物理座標系における移動後の音源55の位置を求めてもよい。
【0066】
そして、表示器15は、
図15(A)に示す様に、まず物理座標系の物理平面画像154において、移動後の音源55の位置を表示する(S32)。この時、表示器15は、論理座標系における移動後の音源55の位置を薄い色で表示したり点線で表示したりして仮の位置として表示することが好ましい。
【0067】
その後、変換部143は、移動後の物理座標系の音源55の座標を論理座標系の座標(論理座標系の音源位置座標(第2音像定位情報))に変換する(S33)。物理座標系の音源55の座標が物理平面画像155の中になる場合、論理座標系の音源55の座標は、論理平面画像153の中になる。一方、物理座標系の音源55の座標が物理平面画像155の外になる場合、変換部143は、論理座標系の音源55の座標を、論理座標系の端部の座標である0または1に対応させる。この場合、
図15(B)に示す様に、論理座標系の音源55は、論理平面画像153の端部に位置したままになる。
【0068】
以上の様にして、音源55が物理平面画像155の外に位置する場合に、論理平面画像153の音源55の位置の変更を受け付けた場合でも、物理座標系の音源55の位置が急激に変化することがない。音像の定位位置が急激に変化することがない。なお、
図16に示す動作は、音源55が物理平面画像155の外に位置する状態で、論理座標系で音源55の位置の変更を受け付けた場合に限らず、論理座標系で音源55の位置の変更を受け付けた場合は常に動作を行うようにしてもよい。
【0069】
(その他の例)
論理座標系の画像(論理空間画像151および論理平面画像153)と、物理座標系の画像(物理空間画像152および物理平面画像154)とは、別々の異なる装置で表示してもよい。例えば、論理座標系の画像は情報処理装置1で表示し、物理座標系の画像は情報処理装置1Aに表示してもよい。この場合、情報処理装置1および情報処理装置1Aは、互いに空間情報および音源の座標を示す情報を送受信し、共有すればよい。
【0070】
図10~
図15では、2次元空間(平面)における音源の表示および座標変換を示した。しかし、3次元空間における音源の表示および座標変換を行なってもよい。また、
図8に示した様に、3次元空間の情報は、平面座標(x,y)と、高さ方向に複数のレイヤを示す情報と、含む態様であってもよい。
【符号の説明】
【0071】
1,1A…情報処理装置
11…通信部
12…プロセッサ
13…RAM
14…フラッシュメモリ
15…表示器
16…ユーザI/F
17…オーディオI/F
50C…センタスピーカ
50L…左スピーカ
50R…右スピーカ
50SL…左リアスピーカ
50SR…右リアスピーカ
55…音源
70A,70B,70C,70D,70E,70F,70G,70H…基準点
141…空間設定部
142…音像定位情報受付部
143…変換部
144…定位処理部
151…論理空間画像
152…物理空間画像
151L1,151L2,151L3,152L1,152L2,152L3…レイヤ
153…論理平面画像
154…物理平面画像