知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-21
(45)【発行日】2024-03-29
(54)【発明の名称】制御装置、制御装置の処理方法、および、プログラム
(51)【国際特許分類】
H04R 3/00 20060101AFI20240322BHJP
G06F 3/04815 20220101ALI20240322BHJP
G06F 3/04847 20220101ALI20240322BHJP
G09G 5/00 20060101ALI20240322BHJP
G09G 5/08 20060101ALI20240322BHJP
G09G 5/36 20060101ALI20240322BHJP
G09G 5/37 20060101ALI20240322BHJP
G09G 5/377 20060101ALI20240322BHJP
【ＦＩ】
H04R3/00 310
G06F3/04815
G06F3/04847
G09G5/00 510H
G09G5/00 510Q
G09G5/00 550C
G09G5/08 D
G09G5/36 100
G09G5/37 300
G09G5/37 600
G09G5/377 100
【請求項の数】
8
(21)【出願番号】P 2022517626
(86)(22)【出願日】2021-04-15
(86)【国際出願番号】 JP2021015526
(87)【国際公開番号】W WO2021220821
(87)【国際公開日】2021-11-04
【審査請求日】2022-08-30
(31)【優先権主張番号】P 2020078890
(32)【優先日】2020-04-28
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】100106116
【弁理士】
【氏名又は名称】鎌田 健司
(74)【代理人】
【識別番号】100131495
【弁理士】
【氏名又は名称】前田 健児
(72)【発明者】
【氏名】大橋 宏正
(72)【発明者】
【氏名】田中 直也
(72)【発明者】
【氏名】廣田 亮
【審査官】西村 純
(56)【参考文献】
【文献】国際公開第２０１７／１１０８８２（ＷＯ，Ａ１）
【文献】特開２００８－２７６１０２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｒ １／００－３１／００
Ｈ０４Ｓ １／００－ ７／００
Ｇ０６Ｆ ３／００－ ３／１８
Ｇ０９Ｇ ５／００－ ５／４２
(57)【特許請求の範囲】
【請求項1】
空間内に配置される複数のスピーカによってユーザに提示する音響を制御する制御装置であって、表示面に表示するための画像データを取得し、前記表示面の形状を示す形状情報を用いた変換処理を用いて、取得した前記画像データから表示用画像データを生成する生成部と、前記生成部が生成した前記表示用画像データを用いて、前記表示面に表示用画像を表示させる表示制御部と、
表示された前記表示用画像にカーソルを重畳表示させ、前記カーソルを視認した前記ユーザから、前記表示用画像上での前記複数のスピーカに関する位置の指定を受ける受付部と、
前記変換処理に係る変換前の前記画像データと変換後の前記表示用画像データとの対応関係を参照することで、前記ユーザによる前記位置の指定から前記空間内での前記カーソルの位置を算出し、算出した前記カーソルの位置を、前記複数のスピーカに関する位置として特定する特定部とを備え、
前記受付部は、前記位置の指定として、
前記ユーザによる操作に基づいて前記カーソルが前記複数のスピーカそれぞれに重ねられたときの前記カーソルの位置を取得することによって、前記複数のスピーカの位置の指定を受け、
前記特定部は、
前記複数のスピーカに関する位置として、前記複数のスピーカの位置を特定し、
前記制御装置は、さらに、
前記特定部が特定した前記複数のスピーカの位置に基づいて、前記複数のスピーカによって前記ユーザに音響を提示する場合における、前記複数のスピーカそれぞれに供給される駆動音源信号を算出し、前記複数のスピーカの出力を制御する第一音制御部を備える、
制御装置。
【請求項2】
前記受付部は、前記複数のスピーカのうちの対象スピーカの音響パラメータの指定を受けるための調整画像を前記表示用画像に重畳表示させ、前記調整画像を視認したユーザから、前記対象スピーカの前記音響パラメータの指定を受け、前記第一音制御部は、前記対象スピーカに供給される前記駆動音源信号に対して、前記指
定にかかる前記音響パラメータを適用してから、前記対象スピーカの出力を制御する、
請求項１に記載の制御装置。
【請求項3】
空間内に配置される複数のスピーカによってユーザに提示する音響を制御する制御装置であって、
表示面に表示するための画像データを取得し、前記表示面の形状を示す形状情報を用いた変換処理を用いて、取得した前記画像データから表示用画像データを生成する生成部と、前記生成部が生成した前記表示用画像データを用いて、前記表示面に表示用画像を表示させる表示制御部と、
表示された前記表示用画像にカーソルを重畳表示させ、前記カーソルを視認した前記ユーザから、前記表示用画像上での前記複数のスピーカに関する位置の指定を受ける受付部と、
前記変換処理に係る変換前の前記画像データと変換後の前記表示用画像データとの対応関係を参照することで、前記ユーザによる前記位置の指定から前記空間内での前記カーソルの位置を算出し、算出した前記カーソルの位置を、前記複数のスピーカに関する位置として特定する特定部とを備え、
前記受付部は、前記位置の指定として、前記ユーザによる操作に基づいて、前記複数のスピーカによって仮想的に構成される１以上の仮想スピーカそれぞれの位置に、前記カーソルが重ねられたときの前記カーソルの位置を取得することによって、前記１以上の仮想スピーカの位置の指定を受け、
前記特定部は、
前記受付部が受けた前記１以上の仮想スピーカの位置の指定に基づいて、前記空間内での前記１以上の仮想スピーカの位置を算出し、前記複数のスピーカに関する位置として、前記１以上の仮想スピーカの位置を特定し、
前記制御装置は、さらに、
前記特定部が特定した前記１以上の仮想スピーカの位置に基づいて、前記複数のスピーカおよび前記１以上の仮想スピーカによって前記ユーザに音響を提示する場合における、前記複数のスピーカそれぞれに供給される駆動音源信号を算出し、前記複数のスピーカの出力を制御する第二音制御部を備える、
制御装置。
【請求項4】
前記受付部は、前記位置の指定として、前記ユーザによる操作に基づいて、前記複数のスピーカのうち、前記１以上の仮想スピーカに含まれる一の仮想スピーカを仮想的に構成する複数の指定スピーカそれぞれの位置に、前記カーソルが重ねられたときの前記カーソルの位置を取得することによって、前記複数の指定スピーカの位置の指定を受け、
前記第二音制御部は、
前記受付部が指定を受けた前記複数の指定スピーカを用いて前記１以上の仮想スピーカを仮想的に構成するように、前記複数のスピーカそれぞれに供給される駆動音源信号を算出する、
請求項３に記載の制御装置。
【請求項5】
前記複数のスピーカに関する位置は、前記ユーザの視聴位置から見た場合の前記複数のスピーカの方位角および仰角を含む、請求項１～４のいずれか１項に記載の制御装置。
【請求項6】
さらに、前記複数のスピーカを備える、請求項１～５のいずれか１項に記載の制御装置。
【請求項7】
空間内に配置される複数のスピーカによってユーザに提示する音響を制御する制御装置の処理方法であって、
表示面に表示するための画像データを取得し、前記表示面の形状を示す形状情報を用いた変換処理を用いて、取得した前記画像データから表示用画像データを生成する生成ステップと、
前記生成ステップで生成した前記表示用画像データを用いて、前記表示面に表示用画像を表示させる表示制御ステップと、
表示された前記表示用画像にカーソルを重畳表示させ、前記カーソルを視認した前記ユーザから、前記表示用画像上での前記複数のスピーカに関する位置の指定を受ける受付ステップと、
前記変換処理に係る変換前の前記画像データと変換後の前記表示用画像データとのの対応関係を参照することで、前記ユーザによる前記位置の指定から前記空間内での前記カーソルの位置を算出し、算出した前記カーソルの位置を、前記複数のスピーカに関する位置として特定する特定ステップとを含み、
前記受付ステップは、前記位置の指定として、
前記ユーザによる操作に基づいて前記カーソルが前記複数のスピーカそれぞれに重ねられたときの前記カーソルの位置を取得することによって、前記複数のスピーカの位置の指定を受け、
前記特定ステップは、
前記複数のスピーカに関する位置として、前記複数のスピーカの位置を特定し、
前記制御装置の処理方法は、さらに、
前記特定ステップが特定した前記複数のスピーカの位置に基いて、前記複数のスピーカそれぞれに供給される駆動音源信号を算出し、前記複数のスピーカにより出力させる第一音制御ステップと、を含む、
制御装置の処理方法。
【請求項8】
請求項７に記載の制御装置の処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、制御装置、制御装置の処理方法、および、プログラムに関する。
【背景技術】
【0002】
複数のスピーカにより立体音響を提示するシステムがある。立体音響とは、方向感を持った立体的な音像を視聴者に知覚させるための音響処理全般を指す概念である。
【0003】
当該システムは、立体音響を提示しながら、ユーザをとりまく比較的広い範囲の映像を提示することで、ユーザに臨場感を感じさせることができる。
【0004】
このようなシステムでは、空間内に配置された複数のスピーカの位置に基づいて、各スピーカに供給される駆動音源信号が決定される。また、複数のスピーカにより仮想的に構成される仮想スピーカが用いられることもある。
【0005】
従来、複数の表示装置を用いるシステムにおいて、映像および音を効果的に出力する技術がある（特許文献１参照）。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２００５－９９０６４号公報
【発明の概要】
【0007】
しかし、各スピーカが出力する音（つまり駆動音源信号）の決定に必要である、視聴位置から見た複数のスピーカの位置の情報を取得することが難しい。また、仮想スピーカを構成する場合に、仮想スピーカの位置の指定に必要である、視聴位置から見た仮想スピーカの位置の情報を取得することが難しい。視聴位置が変わると視聴位置から見た複数のスピーカの位置の情報も変わってしまうからである。ここで、視聴位置とは、ユーザが立体音響を視聴すると想定される位置である。このように、立体音響の提示に用いる複数のスピーカに関する位置の取得が難しいという問題がある。
【0008】
そこで、本開示は、音響の提示に用いる複数のスピーカに関する位置の情報をより容易に取得する制御装置などを提供する。
【0009】
本開示における制御装置は、空間内に配置される複数のスピーカによってユーザに提示する音響を制御する制御装置である。制御装置は、表示面に表示するための画像データを取得し、前記表示面の形状を示す形状情報を用いた変換処理を用いて、取得した前記画像データから表示用画像データを生成する生成部と、前記生成部が生成した前記表示用画像データを用いて、前記表示面に表示用画像を表示させる表示制御部と、表示された前記表示用画像にカーソルを重畳表示させ、前記カーソルを視認した前記ユーザから、前記表示用画像上での前記複数のスピーカに関する位置の指定を受ける受付部と、前記変換処理に係る変換前の前記画像データと変換後の前記表示用画像データとの対応関係を参照することで、前記ユーザによる前記位置の指定から前記空間内での前記カーソルの位置を算出し、算出した前記カーソルの位置を、前記複数のスピーカに関する位置として特定する特定部とを備える。
【0010】
本開示の制御装置は、音響の提示に用いる複数のスピーカに関する位置の情報をより容易に取得することができる。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【0013】
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
【0014】
（実施の形態）
本実施の形態において、音響の提示に用いる複数のスピーカに関する位置の情報をより容易に取得する制御装置などについて説明する。具体的には、本実施の形態の制御装置は、音響の提示に用いる複数のスピーカの位置の情報をより容易に取得する制御装置である。なお、「位置の情報」を、単に「位置」ということもある。
本実施の形態において、音響の提示に用いる複数のスピーカに関する位置の情報をより容易に取得する制御装置などについて説明する。具体的には、本実施の形態の制御装置は、音響の提示に用いる複数のスピーカの位置の情報をより容易に取得する制御装置である。なお、「位置の情報」を、単に「位置」ということもある。
【0015】
図１は、本実施の形態に係る提示システム１および制御装置１０を示す模式図である。
【0016】
提示システム１は、空間内に音響を提示し、また、空間内（例えば、空間の壁面）に画像を表示させることにより、空間内にいるユーザに、立体音響および立体画像を視聴させるシステムである。
【0017】
図１に示されるように、提示システム１は、制御装置１０と、表示装置２０と、複数のスピーカ３１～３８（複数のスピーカ３１等ともいう）とを備える。なお、複数のスピーカ３１等を制御装置１０の構成に含めてもよい。
【0018】
制御装置１０は、表示装置２０による画像の表示と、複数のスピーカ３１等による音の出力とを制御する制御装置である。制御装置１０は、表示装置２０に表示させるための画像データを取得し、取得した画像データに適切な変換を施したうえで表示装置２０により表示することで、ユーザに立体画像を提示する。また、制御装置１０は、複数のスピーカ３１等に供給される駆動音源信号を生成するために使用される入力音源信号を取得し、取得した入力音源信号に適切な変換を施したうえで複数のスピーカ３１等に供給することで、ユーザに立体音響を提示する。
【0019】
また、制御装置１０は、複数のスピーカ３１等の位置の情報を取得する。これらの処理については後で詳しく説明する。
【0020】
制御装置１０は、表示装置２０と通信可能に接続されており、通信を介して表示装置２０による画像の表示を制御する。また、制御装置１０は、複数のスピーカ３１等と接続されており、この接続を介して複数のスピーカ３１等が出力すべき音の信号を伝達する。なお、制御装置１０と表示装置２０との間の接続、および、制御装置１０と複数のスピーカ３１等との間の接続は、有線であっても無線であってもよい。なお、図１では、制御装置１０と複数のスピーカ３１との間の接続については、制御装置１０とスピーカ３４との接続のみを図示し、他の接続の図示を省略している。
【0021】
表示装置２０は、表示面に画像を表示することで、ユーザに画像を視認させる表示装置である。表示装置２０が表示する画像は、制御装置１０から送られてくる画像データに基づく画像である。制御装置１０から送られてくる画像データは、ユーザの周囲の光景としてユーザに認識されるように作成されたものである。ユーザは、自身の周囲に表示された画像を、現実にその方向に見ることによって、自身の周囲の光景として認識することができる。
【0022】
表示装置２０は、例えば、ユーザから見た全方位に亘る画像を表示させる。ユーザから見た全方位に画像が表示されているので、ユーザは、前方向だけでなく、見る方向を変えることで、左右方向、上方向などを含む全方向の画像を視認することができる。
【0023】
ただし、表示装置２０が表示する画像は、必ずしも、ユーザから見た全方位に亘るものでなくてもよい。言い換えれば、表示装置２０が表示する画像は、例えば、ユーザから見た複数の方向に表示されるものであってもよく、具体的には、ユーザにとっての前方向および左右方向に表示されるものであってもよい。
【0024】
表示装置２０は、例えば、ユーザが存在する空間の壁面、つまり、ユーザを取り囲む壁面に画像を投影する投影装置（プロジェクタ）であり、この場合を例として説明する。この場合、表示装置２０が複数あり、複数の表示装置２０によって壁面に画像を投影してもよい。この場合、壁面が表示面に相当する。なお、他の例として、表示装置２０は、ユーザを取り囲むように配置された複数の据置型のディスプレイ装置でもよい。この場合、ディスプレイが備える表示パネルが表示面に相当する。
【0025】
複数のスピーカ３１等は、ユーザを取り囲む複数の位置に配置されるスピーカ群である。例えば、スピーカ３１は、ユーザが視聴すると想定される位置（視聴位置ともいう）から見て、前方かつ右上方向に配置されている。同様に、スピーカ３２、３３および３４は、視聴位置から見て、それぞれ、前方かつ右下方向、前方かつ左下方向、および、前方かつ左上方向に配置されている。また、スピーカ３５、３６、３７および３８は、それぞれ、視聴位置から見て、それぞれ、後方かつ右上方向、後方かつ右下方向、後方かつ左下方向、および、後方かつ左上方向に配置されている。
【0026】
複数のスピーカ３１等が出力する音は、制御装置１０から送られてくる駆動音源信号に基づく音である。制御装置１０から送られてくる駆動音源信号は、受聴者が立体的な音像を知覚するように作成されたもの、言い換えると、さまざまな位置にある音源から出力されているとユーザに認識されるように作成されたものである。これにより、ユーザは、複数のスピーカ３１等が現実に存在している位置から届く音だけでなく、全方位からユーザに届く音を聴取することができる。
【0027】
ここで、視聴位置から見た複数のスピーカ３１等の位置の情報（具体的には方位角及び仰角）を、計測などによって取得することは難しい。複数のスピーカ３１等の位置の情報は、設計上定められていることもあるが、視聴位置が変わると視聴位置から見た複数のスピーカ３１等の位置の情報も変わってしまうからである。また、スピーカ位置を物理的に変えた場合に方位角または仰角が変わってしまうこと、物理スピーカまたは仮想スピーカが大量にある場合には物理的な測定を行うことが煩雑であること、または、測定したスピーカ位置と視聴位置座標とから求められるＸＹＺ方向それぞれの距離差分から方位角または仰角へ変換する計算が面倒であることも、視聴位置から見た複数のスピーカ３１等の位置の情報を計測などによって取得することが難しい理由として存在する。
【0028】
そこで、制御装置１０により、複数のスピーカ３１等の位置の情報をより容易に取得する方法を説明する。
【0029】
以降において、制御装置１０の機能について詳細に説明する。
【0030】
図２Ａは、本実施の形態に係る制御装置１０の機能構成を示すブロック図である。図２Ｂは、本実施の形態に係る制御装置１０の詳細な機能構成を示すブロック図である。図２Ａおよび図２Ｂを参照しながら、本実施の形態に係る制御装置１０の機能構成について説明する。
【0031】
図２Ａに示されるように、制御装置１０は、映像入力部５と、音源入力部６と、記憶部１１と、生成部１２と、表示制御部１３と、受付部１４と、特定部１５と、音制御部１６とを備える。制御装置１０が備える上記の機能部は、個別に説明する場合を除き、制御装置１０が備えるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）（不図示）がメモリを用いてプログラムを実行することで実現され得る。
【0032】
映像入力部５は、表示面に表示するための画像データを取得する機能部である。映像入力部５が取得する画像データは、例えば、全方位画像を取得するカメラ（いわゆる全天球カメラ、又は、３６０度カメラ）で取得された全方位画像データである。映像入力部５は、取得した画像データを生成部１２に提供する。なお、映像入力部５は、生成部１２の一機能として実現されてもよい。
【0033】
音源入力部６は、提示システム１によって出力すべき音響の音データを取得する機能部である。音源入力部６は、取得した音データを音制御部１６に提供する。なお、音源入力部６は、音制御部１６の一機能として実現されてもよい。
【0034】
記憶部１１は、表示面の形状を示す形状情報を記憶している記憶装置である。形状情報には、視聴位置を示す情報も含まれ得る。形状情報は、表示面の形状を示すジオメトリ情報を含み、具体的には、表示面を構成する面の位置、寸法又は角度を特定し得る情報を含む。
【0035】
表示面は、例えば、ユーザがいる空間の壁面であり、形状情報は、壁面の形状を示す情報である。例えば、ユーザがいる空間が、図１に示される直方体の空間である場合には、直方体を構成する各面の位置、寸法又は角度を特定する情報を含む。記憶部１１は、メモリまたはストレージである。
【0036】
生成部１２は、映像入力部５が取得した画像データに対して、形状情報を用いた変換処理を施して、表示用画像データを生成する機能部である。形状情報を用いた変換処理は、表示面に表示された画像をユーザが視聴位置から見た場合に、上記カメラから周囲を見たときと同じに見えるようにする変換処理であり、具体的には、形状情報を用いたジオメトリ変換を含む。
【0037】
変換処理の結果、生成部１２は、表示装置２０に表示させるための表示用画像データを生成する。表示装置２０が複数ある場合には、生成部１２は、複数の表示装置２０それぞれに表示させる表示用画像データを生成する。
【0038】
表示制御部１３は、生成部１２が生成した表示用画像データを表示面に表示させる制御をする機能部である。表示制御部１３は、生成部１２が生成した表示用画像データを取得して、表示装置２０に提供する。表示制御部１３は、映像伝送用の規格に従って表示装置２０と接続されており、この接続を通じて表示用画像データを表示装置２０に伝送する。映像伝送用の規格は、例えば、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）規格またはＶＧＡ（アナログＲＧＢ）規格である。
【0039】
受付部１４は、表示された表示用画像にカーソルを重畳表示させ、カーソルを視認したユーザから、表示用画像上での複数のスピーカ３１等に関する位置の指定を受ける機能部である。受付部１４は、マウスまたはタッチパネルなどのユーザインタフェース装置を介してユーザによる操作を受け付ける。そして、受付部１４は、その操作に従って、表示面に表示されている表示用画像にカーソルを重畳して表示させる制御をする。上記制御は、表示制御部１３に対する制御であってもよいし、生成部１２に対する制御であってもよい。具体的には、受付部１４は、表示制御部１３に対する制御として、表示制御部１３が取得した表示用画像データにカーソルを重畳させる処理を実行させる制御をしてもよい。また、受付部１４は、生成部１２に対する制御として、生成部１２が取得した画像データ、又は、生成部１２が変換処理を施した後の表示用画像データにカーソルを重畳させる処理を実行させる制御をしてもよい。
【0040】
また、受付部１４は、カーソルをある方向に移動させる操作をユーザから受け付けると、その操作に従って、操作された方向に対応する方向へ、表示面に重畳表示させているカーソルを移動させる制御をする。なお、カーソルの形状は、どのようなものであってもよく、例えば、円形、矩形、矢印形状、または、他の図形の形状であってもよい。
【0041】
また、受付部１４は、ユーザによる操作に基づいてカーソルが複数のスピーカ３１等それぞれに重ねられたときのカーソルの位置を取得することによって、複数のスピーカ３１等の位置の指定を受ける。具体的には、受付部１４は、表示用画像上でのカーソルの位置を示す座標値（Ｘ，Ｙ）の指定を受ける。
【0042】
特定部１５は、複数のスピーカ３１等に関する空間内の位置を特定する機能部である。特定部１５は、具体的には、変換処理に係る変換前の画像データと変換後の表示用画像データとの位置の対応関係を参照することで、ユーザにより指定された位置からカーソルの空間内での位置を算出し、算出した位置を、複数のスピーカ３１等に関する空間内の位置として特定する。全方位画像における位置情報は、一例として、視聴位置からみた場合の方位角および仰角を含む。
【0043】
特定部１５は、受付部１４がスピーカの位置の指定を受けた場合には、複数のスピーカ３１等に関する空間内の位置として、複数のスピーカ３１等の空間内の位置を算出する。
【0044】
音制御部１６は、複数のスピーカ３１等による音の出力を制御する機能部である。音制御部１６は、音源入力部６が取得した音データを、複数のスピーカ３１等の空間内における位置情報を用いて加工することで、複数のスピーカ３１等それぞれに供給される駆動音源信号を算出する。
【0045】
音制御部１６は、受付部１４がスピーカの位置の指定を受けた場合には、特定部１５が特定した複数のスピーカ３１等の空間内の位置に基づいて、複数のスピーカ３１等によってユーザに音響を提示する場合における、複数のスピーカ３１等それぞれに供給される駆動音源信号を算出し、複数のスピーカ３１等により出力させる制御をする。なお、音を出力させる、という表現は、出力すべき音の音量がゼロである場合も含む概念である。実際には音が出力されない場合でも、音量がゼロである音を出力していると考えられるからである。なお、音制御部１６の上記の機能部分は、第一音制御部に相当する。
【0046】
音制御部１６の詳細な構成の例について図２Ｂを参照しながら説明する。
【0047】
図２Ｂに示されるように、音制御部１６は、フォーマット変換部１６１と、信号処理部１６２と、駆動音源生成部１６３とを備える。
【0048】
フォーマット変換部１６１は、Ａフォーマット信号（後述）からＢフォーマット信号（後述）への変換処理を実行する機能部である。フォーマット変換部１６１は、音源入力部６から入力音源信号としてＡフォーマット信号を得る。フォーマット変換部１６１が得る入力音源信号は、指向性マイク信号であってもよいし、無指向性マイク信号であってもよいし、点音源信号であってもよい。また、オフライン入力であってもよいし、リアルタイム入力であってもよい。
【0049】
信号処理部１６２は、ズーム、回転処理などのＢフォーマット領域上の信号処理を実行する機能部である。
【0050】
駆動音源生成部１６３は、複数のスピーカ３１等のうちの一のスピーカＳｉに供給する駆動音源信号を算出する機能部である。
【0051】
以降において、複数のスピーカ３１等それぞれに供給される駆動音源信号の生成と、複数のスピーカ３１等による音の出力とについて説明する。
【0052】
図３は、本実施の形態に係る、マイクＭによる空間の音の取得を示す概念図である。図３に示されるマイクＭは、複数の方向から到来する音を収音するアンビソニックマイク（３６０度マイク、サラウンドマイクとも呼ばれる）である。
【0053】
マイクＭは、具体的には、１次アンビソニックス信号を収録信号から生成する場合は前方かつ左上方向（ＦＬＵ）、前方かつ右下方向（ＦＲＤ）、後方かつ右上方向（ＢＲＵ）、および、後方かつ左下方向（ＢＬＤ）の４つの方向の音を収音する指向性マイク素子を備えたものであり、これらのマイク素子は、収音した音を示す入力音源信号を表現する。なお、マイクＭが収音する方向の数は、４に限られず、２以上であればいくつであってもよい。この場合、その素子数に応じて２次以上のアンビソニックス信号を収録信号から生成することが可能である。また、指向性マイク素子の代わりに無指向性マイクを剛球上に配置したアレイマイクを用いることも可能である。
【0054】
音制御部１６は、マイクＭによって収録された入力音源信号をあらかじめ取得している。この入力音源信号は、一般にＡフォーマット信号とも呼ばれる。
【0055】
図４は、本実施の形態に係る、スピーカに供給される駆動音源信号の算出方法を示す概念図である。スピーカに供給される駆動音源信号（図２Ｂ参照）は、音制御部１６が、予め取得していたＡフォーマット信号から変換された中間表現信号であるＢフォーマット信号に基づいて、スピーカの位置の情報を用いて算出される。
【0056】
Ａフォーマット信号からＢフォーマット信号への変換処理は周知技術によってなされる。この変換処理については、周知技術と同様であるので詳細な説明を省略する。Ｂフォーマット信号は、１次アンビソニックス信号の場合、Ｗ（無指向成分）、Ｘ（前後の広がり成分）、Ｙ（左右の広がり成分）、およびＺ（上下の広がり成分）の４個のデータで構成される。
【0057】
次に、１次アンビソニックス信号を表すＢフォーマット信号から、複数のスピーカ３１等それぞれに供給される駆動音源信号を算出する処理の一例を説明する。
【0058】
図１に示される複数のスピーカ３１等のうちの一のスピーカＳｉに供給される駆動音源信号Ｏｉは、以下の（式１）により算出される。
【0059】
Ｏｉ＝Ｃ・Ｗ
＋ｃｏｓ（θｉ）・ｃｏｓ（φｉ）・Ｘ
＋ｓｉｎ（θｉ）・ｃｏｓ（φｉ）・Ｙ
＋ｓｉｎ（φｉ）・Ｚ （式１）
ここで、Ｃは、Ｗと、Ｘ、ＹおよびＺとの比率を定める定数である。Ｗ、Ｘ、ＹおよびＺは、Ｂフォーマット信号の各成分を示している。なお、Ｗ、Ｘ、ＹおよびＺは、Ｂフォーマット信号の各成分から、座標軸の回転処理、又は、ズーム処理などのＢフォーマット領域上の信号処理が施されたものであってもよい。また、θｉ及びφｉは、それぞれ、図４に示されるように、視聴位置の前方を基準とした場合の方位角、および、仰角である。
＋ｃｏｓ（θｉ）・ｃｏｓ（φｉ）・Ｘ
＋ｓｉｎ（θｉ）・ｃｏｓ（φｉ）・Ｙ
＋ｓｉｎ（φｉ）・Ｚ （式１）
ここで、Ｃは、Ｗと、Ｘ、ＹおよびＺとの比率を定める定数である。Ｗ、Ｘ、ＹおよびＺは、Ｂフォーマット信号の各成分を示している。なお、Ｗ、Ｘ、ＹおよびＺは、Ｂフォーマット信号の各成分から、座標軸の回転処理、又は、ズーム処理などのＢフォーマット領域上の信号処理が施されたものであってもよい。また、θｉ及びφｉは、それぞれ、図４に示されるように、視聴位置の前方を基準とした場合の方位角、および、仰角である。
【0060】
つまり、スピーカＳｉに供給される駆動音源信号Ｏｉ（図２Ｂ参照）は、スピーカＳｉの方位角および仰角を用いて算出される。このようにして、音制御部１６は、複数のスピーカ３１等に供給される駆動音源信号を、当該スピーカの方位角および仰角を用いて算出する。
【0061】
次に、生成部１２が取得する画像データと、生成部１２が行う変換処理とについて説明する。
【0062】
図５は、本実施の形態に係る制御装置１０による変換前の画像を示す概念図である。図６は、実施の形態に係る制御装置１０による変換後の画像が表示された表示面を視聴位置から見た状態を示す概念図である。図５および図６を参照しながら、生成部１２による画像の変換方法を説明する。
【0063】
図５に示される画像は、生成部１２が取得する全方位画像の一例であり、全方位画像をパノラマ展開して示したものである。図５において、横方向が方位角に対応しており、縦方向が仰角に対応している。この画像には、撮影位置の前後左右方向および上下方向が映っている。
【0064】
【0065】
図６には、空間の天井面、側面および床面が示されており、破線Ｂは、空間の壁面の境界を示している。例えば、破線Ｂは、例えば、天井面と側面との境界、側面同士の境界、および、床面と側面との境界である。
【0066】
また、図６には、天井面、側面および床面に表示される画像も示されている。天井面、側面および床面に表示される画像は、視聴位置から見た場合に歪がないように表示制御部１３による変換処理が施されたものである。なお、このように視聴位置から見て歪みがなくなるのは理想的な場合であり、実際には、視聴位置からの位置ずれ、ジオメトリ情報の誤差、変換誤差などにより、若干の歪みが生じることもある。
【0067】
図７は、本実施の形態に係る制御装置１０によるカーソルの表示およびスピーカの位置の取得方法を示す模式図である。なお、図７において、後方のスピーカ３５、３６、３７および３８の図示を省略している。また、図７は、表示装置２０が表示用画像を表示している状態を示しているが、表示されている表示用画像の図示は省略されている。
【0068】
図７に示されるように、受付部１４は、表示制御部１３による制御により、表示面にカーソル５１を重畳表示させる。カーソル５１は、表示用画像に重畳表示されている。
【0069】
受付部１４は、ユーザによる操作を受け付けると、受け付けた操作に対応して、表示されているカーソルの位置を移動させる。例えば、ユーザがマウスを下方向に移動させる操作を受け付けると、受付部１４は、表示制御部１３による制御を介して、表示用画像に重畳表示されたカーソル５１を下方向へ移動させる。
【0070】
ユーザは、カーソルの位置を視認しながら移動させる操作を受付部１４に行い、カーソル５１をスピーカ３２に重ねる。そして、カーソル５１をスピーカ３２に重ねた状態で、現在のカーソル５１の位置を選択する操作（選択操作ともいう）を受付部１４に行う。
【0071】
受付部１４は、選択操作がなされたときのカーソル５１の表示用画像上での位置（具体的には座標値（Ｘ，Ｙ））を取得する。特定部１５は、変換処理に係る変換前の画像データと変換後の表示用画像データとの位置の対応関係を参照することで、カーソル５１の空間内での位置（具体的には方位角および仰角）を、複数のスピーカ３１等の位置であると特定する。このようにして、特定部１５は、複数のスピーカ３１等の位置（具体的には方位角θ及び仰角φ）を特定する。
【0072】
なお、制御装置１０は、上記と同様にして、複数のスピーカ３１等のディレイまたはゲインを含む音響パラメータを設定することもできる。音響パラメータは、スピーカの駆動信号の調整に必要となるパラメータであり、ディレイまたはゲインのほかに、イコライザ、ミュートまたはソロ等も含まれ得る。この場合、受付部１４は、複数のスピーカ３１等のうちの一のスピーカである対象スピーカの音響パラメータの指定を受けるための調整画像を、表示制御部１３により表示用画像に重畳表示させ、調整画像を視認したユーザから、対象スピーカの音響パラメータの指定を受ける。そして、音制御部１６は、特定した対象スピーカに供給される駆動音源信号に対して、上記指定にかかる音響パラメータを適用してから駆動音源信号を出力する制御をする。
【0073】
対象スピーカの音響パラメータの指定を受けるための調整画像の一例は、例えば、図７に示されるディレイまたはゲインの指定を受けるための調整画像５２である。
【0074】
図８は、本実施の形態に係る制御装置１０により表示されるディレイ及びゲインの調整画像５２を示す模式図である。
【0075】
図８に示されるように、調整画像５２は、ディレイを調整するための画像６１と、ゲインを調整するための画像６２とを含む。例えば、ユーザによる操作に基づいて画像６１内のバーを上方向に操作すると、ディレイが増加し、画像６１内のバーを下方向に操作すると、ディレイが減少する。同様に、ユーザによる操作に基づいて画像６２内のバーを上方向に操作すると、ゲインが増加し、画像６２内のバーを下方向に操作すると、ゲインが減少する。なお、調整画像５２は、画像６１及び６２のうちのいずれか一方のみを含むものであってもよい。
【0076】
ユーザは、画像６１、６２を視認しながらディレイとゲインとを調整することができ、ディレイとゲインとの調整結果が、音制御部１６が出力する音に適用される。
【0077】
なお、音響パラメータとしてイコライザを調整する場合には、イコライザ調整パネルの画像６３が用いられ得る。例えば、画像６３が操作されると、周波数特性を変更するパネルを示す画像が表示される。周波数特性を変更するパネルとしてはグラフィックイコライザのようにあらかじめ決められたバンドごとのゲインを調整するものであってもよいし、またバイクアッドフィルタの各種パラメータ（フィルタ種別、中心周波数、Ｑ値、ゲインなど）を調整するパラメトリックイコライザであってもよい。
【0078】
また、音響パラメータとしてミュートまたはソロを調整する場合には、ミュートスイッチの画像６４、または、ソロスイッチの画像６５が用いられ得る。例えば、ミュートスイッチの画像６４、または、ソロスイッチの画像６５が操作されると、ミュートまたはソロのＯＮ／ＯＦＦが切り換えられる。
【0079】
以上のように構成された制御装置１０の処理を説明する。
【0080】
図９は、本実施の形態に係る制御装置１０が実行する処理方法を示すフロー図である。この処理方法は、空間内に配置される複数のスピーカ３１等によってユーザに提示する音響を制御する制御装置１０の処理方法である。
【0081】
図９に示されるように、ステップＳ１０１（生成ステップ）において、表示面に表示するための画像データを取得し、表示面の形状を示す形状情報を用いた変換処理を用いて、取得した画像データから表示用画像データを生成する。
【0082】
ステップＳ１０２（表示制御ステップ）において、生成ステップで生成した表示用画像データを用いて、表示面に表示用画像を表示させる制御をする。
【0083】
ステップＳ１０３（受付ステップ）において、表示された表示用画像にカーソルを重畳表示させ、カーソルを視認したユーザから、表示用画像上での複数のスピーカ３１等に関する位置の指定を受ける。
【0084】
ステップＳ１０４（特定ステップ）において、変換処理に係る変換前の画像と変換後の画像との位置の対応関係を参照することで、ユーザにより指定された位置からカーソルの空間内での位置を算出し、算出した位置を、複数のスピーカ３１等に関する空間内の位置として特定する。
【0085】
これにより、制御装置１０は、音響の提示に用いる複数のスピーカ３１等に関する位置の情報をより容易に取得することができる。
【0086】
なお、特定部１５が変換処理に係る変換前の画像データと変換後の表示用画像データとの位置の対応関係を参照することでユーザにより指定された位置からカーソルの空間内での位置を算出する処理の第一例は、生成部１２が実行する変換処理の逆変換にかかる逆変換処理を用いてユーザにより指定された位置からカーソルの空間内での位置を算出する処理である。逆変換処理は、表示用画像データを、形状情報を用いたジオメトリ変換によって、全方位画像データに変換する処理に相当する。この逆変換処理を用いれば、ユーザにより指定された、表示用画像上の位置を示す情報が、全方位画像における位置に変換される。
【0087】
また、特定部１５が変換処理に係る変換前の画像データと変換後の表示用画像データとの位置の対応関係を参照することでユーザにより指定された位置からカーソルの空間内での位置を算出する処理の第二例は、カーソルがスピーカ３１等に重ねられたときに、全方位画像におけるカーソルの位置を示す方位角および仰角を取得する処理である。上記逆変換処理が可能である場合には、上記第一例および第二例の両方が利用され得るが、上記逆変換処理が不可能または定義されない場合には、第二例の方法が有効である。第二例の方法について図１０を参照しながら説明する。
【0088】
図１０及び図１１は、本実施の形態に係るカーソルの空間内での位置を算出する方法を示す説明図である。図１０の（ａ）は、全方位画像を示しており、横軸が方位角を示し、縦軸が仰角を示している。また、カーソル６６が表示されている。
【0089】
図１０の（ｂ）は、全方位画像を表示面に表示した状態を示している。カーソル６６に対応する表示面上の位置にカーソル６６Ａが表示されている。
【0090】
ユーザは、図１０の（ｂ）に示される光景を見て、カーソル６６Ａをスピーカ６７に重ねるように操作する。特定部１５は、カーソル６６Ａがスピーカ６７に重なっているとき（図１０の（ｂ）参照）のカーソル６６の位置の方位角および仰角を取得することで、カーソルの空間内での位置を取得する（図１０の（ａ）参照）。
【0091】
なお、図１０の（ｂ）では、カーソル６６Ａが、ジオメトリ変換により変形されている。具体的には、図１０の（ａ）においてほぼ真円として表現されているカーソル６６は、図１０の（ｂ）において楕円として表現されている。このようにカーソルの画像が変形されるのを回避するために、カーソル６６、６６Ａの代わりに、全方位画像上での水平線６８Ａおよび垂直線６８Ｂの交点により位置を指定することもできる（図１１の（ａ）および（ｂ）参照）。このとき、水平線６８Ａに対応する線は、表示面に線６８Ｃとして表示されており、垂直線６８Ｂに対応する線は、表示面に線６８Ｄとして表示されている。ユーザは、線６８Ｃと線６８Ｄとの交点を用いて位置をしていすることができる。このようにすれば、図１０の（ｂ）のように、カーソルの画像が変形されることを回避できる。
【0092】
（実施の形態の変形例）
本変形例において、音響の提示に用いる複数のスピーカに関する位置の情報をより容易に取得する制御装置などについて説明する。具体的には、本実施の形態の制御装置は、配置されている複数のスピーカによって構成される仮想スピーカの位置をより容易に取得する制御装置である。
本変形例において、音響の提示に用いる複数のスピーカに関する位置の情報をより容易に取得する制御装置などについて説明する。具体的には、本実施の形態の制御装置は、配置されている複数のスピーカによって構成される仮想スピーカの位置をより容易に取得する制御装置である。
【0093】
なお、本変形例では、実在するスピーカ、つまり、上記実施の形態で単にスピーカと呼んでいたものを物理スピーカといい、物理スピーカによって仮想的に構成されるスピーカを仮想スピーカという。
【0094】
図１２は、物理スピーカによって仮想的に構成される仮想スピーカの説明図である。仮想スピーカの構成の方法の一例として、ＶＢＡＰ（Ｖｅｃｔｏｒ Ｂａｓｅ Ａｍｐｌｉｔｕｄｅ Ｐａｎｎｉｎｇ）を採用し得る。
【0095】
図１２において、ユーザＵの周囲に物理スピーカＳ１、Ｓ２、Ｓ３が存在している。このとき、物理スピーカＳ１、Ｓ２、Ｓ３それぞれのゲインを適切に調整することで、物理スピーカＳ１、Ｓ２、Ｓ３によって仮想スピーカＶを仮想的に構成することができる。このとき、ユーザＵは、仮想スピーカＶの位置に音源があると認識し、つまり、仮想スピーカＶを仮想音源として認識する。
【0096】
より具体的には、仮想スピーカＶの視聴位置からの方向ベクトルＰは、物理スピーカＳ１、Ｓ２、Ｓ３それぞれの視聴位置からの方向ベクトルＬ１、Ｌ２、Ｌ３、ならびに、ゲインｇ１、ｇ２、ｇ３を用いて以下の（式２）のように表現される。
【0097】
Ｐ＝ｇ１・Ｌ１＋ｇ２・Ｌ２＋ｇ３・Ｌ３ （式２）
これにより、ゲインｇ１、ｇ２、ｇ３がそれぞれ適切に設定された物理スピーカＳ１、Ｓ２、Ｓ３により、物理スピーカＳ１、Ｓ２、Ｓ３が形成する凸包内の任意の位置に仮想スピーカＶが仮想的に構成される。なお、仮想スピーカが音を出力するときに、物理スピーカＳ１、Ｓ２、Ｓ３も音を出力することができる。この場合、物理スピーカＳ１、Ｓ２、Ｓ３それぞれは、当該スピーカが出力すべき音と仮想スピーカに寄与する音とを合成した音を出力する。
これにより、ゲインｇ１、ｇ２、ｇ３がそれぞれ適切に設定された物理スピーカＳ１、Ｓ２、Ｓ３により、物理スピーカＳ１、Ｓ２、Ｓ３が形成する凸包内の任意の位置に仮想スピーカＶが仮想的に構成される。なお、仮想スピーカが音を出力するときに、物理スピーカＳ１、Ｓ２、Ｓ３も音を出力することができる。この場合、物理スピーカＳ１、Ｓ２、Ｓ３それぞれは、当該スピーカが出力すべき音と仮想スピーカに寄与する音とを合成した音を出力する。
【0098】
このように、仮想スピーカＶの構成には、仮想スピーカＶの視聴位置からの方向ベクトルＰ、つまり、仮想スピーカの方位角および仰角が必要である。しかしながら、仮想スピーカの方位角および仰角は、例えばユーザが角度を指定するなどして設定することが難しい。
【0099】
そこで、制御装置１０により、仮想スピーカの位置をより容易に取得する方法を説明する。
【0100】
本変形例に係る制御装置の構成は、原則、実施の形態に係る制御装置１０と同様である。以降では、実施の形態に係る制御装置１０における機能と異なる部分を主に説明する。
【0101】
受付部１４は、ユーザによる操作に基づいてカーソルが、複数のスピーカ３１等によって仮想的に構成される１以上の仮想スピーカそれぞれの位置に重ねられたときのカーソルの位置を取得することによって、１以上の仮想スピーカの位置の指定を受ける。
【0102】
特定部１５は、受付部１４が受けた１以上の仮想スピーカの表示用画像上での位置の指定に基づいて、１以上の仮想スピーカの空間内での位置を算出する。また、特定部１５は、複数のスピーカ３１等に関する空間内の位置として、１以上の仮想スピーカの位置を特定する。
【0103】
音制御部１６は、特定部１５が特定した１以上の仮想スピーカの空間内の位置に基づいて、複数のスピーカ３１等および１以上の仮想スピーカによってユーザに音響を提示する場合における、複数のスピーカ３１等それぞれに供給される駆動音源信号を算出し、複数のスピーカ３１等により出力させる制御をする。なお、音制御部１６の上記の機能部分は、第二音制御部に相当する。
【0104】
図１３を参照しながら具体的に説明する。
【0105】
【0106】
図１３に示されるように、受付部１４は、表示制御部１３による制御により、表示面に表示された表示用画像にカーソル７１を重畳表示させる。カーソル７１の形状は、どのようなものであってもよいが、例えば、スピーカを模した形状を有する。スピーカを模した形状を有するカーソル７１を用いると、ユーザが、仮想スピーカの位置の指定をしていることを直感的に認識できるメリットがある。
【0107】
受付部１４は、ユーザによる操作を受け付けると、受け付けた操作に対応して、表示されているカーソルの位置を移動させる。
【0108】
ユーザは、カーソル７１の位置を視認しながら移動させる操作を受付部１４に行い、仮想スピーカを配置したい位置にカーソル７１に重ね、現在のカーソルの位置を選択する操作（選択操作ともいう）を受付部１４に行う。
【0109】
受付部１４は、選択操作がなされたときのカーソルの表示用画像上での位置を取得する。そして、受付部１４は、取得した、カーソルの表示用画像上での位置に対して、変換処理に係る変換前の画像データと変換後の表示用画像データとの位置の対応関係を参照することで、カーソルの空間内での位置（具体的には方位角θおよび仰角φ）を、構成すべき仮想スピーカの位置であると特定する。このようにして、受付部１４は、構成すべき仮想スピーカの位置つまり方位角及び仰角を特定する。
【0110】
なお、制御装置１０は、上記実施の形態と同様にして、仮想スピーカのディレイまたはゲインを含む音響パラメータを設定することもできる。この場合、音制御部１６は、音響パラメータを設定した仮想スピーカが出力する音に対して、上記指定にかかる音響パラメータを適用したうえで音を出力する。このとき、音響パラメータの指定を受けるための調整画像として、図７に示される調整画像５２が用いられ得る。
【0111】
なお、制御装置１０は、仮想スピーカを構成する物理スピーカの指定を受けることもできる。その場合、受付部１４は、ユーザによる操作に基づいて、複数のスピーカ３１等のうち、１以上の仮想スピーカに含まれる一の仮想スピーカを仮想的に構成する複数のスピーカである複数の指定スピーカそれぞれの位置に、カーソルが重ねられたときのカーソルの位置を取得することによって、複数の指定スピーカの位置の指定を受ける。音制御部１６は、受付部１４が指定を受けた複数の指定スピーカを用いて１以上の仮想スピーカを仮想的に構成するように、複数のスピーカ３１等に供給される駆動音源信号を算出し、算出した駆動音源信号を出力させる。なお、すでに物理スピーカの位置が算出されている場合には、受付部１４は、算出されている物理スピーカの位置を示す情報を読み出すことで、複数の指定スピーカの位置の指定を受けることもできる。
【0112】
これにより、制御装置は、音響の提示に用いる仮想スピーカの位置の情報に加えて、仮想スピーカを構成する物理スピーカの指定を、より容易に受けることができる。
【0113】
以上のように、本実施の形態および本変形例の制御装置は、空間内に配置される複数のスピーカによってユーザに提示する音響を制御する制御装置である。制御装置は、表示面に表示するための画像データを取得し、表示面の形状を示す形状情報を用いた変換処理を用いて、取得した画像データから表示用画像データを生成する生成部と、生成部が生成した表示用画像データを用いて、表示面に表示用画像を表示させる表示制御部と、表示された表示用画像にカーソルを重畳表示させ、カーソルを視認したユーザから、表示用画像上での複数のスピーカに関する位置の指定を受ける受付部と、変換処理に係る変換前の画像データと変換後の表示用画像データとの対応関係を参照することで、ユーザによる位置の指定から空間内でのカーソルの位置を算出し、算出したカーソルの位置を、複数のスピーカに関する位置として特定する特定部とを備える。
【0114】
これによれば、制御装置は、変換処理に係る変換前の画像データと変換後の表示用画像データとの位置の対応関係を参照することで、複数のスピーカに関する位置であって、空間内での位置（つまり、空間に対する位置）を取得できる。ここで、制御装置は、視聴位置にいるユーザが、自身から見て直感的に画像上で指定した位置を用いて、複数のスピーカの位置に関する情報（例えば、方位角および仰角）を取得するので、複数のスピーカの位置に関する情報（例えば方位角などを示す数値）の入力をユーザから直接に受ける必要がない。よって、制御装置は、音響の提示に用いる複数のスピーカに関する位置の情報を、より容易に取得することができる。
【0115】
また、受付部は、位置の指定として、ユーザによる操作に基づいてカーソルが複数のスピーカそれぞれに重ねられたときのカーソルの位置を取得することによって、複数のスピーカの位置の指定を受け、特定部は、複数のスピーカに関する位置として、複数のスピーカの位置を特定し、制御装置は、さらに、特定部が特定した複数のスピーカの位置に基づいて、複数のスピーカによってユーザに音響を提示する場合における、複数のスピーカそれぞれに供給される駆動音源信号を算出し、複数のスピーカの出力を制御する第一音制御部を備えてもよい。
【0116】
これによれば、制御装置は、ユーザに音響を提示するための複数のスピーカの位置を、ユーザが直感的に画像上で指定した位置を用いて取得する。取得した複数のスピーカの位置は、音響の提示の際に複数のスピーカに供給される駆動音源信号の算出に用いられる。よって、制御装置は、音響の提示に用いる複数のスピーカの位置の情報を、より容易に取得することができる。
【0117】
また、受付部は、複数のスピーカのうち対象スピーカの音響パラメータの指定を受けるための調整画像を表示用画像に重畳表示させ、調整画像を視認したユーザから、対象スピーカの音響パラメータの指定を受け、第一音制御部は、対象スピーカに供給される駆動音源信号に対して、指定にかかる音響パラメータを適用してから、対象スピーカの出力を制御してもよい。
【0118】
これによれば、制御装置は、対象スピーカの音響パラメータの指定を、表示面に表示された調整画像を視認したユーザから受けることができる。ここで、ユーザは、表示面に表示された調整画像上で直感的に指定した音響パラメータの指定値を用いて、対象スピーカの音響パラメータを指定するので、音響パラメータの指定値の入力をユーザから直接に受ける必要がない。よって、制御装置は、音響の提示に用いる複数のスピーカに関する位置の情報に加えて、複数のスピーカの音響パラメータを、より容易に取得することができる。
【0119】
また、受付部は、位置の指定として、ユーザによる操作に基づいて、複数のスピーカによって仮想的に構成される１以上の仮想スピーカそれぞれの位置に、カーソルが重ねられたときのカーソルの位置を取得することによって、１以上の仮想スピーカの位置の指定を受け、特定部は、受付部が受けた１以上の仮想スピーカの位置の指定に基づいて、空間内での１以上の仮想スピーカの位置を算出し、複数のスピーカに関する位置として、１以上の仮想スピーカの位置を特定し、制御装置は、さらに、特定部が特定した１以上の仮想スピーカの位置に基づいて、複数のスピーカおよび１以上の仮想スピーカによってユーザに音響を提示する場合における、複数のスピーカそれぞれに供給される駆動音源信号を算出し、複数のスピーカの出力を制御する第二音制御部を備えてもよい。
【0120】
これによれば、制御装置は、ユーザに音響を提示するための仮想スピーカの位置を、ユーザが直感的に画像上で指定した位置を用いて取得する。取得した仮想のスピーカの位置は、音響の提示の際に仮想スピーカに供給される駆動音源信号の算出に用いられる。よって、制御装置は、音響の提示に用いる仮想スピーカの位置の情報を、より容易に取得することができる。
【0121】
また、受付部は、位置の指定として、ユーザによる操作に基づいて、複数のスピーカのうち、１以上の仮想スピーカに含まれる一の仮想スピーカを仮想的に構成する複数の指定スピーカそれぞれの位置に、カーソルが重ねられたときのカーソルの位置を取得することによって、複数の指定スピーカの位置の指定を受け、第二音制御部は、受付部が指定を受けた複数の指定スピーカを用いて１以上の仮想スピーカを仮想的に構成するように、複数のスピーカそれぞれに供給される駆動音源信号を算出してもよい。
【0122】
これによれば、制御装置は、仮想スピーカを仮想的に構成する物理スピーカの指定を、表示面に表示されたカーソルを用いてユーザから受けることができる。ここで、ユーザは、表示面に表示されたカーソルを移動させて、上記物理スピーカを指定するので、上記物理スピーカを指定する情報を別途ユーザから受ける必要がない。よって、制御装置は、音響の提示に用いる仮想スピーカの位置の情報に加えて、仮想スピーカを構成する物理スピーカの指定を、より容易に受けることができる。
【0123】
また、複数のスピーカに関する位置は、ユーザの視聴位置から見た場合の複数のスピーカの方位角および仰角を含んでもよい。
【0124】
これによれば、制御装置は、視聴位置にいるユーザが、自身から見て直感的に画像上で指定した位置を用いて、複数のスピーカの位置に関する情報である方位角および仰角を取得するので、これらの情報の入力をユーザから直接に受ける必要がない。よって、制御装置は、音響の提示に用いる複数のスピーカに関する位置の情報を、より容易に取得することができる。
【0125】
また、制御装置は、さらに、複数のスピーカを備えてもよい。
【0126】
これによれば、制御装置は、音響の提示に用いる複数のスピーカに関する位置の情報を、より容易に取得することができ、さらに、複数のスピーカによって音響を提示することができる。
【0127】
また、本開示における制御装置の処理方法は、空間内に配置される複数のスピーカによってユーザに提示する音響を制御する制御装置の処理方法であって、表示面に表示するための画像データを取得し、表示面の形状を示す形状情報を用いた変換処理を用いて、取得した画像データから表示用画像データを生成する生成ステップと、生成ステップで生成した表示用画像データを用いて、表示面に表示用画像を表示させる表示制御ステップと、表示された表示用画像にカーソルを重畳表示させ、カーソルを視認したユーザから、表示用画像上での複数のスピーカに関する位置の指定を受ける受付ステップと、変換処理に係る変換前の画像データと変換後の表示用画像データとの対応関係を参照することで、ユーザによる位置の指定から空間内でのカーソルの位置を算出し、算出したカーソルの位置を、複数のスピーカに関する位置として特定する特定ステップとを含む。
【0128】
これによれば、上記制御装置と同様の効果を奏する。
【0129】
また、本開示におけるプログラムは、上記の情報処理方法をコンピュータに実行させるためのプログラムである。
【0130】
これによれば、上記制御装置と同様の効果を奏する。
【0131】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【0132】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記実装を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【0133】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【0134】
本開示は、複数のスピーカによってユーザに提示する音響を制御する制御装置に適用可能である。
【符号の説明】
【0135】
１ 提示システム
１０ 制御装置
１１ 記憶部
１２ 生成部
１３ 表示制御部
１４ 受付部
１５ 特定部
１６ 音制御部
２０ 表示装置
３１、３２、３３、３４、３５、３６、３７、３８、６７、Ｓ１、Ｓ２、Ｓ３、Ｓｉ スピーカ
５１、６６、６６Ａ、７１ カーソル
５２ 調整画像
６１、６２、６３、６４、６５ 画像
Ｂ 破線
Ｍ マイク
Ｕ ユーザ
Ｖ 仮想スピーカ
１０ 制御装置
１１ 記憶部
１２ 生成部
１３ 表示制御部
１４ 受付部
１５ 特定部
１６ 音制御部
２０ 表示装置
３１、３２、３３、３４、３５、３６、３７、３８、６７、Ｓ１、Ｓ２、Ｓ３、Ｓｉ スピーカ
５１、６６、６６Ａ、７１ カーソル
５２ 調整画像
６１、６２、６３、６４、６５ 画像
Ｂ 破線
Ｍ マイク
Ｕ ユーザ
Ｖ 仮想スピーカ
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】