特開 2023-137765 情報処理方法及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023137765

(43)【公開日】2023-09-29

(54)【発明の名称】情報処理方法及び情報処理装置

(51)【国際特許分類】

   H04R 3/00 20060101AFI20230922BHJP

   G06T 19/00 20110101ALI20230922BHJP

【ＦＩ】

H04R3/00 310

G06T19/00 600

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2022044126

(22)【出願日】2022-03-18

(71)【出願人】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110000970

【氏名又は名称】弁理士法人 楓国際特許事務所

(72)【発明者】

【氏名】松下 純也

(72)【発明者】

【氏名】末光 祐希

【テーマコード（参考）】

5B050

5D220

【Ｆターム（参考）】

5B050BA09

5B050CA07

5B050DA04

5B050EA07

5B050EA13

5B050EA19

5B050FA05

5D220AB06

(57)【要約】

【課題】 ユーザが、スピーカ等の音響機器から出力されるビームの方向を視覚的に認識することが出来る情報処理方法を提供することを目的とする。
【解決手段】 一実施形態に係る情報処理方法は、所定空間内における天井面、壁面、又は、床面の位置を示す第１位置情報と、所定空間内における、音声ビームを出力する音響機器の位置を示す第２位置情報と、音響機器から出力される前記音声ビームの方向を示す方向情報と、を取得し、取得した第１位置情報、第２位置情報及び方向情報に基づいて音響機器から出力される音声ビームの軌跡を計算し、計算の結果に基づいて音声ビームの軌跡を示す音声ビーム画像を生成する。
【選択図】 図４

【特許請求の範囲】

【請求項1】

所定空間内における天井面、壁面、又は、床面の位置を示す第１位置情報と、
前記所定空間内における、音声ビームを出力する音響機器の位置を示す第２位置情報と、
前記音響機器から出力される前記音声ビームの方向を示す方向情報と、
を取得し、
取得した前記第１位置情報、前記第２位置情報及び前記方向情報に基づいて前記音響機器から出力される前記音声ビームの軌跡を計算し、
前記計算の結果に基づいて前記音声ビームの軌跡を示す音声ビーム画像を生成する、
情報処理方法。

【請求項2】

前記第１位置情報、前記第２位置情報及び前記方向情報に基づいて、前記天井面、前記壁面、又は、前記床面において前記音声ビームが反射する位置及び反射後の前記音声ビームの軌跡を計算し、
前記音声ビーム画像は、反射後の前記音声ビームの軌跡を示す反射画像を含む、
請求項１に記載の情報処理方法。

【請求項3】

前記天井面、前記壁面、又は、前記床面の特性を示す特性情報を取得し、
前記特性情報に基づいて前記反射画像を変化させる、
請求項２に記載の情報処理方法。

【請求項4】

前記所定空間は、前記天井面、壁面、及び、前記床面で構成される閉じた空間である、
請求項１から請求項３のいずれかに記載の情報処理方法。

【請求項5】

前記天井面、前記壁面、又は、前記床面を撮影した第１画像データを取得し、
前記第１画像データから前記天井面、前記壁面、又は前記床面を認識する第１画像処理を行い、
前記第１画像処理の結果に基づいて前記第１位置情報を取得する、
請求項１から請求項４のいずれかに記載の情報処理方法。

【請求項6】

前記音響機器を撮影した第２画像データを取得し、
前記第２画像データから前記音響機器を認識する第２画像処理を行い、
前記第２画像処理の結果に基づいて前記第２位置情報を取得する、
請求項１から請求項５のいずれかに記載の情報処理方法。

【請求項7】

カメラで撮影したカメラ画像データを取得し、
前記カメラ画像データから表示用画像を生成し、
前記表示用画像に前記音声ビーム画像を重畳する処理を行い、
前記音声ビーム画像を重畳した前記表示用画像を出力する、
請求項１から請求項６のいずれかに記載の情報処理方法。

【請求項8】

ユーザ位置を示すユーザ位置情報を取得し、
取得した前記第１位置情報、前記第２位置情報、前記方向情報及び前記ユーザ位置情報に基づいて前記音響機器から出力される前記音声ビームの軌跡を計算する、
請求項１から請求項７のいずれかに記載の情報処理方法。

【請求項9】

前記音声ビームのチャンネル、前記音声ビームの音量、又は、前記音声ビームの周波数特性の少なくとも１つに基づいて、前記音声ビーム画像を変化させる、
請求項１から請求項８のいずれかに記載の情報処理方法。

【請求項10】

第１の装置が、前記第１位置情報、前記第２位置情報及び前記方向情報を取得して、前記音声ビームの軌跡を計算して、前記音声ビーム画像を生成し、
第２の装置が、前記第１の装置で生成した前記音声ビーム画像を取得して、取得した前記音声ビーム画像を表示器に表示する、
請求項１から請求項９のいずれかに記載の情報処理方法。

【請求項11】

所定空間内における天井面、壁面、又は、床面の位置を示す第１位置情報と、
前記所定空間内における、音声ビームを出力する音響機器の位置を示す第２位置情報と、
前記音響機器から出力される前記音声ビームの方向を示す方向情報と、
を取得する取得部と、
取得した前記第１位置情報、前記第２位置情報及び前記方向情報に基づいて前記音響機器から出力される前記音声ビームの軌跡を計算する計算部と、
前記計算の結果に基づいて前記音声ビームの軌跡を示す音声ビーム画像を生成する生成部と、
を備えている
情報処理装置。

【請求項12】

前記計算部は、前記第１位置情報、前記第２位置情報及び前記方向情報に基づいて、前記天井面、前記壁面、又は、前記床面において前記音声ビームが反射する位置及び反射後の前記音声ビームの軌跡を計算し、
前記音声ビーム画像は、反射後の前記音声ビームの軌跡を示す反射画像を含む、
請求項１１に記載の情報処理装置。

【請求項13】

前記計算部は、前記天井面、前記壁面、又は、前記床面の特性を示す特性情報をさらに取得し、
前記生成部は、前記特性情報に基づいて前記反射画像を変化させる、
請求項１２に記載の情報処理装置。

【請求項14】

前記所定空間は、前記天井面、壁面、及び、前記床面で構成される閉じた空間である、
請求項１１から請求項１３のいずれかに記載の情報処理装置。

【請求項15】

前記取得部は、
前記天井面、前記壁面、又は、前記床面を撮影した第１画像データを取得し、
前記第１画像データから前記天井面、前記壁面、又は前記床面を認識する第１画像処理を行い、
前記第１画像処理の結果に基づいて前記第１位置情報を取得する、
請求項１１から請求項１４のいずれかに記載の情報処理装置。

【請求項16】

前記取得部は、
前記音響機器を撮影した第２画像データを取得し、
前記第２画像データから前記音響機器を認識する第２画像処理を行い
前記第２画像処理の結果に基づいて前記第２位置情報を取得する、
請求項１１から請求項１５のいずれかに記載の情報処理装置。

【請求項17】

前記取得部は、カメラで撮影したカメラ画像データを取得し、
前記生成部は、
前記カメラ画像データから表示用画像を生成し、
前記表示用画像に前記音声ビーム画像を重畳する処理を行い、
前記音声ビーム画像を重畳した前記表示用画像を出力する、
請求項１１から請求項１６のいずれかに記載の情報処理装置。

【請求項18】

前記取得部は、ユーザ位置を示すユーザ位置情報を取得し、
前記計算部は、取得した前記第１位置情報、前記第２位置情報、前記方向情報及び前記ユーザ位置情報に基づいて前記音響機器から出力される前記音声ビームの軌跡を計算する、
請求項１１から請求項１７のいずれかに記載の情報処理装置。

【請求項19】

前記生成部は、前記音声ビームのチャンネル、前記音声ビームの音量、又は、前記音声ビームの周波数特性の少なくとも１つに基づいて、前記音声ビーム画像を変化させる、
請求項１１から請求項１８のいずれかに記載の情報処理装置。

【請求項20】

前記情報処理装置とは異なる装置が、前記第１位置情報、前記第２位置情報及び前記方向情報を取得して、前記音声ビームの軌跡を計算して、前記音声ビーム画像を生成し、
前記情報処理装置が、前記情報処理装置とは異なる装置で生成した前記音声ビーム画像を取得して、
取得した前記音声ビーム画像を表示器に表示する、
請求項１１から請求項１９のいずれかに記載の情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

この発明に係る一実施形態は、情報処理方法及び情報処理装置に関する。

【背景技術】

【0002】

特許文献１には、音響空間の画像を取得する音処理装置が記載されている。音処理装置は、音響空間の画像から平面及び仮想スピーカを設定する。音処理装置は仮想スピーカの特性から音圧分布を算出し、当該音圧分布を平面に重ね合わせた画像を生成する。

【0003】

特許文献２には、スピーカ装置とリモコンとが記載されている。スピーカ装置は、リモコンの位置を測定する。スピーカ装置は、リモコンの位置に音声ビームを向ける。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０２１／２４１４２１号

【特許文献2】特開２００８－０３５２５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ユーザは、スピーカ等の音響機器から出力される音声ビームの方向を視覚的に認識出来ない。

【0006】

本発明の一実施形態は、ユーザが、スピーカ等の音響機器から出力される音声ビームの方向を視覚的に認識することが出来る情報処理方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一実施形態に係る情報処理方法は、
所定空間内における天井面、壁面、又は、床面の位置を示す第１位置情報と、
所定空間内における、音声ビームを出力する音響機器の位置を示す第２位置情報と、
音響機器から出力される前記音声ビームの方向を示す方向情報と、
を取得し、
取得した第１位置情報、第２位置情報及び方向情報に基づいて音響機器から出力される音声ビームの軌跡を計算し、
計算の結果に基づいて音声ビームの軌跡を示す音声ビーム画像を生成する。

【発明の効果】

【0008】

この発明の一実施形態に係る情報処理方法によれば、ユーザが、スピーカから出力される音声ビームの方向を視覚的に認識することが出来る

【図面の簡単な説明】

【0009】

【図1】図１は、ＭＲゴーグル１とスピーカ２との接続の一例を示すブロック図である。

【図2】図２は、ＭＲゴーグル１の構成の一例を示すブロック図である。

【図3】図３は、スピーカ２の構成の一例を示すブロック図である。

【図4】図４は、空間Ｓｐにおいて出力された音声ビームＢ１を示す斜視図である。

【図5】図５は、空間Ｓｐの平面図である。

【図6】図６は、スピーカ２を基準としたＸ’軸、Ｙ’軸及びＺ’軸における音声ビームＢ１の角度θ及び角度φの一例を示す斜視図である。

【図7】図７は、プロセッサ１３の機能的構成を示す図である。

【図8】図８は、ＭＲゴーグル１の処理の一例を示すフローチャートである。

【図9】図９は、空間Ｓｐにおいて出力された音声ビームＢ１及び音声ビームＢ２を示す図である。

【図10】図１０は、ＭＲゴーグル１とは別の撮影用カメラで撮影したスピーカ２、天井面ＣＳ、壁面ＷＳ及び床面ＦＳの画像を示す図である。

【発明を実施するための形態】

【0010】

（第１実施形態）
以下、第１実施形態に係る情報処理方法を実行するＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）ゴーグル１について図を参照して説明する。図１は、ＭＲゴーグル１とスピーカ２との接続の一例を示すブロック図である。図２は、ＭＲゴーグル１の構成の一例を示すブロック図である。図３は、スピーカ２の構成の一例を示すブロック図である。図４は、空間Ｓｐにおいて出力された音声ビームＢ１を示す斜視図である。

【0011】

ＭＲゴーグル１は、情報処理装置の一例である。ＭＲゴーグル１を装着したユーザは、ＭＲゴーグル１を介して現実空間を視認しつつ、ＭＲゴーグル１に表示されている画像を視認することが出来る。

【0012】

図１に示すように、ＭＲゴーグル１は、スピーカ２（音響機器の一例）と接続されている。具体的には、ＭＲゴーグル１は、スピーカ２と、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又は、Ｗｉ－Ｆｉ（登録商標）等の無線によって接続されている。なお、ＭＲゴーグル１は、必ずしも無線によってスピーカ２と接続されていなくてよい。ＭＲゴーグル１は、有線によってスピーカ２と接続されていてもよい。なお、ＭＲゴーグル１は、スピーカ２に加えてスピーカ２以外の機器（例えば、ＰＣ、スマートホン等）と接続されていてもよい。

【0013】

図２に示すように、ＭＲゴーグル１は、通信インタフェース１０、フラッシュメモリ１１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２、プロセッサ１３、表示器１４及びセンサ１５を備えている。プロセッサ１３は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、又は、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等である。

【0014】

通信インタフェース１０は、ネットワークインタフェース等である。通信インタフェース１０は、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線によってスピーカ２と通信を行う。

【0015】

フラッシュメモリ１１は、種々のプログラムを記憶する。種々のプログラムとは、例えば、ＭＲゴーグル１を動作させるプログラム等である。

【0016】

ＲＡＭ１２は、フラッシュメモリ１１に記憶された所定のプログラムを一時的に記憶する。

【0017】

プロセッサ１３は、フラッシュメモリ１１に記憶された所定のプログラムをＲＡＭ１２に読み出すことによって、種々の処理を実行する。なお、プロセッサ１３は、必ずしもフラッシュメモリ１１に記憶されたプログラムを実行しなくてもよい。プロセッサ１３は、例えば、通信インタフェース１０を介して、ＭＲゴーグル１の外部の機器（例えば、サーバー等）からプログラムをダウンロードし、ダウンロードしたプログラムをＲＡＭ１２に読み出してもよい。

【0018】

表示器１４は、プロセッサ１３の動作に基づいて種々の情報を表示する。本実施形態において、ＭＲゴーグル１の表示器１４は、例えば、ハーフミラー及び発光素子を含んでいる有機ＥＬディスプレイである。ユーザは、ハーフミラーにおいて反射した表示内容（画像等）を見ることが出来る。ハーフミラーは、ユーザの前方から入射する光を透過する。従って、ユーザは、ハーフミラーを介して現実空間を視認することも出来る。

【0019】

センサ１５は、ＭＲゴーグル１の周囲の環境をセンシングし、データとして取得する。本実施形態において、ＭＲゴーグル１は、図４に示すように、天井面ＣＳ、壁面ＷＳ及び床面ＦＳで構成される閉じた空間Ｓｐ内に居るユーザが身に着けている。センサ１５は、天井面ＣＳ、壁面ＷＳ及び床面ＦＳとの相対的な位置を示す位置情報をセンシングし、データとして取得する。本実施形態において、センサ１５は、例えば、ステレオカメラである。ステレオカメラは、ＭＲゴーグル１の周囲を撮影することによって画像データＤＤを取得する。ステレオカメラは、天井面ＣＳ、壁面ＷＳ及び床面ＦＳを撮影する。ステレオカメラは、天井面ＣＳ、壁面ＷＳ及び床面ＦＳが撮像された画像データＤＤを取得する。

【0020】

また、図４に示すように、本実施形態において、スピーカ２は、空間Ｓｐを構成する天井面ＣＳに配置されている。センサ１５は、スピーカ２との相対位置を示す位置情報をセンシングし、データとして取得する。具体的には、センサ１５の一例であるステレオカメラは、天井面ＣＳ、壁面ＷＳ及び床面ＦＳに加えて、スピーカ２を撮影する。従って、ステレオカメラは、天井面ＣＳ、壁面ＷＳ及び床面ＦＳ及びスピーカ２が撮像された画像データＤＤを取得する。

【0021】

なお、センサ１５は、必ずしもステレオカメラでなくてもよい。センサ１５は、例えば、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）等であってもよい。ＬｉＤＡＲは、レーザ光を照射してから物体（スピーカ２、天井面ＣＳ、壁面ＷＳ又は床面ＦＳ）において反射したレーザ光を検出するまでの時間を取得することで、物体との距離を測定する。

【0022】

スピーカ２は、音信号に基づいた音声を出力する。スピーカ２は、指向性を有する音声ビームＢ１を出力する（図４参照）。スピーカ２は、図３に示すように、通信インタフェース２０、ユーザインタフェース２１、フラッシュメモリ２２、ＲＡＭ２３、オーディオインタフェース２４、プロセッサ２５、複数のＤＡコンバータ２６、複数のアンプ２７及び複数のスピーカユニット２８を備えている。なお、図３に示す例では、複数のＤＡコンバータ２６の内の３個のＤＡコンバータ２６にのみ符号を付して記載している。図３に示す例では、複数のアンプ２７の内の３個のアンプ２７にのみ符号を付して記載している。図３に示す例では、複数のスピーカユニット２８の内の３個のスピーカユニット２８にのみ符号を付して記載している。ＤＡコンバータ２６、アンプ２７、及びスピーカユニット２８の数は３つではなく、さらに多数存在する。ＤＡコンバータ２６、アンプ２７、及びスピーカユニット２８の数は限定されない。

【0023】

通信インタフェース２０は、ネットワークインタフェース等である。通信インタフェース２０は、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線又は有線によってＭＲゴーグル１と通信を行う。

【0024】

ユーザインタフェース２１は、ユーザからの種々の操作を受け付ける。ユーザインタフェース２１は、例えば、リモコンである。ユーザは、リモコンを操作（ボタン操作等）することによって、音声ビームＢ１を出力する角度（スピーカ２から見た角度）を設定する。

【0025】

本実施形態において、スピーカ２は、例えば、空間Ｓｐを構成する天井面ＣＳに配置される（図４参照）。スピーカ２は、複数のスピーカユニット２８を配列している前面と天井面ＣＳとが平行となるように天井面ＣＳに配置される。従って、スピーカ２は、床面ＦＳ又は壁面ＷＳの方向に音声ビームＢ１を出力するように配置される。例えば、ＭＲゴーグル１は、図４に示すように、空間ＳｐにおいてＭＲゴーグル１の位置を基準とするＸ軸、Ｙ軸及びＺ軸を定義する。この場合、スピーカ２は、－Ｚ方向（天井面ＣＳ及びスピーカ２の前面に垂直な方向）を基準として音声ビームＢ１を出力するように配置されている。

【0026】

図５は、空間Ｓｐの平面図である。図６は、スピーカ２を基準としたＸ’軸、Ｙ’軸及びＺ’軸における音声ビームＢ１の角度θ及び角度φの一例を示す斜視図である。図６に示すＸ’方向は、図４及び図５に示す－Ｘ方向に一致する。図６に示すＹ’方向は、図４及び図５に示す－Ｙ方向に一致する。図６に示すＺ’方向は、図４及び図５に示す－Ｚ方向に一致する。ユーザは、図５及び図６に示すように、スピーカ２の平面内の角度（Ｘ’方向に対する音声ビームＢ１の角度）θ及びＺ’方向に対する角度φを、リモコン（ユーザインタフェース２１）を用いて手動で設定する。

【0027】

フラッシュメモリ２２は、種々のプログラムを記憶する。種々のプログラムとは、例えば、スピーカ２を動作させるプログラム等である。

【0028】

ＲＡＭ２３は、フラッシュメモリ２２に記憶された所定のプログラムを一時的に記憶する。

【0029】

オーディオインタフェース２４は、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線又は有線を介してスピーカ２とは異なる装置から音信号を受信する。スピーカ２とは異なる装置とは、例えば、不図示のＰＣ、スマートホン等である。

【0030】

プロセッサ２５は、フラッシュメモリ２２に記憶された所定のプログラムをＲＡＭ２３に読み出すことによって、種々の処理を実行する。プロセッサ２５は、例えば、ＣＰＵ、又は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）である。なお、プロセッサ２５は、ＣＰＵ及びＤＳＰの両方によって構成されていてもよい。なお、プロセッサ２５は、必ずしもフラッシュメモリ２２に記憶されたプログラムを実行しなくてもよい。プロセッサ２５は、例えば、通信インタフェース２０を介して、スピーカ２の外部の機器（例えば、サーバー等）からプログラムをダウンロードし、ダウンロードしたプログラムをＲＡＭ２３に読み出してもよい。

【0031】

プロセッサ２５は、ユーザインタフェース２１で受け付けた操作に応じてスピーカ２から出力される音声ビームＢ１の方向を示す情報（以下、方向情報ＤＩと称する）を受け付ける。方向情報ＤＩとは、具体的には、角度θ及び角度φ等である。

【0032】

プロセッサ２５は、オーディオインタフェース２４を介して受信したデジタルの音信号に対して信号処理を施す。信号処理とは、例えば、音声ビームＢ１の生成処理等である。プロセッサ２５は、受け付けた方向情報ＤＩに基づいて複数のスピーカユニット２８それぞれから出力される音声の位相が所定の方向で揃うように遅延量を調整する。この場合、プロセッサ２５は、複数のスピーカユニット２８のそれぞれに供給する音信号に対して、調整した遅延量に基づいてディレイ制御を行う。これにより、複数のスピーカユニット２８それぞれから出力される音声が、所定の方向で強め合う。つまり、プロセッサ２５は、ユーザによって設定された方向（角度θ及び角度φ）で音声が強め合うように、複数のスピーカユニット２８のそれぞれに供給する音信号に対してディレイ制御を行う。

【0033】

複数のＤＡコンバータ２６は、プロセッサ２５によって信号処理を施されたデジタルの音信号を受信する。複数のＤＡコンバータ２６は、受信したデジタルの音信号をＤＡ変換することによってアナログの音信号を取得する。複数のＤＡコンバータ２６は、アナログの音信号を複数のアンプ２７へ送信する。

【0034】

複数のアンプ２７は、受信したアナログの音信号を増幅する。複数のアンプ２７のそれぞれは、増幅したアナログの音信号を複数のスピーカユニット２８のそれぞれに送信する。

【0035】

複数のスピーカユニット２８は、複数のアンプ２７から受信したアナログの音信号に基づいて音を発する。

【0036】

なお、スピーカ２は、必ずしもユーザインタフェース２１に対するユーザの操作に基づいて音声ビームＢ１を出力する方向を受け付けなくてよい。スピーカ２は、例えば、通信インタフェース２０を介して、不図示のＰＣ又はスマートホン等から音声ビームＢ１を出力する方向に係る情報を受信してもよい。この場合、ＰＣ又はスマートホン等は、例えば、音声ビームＢ１を出力する方向を設定するためのアプリケーションプログラムをインストールしている。アプリケーションプログラムは、ユーザからの操作に応じて方向情報ＤＩを受け付ける。アプリケーションプログラムは、方向情報ＤＩをスピーカ２へ送信する。

【0037】

以下、ＭＲゴーグル１における音声ビームＢ１の可視化に係る処理（以下、処理Ｐと称す）について図面を参照しながら説明する。図７は、プロセッサ１３の機能的構成を示す図である。図８は、ＭＲゴーグル１の処理の一例を示すフローチャートである。

【0038】

プロセッサ１３は、図７に示すように、取得部１３０、計算部１３１及び生成部１３２を機能的に備えている。取得部１３０、計算部１３１及び生成部１３２が、処理Ｐを実行する。

【0039】

プロセッサ１３は、例えば、ＭＲゴーグル１の起動時、又は、処理Ｐに係る所定のアプリケーションプログラムを実行したときに、処理Ｐを開始する（図８：ＳＴＡＲＴ）。

【0040】

開始後、取得部１３０は、図７に示すように、センサ１５（ステレオカメラ）から画像データＤＤを受信する（図８：ステップＳ１１）。

【0041】

次に、取得部１３０は、画像データＤＤ（天井面ＣＳ、壁面ＷＳ又は床面ＦＳを撮影した第１画像データ）から天井面ＣＳ、壁面ＷＳ、又は床面ＦＳを認識する画像処理（本発明の第１画像処理）を行う（図８：ステップＳ１２）。第１画像処理とは、例えば、ニューラルネットワーク等（例えば、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等）の人工知能による認識処理等である。取得部１３０は、人工知能による認識処理等によって、天井面ＣＳと壁面ＷＳとの境界、床面ＦＳと壁面ＷＳとの境界、又は、２つの壁面ＷＳの境界を認識する。

【0042】

次に、取得部１３０は、所定空間内における天井面ＣＳ、壁面ＷＳ、又は、床面ＦＳの位置を示す位置情報ＦＬＩ（本発明の第１位置情報）を取得する（図８：ステップＳ１３）。本実施形態では、取得部１３０は、第１画像処理の結果に基づいて位置情報ＦＬＩを取得する。例えば、取得部１３０は、ステレオカメラ（２つのカメラ）のそれぞれの画像に基づいて天井面ＣＳ、壁面ＷＳ及び床面ＦＳの各境界位置を認識する。取得部１３０は、天井面ＣＳ、壁面ＷＳ及び床面ＦＳの各境界位置と、２つのカメラの位置関係と、に基づいて天井面ＣＳ、壁面ＷＳ及び床面ＦＳの各境界位置の３次元座標を求める。取得部１３０は、求めた境界位置の３次元座標に基づいて天井面ＣＳの位置を示す位置情報ＦＬＩ（ａ×ｘ０＋ｂ×ｙ０＋ｃ×ｚ０＝ｄ）を取得する。（ａ×ｘ０＋ｂ×ｙ０＋ｃ×ｚ０＝ｄ）は、３次元空間（ＸＹＺ座標空間）における平面である天井面ＣＳを示す関数である。

【0043】

取得部１３０は、同様にして、各面（壁面ＷＳ及び床面ＦＳ）の位置情報ＦＬＩも取得する。ＭＲゴーグル１は、第１画像処理によって、自動で位置情報ＦＬＩを取得することが出来る。

【0044】

次に、取得部１３０は、画像データＤＤ（スピーカ２を撮影した第２画像データ）からスピーカ２（音響機器）を認識する画像処理（本発明の第２画像処理）を行う（図８：ステップＳ１４）。第２画像処理とは、例えば、テンプレートデータを用いたパターンマッチング等である。この場合、ＭＲゴーグル１には、テンプレートデータとしてスピーカ２の外観等を示す画像データが予め記憶されている。取得部１３０は、画像データＤＤと、テンプレートデータとの類似度を計算する。取得部１３０は、閾値を超える類似度を算出した場合に、スピーカ２を認識する。

【0045】

なお、ＭＲゴーグル１は、例えば、第１画像処理と同様にして、人工知能による物体認識処理によってスピーカ２を認識してもよい。この場合、取得部１３０は、入力画像と、スピーカ２等のオブジェクトと、の関係を機械学習により学習した学習済モデルを用いてスピーカ２を認識する。

【0046】

次に、取得部１３０は、空間Ｓｐ内（所定空間内）における、音声ビームＢ１を出力するスピーカ２の位置を示す位置情報ＳＬＩ（第２位置情報）を取得する（図８：ステップＳ１５）。本実施形態では、取得部１３０は、第２画像処理の結果に基づいて位置情報ＳＬＩを取得する。具体的には、取得部１３０は、第２画像処理においてスピーカ２を認識した場合、スピーカ２の位置を画像処理によって推定する。取得部１３０は、ＭＲゴーグル１の位置を原点としたスピーカ２の位置を推定する。例えば、図４において、取得部１３０は、ＭＲゴーグル１の座標を原点とするスピーカ２の３次元空間における座標Ｃｄ１（例えば、座標（ｘ１，ｙ１，ｚ１）等）を取得する。本実施形態のセンサ１５は、ステレオカメラである。従って、取得部１３０は、ステレオカメラ（２つのカメラ）のそれぞれの画像データで認識したスピーカ２の位置と、２つのカメラの位置関係と、に基づいてスピーカ２の３次元空間における座標Ｃｄ１を求める。スピーカ２において複数のスピーカユニット２８を配列している前面は、平面状のメッシュとなっている。従って、取得部１３０は、画像処理によって、スピーカ２における平面状のメッシュの部分を認識する。取得部１３０は、メッシュの部分の重心位置を算出し、当該重心位置をスピーカ２の３次元空間における座標Ｃｄ１と定義する。なお、上記に示す３次元空間における座標Ｃｄ１の算出方法は一例である。従って、取得部１３０は、必ずしも、メッシュ形状の部分の重心位置をスピーカ２の３次元空間における座標Ｃｄ１と定義しなくてもよい。このように、ＭＲゴーグル１は、第２画像処理によって、自動で位置情報ＳＬＩを取得することが出来る。

【0047】

次に、取得部１３０は、スピーカ２から出力される音声ビームＢ１の方向を示す方向情報ＤＩを取得する（図８：ステップＳ１６）。具体的には、取得部１３０は、図７に示すように、ユーザインタフェース２１でユーザによって設定された方向情報ＤＩをスピーカ２から受信する。

【0048】

次に、計算部１３１は、図７に示すように、取得部１３０から位置情報ＦＬＩ、位置情報ＳＬＩ及び方向情報ＤＩを取得する。計算部１３１は、取得した位置情報ＦＬＩ、位置情報ＳＬＩ及び方向情報ＤＩに基づいてスピーカ２から出力される音声ビームＢ１の軌跡を計算する（図８：ステップＳ１７）。

【0049】

計算部１３１は、空間Ｓｐ内における音声ビームＢ１の出力される方向を方向情報ＤＩに基づいて計算する。具体的には、計算部１３１は、方向情報ＤＩとして角度θ及び角度φをスピーカ２から取得する。角度θ及び角度φは、スピーカ２の位置を基準とする極座標系の角度である。従って、計算部１３１は、角度θ及び角度φに対応する３次元直交座標系の傾き（ｌ，ｍ，ｎ）を求める。計算部１３１は、スピーカ２の位置（ｘ１，ｙ１，ｚ１）を通る直線（ｘ，ｙ，ｚ）＝（ｘ１，ｙ１，ｚ１）＋ｔ（ｌ，ｍ，ｎ）を定義する（ｔは任意の値である）。また、計算部１３１は、当該直線が床面ＦＳ又は壁面ＷＳと交わる交差位置の座標Ｃｄ２を求める（図４参照）。計算部１３１は、スピーカ２の位置から当該交差位置までの線分を、音声ビームＢ１の軌跡とする。つまり、計算部１３１は、座標Ｃｄ１から座標Ｃｄ２までの線分を、音声ビームＢ１の軌跡とする。

【0050】

最後に、生成部１３２は、音声ビームＢ１の軌跡の計算の結果に基づいて音声ビームＢ１の軌跡を示す音声ビーム画像を生成する（図８：ステップＳ１８）。例えば、生成部１３２は、上記の３次元座標を表示器１４の２次元座標の位置に対応付ける計算を行う。生成部１３２は、計算した２次元座標に対応する音声ビームＢ１の軌跡を示す画像を生成する。生成部１３２は、例えば、所定の色を有し、且つ、音声ビームＢ１の軌跡を中心として所定の幅を有する線分の画像（図４に示すような、円柱状の音声ビームＢ１の画像等）を生成する。これにより、生成部１３２は、当該円柱状の画像を音声ビーム画像として表示器１４に表示する。この場合、ユーザは、表示器１４を介して空間Ｓｐ内（現実空間）に重ねられた音声ビーム画像を視認出来る。従って、ユーザは、現実空間を視認しつつ、表示器１４に表示された音声ビーム画像を視認することが出来る。

【0051】

以上のステップＳ１１からステップＳ１８の処理が行われることによって、ＭＲゴーグル１における一連の処理Ｐの実行が完了する（図８：ＥＮＤ）。なお、プロセッサ１３は、ステップＳ１６を実行した後に、ステップＳ１１からステップＳ１５を実行してもよい。

【0052】

（効果）
本実施形態に係るＭＲゴーグル１は、生成した音声ビーム画像を表示器１４に表示させる。これにより、ユーザは、スピーカ２から出力される音声ビームＢ１の軌跡を視認することが出来る。従って、ユーザは、スピーカ２から出力される音声ビームＢ１の方向を視覚的に認識することが出来る。これにより、ユーザは、音声ビームＢ１の調整をし易くなる。例えば、ユーザは、可視化された音声ビームＢ１を見ることによって音声ビームＢ１の角度等を正確に調整出来る。従って、ユーザは、音のみで音声ビームＢ１を調整する場合と比較して、望んだ方向に音声ビームＢ１の方向を向けることが可能となる。

【0053】

なお、スピーカ２は、必ずしも、天井面ＣＳ、壁面ＷＳ、及び、床面ＦＳで構成される閉じた空間Ｓｐに配置されなくてもよい。例えば、スピーカ２は、天井面ＣＳを有しないオープンスペース等の空間に配置されていてもよい。この場合、スピーカ２は、例えば、壁面ＷＳ又は床面ＦＳに配置される。

【0054】

なお、スピーカ２は、屋外に配置されていてもよい。この場合、スピーカ２は、床面ＦＳに配置される。

【0055】

（変形例１）
以下、変形例１に係るＭＲゴーグル１ａについて図を参照しながら説明する。図９は、空間Ｓｐにおいて出力された音声ビームＢ１及び音声ビームＢ２を示す図である。図９に示すように、ＭＲゴーグル１ａは、壁面ＷＳにおいて反射した音声ビームＢ２の軌跡を示す画像を表示する点でＭＲゴーグル１と異なる。また、本変形例のスピーカ２は、壁面ＷＳに配置されている点で上記実施形態と異なる。その他の構成は全て第１実施形態と同じである。

【0056】

スピーカ２は、－Ｙ方向（壁面ＷＳ及びスピーカ２の前面に垂直な方向）を基準として音声ビームＢ１を出力するように配置されている。従って、本変形例では、図６に示したＸ’方向は、図９に示した－Ｘ方向に一致する。図６に示したＹ’方向は、図９に示した－Ｚ方向に一致する。図６に示したＺ’方向は、図９に示した－Ｙ方向に一致する。ユーザは、スピーカ２のＸ’方向に対する音声ビームＢ１の角度θ及びＺ’方向に対する角度φを設定する。

【0057】

ＭＲゴーグル１ａの計算部１３１は、極座標系の角度θ及び角度φに対応する３次元直交座標系の傾き（ｌ１，ｍ１，ｎ１）を求める。また、ＭＲゴーグル１ａの計算部１３１は、上記の第２画像処理等によりスピーカ２の位置（ｘ２，ｙ２，ｚ２）を求める。ＭＲゴーグル１ａの計算部１３１は、スピーカ２の位置（ｘ２，ｙ２，ｚ２）を通る直線（ｘ，ｙ，ｚ）＝（ｘ２，ｙ２，ｚ２）＋ｔ（ｌ１，ｍ１，ｎ１）が、壁面ＷＳと交わる交差位置の座標Ｃｄ３を求める（図９参照）。計算部１３１は、座標Ｃｄ１から座標Ｃｄ３（ｘ３，ｙ３，ｚ３）までの線分を音声ビームＢ１の軌跡とする。

【0058】

図９に示すように、スピーカ２から出力された音声ビームＢ１は、壁面ＷＳ（座標Ｃｄ３）で反射する。従って、計算部１３１は、音声ビームＢ１の軌跡の計算の後、座標Ｃｄ３で反射した音声ビームＢ２の軌跡を計算する。つまり、計算部１３１は、位置情報ＦＬＩ、位置情報ＳＬＩ及び方向情報ＤＩに基づいて壁面ＷＳにおいて音声ビームＢ１が反射する位置（座標Ｃｄ２）及び反射後の音声ビームＢ２の軌跡を計算する。音声ビームＢ１が－Ｘ方向に出力される場合、音声ビームＢ２は、壁面ＷＳに反射した後、Ｘ方向に向かって反射する。従って、音声ビームＢ２を示す直線のＸ軸の方向ベクトルは、音声ビームＢ１を示す直線のＸ軸の方向ベクトルに対して反転する。一方、音声ビームＢ２を示す直線のＹ軸の方向ベクトルは、音声ビームＢ１を示す直線のＹの軸方向ベクトルと同じであり、且つ、音声ビームＢ２を示す直線のＺ軸の方向ベクトルは、音声ビームＢ１を示す直線のＺ軸の方向ベクトルと同じである。このため、音声ビームＢ２を示す直線は、（ｘ，ｙ，ｚ）＝（ｘ３，ｙ３，ｚ３）＋ｔ（－ｌ１，ｍ１，ｎ１）となる。

【0059】

最後に、ＭＲゴーグル１ａの生成部１３２は、音声ビームＢ１及び音声ビームＢ２の軌跡を示す音声ビーム画像を生成する。例えば、ＭＲゴーグル１ａの生成部１３２は、ＭＲゴーグル１の生成部１３２と同様にして、上記の３次元座標を表示器１４の２次元座標の位置に対応付ける計算を行う。この場合、音声ビーム画像は、反射後の音声ビームＢ２の軌跡を示す画像（反射画像）を含んでいる。

【0060】

なお、反射は１回に限らない。天井面ＣＳに向かって音声ビームを出力して天井面ＣＳで反射してもよい。また、床面ＦＳに向かって音声ビームを出力して床面ＦＳで反射してもよい。

【0061】

なお、ＭＲゴーグル１ａは、天井面ＣＳ、壁面ＷＳ、又は、床面ＦＳの特性情報（例えば、天井面ＣＳ、壁面ＷＳ、又は、床面ＦＳの吸音率）に基づいて、反射前後で、音声ビームを示す画像の色等を変化させてもよい。具体的には、計算部１３１は、天井面ＣＳ、壁面ＷＳ、又は、床面ＦＳの特性情報（例えば、天井面ＣＳ、壁面ＷＳ、又は、床面ＦＳの吸音率）を取得する。例えば、計算部１３１は、予めフラッシュメモリ１１で記憶している特性情報を読み出す。生成部１３２は、吸音率に基づいて音声ビームＢ２を示す画像（反射画像）を変化させる。例えば、生成部１３２は、吸音率に応じて、反射後の音声ビームＢ２を示す画像の色を反射前の音声ビームＢ１を示す画像の色よりも薄くする（例えば、濃い青色から薄い青色へ変化させる）。

【0062】

なお、当該特性情報は、吸音率に限定されない。当該特性情報は、例えば、壁等の表面の硬さ、表面の粗さ、厚さ又は密度等であってもよい。この場合、計算部１３１は、例えば、予めフラッシュメモリ１１で記憶している特性情報を、読み出す（取得する）。生成部１３２は、読み出した当該特性情報に基づいて画像を変更する。例えば、生成部１３２は、壁等の密度に応じて音声ビームＢ１を示す画像の濃淡を変化させる（例えば、濃い青色から薄い青色へ変化させる）。同様にして、生成部１３２は、例えば、壁等の表面の硬さ、表面の粗さ、又は厚さ等に基づいて音声ビームＢ１を示す画像の濃淡を変化させる。

【0063】

なお、ＭＲゴーグル１ａは、取得した壁等の表面の硬さ、表面の粗さ、厚さ又は密度等に基づいて吸音率を推定し、推定した吸音率に基づいて音声ビームＢ１を示す画像を変化させてもよい。

【0064】

なお、ＭＲゴーグル１ａは、特性情報を取得していない場合であっても、反射前後で適当に音声ビームを示す画像の色等を変化させてもよい。

【0065】

なお、生成部１３２は、音声ビームを示す画像の色以外を変化させてもよい。例えば、生成部１３２は、反射前後で、音声ビームの軌跡を示す画像の大きさを変化（例えば、音声ビームを示す線分の幅の長さを変化）、又は、形状等を変化させてもよい。

【0066】

なお、ＭＲゴーグル１ａは、特性情報以外の情報を基に音声ビーム画像を変化させてもよい。例えば、生成部１３２は、音声ビームのチャンネル、音声ビームの音量、又は、音声ビームの周波数特性の少なくとも１つに基づいて、音声ビーム画像を変化させてもよい。例えば、生成部１３２は、スピーカ２のＲチャンネルから出力される音声ビームの画像の色等がスピーカ２のＬチャンネルから出力される音声ビームの画像の色と異なるように、音声ビーム画像を生成してもよい。また、例えば、生成部１３２は、音声ビームの音量が大きいほど色を濃くしてもよい。また、例えば、生成部１３２は、周波数に応じて音声ビームを示す画像の色を変化させてもよい。例えば、生成部１３２は、低周波数成分のレベルが高い場合には赤色にして、高周波数成分のレベルが高い場合には青色にしてもよい。

【0067】

（効果）
ユーザは、音声ビームＢ１，Ｂ２を視認出来ないため、壁に反射する音声ビームＢ２がどの様な方向に向かうか、極めて判断し難い。これに対して、ＭＲゴーグル１ａは、天井面ＣＳ、壁面ＷＳ又は床面ＦＳにおいて反射した音声ビームＢ２を可視化する。これにより、ユーザは、壁等で反射した音声ビームＢ２の軌跡を視覚的に認識することが出来る。従って、ユーザは、壁等で反射する音声ビームＢ２の方向の調整等をしやすくなる。

【0068】

例えば、ＭＲゴーグル１ａは、天井面ＣＳ、壁面ＷＳ又は床面ＦＳの吸音率に応じて、反射前後で音声ビーム画像の色の濃淡を変化させる。これにより、ユーザは、壁等で反射する音声ビームＢ２の音量の変化等を視覚的に認識することが出来る。

【0069】

例えば、ＭＲゴーグル１ａは、音声ビームのチャンネルに基づいて音声ビーム画像を変化させる。これにより、ユーザは、例えば、音声ビームがＲチャンネル又はＬチャンネルのどちらから音声ビームが出力されたのか等を、視覚的に認識することが出来る。

【0070】

例えば、ＭＲゴーグル１ａは、音声ビームの周波数特性に基づいて音声ビーム画像を変化させる。これにより、ユーザは、音声ビームの周波数を視覚的に認識することが出来る。

【0071】

（変形例２）
変形例２の情報処理装置は、ＭＲゴーグルに代えて、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）ゴーグル（図示せず）である。ＶＲゴーグルは、センサ１５（ステレオカメラ）で撮影した画像データＤＤ（カメラ画像データ）に基づいた画像を表示器１４に表示する。これにより、ＶＲゴーグルのユーザは、表示器１４に表示された画像によって現実空間を視認することが出来る。

【0072】

ＶＲゴーグルは、ＭＲゴーグル１のプロセッサ１３と同様にして、音声ビームＢ１の軌跡を計算し、音声ビーム画像を生成する。

【0073】

ＶＲゴーグルは、画像データＤＤ（カメラ画像データ）から表示器１４に表示する画像（以下、表示用画像と称する）を生成し、表示用画像に音声ビームＢ１の音声ビーム画像を重畳する処理を行う。ＶＲゴーグルは、音声ビーム画像を重畳した表示用画像を表示器１４に出力する。これにより、ユーザは、現実空間（ユーザの周囲の空間）を視認しつつ、音声ビームＢ１の軌跡を視認することが出来る。このように、ＶＲゴーグルは、ＭＲゴーグル１と同じ効果を奏する。

【0074】

なお、スマートホン等の情報処理装置も、上記と同様に、音声ビーム画像を重畳した表示用画像を表示することも出来る。

【0075】

（変形例３）
以下、変形例３に係るＭＲゴーグル１について図を参照しながら説明する。図１０は、ＭＲゴーグル１とは別の撮影用カメラで撮影したスピーカ２、天井面ＣＳ、壁面ＷＳ及び床面ＦＳの画像を示す図である。

【0076】

本変形例では、ＭＲゴーグル１とは別の位置に配置されたカメラ（以下、撮影用カメラと称す）で、さらにユーザＵの位置を検出する。つまり、撮影用カメラは、天井面ＣＳ、壁面ＷＳ及び床面ＦＳの位置情報ＦＬＩ、スピーカ２（音響機器）の位置情報ＳＬＩ、及びユーザ位置情報を検出する。ＭＲゴーグル１は、撮影用カメラから位置情報ＦＬＩ、位置情報ＳＬＩ、及びユーザ位置情報を取得する。ＭＲゴーグル１は、スピーカ２から音声ビームの方向情報ＤＩを取得する。ＭＲゴーグル１は、取得した位置情報ＦＬＩ、位置情報ＳＬＩ、方向情報ＤＩ及びユーザ位置情報に基づいてスピーカ２（音響機器）から出力される音声ビームの軌跡を計算する。

【0077】

撮影用カメラは、ＭＲゴーグル１のユーザＵと、スピーカ２と、天井面ＣＳ、壁面ＷＳ及び床面ＦＳを撮影可能な位置（図１０に示すような画像を撮像可能な位置）に配置されている。撮影用カメラは、ＭＲゴーグル１のユーザと、スピーカ２と、天井面ＣＳ、壁面ＷＳ及び床面ＦＳを撮影することによって画像データＤＤを取得する。

【0078】

撮影用カメラは、画像データＤＤに対して第１画像処理及び第２画像処理を行う。また、撮影用カメラは、画像データＤＤからユーザＵの位置（図１０に示す座標Ｃｄ４）を示すユーザ位置情報を取得する。具体的には、撮影用カメラは、画像処理等によって空間Ｓｐ内に居る人を認識した場合、空間Ｓｐ内に居る人の位置をユーザＵの位置（座標Ｃｄ４）と推定する。この場合、撮影用カメラは、撮影用カメラの位置を原点としてユーザのＵの座標Ｃｄ４を取得する。同様にして、撮影用カメラは、撮影用カメラの位置を原点としてスピーカ２の座標Ｃｄ５を取得する。なお、撮影用カメラは、図１０に示すように、画像処理によって、ＭＲゴーグル１を認識した場合、ＭＲゴーグル１の位置をユーザＵの位置（座標Ｃｄ４）と推定してもよい。同様に、撮影用カメラは、天井面ＣＳ、壁面ＷＳ、又は、床面ＦＳの位置を示す位置情報（本発明の第１位置情報）ＦＬＩと、スピーカ２の位置を示す位置情報（本発明の第２位置情報）ＳＬＩと、を求める。

【0079】

ＭＲゴーグル１は、スピーカ２から方向情報ＤＩを取得する。ＭＲゴーグル１は、位置情報ＦＬＩ、位置情報ＳＬＩ、方向情報ＤＩに基づいて音声ビームＢ１の軌跡を計算する。位置情報ＦＬＩ、位置情報ＳＬＩ、方向情報ＤＩ及びユーザＵの位置（座標Ｃｄ４）は、撮影用カメラの位置を基準とした位置である。従って、ＭＲゴーグル１は、位置情報ＦＬＩ、位置情報ＳＬＩ、方向情報ＤＩを、座標Ｃｄ４を基準（原点）とする位置に変換し、音声ビームの軌跡を変換する。ＭＲゴーグル１は、音声ビーム画像に基づいた表示を行う。ＭＲゴーグル１は、ユーザＵの位置を基準とした音声ビーム画像を表示する。従って、ユーザＵは、スピーカ２から出力される音声ビームＢ１の方向を視覚的に認識することが出来る。

【0080】

（変形例４）
以下、変形例４は、ＭＲゴーグル１と異なる第１の装置（サーバ等）が全ての計算及び音声ビーム画像の生成を行う。変形例４のＭＲゴーグル１（第２の装置）は、サーバ等（第１の装置）で生成した音声ビーム画像を取得し、取得した音声ビーム画像を表示器１４に表示する。

【0081】

（効果）
本変形例では、ＭＲゴーグル１の代わりに、サーバ等の異なる装置で、第１画像処理と、第２画像処理と、音声ビームＢ１の軌跡の計算と、音声ビーム画像の生成と、を行う。従って、ＭＲゴーグル１における処理の負荷が軽減する。このため、ＭＲゴーグル１に備わるプロセッサ１３の性能が低い場合であっても、ＭＲゴーグル１は、遅延等を起こすことなく音声ビーム画像を表示しやすくなる。

【符号の説明】

【0082】

１，１ａ…ＭＲゴーグル
２…スピーカ
１３…プロセッサ
１３０…取得部
１３１…計算部
１３２…生成部
ＤＤ…画像データ
ＦＬＩ，ＳＬＩ…位置情報
ＤＩ…方向情報
Ｂ１，Ｂ２…音声ビーム
Ｓｐ…空間
ＣＳ…天井面
ＷＳ…壁面
ＦＳ…床面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】