特開 2024-172483 プログラム及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024172483

(43)【公開日】2024-12-12

(54)【発明の名称】プログラム及び情報処理装置

(51)【国際特許分類】

   H04S 7/00 20060101AFI20241205BHJP

   A63F 13/54 20140101ALI20241205BHJP

【ＦＩ】

H04S7/00 370

A63F13/54

【審査請求】有

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023090234

(22)【出願日】2023-05-31

(71)【出願人】

【識別番号】593022629

【氏名又は名称】株式会社ジェーシービー

(74)【代理人】

【識別番号】100126480

【弁理士】

【氏名又は名称】佐藤 睦

(74)【代理人】

【識別番号】100140431

【弁理士】

【氏名又は名称】大石 幸雄

(72)【発明者】

【氏名】間下 公照

(72)【発明者】

【氏名】南井 享

【テーマコード（参考）】

5D162

【Ｆターム（参考）】

5D162CD01

5D162EG02

(57)【要約】      （修正有）

【課題】ユーザが体感する音響を改善するプログラム及び情報処理装置を提供する。
【解決手段】システム１における情報処理装置２のプログラムは、制御部１０を、ユーザの第１操作に基づいて、仮想空間における音源オブジェクトの座標である音源座標を決定する決定手段１０２と、音源座標と、音源オブジェクトから仮想的に発せられる発信音声に対応する発信音声情報１４４とに基づいて、仮想空間における観測座標に仮想的に到達する到達音声に対応する到達音声情報１４８を生成する生成手段１０４と、到達音声情報１４８に基づいて、ユーザに対して出力音声を出力する音声出力手段１１０ａと、として機能させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

コンピュータを、
ユーザの第１操作に基づいて、仮想空間における音源オブジェクトの座標である音源座標を決定する決定手段と、
前記音源座標と、前記音源オブジェクトから仮想的に発せられる発信音声に対応する発信音声情報とに基づいて、前記仮想空間における観測座標に仮想的に到達する到達音声に対応する到達音声情報を生成する生成手段と、
前記到達音声情報に基づいて、前記ユーザに対して出力音声を出力する音声出力手段と、
として機能させる、プログラム。

【請求項2】

前記観測座標は、前記ユーザの第２操作に基づいて決定される、請求項１に記載のプログラム。

【請求項3】

前記コンピュータを、さらに、
前記ユーザの第３操作に基づいて、前記発信音声情報を変更する変更手段、として機能させる、請求項１に記載のプログラム。

【請求項4】

前記第３操作は、現実空間において収録した収録音声に関する収録音声情報を読み込ませることを含み、
前記変更手段は、前記収録音声情報に基づいて前記発信音声情報を変更する、請求項３に記載のプログラム。

【請求項5】

前記第１操作は、現実空間における音源の配置に関する配置情報を読み込ませることを含み、
前記決定手段は、前記配置情報に基づいて前記音源座標を決定する、請求項１に記載のプログラム。

【請求項6】

前記仮想空間は、過去に存在した地物の内部又は周辺の空間を再現したものである、請求項１に記載のプログラム。

【請求項7】

前記音源オブジェクトは、第１音源オブジェクト及び第２音源オブジェクトを含み、
前記決定手段は、前記第１操作に基づいて、前記第１音源オブジェクトの座標である第１音源座標と、前記第２音源オブジェクトの座標である第２音源座標とを決定する、請求項１に記載のプログラム。

【請求項8】

前記コンピュータを、さらに、
前記観測座標から前記音源オブジェクトを見た場合の視野に対応する画像を前記ユーザに対して出力する画像出力手段、として機能させる、請求項１に記載のプログラム。

【請求項9】

前記生成手段は、前記仮想空間内の任意の２座標間の音響伝搬特性に関する伝搬情報を参照して前記到達音声情報を生成する、請求項１から請求項８のいずれか一項に記載のプログラム。

【請求項10】

コンピュータを、
ユーザから、仮想空間における音源オブジェクトの座標である音源座標の決定に関する第１操作を受け付ける受付手段と、
前記仮想空間における観測座標に仮想的に到達する到達音声に対応する到達音声情報を取得する取得手段であって、前記到達音声情報は、前記音源座標と、前記音源オブジェクトから仮想的に発せられる発信音声に対応する発信音声情報とに基づいて生成される、取得手段と、
前記到達音声情報に基づいて、前記ユーザに対して出力音声を出力する音声出力手段と、
として機能させる、プログラム。

【請求項11】

ユーザの第１操作に基づいて、仮想空間における音源オブジェクトの座標である音源座標を決定する決定部と、
前記音源座標と、前記音源オブジェクトから仮想的に発せられる発信音声に対応する発信音声情報とに基づいて、前記仮想空間における観測座標に仮想的に到達する到達音声に対応する到達音声情報を生成する生成部と、
前記到達音声情報に基づいて、前記ユーザに対して出力音声を出力する音声出力部と、
を備える、情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム及び情報処理装置に関する。

【背景技術】

【0002】

従来、臨場感の高い鑑賞体験を実現するコンテンツを提供する技術が知られている。例えば、特許文献１には、演者の身体運動に基づいて挙動制御がなされる演者キャラクタを提示するコンテンツの鑑賞体験を鑑賞ユーザに提供する鑑賞システムが開示されている。この鑑賞システムは、演者の身体運動を示す運動情報を取得し、演者キャラクタの挙動を制御し、鑑賞ユーザによりなされた操作入力の情報を取得し、決定した視点の情報に基づいて、演者に係る演者キャラクタを配置した３次元空間における演出を提示する両眼立体視コンテンツに係る描画された画像を提示する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１７３８７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に開示された鑑賞システムによっては、ユーザが体感する音響を十分に改善することができない。

【0005】

そこで、本発明は、上記課題に鑑み、ユーザが体感する音響を改善することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様に係るプログラムは、コンピュータを、ユーザの第１操作に基づいて、仮想空間における音源オブジェクトの座標である音源座標を決定する決定手段と、音源座標と、音源オブジェクトから仮想的に発せられる発信音声に対応する発信音声情報とに基づいて、仮想空間における観測座標に仮想的に到達する到達音声に対応する到達音声情報を生成する生成手段と、到達音声情報に基づいて、ユーザに対して出力音声を出力する音声出力手段と、として機能させる。

【0007】

本発明の他の一態様に係るプログラムは、コンピュータを、ユーザから、仮想空間における音源オブジェクトの座標である音源座標の決定に関する第１操作を受け付ける受付手段と、仮想空間における観測座標に仮想的に到達する到達音声に対応する到達音声情報を取得する取得手段であって、到達音声情報は、音源座標と、音源オブジェクトから仮想的に発せられる発信音声に対応する発信音声情報とに基づいて生成される、取得手段と、到達音声情報に基づいて、ユーザに対して出力音声を出力する音声出力手段と、として機能させる。

【0008】

本発明の他の一態様に係る情報処理装置は、ユーザの第１操作に基づいて、仮想空間における音源オブジェクトの座標である音源座標を決定する決定部と、音源座標と、音源オブジェクトから仮想的に発せられる発信音声に対応する発信音声情報とに基づいて、仮想空間における観測座標に仮想的に到達する到達音声に対応する到達音声情報を生成する生成部と、到達音声情報に基づいて、ユーザに対して出力音声を出力する音声出力部と、を備える。

【発明の効果】

【0009】

本開示によれば、ユーザが体感する音響を改善することができる。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係るシステムの機能ブロック図である。

【図2】本実施形態に係る情報処理装置の動作の一例を説明するための図である。

【図3】本実施形態に係る情報処理装置の動作の一例を説明するための図である。

【図4】本実施形態に係る情報処理装置の動作の一例を説明するための図である。

【図5】本実施形態に係る情報処理装置のハードウェア構成の一例を説明するための図である。

【図6】本実施形態に係る情報処理装置の動作の変形例を説明するための図である。

【図7】本実施形態に係る情報処理装置の動作の変形例を説明するための図である。

【発明を実施するための形態】

【0011】

添付図面を参照して、本発明の好適な実施形態（以下では、本実施形態という）について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

【0012】

本発明において、「部」、「手段」、「装置」及び「システム」とは、単に物理的手段を意味するものではなく、その「部」、「手段」、「装置」及び「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」、「手段」、「装置」及び「システム」が有する機能が２つ以上の物理的手段及び装置、ソフトウェアにより実現されても、２つ以上の「部」、「手段」、「装置」及び「システム」の機能が１つの物理的手段、装置、ソフトウェアにより実現されてもよい。

【0013】

＜１．システム１の概要＞
本実施形態に係るシステム１は、ユーザに対して仮想空間を介した音声の鑑賞体験を提供するシステムである。仮想空間とは、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）における空間である。仮想現実とは、コンピュータを用いて生成されたデジタル環境である。仮想空間は、メタバースということもできる。

【0014】

ユーザは、仮想空間内における自身の分身となるオブジェクト（以下では、「アバター」と称する）として仮想空間内で活動することができる。ユーザは、アバターを介して仮想空間内の他のオブジェクトを認識することができる。

【0015】

他のオブジェクトは、例えば、仮想空間内の楽器等の音源に対応する音源オブジェクトである。ユーザは、アバターを介して音源オブジェクトの映像及び当該音源オブジェクトから仮想的に発せられる音声を体感することができる。ユーザのアバターは、他のオブジェクトを観測する観測オブジェクトであるということもできる。

【0016】

ユーザは、典型的には、端末装置３としてＶＲデバイスを利用して映像及び音声を体感する。ＶＲデバイスは、ユーザに対して三次元画像（三次元映像を含む）及び立体音声を出力する。ユーザは、ＶＲデバイスを利用することにより、あたかも自身がアバターに入り込んだかのように映像及び音声を体感することができる。ＶＲデバイスは、例えば、ヘッドマウントディスプレイ（ＨＤＭ：Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）等である。以下では、ユーザがＶＲデバイスにより体感することができる三次元画像及び立体音声をそれぞれ「出力画像」及び「出力音声」と称する。

【0017】

ユーザがアバターを仮想空間内で移動させると、ユーザが体感する映像及び音声は移動先の座標に係るものに変化する。例えば、ユーザがアバターを音源オブジェクトに近づく方向に移動させると、ユーザが体感する音声の音量が大きくなるとともに、ユーザが体感する音源オブジェクトの大きさは大きくなる。他にも、例えば、ユーザが音源オブジェクトにアバターの視線を向けると、当該音源オブジェクトの音声が自身の正面側から響いているかのように体感することができる。他にも、ユーザが音源オブジェクトから離れた座標にアバターを移動させると、当該音源オブジェクトから発せられる音声が遠くから響いているかのように体感することができる。

【0018】

出力画像及び出力音声は、典型的には、アバターの座標及び視線の方向等と、音源オブジェクトの種類及び座標等とに基づいて決定される。仮想空間における臨場感を高めるためには、このうち、音源オブジェクトの種類及び座標等が特に重要となる場合がある。例えば、複数の座席を有するコンサートホールを再現した仮想空間において音源オブジェクトを配置する場合、すべての座席において音源オブジェクトから流れる音声が一定以上の品質で観測可能となるように音源オブジェクトを配置する必要がある。

【0019】

＜２．システム１の構成＞
図１を参照して、システム１の構成の一例について説明する。システム１は、情報処理装置２、端末装置３、音声入力装置４及び通信ネットワーク５を含む。

【0020】

［情報処理装置２］
情報処理装置２は、制御部１０、記憶部１４及びネットワークインタフェース部１８を含む。制御部１０、記憶部１４及びネットワークインタフェース部１８は、それぞれがバス１６を介して電気的に接続されている。

【0021】

記憶部１４は、情報処理装置２の動作のために必要な各種情報を記憶する。記憶される情報は、空間情報１４０、オブジェクト情報１４２、発信音声情報１４４、伝搬情報１４６、到達音声情報１４８、収録音声情報１５０及び配置情報１５２を含む。

【0022】

空間情報１４０は、仮想空間の形状等に関する情報である。仮想空間の形状等は、当該仮想空間のサイズ（すなわち、高さ、幅及び奥行き等）に関する情報を含む。仮想空間が建築物の内部である場合には、空間情報１４０は、当該建築物の天井、階段、床、廊下及び壁の形状、位置、色彩及び模様等に関する情報を含む。空間情報１４０は、例えば、ＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）データ等の三次元構造情報であってもよい。

【0023】

情報処理装置２は、空間情報１４０を読み込むことで、仮想空間を生成することができる。情報処理装置２が、例えば、コンサートホールの形状等に関する情報を含む空間情報１４０に基づいて仮想空間を生成した場合、ユーザはアバターを介して仮想的に当該コンサートホールに入ったかのように映像及び音声を体感することができる。

【0024】

空間情報１４０によって生成される仮想空間は、現実に存在する空間（例えば、ＮＨＫ（登録商標）ホール等）又は過去に存在した空間（例えば、日本音楽学校の校舎（現在の旧東京音楽学校奏楽堂）等）を再現したものであってもよく、現実には存在しない空間（例えば、ファンタジーの世界の空間等）をイメージして作成されたものであってもよい。

【0025】

過去に存在した空間の一例は、過去に存在した地物の内部又は周辺の空間である。このような仮想空間を生成するための空間情報１４０は、例えば、過去に存在した地物を撮影した画像、当該地物の設計図、当該地物の内部又は周辺の地図、当該地物が建設等された当時に使用された建材等に関する情報に基づいて生成することができる。

【0026】

オブジェクト情報１４２は、オブジェクトの形状等に関する情報である。オブジェクトの形状等は、当該オブジェクトのサイズ、色彩及び模様に関する情報を含む。オブジェクトは、現実空間において物理的な実体はないものの、ユーザはアバターを介してあたかも当該オブジェクトが物理的に存在するかのように認識することができる。オブジェクト情報１４２は、ＣＡＤデータ等の三次元構造情報に基づいて生成されてもよい。

【0027】

オブジェクトの例は、音源オブジェクト、観測オブジェクト及び什器オブジェクト等である。音源オブジェクトは、例えば、楽器のオブジェクト（以下では「楽器オブジェクト」と称する）及び歌手のオブジェクト（以下では「歌手オブジェクト」と称する）である。観測オブジェクトの一例は、ユーザのアバターである。什器オブジェクトは、音源オブジェクト及び観測オブジェクト以外のオブジェクトであり、例えば、コンサートホールにおける座席等の設置物のオブジェクトである。

【0028】

なお、観測オブジェクトと音源オブジェクトとは、同一のオブジェクトであってもよい。例えば、ユーザが自身のアバターに楽器オブジェクトを演奏させた場合、当該アバターは観測オブジェクトであり、同時に音源オブジェクトでもある。

【0029】

オブジェクト情報１４２は、さらに、オブジェクトの仮想空間内における座標に関する情報を含む。座標は、例えば、音源オブジェクトの座標である音源座標、観測オブジェクトの座標である観測座標及び什器オブジェクトの座標である什器座標等である。

【0030】

情報処理装置２は、空間情報１４０及びオブジェクト情報１４２に基づいて、オブジェクトが配置された仮想空間を生成する。

【0031】

発信音声情報１４４は、音源オブジェクトから仮想的に発せられる発信音声に対応する情報である。発信音声情報１４４は、典型的には、音源オブジェクトの種類に応じて異なる。

【0032】

音源オブジェクトが、例えば、楽器オブジェクトである場合、発信音声情報１４４は、当該楽器の演奏に対応する情報となる。以下では、楽器オブジェクトに対応する発信音声情報１４４を、発信演奏情報１４４ａと称する。

【0033】

音源オブジェクトが、他にも、例えば、歌手オブジェクトである場合、発信音声情報１４４は、当該歌手の歌唱に対応する情報となる。以下では、歌手オブジェクトに対応する発信音声情報１４４を、発信歌唱情報１４４ｂと称する。

【0034】

発信音声情報１４４は、例えば、音声ファイル（ＭＰ３（ＭＰＥＧ－１ Ａｕｄｉｏ Ｌａｙｅｒ－３）ファイル及びＷＡＶ（ｗａｖｅｆｏｒｍ Ａｕｄｉｏ Ｆｏｒｍａｔ）ファイル等）の形式で記憶される。

【0035】

伝搬情報１４６は、仮想空間内の任意の２座標間の音響伝搬特性に関する情報である。音響伝搬特性は、発信音声が観測座標においてどのように聞こえるかを示すパラメータである。音響伝搬特性は、例えば、音の遅延、反射及び回析等により生じる残響感及び拡がり感に関するパラメータを含む。

【0036】

伝搬情報１４６は、空間情報１４０及びオブジェクト情報１４２に基づいて計算機シミュレーションにより得られたものであってもよい。他にも、伝搬情報１４６は、仮想空間のモデルとなった現実空間（例えば、仮想空間が実在するコンサートホールをモデルとして作成された場合における、当該コンサートホール）において収録した音声を解析することによって得られたものであってもよい。

【0037】

到達音声情報１４８は、仮想空間における観測座標に仮想的に到達する到達音声に対応する情報である。到達音声情報１４８は、典型的には、発信音声情報１４４と同様に、音源オブジェクトの種類に応じて異なる。

【0038】

音源オブジェクトが、例えば、楽器オブジェクトである場合、到達音声情報１４８も当該楽器の演奏に対応する情報となる。以下では、楽器オブジェクトに対応する到達音声情報１４８を、到達演奏情報１４８ａと称する。

【0039】

音源オブジェクトが、他にも、例えば、歌手オブジェクトである場合、到達音声情報１４８は当該歌手の歌唱に対応する情報となる。以下では、歌手オブジェクトに対応する到達音声情報１４８を、到達歌唱情報１４８ｂと称する。

【0040】

到達音声情報１４８は、例えば、音声ファイル（ＭＰ３ファイル及びＷＡＶファイル等）の形式で記憶される。

【0041】

収録音声情報１５０は、ユーザが現実空間において収録した収録音声に関する情報である。収録音声情報１５０は、収録が完了した状態の音声情報であってもよく、ライブ的に収録が進行している状態の音声情報であってもよい。

【0042】

収録音声情報１５０は、例えば、音声ファイル（ＭＰ３ファイル及びＷＡＶファイル等）の形式で記憶される。

【0043】

配置情報１５２は、現実空間における音源の配置に関する情報である。配置情報１５２は、例えば、ステージ上に並べられた一以上の楽器等が映っている画像に関する情報であってもよい。配置情報１５２は、他にも、例えば、一以上の楽器等の配置図に関する情報等であってもよい。

【0044】

配置情報１５２は、例えば、画像ファイル（ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）ファイル等）及び一以上の音源のそれぞれに対して当該音源の座標が関連付けられたテキストファイル（ＣＳＶ（Ｃｏｍｍａ Ｓｅｐａｒａｔｅｄ Ｖａｌｕｅｓ）ファイル等）等の形式で記憶される。

【0045】

制御部１０は、記憶部１４に記憶された各種プログラムを実行することにより、決定手段１０２、生成手段１０４、読込手段１０６、変更手段１０８及び出力手段１１０として機能する。以下では、各機能について説明する。

【0046】

―決定手段１０２―
決定手段１０２は、ユーザの音源座標の決定に関する第１操作に基づいて、音源座標を決定する。第１操作は、典型的には、端末装置３がユーザから受け付けた操作であり、情報処理装置２は当該第１操作に関する情報を受信する。第１操作は、三次元空間の座標を値として入力する操作であってもよく、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）により座標を選択する操作であってもよい。音源座標は、音源位置ということもできる。

【0047】

また、第１操作は、配置情報１５２を読み込ませることを含んでもよく、決定手段１０２は、配置情報１５２に基づいて音源座標を決定してもよい。配置情報１５２が画像ファイルである場合、決定手段１０２は、当該画像ファイルに対して画像認識処理を施すことにより画像中の音源の配置を読み取り、これに基づいて一以上の音源オブジェクトのそれぞれに対する音源座標を決定してもよい。

【0048】

また、音源オブジェクトが、第１音源オブジェクト及び第２音源オブジェクトを含む場合、決定手段１０２は、第１操作に基づいて、第１音源オブジェクトの座標である第１音源座標と、第２音源オブジェクトの座標である第２音源座標とを決定してもよい。すなわち、ユーザは、第１操作により、複数の音源オブジェクトのそれぞれの音源座標を決定することができる。

【0049】

また、決定手段１０２は、ユーザの第２操作に基づいて、観測座標をさらに決定してもよい。第２操作は、例えば、ユーザが自身のアバターを移動させる操作である。観測座標は、観測位置ということもできる。

【0050】

―生成手段１０４―
生成手段１０４は、決定手段１０２により決定された音源座標と、発信音声情報１４４とに基づいて、到達音声情報１４８を生成する。このとき、生成手段１０４は、伝搬情報１４６を参照して到達音声情報１４８を生成してもよい。生成手段１０４は、例えば、発信音声情報１４４に対して、音響伝搬特性に対応する周波数フィルタを適用することにより到達音声情報１４８を得ることができる。

【0051】

―読込手段１０６―
読込手段１０６は、収録音声情報１５０を読み込む。読込手段１０６は、典型的には、端末装置３又は音声入力装置４から収録音声情報１５０を受信することによって当該収録音声情報１５０を読み込む。なお、本実施形態において、情報を読み込むことは、当該情報を制御部１０において処理可能な状態にすることをいう。読込手段１０６は、収録音声情報１５０を取得する取得手段ということもできる。

【0052】

―変更手段１０８―
変更手段１０８は、ユーザの第３操作に基づいて、発信音声情報１４４を変更する。第３操作は、典型的には、音源オブジェクトの設定の変更に関する操作である。音源オブジェクトの設定は、例えば、音源オブジェクトが対応する楽器等の種類、発信音声の音量、発信音声の音階及び発信音声のリズム等である。

【0053】

第３操作は、ユーザが収録音声情報１５０を情報処理装置２に対して読み込ませることであってもよい。この場合、読込手段１０６は、収録音声情報１５０を読み込み、変更手段１０８は、読み込まれた収録音声情報１５０に基づいて発信音声情報１４４を変更する。具体的には、変更手段１０８は、発信音声として収録音声が用いられるように音源オブジェクトの設定を変更してもよい。これにより、ユーザは、あたかも収録音声が音源オブジェクトから発せられているかのように体感することができる。

【0054】

―出力手段１１０―
出力手段１１０は、生成手段１０４により生成された到達音声情報１４８に基づいて、ユーザに対して出力音声を出力する。出力音声は、典型的には、ＶＲデバイスである端末装置３から立体音声としてユーザに対して出力される。出力手段１１０は、音声出力手段１１０ａを含むということもできる。

【0055】

出力手段１１０は、他にも、観測座標から音源オブジェクトを見た場合の視野に対応する画像をユーザに対して出力する。画像は、典型的には、ＶＲデバイスである端末装置３から立体画像又は立体映像としてユーザに対して出力される。出力手段１１０は、画像出力手段１１０ｂを含むということもできる。

【0056】

上記で例示したように、出力手段１１０が音声又は画像を出力することは、当該音声又は画像を他の装置（例えば、端末装置３）に出力させることを含む。

【0057】

ネットワークインタフェース部１８は、通信ネットワーク５を介した端末装置３及び音声入力装置４との通信を実現する。

【0058】

［端末装置３］
端末装置３は、ユーザが操作する端末である。端末装置３は、制御部２０、記憶部（図示しない）及びネットワークインタフェース部（図示しない）を含む。

【0059】

制御部２０は、端末装置３の記憶部に記憶された各種プログラムを実行することにより、受付手段２００、取得手段２０２及び出力手段２０４として機能する。以下では、各機能について説明する。

【0060】

―受付手段２００―
受付手段２００は、ユーザから、音源座標の決定に関する第１操作を受け付ける。受付手段２００は、他にも観測座標の決定に関する第２操作を受け付ける。受付手段２００は、他にも、発信音声情報１４４を変更に関する第３操作を受け付ける。第１操作―第３操作に関する情報は、端末装置３のネットワークインタフェース部を介して情報処理装置２に送信される。

【0061】

―取得手段２０２―
取得手段２０２は、到達音声情報１４８を取得する。取得手段２０２は、典型的には、端末装置３のネットワークインタフェース部を介して情報処理装置２から到達音声情報１４８を受信する。

【0062】

―出力手段２０４―
出力手段２０４は、到達音声情報１４８に基づいて、ユーザに対して出力音声を出力する。出力手段２０４は、音声出力手段２０４ａを含むということもできる。出力手段２０４は、他にも、観測座標から音源オブジェクトを見た場合の視野に対応する画像をユーザに対して出力する。出力手段２０４は、画像出力手段２０４ｂを含むということもできる。

【0063】

［音声入力装置４］
音声入力装置４は、現実空間において収録音声を収録し、収録音声情報１５０を生成する装置である。音声入力装置４は、オーディオインタフェースということもできる。音声入力装置４は、収録音声情報１５０をネットワークインタフェース部（図示しない）を介して情報処理装置２に送信することができる。

【0064】

＜３．情報処理装置２の動作＞
図２―図４を参照して、情報処理装置２の動作の一例について説明する。図２は、音源オブジェクトとして楽器オブジェクト１４２ａ及び歌手オブジェクト１４２ｂが配置される場合において、音源オブジェクトの音源座標を決定してから、出力音声を出力するまでの情報処理装置２の動作を示すフローチャートである。図３は、図２の説明を補助するための、仮想空間を俯瞰した概念図を示す。図４は、伝搬情報１４６の一例を示す図である。

【0065】

まず、情報処理装置２は、楽器オブジェクト１４２ａ及び歌手オブジェクト１４２ｂのそれぞれの音源座標と、観測オブジェクト１４２ｃの観測座標とを決定する（Ｓ１０）。この例では、情報処理装置２は、ユーザの第１操作に基づいて、音源座標ｐ_xに楽器オブジェクト１４２ａを、音源座標ｐ_xに歌手オブジェクト１４２ｂを、観測座標ｑ_zに観測オブジェクト１４２ｃ（すなわち、自身のアバター）を配置するものとする。

【0066】

図３では、観測オブジェクト１４２ｃは、楽器オブジェクト１４２ａ及び歌手オブジェクト１４２ｂとは反対側に配置されている。楽器オブジェクト１４２ａ及び歌手オブジェクト１４２ｂが配置されている側と、観測オブジェクト１４２ｃが配置されている側との間には、什器オブジェクト１４２ｄ及び什器オブジェクト１４２ｅが配置されている。

【0067】

次に、情報処理装置２は、発信演奏情報１４４ａを生成する（Ｓ１２）。この例では、情報処理装置２は、予め記憶部１４に記憶されていた楽器の演奏に関する音声ファイルを読み出すことにより発信演奏情報１４４ａを生成するものとする。

【0068】

次に、情報処理装置２は、伝搬情報１４６を参照しつつ、楽器オブジェクト１４２ａの音源座標ｐ_xと、発信演奏情報１４４ａとに基づいて、到達演奏情報１４８ａを生成する（Ｓ１４）。図４のとおり、この例における伝搬情報１４６は、音源座標ｐ_m（ただし、ｍは１以上Ｍ以下の整数）と観測座標ｑ_n（ただし、ｎは１以上Ｎ以下の整数）との組み合わせに対して周波数フィルタｆ_nmが関連付けられた情報であるとする。すなわち、情報処理装置２は、発信演奏情報１４４ａに対して、音源座標ｐ_x及び観測座標ｑ_zの組み合わせにより特定される周波数フィルタｆ_xzを適用することにより、到達演奏情報１４８ａを生成する。

【0069】

図３では、発信演奏情報１４４ａに対して周波数フィルタｆ_xzを適用することにより得られた到達演奏情報１４８ａが観測座標ｑ_zにおいて観測される様子を示す。なお、音源座標ｐ_xと観測座標ｑ_zとの間には、什器オブジェクト１４２ｄが配置されているため、周波数フィルタｆ_xzには、その影響（例えば、正面から到達する音の減衰及び回折の影響の増加等）が反映される。

【0070】

Ｓ１２と並行して、情報処理装置２は、発信歌唱情報１４４ｂを生成する（Ｓ１６）。この例では、情報処理装置２は、予め記憶部１４に記憶した歌唱に関する音声ファイルを読み出すことにより発信歌唱情報１４４ｂを生成するものとする。

【0071】

次に、情報処理装置２は、伝搬情報１４６を参照しつつ、歌手オブジェクト１４２ｂの音源座標ｐ_yと発信歌唱情報１４４ｂとに基づいて到達歌唱情報１４８ｂを生成する（Ｓ１８）。情報処理装置２は、発信歌唱情報１４４ｂに対して、音源座標ｐ_y及び観測座標ｑ_zの組み合わせにより特定される周波数フィルタｆ_yzを適用することにより、到達歌唱情報１４８ｂを生成することができる。

【0072】

図３では、発信歌唱情報１４４ｂに対して周波数フィルタｆ_yzを適用することにより得られた到達歌唱情報１４８ｂが観測座標ｑ_zにおいて観測される様子を示す。なお、音源座標ｐ_yと観測座標ｑ_zとの間には、什器オブジェクト１４２ｄ及び什器オブジェクト１４２ｅは配置されていないが、その周りには配置されているため、周波数フィルタｆ_yzには、その影響（例えば、左右から到達する音の減衰にともなう音の広がり感の減少等）が反映される。

【0073】

次に、情報処理装置２は、到達演奏情報１４８ａ及び到達歌唱情報１４８ｂに基づいて、出力音声を出力する（Ｓ２０）。

【0074】

以上をまとめると、本発明の一態様に係るプログラムは、コンピュータ７０を、ユーザの第１操作に基づいて、仮想空間における音源オブジェクトの座標である音源座標を決定する決定手段１０２と、音源座標と、音源オブジェクトから仮想的に発せられる発信音声に対応する発信音声情報１４４とに基づいて、仮想空間における観測座標に仮想的に到達する到達音声に対応する到達音声情報１４８を生成する生成手段１０４と、到達音声情報１４８に基づいて、ユーザに対して出力音声を出力する音声出力手段１１０ａと、として機能させる。

【0075】

＜４．情報処理装置２の効果＞
情報処理装置２によれば、ユーザが体感する音響を改善することができる。図２―図４を参照して説明したように、ユーザは、音源座標ｐ_xに楽器オブジェクト１４２ａを配置し、音源座標ｐ_yに歌手オブジェクト１４２ｂを配置した場合における音の聞こえ方を観測オブジェクトであるアバターを介して体感することができる。これにより、ユーザは、例えば、体感した音が意図していた聞こえ方ではなかった場合、楽器オブジェクト１４２ａの音源座標ｐ_x及び歌手オブジェクト１４２ｂの音源座標ｐ_yを変更し、別の状況における音の聞こえ方を体感することができる。すなわち、ユーザは、理想の音響を仮想空間内で再現することができる。

【0076】

また、観測座標は、ユーザの第２操作に基づいて決定されてもよい。音の聞こえ方は、音源座標と観測座標との組み合わせによって異なる。この構成によれば、ユーザは音源座標だけではなく観測座標も決定することができるようになるため、ユーザが仮想空間において体感する音響を改善することができる。

【0077】

また、変更手段１０８は、ユーザの第３操作に基づいて、発信音声情報１４４を変更してもよい。音の聞こえ方は音源座標と観測座標の組み合わせに加えて、どのような音が発せられるかによっても異なる。この構成によれば、ユーザは音源座標及び観測座標だけでなく、どのような音が音源オブジェクトから仮想的に発せられるかを変更できるようになる。そのため、ユーザが仮想空間において体感する音響を改善することができる。

【0078】

また、第１操作は、現実空間における音源の配置に関する配置情報１５２を読み込ませることを含んでもよく、決定手段１０２は、配置情報１５２に基づいて音源座標を決定してもよい。例えば、現実空間を再現した仮想空間を設計することにより、ユーザは当該現実空間を仮想的に体感することができる。このような場合において、現実空間における音源の配置を仮想空間にも反映させることで、ユーザは当該現実空間の音響まで仮想的に体感することができるようになる。上記構成によれば、現実空間の音源の配置を仮想空間内で容易に再現することができるようになるため、より効率的にユーザが体感する音響を改善することができる。

【0079】

また、音源オブジェクトは、第１音源オブジェクト及び第２音源オブジェクトを含んでもよく、決定手段１０２は、第１操作に基づいて、第１音源オブジェクトの座標である第１音源座標と、第２音源オブジェクトの座標である第２音源座標とを決定してもよい。現実空間では、複数の音源はそれぞれ異なる座標に配置され、それぞれの音源から発せられる音声は異なる伝搬路を経由して観測者に到達する。上記構成により、現実空間におけるこのような環境を仮想空間において再現することが可能になる。さらに、第１音源座標及び第２音源座標はユーザの第１操作に基づいて決定されるため、ユーザは、さまざまな音源の配置及びそれに伴う音声の聞こえ方を、仮想空間内で体感することができる。

【0080】

また、仮想空間は、過去に存在した地物の内部又は周辺の空間を再現したものであってもよい。仮想空間が単に過去をイメージして作成された現実に存在したことがない空間である場合と比較して、仮想空間が実際に過去に存在した地物を再現したものである場合、ユーザとしては、より強い説得力を体感することができる。例えば、単に過去をイメージして作成された現実に存在したことがない仮想空間で瀧廉太郎のピアノを聞く場合と、瀧廉太郎が実際にピアノを弾いていたとされる東京音楽学校の校舎を再現した仮想空間で瀧廉太郎のピアノを聞く場合とでは、ユーザの体感は大きく異なると考えられる。特に、音源オブジェクト、発信音声情報１４４及び伝搬情報１４６の少なくとも一部が再現された過去の空間に対応するものである場合、ユーザはより強い興趣性を体感することができる。

【0081】

＜５．ハードウェア構成＞
図５を参照して、上述してきた情報処理装置２をコンピュータ７０により実現する場合のハードウェア構成の一例を説明する。なお、それぞれの装置の機能は、複数台の装置に分けて実現することもできる。

【0082】

図５に示すように、コンピュータ７０は、プロセッサ７００と、記憶装置７０２と、入力Ｉ／Ｆ７０４と、データＩ／Ｆ７０６と、通信Ｉ／Ｆ７０８、及び表示装置７１０を含む。

【0083】

プロセッサ７００は、記憶装置７０２に記憶されているプログラムを実行することによりコンピュータ７０における様々な処理を制御する。例えば、情報処理装置２の制御部１０が備える各機能部等は、記憶装置７０２に記憶されたプログラムを、プロセッサ７００が実行することにより実現可能である。

【0084】

記憶装置７０２は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの記憶媒体である。ＲＡＭは、プロセッサ７００によって実行されるプログラムのプログラムコード及びプログラムの実行時に必要となるデータを一時的に記憶する。

【0085】

記憶装置７０２は、他にも、例えばハードディスクドライブ（ＨＤＤ）及びフラッシュメモリなどの不揮発性の記憶媒体である。記憶装置７０２は、オペレーティングシステム及び上記各構成を実現するための各種プログラムを記憶する。当該各種プログラムを格納した記憶媒体は、コンピュータ読み取り可能な非一時的な記憶媒体（Ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）であってもよい。この他、記憶装置７０２は、各種情報を登録するテーブルと、当該テーブルを管理するＤＢを記憶することも可能である。このようなプログラム及びデータは、必要に応じて記憶装置７０２にロードされることにより、プロセッサ７００から参照される。

【0086】

入力Ｉ／Ｆ７０４は、ユーザからの入力を受け付けるためのデバイスである。入力Ｉ／Ｆ７０４の具体例としては、カメラ、ボタン、マイク、キーボード、マウス、タッチパネル、各種センサ、ウェアラブル・デバイスなどが挙げられる。入力Ｉ／Ｆ７０４は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などのインタフェースを介してコンピュータ７０に接続されてもよい。

【0087】

データＩ／Ｆ７０６は、コンピュータ７０の外部からデータを入力するためのデバイスである。データＩ／Ｆ７０６の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置などがある。データＩ／Ｆ７０６は、コンピュータ７０の外部に設けられることも考えられる。その場合、データＩ／Ｆ７０６は、例えばＵＳＢなどのインタフェースを介してコンピュータ７０へと接続される。

【0088】

通信Ｉ／Ｆ７０８は、コンピュータ７０の外部の装置と有線または無線により、通信ネットワーク４を介したデータ通信を行うためのデバイスである。通信Ｉ／Ｆ７０８は、コンピュータ７０の外部に設けられることも考えられる。その場合、通信Ｉ／Ｆ７０８は、例えばＵＳＢなどのインタフェースを介してコンピュータ７０に接続される。

【0089】

表示装置７１０は、各種情報を表示するためのデバイスである。表示装置７１０の具体例としては、例えば液晶ディスプレイ及び有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、ウェアラブル・デバイスのディスプレイなどが挙げられる。表示装置７１０は、コンピュータ７０の外部に設けられてもよい。その場合、表示装置７１０は、例えばディスプレイケーブルなどを介してコンピュータ７０に接続される。また、入力Ｉ／Ｆ７０４としてタッチパネルが採用される場合には、表示装置７１０は、入力Ｉ／Ｆ７０４と一体化して構成することが可能である。

【0090】

また、上記実施の形態で記載された情報処理装置２が備える構成要素は、記憶装置７０２に格納されたプログラムがプロセッサ７００によって実行されることで、定められた処理が他のハードウェアと協働して実現されるものとする。また、言い換えれば、これらの構成要素は、ソフトウェアまたはファームウェアとしても、それと対応するハードウェアとしても想定され、その双方の概念において、「機能」、「手段」、「部」、「処理回路」、「ユニット」、または「モジュール」などとも記載され、またそれぞれに読み替えることができる。

【0091】

＜６．変形例＞
―変形例１―
上記実施形態では、情報処理装置２は、予め記憶部１４に記憶した音声ファイルを読み出すことにより発信演奏情報１４４ａ及び発信歌唱情報１４４ｂを生成するものとして説明したが（Ｓ１２及びＳ１６参照）、これに限られない。例えば、発信音声情報１４４は、収録音声情報１５０に基づいて生成及び変更されてもよい。

【0092】

図６のフローチャートを参照して、具体例について説明する。この例では、第１ユーザと第２ユーザとがそれぞれの端末装置３を用いて同時に仮想空間にアクセスする。第１ユーザは自身のアバターを音源座標ｐ_xに配置される歌手オブジェクト１４２ｂとして、第２ユーザは自身のアバターを観測座標ｑ_zに配置される観測オブジェクト１４２ｃとして振る舞わせる。すなわち、第２ユーザは仮想空間において、第１ユーザのアバターが歌唱しているかのように体感することができる。

【0093】

情報処理装置２は、第１ユーザの操作に基づいて音源座標ｐ_xを決定するとともに、第２ユーザの操作に基づいて及び観測座標をｑ_z決定する（Ｓ１００）。

【0094】

次に、情報処理装置２は、第１ユーザの歌唱により生成された収録音声情報１５０を読み込む（Ｓ１０２）。収録音声情報１５０は、例えば、第１ユーザがマイクである音声入力装置４を用いて自身の歌唱を収録することにより生成される。

【0095】

次に、情報処理装置２は、収録音声情報１５０に基づいて、発信歌唱情報１４４ｂを生成又は変更する（Ｓ１０４）。

【0096】

次に、情報処理装置２は、伝搬情報１４６を参照しつつ、音源座標ｐ_xと、収録音声情報１５０に基づいて生成又は変更された発信歌唱情報１４４ｂとに基づいて、観測座標ｑ_yにおける到達歌唱情報１４８ｂを生成する（Ｓ１０６）。

【0097】

次に、情報処理装置２は、到達歌唱情報１４８ｂに基づいて、出力音声を出力する（Ｓ１０８）。具体的には、情報処理装置２は、第２ユーザの端末装置３に対して出力音声を出力させる。これにより、第２ユーザは、第１ユーザがＳ１０２において収録した音声が歌手オブジェクト１４２ｂ（すなわち、第１ユーザのアバター）から発せられているかのように体感することができる。

【0098】

次に、情報処理装置２は、第１ユーザによる収録が終了したか否かを判定する（Ｓ１１０）。収録が終了している場合（Ｓ１１０ ＹＥＳ）、情報処理装置２は動作を終了する。一方で、収録が継続している場合（Ｓ１１０ ＮＯ）には、情報処理装置２は引き続き第１ユーザの歌唱により生成された収録音声情報１５０を読み込み（Ｓ１０２）、後続の処理を行う。

【0099】

この例では音源オブジェクトは第１ユーザのアバターだけである場合について説明したが、これに限られない。例えば、上記実施形態において説明したように、音源オブジェクトとして楽器オブジェクト１４２ａがさらに配置され、第２ユーザは、第１ユーザのアバターによる歌唱と、楽器オブジェクト１４２ａによる演奏との両方を体感することができてもよい。

【0100】

また、この例では、第１ユーザの歌唱は第２ユーザが体感するものとして説明したが、これに限られない。例えば、第１ユーザは、自身のアバターを歌手オブジェクト１４２ｂとして振る舞わせるとともに、自身の歌唱を聞く観測オブジェクト１４２ｃとして振る舞わせてもよい。

【0101】

この例の構成によれば、現実空間と仮想空間とをハイブリッド的に利用した音響体験を実現することができる。例えば、この例の第１ユーザは、現実空間での演奏を仮想空間に反映させ、現実空間では感じられない音の反響及び拡がり感を感じることができる。これに対して、第２ユーザは、第１ユーザによるリアルなライブパフォーマンスを、仮想空間で体感することができる。

【0102】

―変形例２―
上記実施形態では、ユーザが体感する音声について主に説明したが、ユーザは仮想空間における画像（映像を含む）も同時に体感することができてもよい。具体的には、情報処理装置２は、観測座標から音源オブジェクトを見た場合の視野に対応する画像をユーザに対して出力してもよい。

【0103】

図７を参照して、ユーザに対して出力される画像の一例について説明する。図７に示す各種オブジェクトの配置は、図３に示した各種オブジェクトの配置に対応する。観測座標ｑ_zに配置されたユーザのアバターの視野には、音源座標ｐ_xに配置された歌手オブジェクト１４２ｂ及び音源座標ｐ_yに配置された楽器オブジェクト１４２ａが含まれる。ユーザのアバターの視野には、音源オブジェクト以外にも、什器オブジェクト１４２ｄ及び什器オブジェクト１４２ｅが含まれる。この例の構成によれば、ユーザはより高い臨場感で音響を体感することができる。

【0104】

―変形例３―
上記実施形態では、伝搬情報１４６の音響伝搬特性は音源座標ｐ_m（ｍ＝１・・・Ｍ）と観測座標ｑ_n（ｍ＝１・・・Ｎ）との組み合わせに対して特定されるとして説明した。しかしながら、実際には、音響伝搬特性をすべての座標の組み合わせに対して（予め）設定しておくことは困難な場合がある。例えば、伝搬情報１４６において、音響伝搬特性ｆ_(x-1)z及び音響伝搬特性ｆ_(x+1)zは設定されているが、音響伝搬特性ｆ_xzは設定されていない場合も考えられる。そのような場合、観測座標ｑ_zで観測される音声は、例えば、音源座標ｐ_xに係る発信音声情報１４４に対して周波数フィルタである音響伝搬特性ｆ_(x-1)zを適用した結果と、同じく音源座標ｐ_xに係る発信音声情報１４４に対して周波数フィルタである音響伝搬特性ｆ_(x+1)zを適用した結果とを平均化することによって生成してもよい。

【0105】

＜７．その他の実施形態＞
以下のような態様も、本発明の範囲に含まれる。

【0106】

［付記１］
本発明の一態様に係るプログラムは、コンピュータ７０を、ユーザの第１操作に基づいて、仮想空間における音源オブジェクトの座標である音源座標を決定する決定手段１０２と、音源座標と、音源オブジェクトから仮想的に発せられる発信音声に対応する発信音声情報１４４とに基づいて、仮想空間における観測座標に仮想的に到達する到達音声に対応する到達音声情報１４８を生成する生成手段１０４と、到達音声情報１４８に基づいて、ユーザに対して出力音声を出力する音声出力手段１１０ａと、として機能させる。

【0107】

［付記２］
付記１に記載のプログラムにおいて、観測座標は、ユーザの第２操作に基づいて決定されてもよい。

【0108】

［付記３］
付記1又は付記２に記載のプログラムは、コンピュータ７０を、さらに、ユーザの第３操作に基づいて、発信音声情報１４４を変更する変更手段１０８、として機能させてもよい。

【0109】

［付記４］
付記３に記載のプログラムにおいて、第３操作は、現実空間において収録した収録音声に関する収録音声情報１５０を読み込ませることを含んでもよく、変更手段１０８は、収録音声情報１５０に基づいて発信音声情報１４４を変更してもよい。

【0110】

［付記５］
付記１から付記４のいずれか一つに記載のプログラムにおいて、第１操作は、現実空間における音源の配置に関する配置情報１５２を読み込ませることを含んでもよく、決定手段１０２は、配置情報１５２に基づいて音源座標を決定してもよい。

【0111】

［付記６］
付記１から付記５のいずれか一つに記載のプログラムにおいて、仮想空間は、過去に存在した地物の内部又は周辺の空間を再現したものであってもよい。

【0112】

［付記７］
付記１から付記６のいずれか一つに記載のプログラムにおいて、音源オブジェクトは、第１音源オブジェクト及び第２音源オブジェクトを含んでもよく、決定手段１０２は、第１操作に基づいて、第１音源オブジェクトの座標である第１音源座標と、第２音源オブジェクトの座標である第２音源座標とを決定してもよい。

【0113】

［付記８］
付記１から付記７のいずれか一つに記載のプログラムは、コンピュータ７０を、さらに、観測座標から音源オブジェクトを見た場合の視野に対応する画像をユーザに対して出力する画像出力手段１１０ｂ、として機能させてもよい。

【0114】

［付記９］
付記１から付記８のいずれか一つに記載のプログラムにおいて、生成手段１０４は、仮想空間内の任意の２座標間の音響伝搬特性に関する伝搬情報１４６を参照して到達音声情報１４８を生成してもよい。

【0115】

［付記１０］
本発明の他の一態様に係るプログラムは、コンピュータ７０を、ユーザから、仮想空間における音源オブジェクトの座標である音源座標の決定に関する第１操作を受け付ける受付手段２００と、仮想空間における観測座標に仮想的に到達する到達音声に対応する到達音声情報１４８を取得する取得手段２０２であって、到達音声情報１４８は、音源座標と、音源オブジェクトから仮想的に発せられる発信音声に対応する発信音声情報１４４とに基づいて生成される、取得手段２０２と、到達音声情報１４８に基づいて、ユーザに対して出力音声を出力する音声出力手段２０４ａと、として機能させる。

【0116】

［付記１１］
本発明の他の一態様に係る情報処理装置は、ユーザの第１操作に基づいて、仮想空間における音源オブジェクトの座標である音源座標を決定する決定部と、音源座標と、音源オブジェクトから仮想的に発せられる発信音声に対応する発信音声情報１４４とに基づいて、仮想空間における観測座標に仮想的に到達する到達音声に対応する到達音声情報１４８を生成する生成部と、到達音声情報１４８に基づいて、ユーザに対して出力音声を出力する音声出力部と、を備える。

【符号の説明】

【0117】

２…情報処理装置、７０…コンピュータ、１０２…決定手段、１０４…生成手段、１０８…変更手段、１１０…出力手段、１１０ａ…音声出力手段、１１０ｂ…画像出力手段、１４４…発信音声情報、１４６…伝搬情報、１４８…到達音声情報、１５０…収録音声情報、１５２…配置情報、２００…受付手段、２０２…取得手段、２０４…出力手段、２０４ａ…音声出力手段、２０４ｂ…画像出力手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】