特許 6150935 情報処理システム、情報処理方法、および情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6150935

(24)【登録日】2017年6月2日

(45)【発行日】2017年6月21日

(54)【発明の名称】情報処理システム、情報処理方法、および情報処理プログラム

(51)【国際特許分類】

   G09B 5/06 20060101AFI20170612BHJP

   G09B 19/00 20060101ALI20170612BHJP

【ＦＩ】

   G09B5/06

   G09B19/00 Z

【請求項の数】3

【全頁数】13

(21)【出願番号】特願2016-242322(P2016-242322)

(22)【出願日】2016年12月14日

【審査請求日】2017年2月16日

【早期審査対象出願】

(73)【特許権者】

【識別番号】516376411

【氏名又は名称】株式会社アイディアヒューマンサポートサービス

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100144440

【弁理士】

【氏名又は名称】保坂 一之

(72)【発明者】

【氏名】浮世 満理子

【審査官】 坪内 優佳

(56)【参考文献】

【文献】 特開平０９−３１３６１１（ＪＰ，Ａ）

【文献】 特開２００９−０８２２９９（ＪＰ，Ａ）

【文献】 特開２０１３−２５８５５５（ＪＰ，Ａ）

【文献】 特表２０１０−５１６３２９（ＪＰ，Ａ）

【文献】 特開２０１２−２０３５９０（ＪＰ，Ａ）

【文献】 特開平０６−０００２０９（ＪＰ，Ａ）

【文献】 特開２００５−３１８９７３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｂ １／００−１９／２６

Ａ６１Ｍ ２１／００−２１／０２

Ａ６１Ｂ ５／００− ５／２２

(57)【特許請求の範囲】

【請求項1】

ユーザにバーチャル・リアリティを体験させるための画像データと、該画像データとは独立した音声データとをデータベースから抽出する抽出部であって、前記音声データがメンタルトレーニングのトレーナによるアドバイスと、５２８ｈｚまたは４０９６ｈｚの周波数を含む音とを含む、該抽出部と、
前記抽出部により抽出された画像データを、前記ユーザに実風景を見せることなく該画像データを該ユーザに対して表示するヘッドマウントディスプレイに出力すると共に、前記抽出部により抽出された音声データをスピーカに出力する出力部と、
前記ユーザの生体データを生体計測器から取得すると共に、前記ユーザの注視点を示す視点データを前記ヘッドマウントディスプレイから取得する取得部と、
前記取得部により取得された生体データを所定のデータベースに格納する格納部と、
前記取得部により取得された視点データに基づいて前記注視点を端末の画面上に表示するデータ処理部と
を備える情報処理システム。

【請求項2】

プロセッサを備える情報処理システムにより実行される情報処理方法であって、
ユーザにバーチャル・リアリティを体験させるための画像データと、該画像データとは独立した音声データとをデータベースから抽出する抽出ステップであって、前記音声データがメンタルトレーニングのトレーナによるアドバイスと、５２８ｈｚまたは４０９６ｈｚの周波数を含む音とを含む、該抽出ステップと、
前記抽出ステップにおいて抽出された画像データを、前記ユーザに実風景を見せることなく該画像データを該ユーザに対して表示するヘッドマウントディスプレイに出力すると共に、前記抽出ステップにおいて抽出された音声データをスピーカに出力する出力ステップと、
前記ユーザの生体データを生体計測器から取得すると共に、前記ユーザの注視点を示す視点データを前記ヘッドマウントディスプレイから取得する取得ステップと、
前記取得ステップにおいて取得された生体データを所定のデータベースに格納する格納ステップと、
前記取得ステップにおいて取得された視点データに基づいて前記注視点を端末の画面上に表示するデータ処理ステップと
を含む情報処理方法。

【請求項3】

ユーザにバーチャル・リアリティを体験させるための画像データと、該画像データとは独立した音声データとをデータベースから抽出する抽出ステップであって、前記音声データがメンタルトレーニングのトレーナによるアドバイスと、５２８ｈｚまたは４０９６ｈｚの周波数を含む音とを含む、該抽出ステップと、
前記抽出ステップにおいて抽出された画像データを、前記ユーザに実風景を見せることなく該画像データを該ユーザに対して表示するヘッドマウントディスプレイに出力すると共に、前記抽出ステップにおいて抽出された音声データをスピーカに出力する出力ステップと、
前記ユーザの生体データを生体計測器から取得すると共に、前記ユーザの注視点を示す視点データを前記ヘッドマウントディスプレイから取得する取得ステップと、
前記取得ステップにおいて取得された生体データを所定のデータベースに格納する格納ステップと、
前記取得ステップにおいて取得された視点データに基づいて前記注視点を端末の画面上に表示するデータ処理ステップと
をコンピュータ・システムに実行させるための情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の一側面は、ユーザにバーチャル・リアリティを体験させつつ所定の音声を聴かせるための情報処理システム、情報処理方法、および情報処理プログラムに関する。この情報処理システム、情報処理方法、および情報処理プログラムは、例えばメンタルトレーニングのために用いられる。

【背景技術】

【0002】

ユーザにバーチャル・リアリティ（ＶＲ）を体験させながら音声によるアドバイスを該ユーザに伝える技術が従来から知られている。例えば下記特許文献１には、ゴルフ練習者自身の正面あるいは側面の姿を見ながら、実際にスイングをしてボールを打つことのできるゴルフ練習補助装置が記載されている。この装置は、実際に見る風景とビデオ映像とを同時に見ることができ、かつスイングにおける体の動きの流れを一定のリズムで行えるように音声を出力することができるヘッドマウントディスプレイを備える。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平１０−１２７８５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の技術はゴルフの練習に特化したものであり汎用性に欠ける。そこで、バーチャル・リアリティの仕組みを利用して所望の場面に適した画像および音声をユーザに効果的に伝えることが望まれている。

【課題を解決するための手段】

【0005】

本発明の一側面に係る情報処理システムは、ユーザにバーチャル・リアリティを体験させるための画像データと、該画像データとは独立した音声データとをデータベースから抽出する抽出部と、抽出部により抽出された画像データを、ユーザに実風景を実質的に見せることなく該画像データを該ユーザに対して表示するディスプレイに出力すると共に、抽出部により抽出された音声データをスピーカに出力する出力部とを備える。

【0006】

本発明の一側面に係る情報処理方法は、プロセッサを備える情報処理システムにより実行される情報処理方法であって、ユーザにバーチャル・リアリティを体験させるための画像データと、該画像データとは独立した音声データとをデータベースから抽出する抽出ステップと、抽出ステップにおいて抽出された画像データを、ユーザに実風景を実質的に見せることなく該画像データを該ユーザに対して表示するディスプレイに出力すると共に、抽出ステップにおいて抽出された音声データをスピーカに出力する出力ステップとを含む。

【0007】

本発明の一側面に係る情報処理プログラムは、ユーザにバーチャル・リアリティを体験させるための画像データと、該画像データとは独立した音声データとをデータベースから抽出する抽出ステップと、抽出ステップにおいて抽出された画像データを、ユーザに実風景を実質的に見せることなく該画像データを該ユーザに対して表示するディスプレイに出力すると共に、抽出ステップにおいて抽出された音声データをスピーカに出力する出力ステップとをコンピュータ・システムに実行させる。

【0008】

このような側面においては、バーチャル・リアリティを体験させるための画像データがディスプレイを介してユーザに提供され、ユーザは実風景を実質的に見ることなくその画像を見ることになる。さらに、画像とは独立した音声がそのユーザに対して提供される。所望の場面のために選択された画像および音声をこのようにユーザに向けて出力することで、該音声および音声をユーザに効果的に伝えることが可能になる。

【発明の効果】

【0009】

本発明の一側面によれば、バーチャル・リアリティの仕組みを利用して所望の場面に適した画像および音声をユーザに効果的に伝えることができる。

【図面の簡単な説明】

【0010】

【図1】実施形態に係る情報処理システムの具体例を示す図である。

【図2】実施形態に係る端末のハードウェア構成を示す図である。

【図3】実施形態に係る情報処理システムの機能構成を示す図である。

【図4】インタフェース画面の例を示す図である。

【図5】実施形態に係る情報処理システムの動作を示すフローチャートである。

【図6】実施形態に係る情報処理プログラムの構成を示す図である。

【発明を実施するための形態】

【0011】

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一または同等の要素には同一の符号を付し、重複する説明を省略する。

【0012】

図１〜図４を参照しながら、実施形態に係る情報処理システム１の機能および構成を説明する。情報処理システム１は、ユーザに所定の心理効果を及ぼすことを目的として所定の画像および音声を該ユーザに対して出力するコンピュータ・システムである。ユーザとは、情報処理システムから提供される画像および音声を知覚する人である。心理効果とは、人の心または行動に作用する効果または影響である。例えば、情報処理システム１はメンタルトレーニングを支援するコンピュータ・システムであってもよい。本明細書における「メンタルトレーニング」とは、ユーザの心または行動を該ユーザが望む状態にするかまたはそれに近づけることを目的とするトレーニングである。ユーザが情報処理システム１を用いることで得られる効果の例として、リラクゼーション効果、モチベーションの向上、集中力の向上、緊張の緩和、パフォーマンスの向上、ストレスの軽減などが挙げられる。当然ながら、情報処理システム１の利用目的はこれらに限定されるものではなく、情報処理システム１は任意の目的（例えばメンタルトレーニング以外の目的）のために用いられてよい。

【0013】

画像とは、ディスプレイに映されることにより人が視認することができる像であり、静止画でも動画でもよい。画像はカメラにより撮影された静止画または動画であってもよいし、コンピュータ・グラフィックスにより作成された静止画または動画（アニメーション）であってもよい。あるいは、画像は撮影画像とコンピュータ・グラフィックスとの混合であってもよい。情報処理システム１が用いる画像は、ユーザにバーチャル・リアリティを体験させるために用いられる。ユーザは実質的に現実のように感じられる環境を情報処理システム１（より具体的にはディスプレイ）を介して見ることでバーチャル・リアリティを体験できる。ユーザにバーチャル・リアリティを体験させるための画像の例として、自然物および人工物の少なくとも一方を含む風景の画像が挙げられるが、画像で表される対象物は何ら限定されない。例えば画像は自然の風景、競技会場、またはコンサートホールを映すものであってもよい。効果的なバーチャル・リアリティを考慮して、画像は、ユーザの周囲を覆うような３６０°画像（３６０°静止画または３６０°映像）であってもよい。もちろん、画像は３６０°画像でなくてもよい。

【0014】

音声とは、スピーカから出力されることにより人が聞き取ることができる音または声である。音声はユーザが意味を理解することができる話し言葉を少なくとも含んでもよく、例えば、メンタルトレーニング用のアドバイス（メンタルトレーニングのトレーナによるアドバイス）を含んでもよい。あるいは、音声は他の音または声（例えば音楽、自然音、人工音、ハミングなど）を含んでもよい。あるいは、音声は話し言葉とそれ以外の音または声との双方を含んでもよい。ユーザへの心理効果を考慮して、音声は周波数５２８ｈｚまたは４０９６ｈｚを含む音を含んでもよいし、１／ｆ環境音を含んでもよい。

【0015】

情報処理システム１は端末１０、ディスプレイ２０、スピーカ３０、および生体計測器４０を備える。端末１０はディスプレイ２０、スピーカ３０、および生体計測器４０のそれぞれと無線ネットワークまたは有線ネットワークを介してデータ通信を行うことが可能である。例えば、端末１０はＢｌｕｅｔｏｏｔｈ（登録商標）によりディスプレイ２０、スピーカ３０、および生体計測器４０と接続してもよい。

【0016】

端末１０は、情報処理システム１の中心的な役割を担うコンピュータである。例えば、端末１０は画像データおよび音声データをディスプレイ２０およびスピーカ３０にそれぞれ送信したり、ディスプレイ２０および生体計測器４０から視点データおよび生体データをそれぞれ受信したりする。ディスプレイ２０は端末１０から受信した画像データを処理してユーザに対して画像を表示する機器である。また、ディスプレイ２０は視点データを端末１０に送信する。視点データとは、ユーザが見ている画像の部分、すなわち、ユーザの注視点を示すデータである。スピーカ３０は端末１０から受信した音声データを処理してユーザに対して音声を出力する機器である。生体計測器４０はユーザの生体データを検知してその生体データを端末１０に送信する機器である。生体データとは、ユーザの身体的または生理的な状態を示すデータである。情報処理システム１が処理する生体データは何ら限定されないが、例えば生理データは心拍、脈拍、血圧、体温、脳波、発汗、眼球運動、呼吸などを示すデータであってもよい。生体計測器４０は少なくとも一種類の生体データを検知する。

【0017】

図１は情報処理システム１の具体例を示す。この例では、端末１０はタブレット（タブレット型コンピュータ）であり、ディスプレイ２０はヘッドマウントディスプレイであり、スピーカ３０はヘッドホンであり、生体計測器４０は腕時計型のウェアラブル端末（スマートウォッチ）である。もっとも、情報処理システム１を構成する各機器の具体的な種類は何ら限定されない。例えば、端末１０はスマートフォンまたはパーソナル・コンピュータであってもよい。ディスプレイ２０はプロジェクタ、テレビ受像機、またはスクリーンであってもよい。スピーカ３０はイヤホン、据置型スピーカ、またはサラウンドシステムであってもよい。生体計測器４０は脳波測定器、または眼球運動を計測可能な眼鏡型のウェアラブル端末であってもよい。

【0018】

図２は、情報処理システム１の要となる端末１０の一般的なハードウェア構成を示す。端末１０はプロセッサ１０１、主記憶部１０２、補助記憶部１０３、通信制御部１０４、入力装置１０５、および出力装置１０６を備える。プロセッサ１０１は、オペレーティングシステムおよびアプリケーション・プログラムを実行する電子部品である。主記憶部１０２は、実行されるプログラムおよびデータを一時的に記憶する電子部品であり、例えばＲＯＭおよびＲＡＭで構成される。補助記憶部１０３は、これから処理されるデータまたは処理されたデータを恒久的に記憶する電子部品であり、例えばハードディスクやフラッシュメモリなどの記憶装置で構成される。通信制御部１０４は、有線または無線を介して他の装置との間でデータを送受信する電子部品であり、例えばネットワークカードまたは無線通信モジュールで構成される。入力装置１０５はユーザからの入力を受け付ける装置であり、例えばタッチパネル、キーボード、またはマウスである。出力装置１０６は、プロセッサ１０１により指定または処理されたデータを人が認識可能な態様で出力する装置であり、例えばタッチパネルまたはモニタである。当然ながら、端末１０を構成するハードウェア部品はコンピュータの種類により異なり得る。例えば、端末１０がタブレットであればタッチパネルが入力装置１０５および出力装置１０６の役割を果たすが、端末１０が据置型のパーソナル・コンピュータであれば、入力装置１０５はキーボードおよびマウスを含み、出力装置１０６はモニタである。

【0019】

図３は情報処理システム１の機能構成（特に端末１０の機能構成）を示す。端末１０は機能的構成要素として画像データベース１１、音声データベース１２、インタフェース表示部１３、抽出部１４、送信部１５、受信部１６、データ処理部１７、およびカルテデータベース１８を備える。これらの機能要素は、プロセッサ１０１または主記憶部１０２の上に所定のソフトウェア（後述する情報処理プログラムＰ１）を読み込ませてそのソフトウェアを実行させることで実現される。プロセッサ１０１はそのソフトウェアに従って通信制御部１０４、入力装置１０５、または出力装置１０６を動作させ、主記憶部１０２または補助記憶部１０３におけるデータの読み出し及び書き込みを行う。処理に必要なデータまたはデータベースは主記憶部１０２または補助記憶部１０３内に格納される。

【0020】

画像データベース１１は、一または複数の画像データを記憶する機能要素である。予め複数の画像データを画像データベース１１に用意した場合には、画像についての複数の選択肢をユーザに提供できる。画像データとは、コンピュータでの処理が可能な、画像を示すデータである。したがって、画像は、メモリなどの記憶装置に記録され、プロセッサの処理によりディスプレイ２０に出力されることで、視認可能となる。

【0021】

音声データベース１２は、一または複数の音声データを記憶する機能要素である。予め複数の音声データを音声データベース１２に用意した場合には、音声についての複数の選択肢をユーザに提供できる。音声データとは、コンピュータでの処理が可能な、音声を示すデータである。したがって、音声は、メモリなどの記憶装置に記録され、プロセッサの処理によりスピーカ３０に出力されることで、聞き取り可能となる。音声データは画像データとは独立したデータである。したがって、一つの音声データと一つの画像データとが存在するとして、そのうちの一方のデータを処理（例えば再生、改変、または削除）したとしても、その処理は他方のデータに全く影響を及ぼさない。

【0022】

なお、本実施形態では画像データベース１１と音声データベース１２とを分けて説明するが、論理的に一つのデータベースが画像データおよび音声データの双方を記憶してもよい。

【0023】

インタフェース表示部１３は、情報処理システム１の操作に必要な情報およびユーザ・インタフェースを含むインタフェース画面を端末１０上に表示させる機能要素である。インタフェースはユーザまたはユーザ以外の人（例えばトレーナ）により操作され、以下ではこれらの人を「操作者」という。インタフェース画面の構成は何ら限定されないが、本実施形態では、インタフェース表示部１３は図４に示すようなインタフェース画面１１０を表示する。

【0024】

インタフェース表示部１３は、ユーザの識別子（例えばユーザＩＤまたは名前）などの必要な情報が入力されて所定の確定ボタンがタップまたはクリックされたことに応じてインタフェース画面１１０を表示する。なお、端末１０はインタフェース画面１１０が表示されるタイミングでディスプレイ２０、スピーカ３０、および生体計測器４０との間で通信を確立してもよい。

【0025】

本実施形態では、インタフェース画面１１０は、サムネイル領域１１１、再生画像領域１１２、グラフ１１３、メモ欄１１４、ＭＥＭＯボタン１１５、およびＺＩＰボタン１１６を含む。サムネイル領域１１１は選択可能な１以上の画像データおよび音声データを示す１以上のサムネイルを表示する領域である。再生画像領域１１２は、選択されてディスプレイ２０に表示された画像と、その画像に対するユーザの注視点とを示す領域である。グラフ１１３は生体データの推移をリアルタイムで示す領域である。メモ欄１１４は、操作者により入力されたメモを表示する領域である。ＭＥＭＯボタン１１５はメモを記入するためのキーボードを画面上に表示させるためのユーザ・インタフェースである。ＺＩＰボタン１１６は生体データを含むカルテデータを保存するためのユーザ・インタフェースである。

【0026】

インタフェース画面１１０の操作方法の例を説明する。操作者はサムネイルを指定することで一つの画像データおよび一つの音声データを選択する。選択された画像データはディスプレイ２０に表示され、選択された音声データはスピーカ３０から出力される。画像データが再生されるとその状況（ユーザが見ているものと同じ画像またはフレーム）が再生画像領域１１２に表示される。また、生体計測器４０から送られてきた生体データがグラフ１１３としてリアルタイムに表示される。操作者は任意のタイミングでメモを入力することができる。インタフェース表示部１３は所定のタイミング（例えば、特定の時間（２０分など）が経過した時点、または画像の再生が終了した時点）でＺＩＰボタン１１６を有効にする。操作者はＺＩＰボタン１１６をタップまたはクリックすることで生体データを含むカルテデータを保存することができる。カルテデータはメモをさらに含んでもよい。

【0027】

なお、インタフェース画面の構成は任意に決めてよい。インタフェース画面１１０はあくまでも一例であり、サムネイル領域１１１、再生画像領域１１２、グラフ１１３、メモ欄１１４、ＭＥＭＯボタン１１５、およびＺＩＰボタン１１６はいずれも必須の構成要素ではない。インタフェース画面はこれらの構成要素以外のユーザ・インタフェースを含んでもよい。

【0028】

抽出部１４はインタフェース画面１１０を介して選択された画像データおよび音声データを画像データベース１１および音声データベース１２からそれぞれ抽出する機能要素である。抽出部１４は抽出したこれらのデータを送信部１５に出力する。

【0029】

送信部１５は、抽出された画像データをディスプレイ２０に送信（出力）すると共に、抽出された音声データをスピーカ３０に送信（出力）する機能要素である。すなわち、送信部１５は出力部として機能する。

【0030】

ディスプレイ２０は画像データを受信し、ユーザに実風景を実質的に見せることなくその画像データを該ユーザに対して表示する。「実風景を実質的に見せることなく」というのは、ユーザが本来は自分の眼で見ることができる周囲の風景（現実の風景）よりもディスプレイにより表示される画像に意識が向くように画像データをユーザに見せることを意味する。ディスプレイ２０がヘッドマウントディスプレイであれば、ユーザの視界はヘッドマウントディスプレイで完全に覆われるので、ユーザは実風景を見ることなく画像を見ることができる。このように画像を表示することで、ユーザにバーチャル・リアリティの世界のみを見せることができる。別の例として、プロジェクタとスクリーンまたはスクリーン機能とを有する密閉空間内にユーザを入れて、壁の全体、または壁および天井の全体、または床、壁、および天井の全体に画像を投影させてもよい。この場合も、「ユーザに実風景を実質的に見せることなく画像データを該ユーザに対して表示する」ことに該当する。

【0031】

スピーカ３０は音声データを受信してユーザに対して出力する。スピーカ３０がヘッドホンであれば、ユーザは周囲の雑音を気にすることなく音声を聴くことができる。もっとも、情報処理システム１を利用するユーザが、スピーカ３０からの音声以外の音または声が聞こえる状況にあってもよい。

【0032】

受信部１６は、ディスプレイ２０から視点データを受信すると共に、生体計測器４０から生体データを受信する機能要素である。すなわち、受信部１６は取得部として機能する。受信部１６はその視点データおよび生体データをデータ処理部１７に出力する。視点データおよび生体データの取得および伝送は所定の間隔をおいて繰り返し実行され、受信部１６はその度にこれらのデータを受信してデータ処理部１７に出力する。これは、端末１０が視点データおよび生体データをリアルタイムに取得することを意味する。

【0033】

データ処理部１７は視点データおよび生体データを処理する機能要素である。本実施形態では、データ処理部１７はこれらのデータに基づいてインタフェース画面１１０を更新する処理と、生体データを含むカルテデータをカルテデータベース１８に格納する処理とを実行する。したがって、データ処理部１７は格納部としても機能する。

【0034】

データ処理部１７は視点データに基づいて再生画像領域１１２中に注視点を表示する。ディスプレイ２０に表示されている画像が３６０°画像である場合には、データ処理部１７はその注視点を含む部分が再生画像領域１１２中に映るように画像のアングルを変更する。加えて、データ処理部１７は生体データに基づいてグラフ１１３を描画する。データ処理部１７は視点データおよび生体データが受信部１６から入力される度に注視点の表示およびグラフを更新する。したがって、インタフェース画面１１０にはユーザの視点および生体データがリアルタイムに表示される。

【0035】

ＺＩＰボタン１１６が押された場合には、データ処理部１７は入力された生体データの集合（生体計測器４０による測定の開始から終了までに得られた一連の生体データ）とユーザ識別子とを含むカルテデータを生成し、そのカルテデータをカルテデータベース１８に格納する。インタフェース画面１１０を介してメモが入力された場合には、データ処理部１７はそのメモをさらに含むカルテデータを生成および格納してもよい。データ処理部１７は再生された画像および音声を特定する情報（例えば画像データおよび音声データのファイル名）を更に含むカルテデータを生成および格納してもよい。

【0036】

カルテデータベース１８は、カルテデータを記憶する機能要素である。カルテデータの利用方法は何ら限定されない。例えば、端末１０はカルテデータを画面上に再表示してもよいし、カルテデータの共有のためにファイルサーバなどの他のコンピュータに送信してもよいし、電子メールで特定のメールアドレス宛に送信してもよい。

【0037】

なお、論理的に一つのデータベースがカルテデータ、画像データ、および音声データを記憶してもよい。

【0038】

次に、図５を参照しながら、情報処理システム１の動作（特に端末１０の動作）を説明すると共に本実施形態に係る情報処理方法について説明する。

【0039】

まず、インタフェース表示部１３がインタフェース画面１１０を表示する（ステップＳ１１）。ユーザがそのインタフェース画面１１０を操作して一つの画像データおよび一つの音声データを選択すると、抽出部１４がその画像データおよび音声データを画像データベース１１および音声データベース１２からそれぞれ抽出する（ステップＳ１２、抽出ステップ）。そして、送信部１５がその画像データをディスプレイ２０に送信すると共に、その音声データをスピーカ３０に送信する（ステップＳ１３、出力ステップ）。この結果、ディスプレイ２０が画像を表示し、スピーカ３０が音声を出力し、ユーザはこれらの画像および音声を知覚する。

【0040】

画像データおよび音声データの送信を契機として、ディスプレイ２０が視点データを送信し始め、生体計測器４０が生体データを送信し始め、端末１０の受信部１６がその視点データおよび生体データの受信を開始する（ステップＳ１４）。そして、データ処理部１７がその視点データおよび生体データをインタフェース画面１１０上に表示する（ステップＳ１５）。このステップＳ１５は、受信部１６がディスプレイ２０および生体計測器４０からそれぞれ視点データおよび生体データを受信し続けている間繰り返し実行される。その後、ユーザ操作（例えばＺＩＰボタン１１６に対するタップまたはクリック）に応じて、データ処理部１７が生体データを含むカルテデータをカルテデータベース１８に格納する（ステップＳ１６）。

【0041】

次に、図６を参照しながら、情報処理システム１（端末１０）を実現するための情報処理プログラムＰ１を説明する。

【0042】

情報処理プログラムＰ１は、メインモジュールＰ１０、画像記憶モジュールＰ１１、音声記憶モジュールＰ１２、インタフェース表示モジュールＰ１３、抽出モジュールＰ１４、送信モジュールＰ１５、受信モジュールＰ１６、データ処理モジュールＰ１７、およびカルテ記憶モジュールＰ１８を備える。メインモジュールＰ１０は、端末１０での処理を統括的に制御する部分である。画像記憶モジュールＰ１１、音声記憶モジュールＰ１２、インタフェース表示モジュールＰ１３、抽出モジュールＰ１４、送信モジュールＰ１５、受信モジュールＰ１６、データ処理モジュールＰ１７、およびカルテ記憶モジュールＰ１８を実行することにより実現される機能はそれぞれ、上記の画像データベース１１、音声データベース１２、インタフェース表示部１３、抽出部１４、送信部１５、受信部１６、データ処理部１７、およびカルテデータベース１８の機能と同様である。

【0043】

情報処理プログラムＰ１は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、半導体メモリなどの有形の記録媒体に固定的に記録された上で提供されてもよい。あるいは、情報処理プログラムＰ１は、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。

【0044】

以上説明したように、本発明の一側面に係る情報処理システムは、ユーザにバーチャル・リアリティを体験させるための画像データと、該画像データとは独立した音声データとをデータベースから抽出する抽出部と、抽出部により抽出された画像データを、ユーザに実風景を実質的に見せることなく該画像データを該ユーザに対して表示するディスプレイに出力すると共に、抽出部により抽出された音声データをスピーカに出力する出力部とを備える。

【0045】

本発明の一側面に係る情報処理方法は、プロセッサを備える情報処理システムにより実行される情報処理方法であって、ユーザにバーチャル・リアリティを体験させるための画像データと、該画像データとは独立した音声データとをデータベースから抽出する抽出ステップと、抽出ステップにおいて抽出された画像データを、ユーザに実風景を実質的に見せることなく該画像データを該ユーザに対して表示するディスプレイに出力すると共に、抽出ステップにおいて抽出された音声データをスピーカに出力する出力ステップとを含む。

【0046】

本発明の一側面に係る情報処理プログラムは、ユーザにバーチャル・リアリティを体験させるための画像データと、該画像データとは独立した音声データとをデータベースから抽出する抽出ステップと、抽出ステップにおいて抽出された画像データを、ユーザに実風景を実質的に見せることなく該画像データを該ユーザに対して表示するディスプレイに出力すると共に、抽出ステップにおいて抽出された音声データをスピーカに出力する出力ステップとをコンピュータ・システムに実行させる。

【0047】

このような側面においては、バーチャル・リアリティを体験させるための画像データがディスプレイを介してユーザに提供され、ユーザは実風景を実質的に見ることなくその画像を見ることになる。さらに、画像とは独立した音声がそのユーザに対して提供される。所望の場面のために選択された画像および音声をこのようにユーザに向けて出力することで、該音声および音声をユーザに効果的に伝えることが可能になる。

【0048】

他の側面に係る情報処理システムでは、ユーザの生体データを生体計測器から取得する取得部と、取得部により取得された生体データを所定のデータベースに格納する格納部とをさらに備えてもよい。この仕組みにより、画像または音声がユーザに及ぼした影響または効果を客観的に把握することができる。

【0049】

他の側面に係る情報処理システムでは、音声データがメンタルトレーニング用のアドバイスを示してもよい。この音声データを用いることで、ユーザの心または行動を該ユーザが望む状態にするかまたは近づけることが可能になる。

【0050】

他の側面に係る情報処理システムでは、ディスプレイがヘッドマウントディスプレイであってもよい。ヘッドマウントディスプレイを用いることで、より確実にユーザに実風景を見せないようにすることができるので、より完全なバーチャル・リアリティをユーザに提供することができる。

【0051】

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

【0052】

情報処理システムの構成は上記実施形態に限定されない。例えば、複数のコンピュータによる分散システム（クライアントサーバシステム）が端末１０の機能を実行してもよい。例えば、画像データベース１１、音声データベース１２、およびカルテデータベース１８のうちの少なくとも一部が端末１０とは異なるコンピュータに実装され、端末１０が通信ネットワークを介してこれらのデータベースにアクセスしてもよい。あるいは、１台のコンピュータまたは機器が端末１０、ディスプレイ２０、スピーカ３０、および生体計測器４０の機能を実行してもよい。あるいは、一つの機器がディスプレイ２０およびスピーカ３０の機能、またはディスプレイ２０、スピーカ３０、および生体計測器４０の機能を実行してもよい。

【0053】

情報処理システムは生体計測器またはこれに相当する機能を備えなくてもよい。また、情報処理システムは視点データを取得しなくてもよい。したがって、情報処理システムは上記実施形態における受信部１６、データ処理部１７、およびカルテデータベース１８を備えなくてもよい。

【0054】

画像データが音声も含み、情報処理システムが音声データと画像データの音声との双方をスピーカから出力してもよい。この場合にはユーザはこれら２種類の音声を聞くことができる。

【0055】

少なくとも一つのプロセッサにより実行される情報処理システムの操作方法の処理手順は上記実施形態での例に限定されない。例えば、情報処理システム（端末）は上述したステップ（処理）の一部を省略してもよいし、別の順序で各ステップを実行してもよい。また、上述したステップのうちの任意の２以上のステップが組み合わされてもよいし、ステップの一部が修正又は削除されてもよい。あるいは、情報処理システム（端末）は上記の各ステップに加えて他のステップを実行してもよい。

【符号の説明】

【0056】

１…情報処理システム、１０…端末、２０…ディスプレイ、３０…スピーカ、４０…生体計測器、１１…画像データベース、１２…音声データベース、１３…インタフェース表示部、１４…抽出部、１５…送信部（出力部）、１６…受信部、１７…データ処理部、１８…カルテデータベース、１１０…インタフェース画面、Ｐ１…情報処理プログラム、Ｐ１０…メインモジュール、Ｐ１１…画像記憶モジュール、Ｐ１２…音声記憶モジュール、Ｐ１３…インタフェース表示モジュール、Ｐ１４…抽出モジュール、Ｐ１５…送信モジュール、Ｐ１６…受信モジュール、Ｐ１７…データ処理モジュール、Ｐ１８…カルテ記憶モジュール。

【要約】

【課題】バーチャル・リアリティの仕組みを利用して所望の場面に適した画像および音声をユーザに効果的に伝えることを目的とする。
【解決手段】一実施形態に係る情報処理システムは、ユーザにバーチャル・リアリティを体験させるための画像データと、該画像データとは独立した音声データとをデータベースから抽出する抽出部と、抽出部により抽出された画像データを、ユーザに実風景を実質的に見せることなく該画像データを該ユーザに対して表示するディスプレイに出力すると共に、抽出部により抽出された音声データをスピーカに出力する出力部とを備える。
【選択図】図３

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】