特開 2024-134969 コンテンツ再生装置、コンテンツ再生方法、及びコンテンツ再生プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024134969

(43)【公開日】2024-10-04

(54)【発明の名称】コンテンツ再生装置、コンテンツ再生方法、及びコンテンツ再生プログラム

(51)【国際特許分類】

   H04N 21/433 20110101AFI20240927BHJP

   H04N 21/442 20110101ALI20240927BHJP

【ＦＩ】

H04N21/433

H04N21/442

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023045441

(22)【出願日】2023-03-22

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(74)【代理人】

【識別番号】100170575

【弁理士】

【氏名又は名称】森 太士

(72)【発明者】

【氏名】倉重 規夫

(72)【発明者】

【氏名】松本 栄治

(72)【発明者】

【氏名】尾川 英明

(72)【発明者】

【氏名】鈴木 剛

(72)【発明者】

【氏名】松岡 賢司

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164GA07

5C164UA01S

5C164UA51S

5C164UB36P

5C164UB41P

5C164YA21

(57)【要約】

【課題】コンテンツに含まれる画像の視点変換に伴って風情報を変化させることが可能なコンテンツ再生装置、コンテンツ再生方法、及びコンテンツ再生プログラムを提供する。
【解決手段】画像を含むコンテンツを再生するコンテンツ再生装置であって、視聴者に画像を提示するＨＭＤ５と、画像に含まれるオブジェクトの移動量を算出する移動量算出部２３と、オブジェクトの移動量に基づいて、視聴者に知覚させる風情報を設定する風設定部２９と、視聴者に知覚させる風情報に基づき、風または疑似的な風を発生するファン６を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像を含むコンテンツを再生するコンテンツ再生装置であって、
前記画像に含まれるオブジェクトの移動量を算出する移動量算出部と、
前記オブジェクトの移動量に基づいて、少なくとも風速を含む風情報を設定する風設定部と、
を備えたコンテンツ再生装置。

【請求項2】

前記風情報は、第１の視点における第１の風情報と第２の視点における第２の風情報とを含み、
前記風設定部は、前記オブジェクトの移動量に基づいて、前記風情報のうち前記第２の風情報を設定する
請求項１に記載のコンテンツ再生装置。

【請求項3】

前記風設定部は、前記オブジェクトの移動量及び前記第１の風情報に基づいて、前記第２の風情報を設定する
請求項２に記載のコンテンツ再生装置。

【請求項4】

画像を含むコンテンツを再生するコンテンツ再生方法であって、
前記画像に含まれるオブジェクトの移動量を算出するステップと、
前記オブジェクトの移動量に基づいて、少なくとも風速を含む風情報を設定するステップと、
を備えたコンテンツ再生方法。

【請求項5】

画像を含むコンテンツを再生する処理をコンピュータに実行させるコンテンツ再生プログラムであって、
前記画像に含まれるオブジェクトの移動量を算出するステップと、
前記オブジェクトの移動量に基づいて、少なくとも風速を含む風情報を設定するステップと、
をコンピュータに実行させるコンテンツ再生プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、コンテンツを再生してユーザに提示するコンテンツ再生装置、コンテンツ再生方法、及びコンテンツ再生プログラムに関する。

【背景技術】

【0002】

仮想現実を再現するＶＲ（Virtual Reality）を用いて、ユーザに映画、ゲームなどのコンテンツを提示する技術が提案されている。このようなＶＲ技術では、ＨＭＤ（Head Mounted Display）を装着したユーザに、映像情報及び音声情報を提示する。

【0003】

特許文献１には、映像情報、音声情報に加え、ユーザに対してコンテンツの内容に対応した触覚情報を提示することが開示されている。

【0004】

また、非特許文献１には、ユーザの周囲に送風用のファンを複数台設置し、ＶＲにて再現するコンテンツに対応させて風を発生させることにより、ユーザに対してより臨場感がある仮想空間を設定することについて開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１６－２１３６６７号公報

【非特許文献】

【0006】

【非特許文献1】TVRSJ Vol.26 No.4 pp.277-287, 2021／基礎論文 視聴触覚間のクロスモーダル効果による風向知覚操作／伊東健一伴祐樹 割澤伸一

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかし、特許文献１や非特許文献１には、コンテンツに含まれる画像の視点変換に伴ってユーザが感じる風向、風速などの風情報を変化させることについて開示されていない。

【0008】

例えば、ＨＭＤに表示されている画像を見ているユーザが、視点を変更する操作を行った際に、この視点変更に対応して風情報を変化させることについて開示されていない。このため、ユーザが視点を変更してもこれに追随してユーザが感じる風が変更されない。

【0009】

本開示は、上記事情に鑑みてなされたものであり、その目的とするところは、コンテンツに含まれる画像の視点変換に伴って風情報を変化させることが可能なコンテンツ再生装置、コンテンツ再生方法、及びコンテンツ再生プログラムを提供することにある。

【課題を解決するための手段】

【0010】

上記目的を達成するため、本開示に係るコンテンツ再生装置は、画像を含むコンテンツを再生するコンテンツ再生装置であって、前記画像に含まれるオブジェクトの移動量を算出する移動量算出部と、前記オブジェクトの移動量に基づいて、少なくとも風速を含む風情報を設定する風設定部と、を備える。

【0011】

本開示に係るコンテンツ再生方法は、画像を含むコンテンツを再生するコンテンツ再生方法であって、前記画像に含まれるオブジェクトの移動量を算出するステップと、前記オブジェクトの移動量に基づいて、少なくとも風速を含む風情報を設定するステップと、を備える。

【0012】

本開示に係るコンテンツ再生プログラムは、画像を含むコンテンツを再生する処理をコンピュータに実行させるコンテンツ再生プログラムであって、前記画像に含まれるオブジェクトの移動量を算出するステップと、前記オブジェクトの移動量に基づいて、少なくとも風速を含む風情報を設定するステップと、をコンピュータに実行させる。

【発明の効果】

【0013】

本開示によれば、コンテンツに含まれる画像の視点変換に伴って風情報を変化させることが可能になる。

【図面の簡単な説明】

【0014】

【図1】図１は、実施形態に係るコンテンツ再生装置の構成を示すブロック図である。

【図2】図２は、ＨＭＤを装着したユーザの周囲に複数のファンが設置されている様子を示す斜視図である。

【図3】図３は、ＨＭＤを装着したユーザの周囲に複数ファンが設置されている様子を模式的に示す平面図である。

【図4】図４は、ＨＭＤに表示される俯瞰視点の画像を示す説明図である。

【図5A】図５Ａは、俯瞰視点の画像に移動中の車両Ｖ１が表示されている例を示す説明図である。

【図5B】図５Ｂは、俯瞰視点の画像において、移動中の車両Ｖ１がユーザに接近している例を示す説明図である。

【図6】図６は、俯瞰視点の画像に移動中の車両Ｖ２が表示されている例を示す説明図である。

【図7】図７は、図６に示した画像において、車両Ｖ２の視点に切り替えたときに表示される画像を示す説明図である。

【図8】図８は、視点ｘ１の風向から視点ｘ２の風向に、段階的または連続的に切り替える様子を示す説明図である。

【図9】図９は、実施形態に係るコンテンツ再生装置の処理手順を示すフローチャートの、第１の分図である。

【図10A】図１０Ａは、実施形態に係るコンテンツ再生装置の処理手順を示すフローチャートの、第２の分図である。

【図10B】図１０Ｂは、実施形態に係るコンテンツ再生装置の処理手順を示すフローチャートの、第３の分図である。

【図10C】図１０Ｃは、実施形態に係るコンテンツ再生装置の処理手順を示すフローチャートの、第４の分図である。

【図10D】図１０Ｄは、実施形態に係るコンテンツ再生装置の処理手順を示すフローチャートの、第５の分図である。

【発明を実施するための形態】

【0015】

以下、本開示の実施形態について図面を参照して説明する。図１は、実施形態に係るコンテンツ再生装置１００の構成を示すブロック図である。コンテンツ再生装置１００は、画像を含むコンテンツを再生する。図１に示すように本実施形態に係るコンテンツ再生装置１００は、記憶装置１と、情報処理部２と、マイク４（音声検出部）と、ＨＭＤ（Head Mounted Display）５と、複数（ｎ個）のファン６-1～６-n、を備えている。なお以下では、複数のファンのうちのいずれかを特定して示す場合には、「ファン６-1」などのようにサフィックスを付して表記し、各ファンを特定せずに示す場合及び総称して示す場合には「ファン６」のようにサフィックスを付さず表記する。

【0016】

記憶装置１は、コンテンツ記憶部１１と、風データベース１２を備えている。記憶装置１は、メモリ（ＲＡＭ：Random Access Memory）、ストレージ（ＨＤＤ：Hard Disk Drive、ＳＳＤ：Solid State Drive）を用いることができる。記憶装置１は、ＵＳＢ（Universal Serial Bus）メモリ、ＣＤ (Compact Disc)、ＤＶＤ (Digital Versatile Disc)などのコンピュータが読取り可能な記録媒体としてもよい。記憶装置１は、ネットワークを介してアクセス可能なオンラインストレージとしてもよい。

【0017】

コンテンツ記憶部１１は、ユーザに提示するコンテンツに関連する各種の情報（以下、「コンテンツ情報」という）を記憶する。コンテンツ情報は画像、音声、振動情報、視点情報を含む。

【0018】

コンテンツ記憶部１１は、コンテンツが映画である場合には、ユーザに提示する映画の画像、音声、視点情報を記憶する。視点情報は、画像を表示する際の視点方向を示す情報である。視点情報は、視点の移動量の情報を含む。

【0019】

コンテンツ記憶部１１は、コンテンツがゲームである場合には、ゲームに関連する画像、音声、ユーザに与える振動情報を記憶する。

【0020】

画像は、風景全体を俯瞰的に見た視点（以下、「俯瞰視点」という）の画像、俯瞰視点の画像に存在する車両などのオブジェクト（詳細は後述する）の視点（以下、「オブジェクト視点」という）の画像を含む。画像は、動画、静止画を含む。音声は、動物の鳴き声、効果音、ＢＧＭ、登場人物の会話を含む。

【0021】

風データベース１２は、コンテンツ記憶部１１に記憶されている画像に対応する風情報を記憶する。風情報は、風速及び風向の少なくとも一方を含む情報である。風情報は、例えば「〇〇方向の風、風速〇〇ｍ/sec」などである。具体的に風データベース１２は、画像の撮影時において、風速計及び風向計を用いて測定された撮影場所周辺の風情報を記憶してもよい。

【0022】

例えば、砂浜の風景の動画を撮影する場合には、この動画撮影時に砂浜に吹いている風情報を図示省略の風速計、風向計を用いて測定する。コンテンツ記憶部１１は、撮影した動画を記憶し、風データベース１２は、測定した風情報を記憶する。即ち、風データベース１２に記憶されている風情報は、コンテンツ記憶部１１に記憶されている画像に対応付けられている。

【0023】

また風情報は、風速計、風向計を使用して測定する以外にも、コンテンツの音声を検出するための収音装置にて生じる風切り音に基づいて算出してもよい。収音装置で収音される音声データのうち、周波数が８０Ｈｚ以下の成分は、風ノイズなどの環境ノイズであると見なすことができる。従って、後述の情報処理部２が風情報演算部（不図示）を備えて、収音装置で収音された音声データから８０Ｈｚ以下の成分を取り出し、この振幅に基づいて風向及び風速を算出してもよい。風情報演算部は、左右の風切り音の時間差に基づいて風向を算出してもよい。風情報演算部は、算出した風向や風速を風データベース１２に記憶してもよい。

【0024】

マイク４は、ユーザの近傍に設置され、ユーザが発話した音声を検出して音声認識部２６（詳細は後述する）に出力する。

【0025】

ＨＭＤ５は、ユーザが装着可能なゴーグル形状を有している。ＨＭＤ５は、コンテンツに含まれる画像をユーザに提示する。ＨＭＤ５は、スピーカを備えており、コンテンツに含まれる音声をユーザに提示する。ＨＭＤ５は、ユーザに画像を提示する画像提示部としての機能を備えている。ＨＭＤ５の代わりに、画像を提示するディスプレイやプロジェクタを用いてもよい。

【0026】

図２は、ＨＭＤ５を装着したユーザＰ１の周囲に、４個のファン６-1～６-4が設置されている例を示す斜視図、図３は平面的に示した模式図である。図２、図３に示すように、ユーザＰ１の右方にはファン６-1、後方にはファン６-2、前方にはファン６-3、左方にはファン６-4が設置されている。

【0027】

ファン６は、図１に示すファン制御部３０（詳細は後述する）の制御により駆動する。ファン６を制御することにより、ユーザＰ１に向けて所望の風向、風速となる風を発生し、ユーザに風を知覚させることができる。即ち、ファン６は、ユーザＰ１に知覚させる風情報に基づき、風を発生する風発生部としての機能を備えている。なお、風発生部は、上述したファン６以外にも、ユーザＰ１に対して疑似的な風を知覚させることが可能な振動発生装置を採用してもよい。振動発生装置は、ユーザまたはＨＭＤ５に取り付けてもよい。

【0028】

情報処理部２は、情報取得部２１と、オブジェクト抽出部２２と、移動量算出部２３と、風情報取得部２４と、入力部２５と、音声認識部２６と、切替部２７と、表示制御部２８と、風設定部２９と、ファン制御部３０を備えている。

【0029】

情報取得部２１は、コンテンツ記憶部１１から、画像、音声、振動情報、視点情報などのコンテンツ情報を取得する。例えばコンテンツが映画の場合には、映画の画像、音声、及び視点情報を取得する。コンテンツがゲームである場合には、ゲームの画像、音声、振動情報を取得する。情報取得部２１は、後述するようにコンテンツ情報に含まれる音声が、「涼しい」などの感想を発言した場合には、この内容を切替部２７に出力する。

【0030】

オブジェクト抽出部２２は、情報取得部２１にて取得した画像に含まれるオブジェクトを抽出する。オブジェクトは、車両、人物、動物、鳥、転がっているボール、などの移動物、及び樹木、家屋、電柱などの静止物を含む。オブジェクト抽出部２２は、抽出したオブジェクトを機械学習により認識し、静止物か否かを判定してもよい。

【0031】

移動量算出部２３は、情報取得部２１にて取得した画像から、各フレームのオブジェクトの移動量を算出する。「オブジェクトの移動量」とは、コンテンツの背景に存在する静止物を基準としたオブジェクトの相対的な移動量を指す。例えば、車両が走行しているシーンの移動量は、画像に含まれる樹木などの静止物に対して相対的に移動した距離を移動量として算出する。移動量算出部２３は、オブジェクトの動きベクトルを移動量として算出してもよい。

【0032】

移動量算出部２３はまた、俯瞰視点（第１の視点）の移動量を算出する。「俯瞰視点の移動量」とは、コンテンツの背景に存在する静止物の移動量である。例えば、カメラを動かして撮影すると撮影した画像内で背景の位置が移動する。コンテンツが映画である場合には、ユーザ自身は映像内の空間を移動することはない。従って、移動量算出部２３は、画像の背景に動きがない場合には、俯瞰視点の移動量は発生しないものとして算出する。移動量算出部２３は、画像の背景が移動する場合に、各フレームの背景に存在する静止物の移動量を俯瞰視点の移動量として算出する。

【0033】

移動量を算出する例として、例えばカメラ（図示省略）を移動させて動画を撮影する場合に、カメラの移動量を測定して俯瞰視点の移動量とすることができる。カメラにＧＰＳ（Global Positioning System）受信機を装着し、ＧＰＳ衛星から送信されるＧＰＳデータを受信して、カメラの移動量を測定してもよい。カメラの移動量を、コンテンツ記憶部１１に記憶してもよい。

【0034】

また、コンテンツがゲームである場合には、ユーザ自身がゲーム内の空間を移動することがある。移動量算出部２３は、ユーザがゲーム内の空間を移動した距離を測定し、測定した移動量を俯瞰視点の移動量として算出する。例えばユーザが操作するゲーム用コントローラに移動距離測定用のセンサを装着し、移動量算出部２３はこのセンサの検出信号に基づいて俯瞰視点の移動量を算出してもよい。

【0035】

移動量算出部２３はまた、オブジェクトの移動量及び俯瞰視点の移動量に基づいて、オブジェクトの移動速度、及び俯瞰視点の移動速度を算出する。具体的には、各フレームの移動量、及び１フレームの時間に基づいて移動速度を算出する。移動量算出部２３は、算出した移動速度を風設定部２９に出力する。

【0036】

風情報取得部２４は、風データベース１２に記憶されている風情報から、情報取得部２１にて取得した画像に対応する風情報を取得する。即ち風情報取得部２４は、第１の視点（俯瞰視点）において発生する風情報（第１の風情報）を取得する。以下では、俯瞰視点の移動がなくオブジェクトの移動もない俯瞰視点における風を「自然風」と言う。風情報取得部２４は、取得した風情報を風設定部２９に出力する。

【0037】

入力部２５は、ユーザが操作端末（図示省略）を操作して入力される情報を取得する。例えば、ユーザがＨＭＤ５に提示されている画像の視点切替操作を行った場合には、この操作信号を切替部２７に出力する。

【0038】

音声認識部２６は、マイク４にて入力された音声を取得し、音声の内容を認識する。音声認識部２６は、例えば鳥が飛行している映像コンテンツの場合に、ユーザがマイク４に向けて「鳥になりたい」と発話した場合には、この音声を認識する。

【0039】

切替部２７は、入力部２５に入力される操作信号、音声認識部２６による音声の認識結果、及びコンテンツに含まれるオブジェクトの音声情報のうちの少なくとも一つに基づいて、ＨＭＤ５に表示する画像を切り替える画像切替信号を生成する。画像切替信号は、ＨＭＤ５に表示する画像を、俯瞰視点またはオブジェクト視点の画像に切り替えるための制御信号である。「オブジェクトの音声情報」は、情報取得部２１にて取得される情報である。

【0040】

前述したように、俯瞰視点は、風景全体を俯瞰的に見た視点（第１の視点）である。オブジェクト視点とは、俯瞰視点の画像に存在する車両などのオブジェクトの視点（第２の視点）である。即ち切替部２７は、ＨＭＤ５（画像提示部）にて提示する画像を、第１の視点及び第２の視点のいずれかの画像に切り替える画像切替信号を出力する機能を備えている。

【0041】

例えばユーザが、入力部２５にてオブジェクト視点への切替操作を行った場合、或いは、ユーザがマイク４においてオブジェクト視点の画像への切り替えを指示する文言を発話した場合（例えば「オブジェクトの視点に切り替える」と発話した場合）には、切替部２７は、ＨＭＤ５に提示する画像をオブジェクト視点の画像に切り替えるための画像切替信号を表示制御部２８に出力する。更に、コンテンツに含まれるオブジェクトが人物（例えば、後述する図４に示す人物Ｈ１）であり、この人物が「涼しい」などの感想を発言した場合には、切替部２７は、ＨＭＤ５に提示する画像をオブジェクト視点の画像に切り替えるための画像切替信号を表示制御部２８に出力する。

【0042】

またユーザが、入力部２５にて俯瞰視点への切り替え操作を行った場合、或いは、ユーザがマイク４において俯瞰視点への切り替えを指示する文言を発話した場合（例えば「画像の視点を俯瞰視点に切り替える」と発話した場合）には、切替部２７は、ＨＭＤ５に提示する画像を俯瞰視点の画像に切り替えるための画像切替信号を表示制御部２８に出力する。なお、本実施形態では、オブジェクト視点及び俯瞰視点を設定する例について説明するが、これ以外の視点に設定してもよい。

【0043】

切替部２７はまた、入力部２５に入力される操作信号、または音声認識部２６による音声の認識結果、及びコンテンツに含まれるオブジェクトの音声情報のうちの少なくとも一つに基づいて、ユーザに知覚させる風を発生させる風情報を切り替える風切替信号を生成する。風切替信号は、風情報を、俯瞰視点の風情報、或いはオブジェクト視点の風情報のいずれかに切り替えるための制御信号である。

【0044】

例えば、切替部２７は前述した画像切替信号と連動し、オブジェクト視点に切り替えるための画像切替信号が出力された際に、オブジェクト視点における風を出力する風切替信号を風設定部２９に出力する。切替部２７は前述した画像切替信号と連動し、俯瞰視点の画像に切り替えるための画像切替信号が出力された際に、俯瞰視点における風情報を設定するための風切替信号を風設定部２９に出力する。即ち、切替部２７は、画像の切り替えタイミングと、風情報の切替タイミングが同時になるように、画像切替信号、及び風切替信号を風設定部２９に出力してもよい。

【0045】

また、切替部２７は下記（Ａ）～（Ｄ）に示すように、オブジェクトの発言内容、或いは音声認識部２６の音声認識結果に応じた風切替信号を風設定部２９に出力してもよい。

【0046】

（Ａ）ユーザが見ている画像中のオブジェクト（人物）が「おー、すごい」などの擬音、「良い景色」、「涼しい」、「熱い」、「もあっとする」などの感想を発言した場合には、切替部２７はオブジェクト視点の画像に切り替える画像切替信号、及びオブジェクト視点の風情報に切り替える風切替信号を出力する。

【0047】

（Ｂ）ユーザが見ている画像中のオブジェクト（人物）が「風が気持ちよさそう」、「空が青いな」、「緑が良いな」など自然に関する発言をした場合には、切替部２７はオブジェクト視点の画像に切り替える画像切替信号、及びオブジェクト視点の風情報に切り替える風切替信号を出力する。

【0048】

（Ｃ）ユーザが画像中の鳥、飛行機などのオブジェクトを見て「風」、「風になりたい」などと発言した場合には、ユーザがこのオブジェクトにおける風、音を体感できるように、切替部２７はオブジェクト視点の風情報とする風切替信号を出力する。この際、切替部２７は画像切替信号を出力しない。即ち、ユーザの発言内容が風、音、その他の五感に関する内容である場合には、切替部２７は、風切替信号を出力し、画像切替信号を出力しない。このため、頻繁に画像が切り替えられることを回避できる。

【0049】

（Ｄ）ユーザが画像に表示されている鳥、飛行機などのオブジェクトを見て「鳥になりたい」、「飛行機になりたい」と発言した場合には、切替部２７はオブジェクト視点の画像に切り替える画像切替信号、及びオブジェクト視点の風情報に切り替える風切替信号を出力する。即ち、「鳥」、「飛行機」などの具体的なオブジェクトの名称を発言した場合には、切替部２７は画像切替信号及び風切替信号を出力する。

【0050】

記憶装置１が切替情報記憶部（不図示）を備えて、所定の発言内容を記憶してもよい。切替情報記憶部は、所定の発言内容として、上記（Ａ）～（Ｄ）に記載の内容、擬音、感想および風や自然に関する発言内容を記憶してもよい。また、切替情報記憶部は、風切替信号や画像切替信号を出力する所望の発言内容を記憶してもよい。

【0051】

切替部２７は、情報取得部２１を介して切替情報記憶部に記憶された所定の発言内容を読み出し、オブジェクトの発言内容やユーザの発言内容と一致するか否かを判定してもよい。切替部２７は、この判定結果と上記（Ａ）～（Ｄ）に記載の条件にしたがって、風切替信号や画像切替信号を出力してもよい。

【0052】

切替部２７は、コンテンツの再生タイミングと同期して、または先立って、所定の発言内容を読み出し、オブジェクトの発言内容やユーザの発言内容と一致するか否かを判定してもよい。

【0053】

即ち切替部２７は、第１の視点において発生する第１の風情報及び第２の視点において発生する第２の風情報のいずれかに切り替える風切替信号を出力する機能を備えている。

【0054】

表示制御部２８は、切替部２７で設定された視点となるように、コンテンツの画像、音声、視点情報などのコンテンツ情報をＨＭＤ５に提示する。表示制御部２８は、切替部２７より、俯瞰視点（第１の視点）の画像から、オブジェクト視点（第２の視点）の画像へ切り替える画像切替信号が与えられた際には、ＨＭＤ５に提示する画像を、俯瞰視点の画像からオブジェクト視点の画像に切り替える。表示制御部２８は、オブジェクト視点（第２の視点）の画像が存在しない場合には、第１の視点における第１の風情報から第２の視点における第２の風情報に切り替えた後、オブジェクト視点（第２の視点）の画像の代わりにオブジェクトの全体が映っていない所定の画像をＨＭＤ５に提示する。

【0055】

俯瞰視点（第１の視点）の画像にオブジェクトが映った状態を維持したまま、第１の風情報から第２の風情報に切り替えると、ユーザは視点が切り替わったことを認識できない。仮に俯瞰視点（第１の視点）の画像において、オブジェクトの全体が映っていない所定の画像が存在すれば、その所定の画像に切り替えることにより、ユーザに視点が切り替わったことを認識させることができる。

【0056】

表示制御部２８は、俯瞰視点（第１の視点）の画像において、オブジェクトの全体が映っていない画像を切り替えタイミングの前後から検索し、所定の画像としてもよい。

【0057】

風設定部２９は、ユーザに知覚させる風情報を設定する。風設定部２９は、例えば以下に示すように（ａ）自然風が発生している場合、（ｂ）俯瞰視点から一定距離内（画像を撮像したカメラ位置から一定距離内）にてオブジェクトが移動する場合、（ｃ）俯瞰視点が移動する場合、（ｄ）視点が切り替えられた場合、などにおいてオブジェクトがユーザに知覚させる風情報を設定する。

【0058】

（ａ）自然風が発生している場合
風設定部２９は、切替部２７にて俯瞰視点の風情報が設定された場合においてユーザが画像を俯瞰する位置（例えば、画像撮影時におけるカメラの位置）にてユーザに知覚させる風情報を設定する。

【0059】

例えば図４に示す俯瞰視点の画像のように、ＨＭＤ５に画像Ｄ１が表示されている場合において、風データベース１２から取得される自然風が、画像Ｄ１の左側から右側に向く方向（矢印Ｙ１の方向）に風が吹いているものとする。また、画像Ｄ１には左方向を向く人物Ｈ１（オブジェクト）が存在している。この場合において風設定部２９は、俯瞰視点に対して左側から右側に向く風情報を設定する。後述するように、この風情報に基づく風がファン６により発生し、ユーザに風を知覚させることができる。

【0060】

（ｂ）俯瞰視点から一定距離内にてオブジェクトが移動する場合
風設定部２９は、俯瞰視点（例えば、画像を撮像したカメラの位置）から一定距離内にてオブジェクトが移動する場合には、該オブジェクトの移動速度に基づき、この移動に伴って発生する風情報を算出する。風設定部２９は、この風情報に基づいて、ユーザに知覚させる風情報を設定する。即ち風設定部２９は、オブジェクトの移動量に基づいて、ユーザに知覚させる風情報を設定する。

【0061】

例えば図５Ａ、図５Ｂに示すように、画像Ｄ２に含まれる車両Ｖ１（オブジェクト）が徐々にユーザに近づく場合を想定する。図５Ａに示すように、ＨＭＤ５には俯瞰視点の画像Ｄ２が表示され、遠方から車両Ｖ１が接近している。風設定部２９は図５Ｂに示すように、車両Ｖ１が俯瞰視点から一定距離内となる領域を通過する際に、この車両Ｖ１の速度に基づいて、車両Ｖ１が通過することに起因して生じる風情報を設定する。具体的には、風設定部２９は図５Ｂに示す矢印Ｙ２の方向の風情報を設定する。後述するように、この風情報に基づく風がファン６により発生し、ユーザに対して車両Ｖ１が通過したことによる風を知覚させることができる。

【0062】

（ｃ）俯瞰視点が移動する場合
風設定部２９は、俯瞰視点が移動する場合には、この移動速度に基づいて、ユーザに知覚させる風情報を設定する。例えば、図４に示した画像Ｄ１において、俯瞰視点が矢印Ｙ３の方向に移動している場合には、風設定部２９は矢印Ｙ１の方向に吹いている自然風と、俯瞰視点の移動速度に応じた風情報を設定する。後述するように、この風情報に基づく風がファン６により発生し、ユーザに対して俯瞰視点が移動することによる風を知覚させることができる。

【0063】

（ｄ）視点が切り替えられた場合
風設定部２９は、切替部２７にて俯瞰視点からオブジェクト視点に切り替えられた場合には、ユーザが疑似的にオブジェクト視点となったと想定し、ユーザに知覚させる風情報を設定する。即ち風設定部２９は、オブジェクトの移動量に基づいて、第２の視点（オブジェクト視点）において発生する第２の風情報を算出し、画像の視点がオブジェクト視点に切り替えられた際に、第２の風情報を、ユーザに知覚させる風情報として設定する。

【0064】

風設定部２９は、ユーザの視点が第２の視点（オブジェクト視点）に切り替えられた際に、オブジェクトの移動量に加え、俯瞰視点においてユーザが知覚する風情報（第１の風情報）を考慮して、第２の視点において発生する第２の風情報を算出してもよい。

【0065】

例えば図６に示すように、ＨＭＤ５に車両Ｖ２（オブジェクト）が走行する画像Ｄ３が表示されている場合において、風データベース１２から取得される自然風が、画像Ｄ３の左側から右側に向く方向（矢印Ｙ４の方向）に風が吹いているものとする。画像Ｄ３において、車両Ｖ２（オブジェクト）が右側から左側に向けて走行している場合を想定する。図６では俯瞰視点が、側方から車両Ｖ２を眺める方向（画像Ｄ３を俯瞰する方向）に設定されている。

【0066】

切替部２７により俯瞰視点からオブジェクト視点（車両Ｖ２の視点）に切り替えられた場合には、図７に示すように車両Ｖ２の乗員の視点となる画像Ｄ４がＨＭＤ５に表示される。

【0067】

この場合において風設定部２９は、車両Ｖ２の乗員が知覚する風情報を設定する。即ち、図６の画像Ｄ３に示したように自然風は矢印Ｙ４の方向に吹いており、更に、車両Ｖ２の走行速度に応じた風が車両Ｖ２の前方から後方に向く方向に発生する。風設定部２９は、図７の画像Ｄ４において、自然風Ｙ４（図６参照）、及び車両Ｖ２の走行速度に応じた矢印Ｙ５の風情報を設定する。即ち、ユーザにとって前側から吹く風情報を設定する。後述するように、この風情報に基づく風がファン６により発生し、ユーザに対してオブジェクト視点に切り替わったことによる風を知覚させることができる。

【0068】

風設定部２９はまた、風向を図６に示した矢印Ｙ４の方向から、図７に示した矢印Ｙ５の方向に変更する場合、即ち、ユーザが知覚する風向が左方向から前方向に切り替わる場合には、風向を直ちに切り替えるのではなく、風向が段階的または連続的に変化して切り替わるように、風情報を設定する。

【0069】

具体的に風設定部２９は、図８に示すように、符号Ｑ１に示す俯瞰視点ｘ１から、符号Ｑ２に示すオブジェクト視点ｘ２に切り替える際には、その中間の符号Ｑ３に示す視点ｘ３を設定し、この視点ｘ３における風情報を設定する。風設定部２９は、視点ｘ１、ｘ３、ｘ２の順に風情報を段階的または連続的に切り替える。

【0070】

ここで、視点ｘ１、視点ｘ２および視点ｘ３は、視点の起点とする座標と方向とをもつベクトル量とする。風設定部２９は、視点ｘ１と視点ｘ２の平均を視点ｘ３としてもよい。また、風情報は、風速と風向とをもつベクトル量とする。風設定部２９は、視点ｘ１における第1の風情報と視点ｘ２における第２の風情報との平均を算出し、これを視点ｘ３における第３の風情報としてもよい。

【0071】

風設定部２９は、視点ｘ１と視点ｘ２の間を３分割し、視点ｘ２より視点ｘ１に近い位置を視点ｘ３としてもよい。風設定部２９は、視点ｘ１と視点ｘ２とを１：２で重み付け平均することにより視点ｘ３を算出してもよい。風設定部２９は、第1の風情報と第２の風情報とを１：２で重み付け平均することにより、第３の風情報を算出してもよい。

【0072】

風設定部２９は、視点ｘ１と視点ｘ２の間のいずれかを視点ｘ３としてもよい。風設定部２９は、視点ｘ１と視点ｘ２とを所定の重みで重み付け平均することにより視点ｘ３を算出してもよい。風設定部２９は、第1の風情報と第２の風情報とを所定の重みで重み付け平均することにより、第３の風情報を算出してもよい。

【0073】

風設定部２９は、第２の風情報が風速の情報を持たない場合、第1の風情報が持つ風向の情報と第２の風情報が持つ風向の情報とに基づいて、第３の風情報が持つ風向の情報を算出してもよい。風設定部２９は、第1の風情報が持つ風速の情報を第３の風情報が持つ風速の情報としてもよい。

【0074】

風情報を段階的または連続的に変化させることにより、ユーザは段階的または連続的に風向の変化した風を知覚する。視点の変化に風向の変化が伴うことにより、ユーザの三次元酔いを軽減することができる。なお、中間に設定する視点は、複数であってもよい。

【0075】

ファン制御部３０は、風設定部２９で設定された風情報に基づく風を発生させるための制御信号を、各ファン６に出力する。例えば、図２、図３に示したように、ユーザＰ１の周囲の４箇所に設置された各ファン６-1～６-4に制御信号を出力し、各ファン６の駆動を制御する。

【0076】

上述した情報処理部２は、ＣＰＵ（中央処理装置）、メモリ、及び入出力部を備えるマイクロコンピュータを用いて実現可能である。情報処理部２は、複数の処理部（情報取得部２１、オブジェクト抽出部２２、移動量算出部２３、風情報取得部２４、入力部２５、音声認識部２６、切替部２７、表示制御部２８、風設定部２９、ファン制御部３０）として機能させるためのコンピュータプログラムを、マイクロコンピュータにインストールして実行する。これにより、情報処理部２のマイクロコンピュータは、情報処理部２が備える複数の処理部として機能する。また、ここではソフトウェアによって情報処理部２を実現する例を示すが、各情報処理を実行するための専用のハードウェアを用意して、情報処理部２を構成してもよい。また、情報処理部２に含まれる各処理部が実行する情報処理を個別のハードウェアにより構成してもよい。

【0077】

次に、上述のように構成された本実施形態の動作を、図９、図１０Ａ～図１０Ｄに示すフローチャートを参照して説明する。

【0078】

初めに図９のステップＳ１において、情報取得部２１は、コンテンツ記憶部１１に記憶されている各コンテンツ情報を取得する。例えばコンテンツが映画である場合には、画像、音声、視点情報を取得する。

【0079】

ステップＳ２においてオブジェクト抽出部２２は、画像に含まれるオブジェクトを抽出する。例えば、図４に示した人物Ｈ１、図５Ａ、図５Ｂに示した車両Ｖ１、及び図６に示した車両Ｖ２などを抽出する。

【0080】

ステップＳ３において風情報取得部２４は、風データベース１２を検索し、情報取得部２１にて取得された画像に対応する風情報を取得する。上述したように、風情報は風向、風速を含む。

【0081】

ステップＳ４において移動量算出部２３は、俯瞰視点が移動しているか否かを判定する。例えばコンテンツが映画である場合には、ユーザ自身は移動しない。このため画像中の風景が移動している場合には、俯瞰視点が移動しているものとし、画像中の風景が移動していない場合には、俯瞰視点は移動していないものとする。俯瞰視点が移動していない場合には（Ｓ４；ＮＯ）、ステップＳ５に処理を進め、移動している場合には（Ｓ４；ＹＥＳ）、ステップＳ６に処理を進める。

【0082】

ステップＳ５において移動量算出部２３は、画像に含まれる所定のオブジェクトが移動しているか否かを判定する。移動していない場合には（Ｓ５；ＮＯ）、図１０Ａに示すステップＳ１１に処理を進め、移動している場合には（Ｓ５；ＹＥＳ）、図１０Ｂに示すステップＳ３１に処理を進める。

【0083】

ステップＳ６において移動量算出部２３は、画像に含まれる所定のオブジェクトが移動しているか否かを判定する。移動していない場合には（Ｓ６；ＮＯ）、図１０Ｃに示すステップＳ５１に処理を進め、移動している場合には（Ｓ６；ＹＥＳ）、図１０Ｄに示すステップＳ７１に処理を進める。

【0084】

図１０Ａに示すステップＳ１１において風設定部２９は、俯瞰視点による風情報を生成する。例えば、ＨＭＤ５に図４に示した画像Ｄ１が表示されている場合において、風情報取得部２４は風データベース１２から矢印Ｙ１方向の風情報を取得する。俯瞰視点は移動していないので風設定部２９は、矢印Ｙ１方向の風情報を設定する。

【0085】

ステップＳ１２においてファン制御部３０は、風設定部２９にて設定された風情報に基づいて、各ファン６に駆動信号を出力する。その結果、ユーザに対し俯瞰視点における風を知覚させることができる。例えば図４に示した画像Ｄ１が表示されているときに、矢印Ｙ１の方向に吹く風をユーザに知覚させることができる。

【0086】

ステップＳ１３において切替部２７は、オブジェクト視点への切り替え操作があるか否かを判定する。例えば入力部２５にてユーザがオブジェクト視点への切り替え操作を行った場合、或いは、音声認識部２６においてオブジェクト視点への切り替え操作が認識された場合に、オブジェクト視点への切り替え操作があったものと判定する。また、上述の（Ａ）～（Ｄ）に示したように、音声認識結果に基づいて切り替え操作を判定してもよい。また、オブジェクトの発言内容、例えば図４に示した人物Ｈ１が「涼しい」と発言した場合に、切り替え操作があると判定してもよい。切り替え操作があると判定された場合には（Ｓ１３；ＹＥＳ）、ステップＳ１５に処理を進め、そうでなければ（Ｓ１３；ＮＯ）、ステップＳ１４に処理を進める。

【0087】

ステップＳ１４において表示制御部２８は、画像表示を終了するか否かを判定する。画像表示を終了する場合には（Ｓ１４；ＹＥＳ）、ステップＳ２０に処理を進め、そうでなければ（Ｓ１４；ＮＯ）、ステップＳ１１に処理を戻す。

【0088】

ステップＳ１５において風設定部２９は、オブジェクト視点による風情報を生成する。例えば、ユーザに提示する画像が図４に示す画像Ｄ１のように、人物Ｈ１が左方向を向いているときに、オブジェクト視点の画像に切り替える場合を想定する。俯瞰視点では、図４に示す矢印Ｙ１の方向の風が吹いており、オブジェクト視点（人物Ｈ１の視点）に切り替えた場合には、ユーザの前方からの風に切り替わる。即ち、人物Ｈ１は図４の画像Ｄ１において左側を向いているので、人物Ｈ１の視点に切り替えた際において、風設定部２９は前方からの風情報を生成する。

【0089】

ステップＳ１６において風設定部２９は、風向が段階的または連続的に変化して俯瞰視点からオブジェクト視点に切り替わるように、風情報を設定する。具体的には、図４に示した矢印Ｙ１の方向の風情報（ユーザにとって左側から吹く風情報）から、人物Ｈ１の視点で知覚する方向（ユーザにとって前方から吹く風情報）に段階的または連続的に変化させる風情報を設定する。

【0090】

ファン制御部３０は、左側からの風から、前方からの風に段階的または連続的に変化して風向が切り替わるように、各ファン６の駆動を制御する。その結果、ユーザに対して俯瞰視点において知覚する風情報から、オブジェクト視点において知覚する風情報に、段階的または連続的に変化する風を発生させることができる。

【0091】

ステップＳ１７において切替部２７は、俯瞰視点への切り替え操作があるか否かを判定する。切り替え操作がある場合には（Ｓ１７；ＹＥＳ）、ステップＳ１８に処理を進め、そうでなければ（Ｓ１７；ＮＯ）、ステップＳ１９に処理を進める。

【0092】

ステップＳ１９において表示制御部２８は、画像表示を終了するか否かを判定する。画像表示を終了する場合には（Ｓ１９；ＹＥＳ）、ステップＳ２０に処理を進め、そうでなければ（Ｓ１９；ＮＯ）、ステップＳ１５に処理を戻す。

【0093】

ステップＳ１８において風設定部２９は、風向が段階的または連続的に変化してオブジェクト視点から俯瞰視点に切り替わるように、風情報を設定する。その後、ステップＳ１１に処理を戻す。

【0094】

ステップＳ２０においてファン制御部３０は、各ファン６を停止させる。こうして、俯瞰視点、及びオブジェクト視点が共に停止しているときにおいて視点変更した場合に、ユーザが知覚する風を円滑に切り替えることができる。

【0095】

次に、図９に示したステップＳ５でＹＥＳと判定された場合の処理について、図１０Ｂに示すフローチャートを参照して説明する。図１０Ｂに示すステップＳ３１において移動量算出部２３は、画像に含まれるオブジェクトの、フレームごとの移動量に基づいて、オブジェクト（例えば、図５Ａ、図５Ｂに示す車両Ｖ１）の移動速度を算出する。

【0096】

ステップＳ３２において風設定部２９は、俯瞰視点による風情報を生成する。例えば、ＨＭＤ５に図５Ａに示した画像Ｄ２が表示されている場合において、風情報取得部２４は風データベース１２から矢印Ｙ１方向の風情報を取得する。また、ＨＭＤ５に図５Ｂに示した画像Ｄ２が表示されている場合において、移動量算出部２３は車両Ｖ１の移動速度を算出し、更に、この移動速度に応じてユーザが受ける風情報（図５Ｂに示す矢印Ｙ２方向の風情報）を算出する。

【0097】

ステップＳ３３においてファン制御部３０は、風設定部２９にて設定された風情報に基づいて、各ファン６に駆動信号を出力する。その結果、ユーザに対し俯瞰視点における風を知覚させることができる。例えば、図５Ｂに示すように車両Ｖ１がユーザの近く（俯瞰視点から一定距離内の領域）を通り過ぎたときには、矢印Ｙ２の方向に吹く風をユーザに知覚させることができる。

【0098】

ステップＳ３４において切替部２７は、オブジェクト視点への切り替え操作があるか否かを判定する。例えば入力部２５にてユーザがオブジェクト視点への切り替え操作を行った場合、或いは、音声認識部２６においてオブジェクト視点への切り替え操作が認識された場合に、オブジェクト視点への切り替え操作があったものと判定する。また、上述の（Ａ）～（Ｄ）に示したように、音声認識結果に基づいて切り替え操作を判定してもよい。また、オブジェクトの発言内容、例えば図４に示した人物Ｈ１が「涼しい」と発言した場合に、切り替え操作があると判定してもよい。切り替え操作があると判定された場合には（Ｓ３４；ＹＥＳ）、ステップＳ３６に処理を進め、そうでなければ（Ｓ３４；ＮＯ）、ステップＳ３５に処理を進める。

【0099】

ステップＳ３５において表示制御部２８は、画像表示を終了するか否かを判定する。画像表示を終了する場合には（Ｓ３５；ＹＥＳ）、ステップＳ４２に処理を進め、そうでなければ（Ｓ３５；ＮＯ）、ステップＳ３１に処理を戻す。

【0100】

ステップＳ３６において風設定部２９は、オブジェクト視点による風情報を生成する。例えば、ユーザに提示する画像を図６に示した俯瞰視点の画像Ｄ３から、図７に示したオブジェクト視点の画像Ｄ４に切り替える場合に、図７に示した矢印Ｙ５の方向の風情報、即ち、ユーザに対して前方から吹く風情報を生成する。

【0101】

ステップＳ３７において風設定部２９は、風向が段階的または連続的に俯瞰視点からオブジェクト視点に切り替わるように、風情報を設定する。具体的には、図６に示した矢印Ｙ４の方向の風情報（ユーザにとって左側から吹く風情報）から、図７に示した矢印Ｙ５の方向の風情報（ユーザにとって前方から吹く風情報）に、段階的または連続的に変化させて風情報を切り替える。

【0102】

ファン制御部３０は、上記した矢印Ｙ４（図６）の方向から矢印Ｙ５（図７）の方向に段階的または連続的に風向が切り替わるように、各ファン６の駆動を制御する。その結果、ユーザに対して俯瞰視点において知覚する風情報から、オブジェクト視点において知覚する風情報に、段階的または連続的に変化する風を発生することができる。

【0103】

ステップＳ３８において切替部２７は、俯瞰視点への切り替え操作があるか否かを判定する。切り替え操作がある場合には（Ｓ３８；ＹＥＳ）、ステップＳ３９に処理を進め、そうでなければ（Ｓ３８；ＮＯ）、ステップＳ４０に処理を進める。

【0104】

ステップＳ４０において表示制御部２８は、画像表示を終了するか否かを判定する。画像表示を終了する場合には（Ｓ４０；ＹＥＳ）、ステップＳ４２に処理を進め、そうでなければ（Ｓ４０；ＮＯ）、ステップＳ４１に処理を進める。

【0105】

ステップＳ４１において移動量算出部２３は、画像に含まれるオブジェクトの、フレームごとの移動量に基づいて、オブジェクトの移動速度を算出する。その後、ステップＳ３６に処理を戻す。

【0106】

ステップＳ３９において風設定部２９は、風向が段階的または連続的にオブジェクト視点から俯瞰視点に切り替わるように、風情報を設定する。その後、ステップＳ３１に処理を戻す。

【0107】

ステップＳ４２においてファン制御部３０は、各ファン６を停止させる。こうして、俯瞰視点が静止し、オブジェクト視点が移動している場合において視点変更された際に、ユーザが知覚する風を円滑に切り替えることができる。

【0108】

次に、図９に示したステップＳ６でＮＯと判定された場合の処理について、図１０Ｃに示すフローチャートを参照して説明する。図１０Ｃに示すステップＳ５１において移動量算出部２３は、画像の風景に存在する静止物（例えば、樹木）の移動量に基づいて、俯瞰視点の移動速度を算出する。

【0109】

ステップＳ５２において風設定部２９は、俯瞰視点による風情報を生成する。例えば、ＨＭＤ５に図４に示した画像Ｄ１が表示されている場合において、風情報取得部２４は風データベース１２から矢印Ｙ１方向の風情報を取得する。更に、画像Ｄ１において俯瞰視点が矢印Ｙ３の方向に移動している場合には、この移動速度及び矢印Ｙ１方向の風情報に基づいて、俯瞰視点の風情報を算出する。図４に示す例では、俯瞰視点は風向の方向である矢印Ｙ１に対向するＹ３の方向に移動しているので、ユーザ視点における風情報は、矢印Ｙ１方向の風（自然風）よりも強い風速となる。

【0110】

ステップＳ５３においてファン制御部３０は、風設定部２９にて設定された風情報に基づいて、各ファン６に駆動信号を出力する。その結果、ユーザに対して、俯瞰視点における風を知覚させることができる。例えば図４に示した画像Ｄ１において、俯瞰視点が矢印Ｙ３の方向に移動している場合には、矢印Ｙ１の方向の風情報と俯瞰視点の移動速度による風情報を合成した風をユーザに知覚させることできる。

【0111】

ステップＳ５４において切替部２７は、オブジェクト視点への切り替え操作があるか否かを判定する。例えば入力部２５にてユーザがオブジェクト視点への切り替え操作を行った場合、或いは、音声認識部２６においてオブジェクト視点への切り替え操作が認識された場合に、オブジェクト視点への切り替え操作があったものと判定する。また、上述の（Ａ）～（Ｄ）に示したように、音声認識結果に基づいて切り替え操作を判定してもよい。また、オブジェクトの発言内容、例えば図４に示した人物Ｈ１が「涼しい」と発言した場合に、切り替え操作があると判定してもよい。切り替え操作があると判定された場合には（Ｓ５４；ＹＥＳ）、ステップＳ５６に処理を進め、そうでなければ（Ｓ５４；ＮＯ）、ステップＳ５５に処理を進める。

【0112】

ステップＳ５５において表示制御部２８は、画像表示を終了するか否かを判定する。画像表示を終了する場合には（Ｓ５５；ＹＥＳ）、ステップＳ６１に処理を進め、そうでなければ（Ｓ５５；ＮＯ）、ステップＳ５１に処理を戻す。

【0113】

ステップＳ５６において風設定部２９は、オブジェクト視点による風情報を生成する。例えば、ユーザに提示する画像が図４に示す画像Ｄ１のように、人物Ｈ１が左方向を向いているときに、オブジェクト視点の画像に切り替える場合を想定する。俯瞰視点では、図４に示す矢印Ｙ１の方向の風が吹いており、且つ矢印Ｙ３の方向に移動しているので、オブジェクト視点（人物Ｈ１の視点）に切り替えた場合には、ユーザの前方からの風に切り替わる。

【0114】

ステップＳ５７において風設定部２９は、風向が段階的または連続的に俯瞰視点からオブジェクト視点に切り替わるように、風情報を設定する。具体的には、図４に示した矢印Ｙ１の方向の風情報（ユーザにとって左側から吹く風情報）から、人物Ｈ１の視点で知覚する前方からの風情報に段階的または連続的に変化させる風情報を設定する。

【0115】

ファン制御部３０は、上記したように左側からの風から、前方からの風に段階的または連続的に風向が切り替わるように、各ファン６の駆動を制御する。その結果、ユーザに対して俯瞰視点において知覚する風情報から、オブジェクト視点において知覚する風情報に、段階的または連続的に変化する風を発生することができる。

【0116】

ステップＳ５８において切替部２７は、俯瞰視点への切り替え操作があるか否かを判定する。切り替え操作がある場合には（Ｓ５８；ＹＥＳ）、ステップＳ５９に処理を進め、そうでなければ（Ｓ５８；ＮＯ）、ステップＳ６０に処理を進める。

【0117】

ステップＳ６０において表示制御部２８は、画像表示を終了するか否かを判定する。画像表示を終了する場合には（Ｓ６０；ＹＥＳ）、ステップＳ６１に処理を進め、そうでなければ（Ｓ６０；ＮＯ）、ステップＳ５６に処理を戻す。

【0118】

ステップＳ５９において風設定部２９は、風向が段階的または連続的にオブジェクト視点から俯瞰視点に切り替わるように、風情報を設定する。その後、ステップＳ５１に処理を戻す。

【0119】

ステップＳ６１においてファン制御部３０は、各ファン６を停止させる。こうして、俯瞰視点が移動し、オブジェクト視点が停止している場合において視点変更した場合に、ユーザが知覚する風を円滑に切り替えることができる。

【0120】

次に、図９に示すステップＳ６でＹＥＳと判定された場合の処理について、図１０Ｄに示すフローチャートを参照して説明する。図１０Ｄに示すステップＳ７１において移動量算出部２３は、画像の風景に存在する静止物（例えば、樹木）の移動量に基づいて、俯瞰視点の移動速度を算出する。

【0121】

ステップＳ７２において移動量算出部２３は、画像に含まれるオブジェクトの、フレームごとの移動量に基づいて、オブジェクトの移動速度を算出する。

【0122】

ステップＳ７３において風設定部２９は、俯瞰視点による風情報を生成する。例えば、ＨＭＤ５に図４に示した画像Ｄ１が表示されている場合において、風情報取得部２４は風データベース１２から矢印Ｙ１方向の風情報を取得する。また、移動量算出部２３は、オブジェクトの移動速度を算出する。図４に示す画像Ｄ１ではオブジェクトである人物Ｈ１は移動していないので、移動速度はゼロである。更に、画像Ｄ１において俯瞰視点が矢印Ｙ３の方向に移動している場合には、俯瞰視点の移動速度、オブジェクトの移動速度（図４に示す例では移動速度はゼロ）、及び上記した矢印Ｙ１方向の風情報に基づいて、俯瞰視点の風情報を算出する。

【0123】

ステップＳ７４においてファン制御部３０は、風設定部２９にて設定された風情報に基づいて、各ファン６に駆動信号を出力する。その結果、ユーザに対して、俯瞰視点における風を知覚させることができる。例えば図４に示した画像Ｄ１において、俯瞰視点が矢印Ｙ３の方向に移動している場合には、矢印Ｙ１の方向の風情報、俯瞰視点の移動速度、及びオブジェクトの移動速度による風情報を合成した風をユーザに知覚させることができる。

【0124】

ステップＳ７５において切替部２７は、オブジェクト視点への切り替え操作があるか否かを判定する。例えば入力部２５にてユーザがオブジェクト視点への切り替え操作を行った場合、或いは、音声認識部２６においてオブジェクト視点への切り替え操作が認識された場合に、オブジェクト視点への切り替え操作があったものと判定する。また、上述の（Ａ）～（Ｄ）に示したように、音声認識結果に基づいて切り替え操作を判定してもよい。また、オブジェクトの発言内容、例えば図４に示した人物Ｈ１が「涼しい」と発言した場合に、切り替え操作があると判定してもよい。切り替え操作があると判定された場合には（Ｓ７５；ＹＥＳ）、ステップＳ７７に処理を進め、そうでなければ（Ｓ７５；ＮＯ）、ステップＳ７６に処理を進める。

【0125】

ステップＳ７６において表示制御部２８は、画像表示を終了するか否かを判定する。画像表示を終了する場合には（Ｓ７６；ＹＥＳ）、ステップＳ８３に処理を進め、そうでなければ（Ｓ７６；ＮＯ）、ステップＳ７１に処理を戻す。

【0126】

ステップＳ７７において風設定部２９は、オブジェクト視点による風情報を生成する。具体的には、ユーザに提示する画像を図６に示した俯瞰視点の画像Ｄ３から、図７に示したオブジェクト視点の画像Ｄ４に切り替える場合に、俯瞰視点の移動速度の情報、オブジェクトの移動速度の情報、及び、図６に示す矢印Ｙ４の方向の風情報（自然風）に基づいて、オブジェクト視点による風情報を生成する。

【0127】

ステップＳ７８において風設定部２９は、風向が段階的または連続的に俯瞰視点からオブジェクト視点に切り替わるように、風情報を設定する。

【0128】

ファン制御部３０は、俯瞰視点の風向から段階的または連続的にオブジェクト視点の風向に切り替わるように、各ファン６の駆動を制御する。その結果、ユーザに対して俯瞰視点において知覚する風情報から、オブジェクト視点において知覚する風情報に、段階的または連続的に変化する風を発生することができる。

【0129】

ステップＳ７９において切替部２７は、俯瞰視点への切り替え操作があるか否かを判定する。切り替え操作がある場合には（Ｓ７９；ＹＥＳ）、ステップＳ８０に処理を進め、そうでなければ（Ｓ７９；ＮＯ）、ステップＳ８１に処理を進める。

【0130】

ステップＳ８１において表示制御部２８は、画像表示を終了するか否かを判定する。画像表示を終了する場合には（Ｓ８１；ＹＥＳ）、ステップＳ８３に処理を進め、そうでなければ（Ｓ８１；ＮＯ）、ステップＳ８２に処理を進める。

【0131】

ステップＳ８２において移動量算出部２３は、画像に含まれるオブジェクトの、フレームごとの移動量に基づいて、オブジェクトの移動速度を算出する。その後、ステップＳ７７に処理を戻す。

【0132】

ステップＳ８０において風設定部２９は、風向が段階的または連続的にオブジェクト視点から俯瞰視点に切り替わるように、風情報を設定する。その後、ステップＳ７１に処理を戻す。

【0133】

ステップＳ８３においてファン制御部３０は、各ファン６を停止させる。こうして、俯瞰視点、及びオブジェクト視点が共に移動している場合において、視点変更した場合に、ユーザが知覚する風を円滑に切り替えることができる。

【0134】

このように、本実施形態に係るコンテンツ再生装置１００では、移動量算出部２３により画像に含まれるオブジェクト（例えば、車両）の移動量を算出し、この移動量に基づいて風設定部２９がユーザに知覚させる風情報を設定する。ファン６（風発生部）は、設定した風情報に基づいて風を発生させる。従って、ユーザに対して画像に含まれるオブジェクトの移動に伴う風を知覚させることができ、ユーザに対して風情報を含めた三次元空間の臨場感を体感させることができる。

【0135】

本実施形態では、切替部２７により俯瞰視点（第１の視点）、及びオブジェクト視点（第２の視点）のいずれかに視点を切り替えることができる。風設定部２９は、ＨＭＤ５に俯瞰視点の画像が表示されている場合には、この俯瞰視点においてユーザが知覚する風情報（第１の風情報）を設定し、オブジェクト視点の画像が表示されている場合には、このオブジェクト視点においてユーザが知覚する風情報（第２の風情報）を設定する。

【0136】

従って、ユーザに対して視点に応じた風を知覚させることができ、ユーザが知覚する臨場感を高めることができる。例えばユーザ自身が鳥（オブジェクト）になった場合の視点の画像をＨＭＤ５に表示させ、ユーザはあたかも鳥が飛行しているときの風を体験することが可能になる。

【0137】

本実施形態では、風設定部２９は、ＨＭＤ５にオブジェクト視点（第２の視点）の画像が表示されている場合には、オブジェクトの移動量、及び俯瞰視点においてユーザが知覚する風情報（第１の風情報）に基づいて、オブジェクト視点においてユーザが知覚する風情報（第２の風情報）を設定する。例えば、自然風が発生している場合に、移動中のオブジェクト視点に切り替えたときに、風設定部２９はオブジェクトの移動により生じる風情報と、自然風による風情報を考慮してユーザに対して風を発生させる。このため、より臨場感の高い風情報をユーザに体感させることが可能になる。

【0138】

本実施形態では、俯瞰視点からオブジェクト視点に切り替える場合、及びオブジェクト視点から俯瞰視点に切り替える場合に、風設定部２９は、風情報が段階的または連続的に変化するように、ファン６（風発生部）の駆動を制御する。即ち、風発生部は、風情報を変更する際に、切替前の風情報から切替後の風情報に段階的または連続的に変更させて風または疑似的な風を発生する。従って、ユーザは視点切り替え時において段階的または連続的に風向の変化を体感することができ、ユーザの三次元酔いを軽減することが可能になる。

【0139】

本実施形態では、音声認識部２６を備えており、マイク４において例えば「鳥になりたい」、「良い景色」などの文言を発話することにより、切替部27は俯瞰視点（第１の視点）における風情報（第１の風情報）、或いはオブジェクト視点（第２の視点）における風情報（第２の風情報）に切り替える。従って、ユーザの擬音、感想を発話するという簡単な操作で視点を変更し、且つ風向、風速を変更することが可能になる。

【0140】

本実施形態では、切替部２７は画像に含まれるオブジェクトの発言内容に応じて、視点を切り替える。切替部２７は画像に含まれるオブジェクトの発言内容に応じて、風情報を切り替える。従って、例えば図４に示した人物Ｈ１（オブジェクト）が「涼しい」と発言した場合には、切替部２７は俯瞰視点の画像からオブジェクト視点の画像に切り替える。更に、切替部２７は俯瞰視点の風情報からオブジェクト視点の風情報に切り替える。このため、ユーザはあたかも人物Ｈ１が見る風景、及び人物Ｈ１が受ける風を体感することが可能になる。

【0141】

本実施形態では、表示制御部２８は、俯瞰視点（第１の視点）からオブジェクト視点（第２の視点）へ切り替える際には、俯瞰視点の風情報（第１の風情報）からオブジェクト視点の風情報（第２の風情報）に切り替えた後、オブジェクト視点の画像に代えて、オブジェクトが映っていない画像を提示する。このため、ユーザに違和感を感じさせることなく画像を切り替えることが可能になる。

【0142】

本実施形態では、切替部２７は、第１の視点、第２の視点を切り替える画像切替信号と同時に、第１の風情報及び第２の風情報を切り替える風切替信号を出力する。従って、ユーザが視認する画像と、ユーザが知覚する風をリンクさせることが可能になる。

【0143】

なお、上述した実施形態では、ＶＲ（仮想現実）を例に挙げて説明したが、本開示はＡＲ（拡張現実）、ＭＲ（複合現実）、及び現実と仮想情報との融合（ＸＲ）に適用することが可能である。

【0144】

以上、本開示の実施形態を記載したが、この開示の一部をなす論述及び図面はこの開示を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

【符号の説明】

【0145】

１ 記憶装置
２ 情報処理部
４ マイク
５ ＨＭＤ（画像提示部）
６（６-1～６-n） ファン（風発生部）
１１ コンテンツ記憶部
１２ 風データベース
２１ 情報取得部
２２ オブジェクト抽出部
２３ 移動量算出部
２４ 風情報取得部
２５ 入力部
２６ 音声認識部
２７ 切替部
２８ 表示制御部
２９ 風設定部
３０ ファン制御部
１００ コンテンツ再生装置

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図10C】

【図10D】