特許 6473872 映像構築装置、擬似視覚体験システム、および映像構築プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6473872

(24)【登録日】2019年2月8日

(45)【発行日】2019年2月27日

(54)【発明の名称】映像構築装置、擬似視覚体験システム、および映像構築プログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20190218BHJP

【ＦＩ】

   G06T19/00 300B

   G06T19/00 600

【請求項の数】9

【全頁数】21

(21)【出願番号】特願2015-152945(P2015-152945)

(22)【出願日】2015年7月31日

(65)【公開番号】特開2017-33312(P2017-33312A)

(43)【公開日】2017年2月9日

【審査請求日】2018年3月16日

【早期審査対象出願】

(73)【特許権者】

【識別番号】510108951

【氏名又は名称】公立大学法人広島市立大学

(73)【特許権者】

【識別番号】511280250

【氏名又は名称】デジタルソリューション株式会社

(73)【特許権者】

【識別番号】592017002

【氏名又は名称】三建産業株式会社

(74)【代理人】

【識別番号】110000338

【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】岡本 勝

(72)【発明者】

【氏名】河村 修次

(72)【発明者】

【氏名】高下 和浩

(72)【発明者】

【氏名】橋詰 公太

(72)【発明者】

【氏名】岸村 司

【審査官】 村松 貴士

(56)【参考文献】

【文献】 特開平０７−０７３３３８（ＪＰ，Ａ）

【文献】 特開２００７−１２８４９４（ＪＰ，Ａ）

【文献】 特開平１０−０１９９１９（ＪＰ，Ａ）

【文献】 特開２００７−３１０５２８（ＪＰ，Ａ）

【文献】 特開平１１−１７５７４８（ＪＰ，Ａ）

【文献】 特開２００７−０６４６８４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １３／００ − １３／８０

Ｇ０６Ｔ １９／００ − １９／２０

Ｇ０６Ｆ １７／５０

(57)【特許請求の範囲】

【請求項1】

頭部装着ディスプレイに出力する３次元映像を構築する映像構築装置であって、
仮想空間または拡張現実空間における構造物の内部の閉じた空間である閉空間を表示する閉空間映像を生成する閉空間映像生成部と、
上記閉空間内における座標に対応付けて設定される特定の物理現象に基づく物理量の流れを示す複数の物理流関連データを算出する演算部と、
算出された複数の物理流関連データの中から特定の物理流関連データを選択し、選択した物理流関連データを視覚的に表示する流れ画像を生成する流れ画像生成部と、
上記閉空間映像と上記流れ画像とを合成することで３次元映像を構築する画像合成部と、を備え、
上記流れ画像生成部は、
上記閉空間を複数のセル空間に分割し、各セル空間の中心に最も近い位置に対応付けて設定された物理量の流れを示す物理流関連データを選択し、それ以外の位置に対応付けて設定された物理量の流れを示す物理流関連データを除外して、上記流れ画像を生成することを特徴とする映像構築装置。

【請求項2】

上記流れ画像生成部は、
上記閉空間内の一部の領域を、上記物理流関連データを表示する領域である興味領域として設定し、上記興味領域と交差する上記セル空間に対応付けられた物理流関連データを選択し、上記興味領域と交差しない上記セル空間に対応付けられた物理流関連データを除外して、上記流れ画像を生成することを特徴とする請求項１に記載の映像構築装置。

【請求項3】

上記画像合成部は、
上記構造物の全体を外部から俯瞰する３次元映像を構築することが可能になっていることを特徴とする請求項１または２に記載の映像構築装置。

【請求項4】

上記画像合成部は、
上記構造物の外面の一部をカリングすることで上記外面の一部を透視可能とした３次元映像を構築することが可能になっていることを特徴とする請求項１から３までの何れか１項に記載の映像構築装置。

【請求項5】

上記画像合成部は、
上記仮想空間における上記構造物の背景画像を、晴天に雲が点在する天空を示す天空画像とした３次元映像を構築することが可能になっていることを特徴とする請求項１から４までの何れか１項に記載の映像構築装置。

【請求項6】

上記画像合成部は、
実空間に設置される現物のマーカーに対応する仮想マーカー画像を生成し、上記拡張現実空間における上記マーカーが設置された位置に対応する位置に上記仮想マーカー画像が表示されるようにした３次元映像を構築することが可能になっていることを特徴とする請求項１から５までの何れか１項に記載の映像構築装置。

【請求項7】

請求項１から６までの何れか１項に記載の映像構築装置と、
上記頭部装着ディスプレイと、を備えていることを特徴とする擬似視覚体験システム。

【請求項8】

上記頭部装着ディスプレイに出力される３次元映像は、上記仮想空間において視点を旋回させる旋回操作が可能となっており、上記旋回操作は、上記仮想空間における上下方向を回転軸の方向とする旋回操作に限定されていることを特徴とする請求項７に記載の擬似視覚体験システム。

【請求項9】

請求項１に記載の映像構築装置としてコンピュータを機能させるための映像構築プログラムであって、上記閉空間映像生成部、上記演算部、上記流れ画像生成部および上記画像合成部としてコンピュータを機能させるための映像構築プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、頭部装着ディスプレイに出力する３次元（３Ｄ）映像を構築する映像構築装置などに関する。

【背景技術】

【0002】

頭部に装着するディスプレイ装置として頭部装着ディスプレイ（ヘッドマウントディスプレイ；以下、ＨＭＤと略称する）が知られている。ＨＭＤは、左右の目に違う映像を映し出すことも可能であるため、左右の映像を微妙に変えることにより３Ｄ映像を構築することができる。ＨＭＤに映し出される映像には、２種類が存在し、映し出される映像のすべてがコンピュータグラフィックス（以下、ＣＧと略称する）で構成されるバーチャルリアリティ（Virtual Reality；以下、ＶＲと略称する）映像と、ＨＭＤに映し出される映像の一部が、ビデオカメラで撮像される実空間映像で構成され、残りの一部が、ＣＧで構成される拡張現実（Augmented Reality；以下、ＡＲと略称する）映像である。

【0003】

例えば、特許文献１には、ＡＲ映像に関する技術が開示されている。特許文献１に開示された技術では、実空間映像と、仮想空間画像とを合成表示することにより、仮想世界をより現実世界に近づけることを可能にしている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平６−１７６１３１号公報（１９９４年６月２４日公開）

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、本発明者らの調査によれば、本願の出願時点において、上記特許文献１に開示された技術を含め、従来のＨＭＤに関する技術では、仮想空間または拡張現実空間における構造物の閉空間の内部において、特定の物理現象に基づく物理量の流れを視覚的に体験できるようにするという観点については全く考慮されていないことが判明した。

【0006】

本発明は、上記問題点に鑑みてなされたものであり、その目的は、仮想空間または拡張現実空間における構造物の閉空間の内部において、特定の物理現象に基づく物理量の流れを視覚的に体験できるようにすることができる映像構築装置などを提供することにある。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、本発明の一態様に係る映像構築装置は、頭部装着ディスプレイに出力する３次元映像を構築する映像構築装置であって、仮想空間または拡張現実空間における構造物の内部の閉じた空間である閉空間を表示する閉空間映像を生成する閉空間映像生成部と、上記閉空間内における座標に対応付けて設定される特定の物理現象に基づく物理量の流れを示す複数の物理流関連データを算出する演算部と、算出された複数の物理流関連データの中から特定の物理流関連データを選択し、選択した物理流関連データを視覚的に表示する流れ画像を生成する流れ画像生成部と、上記閉空間映像と上記流れ画像とを合成することで３次元映像を構築する画像合成部と、を備えたことを特徴としている。

【0008】

上記構成によれば、仮想空間または拡張現実空間における構造物の内部の閉じた空間である閉空間を表示する閉空間映像と、物理流関連データを視覚的に表示する流れ画像と、が合成された３次元映像を構築することができる。このため、上記構成によれば、仮想空間または拡張現実空間における構造物の閉空間の内部において、特定の物理現象に基づく物理量の流れを視覚的に体験できるようにすることができる。なお、「物理流関連データ」の例としては、例えば、特定の物理現象に基づく物理量の流れを示す流線データまたはベクトルデータを例示することができる。

【0009】

本発明の一態様に係る映像構築装置は、上記流れ画像生成部は、上記閉空間を複数のセル空間に分割し、各セル空間の中心に最も近い位置に対応付けて設定された物理量の流れを示す物理流関連データを選択し、それ以外の位置に対応付けて設定された物理量の流れを示す物理流関連データを除外して、上記流れ画像を生成することが好ましい。上記構成によれば、各セル空間の中心に最も近い位置以外の位置に対応付けて設定された物理量の流れを示す物理流関連データが除外されるため、物理流関連データが密に表示され過ぎることを抑制することができる。

【0010】

本発明の一態様に係る映像構築装置は、上記流れ画像生成部は、上記閉空間内の一部の領域を、上記物理流関連データを表示する領域である興味領域として設定し、上記興味領域と交差する上記セル空間に対応付けられた物理流関連データを選択し、上記興味領域と交差しない上記セル空間に対応付けられた物理流関連データを除外して、上記流れ画像を生成することが好ましい。上記構成によれば、興味領域と交差しないセル空間に対応付けられた物理流関連データが除外されるため、物理流関連データが密に表示され過ぎることを抑制することができる。

【0011】

本発明の一態様に係る映像構築装置は、上記画像合成部が、上記構造物の全体を外部から俯瞰する３次元映像を構築することが可能になっていても良い。上記構成によれば、閉空間の内部において、現在の視点の位置が分からなくなった場合に、構造物の全体を外部から俯瞰することで、現在の視点の位置を再認識させることが可能になる。

【0012】

本発明の一態様に係る映像構築装置は、上記画像合成部が、上記構造物の外面の一部をカリングすることで上記外面の一部を透視可能とした３次元映像を構築することが可能になっていても良い。上記構成によれば、閉空間の内部の様子を構造物の外面の一部を透視して外部から視覚することが可能になる。

【0013】

本発明の一態様に係る映像構築装置は、上記画像合成部が、上記仮想空間における上記構造物の背景画像を、晴天に雲が点在する天空を示す天空画像とした３次元映像を構築することが可能になっていても良い。上記構成によれば、点在する雲との相対的な位置関係の変化により、視点を移動させたときの構造物の奥行き感や構造物の移動量などを体感し易くすることができる。

【0014】

本発明の一態様に係る映像構築装置は、上記画像合成部が、実空間に設置される現物のマーカーに対応する仮想マーカー画像を生成し、上記拡張現実空間における上記マーカーが設置された位置と対応する位置に上記仮想マーカー画像が表示されるようにした３次元映像を構築することが可能になっていても良い。上記構成によれば、拡張現実空間におけるマーカーの設置位置と、仮想マーカー画像の表示位置と、を比較することで、拡張現実空間に重畳表示されるＣＧオブジェクトの位置が正しく表示されているか否かを確認することが可能になる。

【0015】

本発明の一態様に係る擬似視覚体験システムは、上記の何れかの映像構築装置と、上記頭部装着ディスプレイと、を備えていることが好ましい。上記構成によれば、仮想空間または拡張現実空間における構造物の閉空間の内部において、特定の物理現象に基づく物理量の流れを視覚的に体験できるようにすることができる擬似視覚体験システムを実現できる。

【0016】

本発明の一態様に係る擬似視覚体験システムは、上記頭部装着ディスプレイに出力される３次元映像は、上記仮想空間において視点を旋回させる旋回操作が可能となっており、上記旋回操作は、上記仮想空間における上下方向を回転軸の方向とする旋回操作に限定されていても良い。上記構成によれば、３つの回転軸に基づいて旋回する自由回転と比較してユーザが元の位置に戻り易くなる。

【0017】

本発明の各態様に係る映像構築装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記映像構築装置が備える各部（ソフトウェア要素）として動作させることにより上記映像構築装置をコンピュータにて実現させる映像構築プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

【発明の効果】

【0018】

本発明の一態様によれば、仮想空間または拡張現実空間における構造物の閉空間の内部において、特定の物理現象に基づく物理量の流れを視覚的に体験できるようにすることができるという効果を奏する。

【図面の簡単な説明】

【0019】

【図1】本発明の実施の一形態に係る擬似視覚体験システムの全体構成を示すブロック図である。

【図2】上記擬似視覚体験システムの基本動作の流れを示すフローチャートである。

【図3】上記擬似視覚体験システムの間引き動作の流れを示すフローチャートである。

【図4】（ａ）〜（ｅ）は、それぞれ、上記擬似視覚体験システムが備えるＨＭＤを頭部に装着して頭部を様々な方向に動かしたときに表示される流線データの例を示す図である。

【図5】（ａ）は、場面構築パラメータ（シーンパラメータ）を作成、設定する画面の例を示す図であり、（ｂ）は、場面構築パラメータに関するＸＭＬファイルの一部を抜粋したデータの例を示す図である。

【図6】（ａ）は、起動処理フローの流れを示すフローチャートであり、（ｂ）は、シーングラフ構築フローの流れを示すフローチャートである。

【図7】（ａ）は、ベクトルデータ構築フローの流れを示すフローチャートであり、（ｂ）は、ＶＲ映像の頭部位置姿勢情報更新フローの流れを示すフローチャートである。

【図8】ＡＲ映像の頭部位置姿勢情報更新フローの流れを示すフローチャートである。

【図9】レンダリングループフローの流れを示すフローチャートである。

【図10】（ａ）は、シーンレンダリングフローの流れを示すフローチャートであり、（ｂ）は、背景画像に天空画像を設定した場合の視点の移動前の状態を示す図であり、（ｃ）は、背景画像に天空画像を設定した場合の視点の移動後の状態を示す図であり、（ｄ）は、背景画像が無地（背景画像なし）の場合の視点の移動前の状態を示す図であり、（ｅ）は、背景画像が無地（背景画像なし）の場合の視点の移動後の状態を示す図である。

【図11】（ａ）は、ＶＲ映像での外形（構造物の外面）に係るレンダリングフローの流れを示すフローチャートであり、（ｂ）は、カリング前の３次元映像の様子を示す図であり、（ｃ）は、カリング後の３次元映像の様子を示す図である。

【図12】（ａ）は、ＡＲ映像での外形（構造物の外面）に係るレンダリングフローの流れを示すフローチャートであり、（ｂ）は、ワイヤーフレーム画像（仮想マーカー画像）を表示していない場合における現物のマーカー付近の映像の例を示し、（ｃ）は、ワイヤーフレーム画像を表示した場合における現物のマーカー付近の映像の例を示す。

【図13】（ａ）は、流線図シーンのレンダリングフローの流れを示すフローチャートであり、（ｂ）は、コンター図シーンのレンダリングフローの流れを示すフローチャートであり、（ｃ）は、ベクトル図シーンのレンダリングフローの流れを示すフローチャートである。

【図14】（ａ）ベクトルデータレンダリングフローの流れを示すフローチャートであり、（ｂ）は、興味領域の設定方法の例を示す図である。

【図15】視点位置操作受付フローの流れを示すフローチャートである。

【図16】（ａ）は、俯瞰操作入力受付フローの流れを示すフローチャートであり、（ｂ）は、通常モードにおける３次元映像の表示例を示す図であり、（ｃ）は、俯瞰モードにおける３次元映像の表示例を示す図である。

【発明を実施するための形態】

【0020】

本発明の実施の形態について図１〜図１６に基づいて説明すれば、次の通りである。以下、説明の便宜上、特定の項目にて説明した構成と同一の機能を有する構成については、同一の符号を付記し、その説明を省略する場合がある。

【0021】

〔擬似視覚体験システム〕
図１に基づき、本発明の実施の一形態に係る擬似視覚体験システム１０の構成について説明する。図１は、擬似視覚体験システム１０の全体構成を示すブロック図である。同図に示すように、擬似視覚体験システム１０は、ＨＭＤ１（ヘッドマウントディスプレイ；頭部装着ディスプレイ）、ＰＣ２（パーソナルコンピュータ；映像構築装置）、および入力インターフェース３を備える。

【0022】

（ＨＭＤ１）
ＨＭＤ１は、頭部位置姿勢センサー１１、およびカメラ１２を備えた頭部装着ディスプレイ（ヘッドマウントディスプレイ）である。ＨＭＤ１を頭部に装着したユーザは、ＶＲ空間またはＡＲ空間における構造物の内部の閉じた空間である閉空間を表示する閉空間映像と、特定の物理現象に基づく物理量の流れを示す物理流関連データを視覚的に表示する流れ画像と、が合成された３次元映像（ＶＲ映像またはＡＲ映像）を視覚することができるようになっている。ここで、「物理流関連データ」の例としては、例えば、特定の物理現象に基づく物理量の流れを示す流線データまたはベクトルデータを例示することができる。また、ＶＲ空間（仮想空間）とは、コンピュータネットワーク上の仮想的な空間やコンピュータが作り出した環境のことであり、すべての対象がコンピュータグラフィクスなどで構成される空間のことである。ＡＲ空間（拡張現実空間）とは、ユーザが直接知覚できる現実世界の対象物に対して、コンピュータがさらに情報を付加・提示して構成される環境のことであり、現実世界を撮像した撮像映像と、コンピュータグラフィクスなどとの組合せで構成される空間のことである。

【0023】

ここで、構造物の具体例としては、熱処理炉などの工業炉や、冷蔵倉庫、工場、住居などエアコンが設置された建築物などを例示することができる。閉空間の例としては、熱処理炉などの工業炉の内部の空間や、冷蔵倉庫、工場、住居などエアコンが設置された建築物などの内部の空間を例示することができる。

【0024】

なお、閉空間とは、完全に外部と遮断された空間に限らない。実際の構造物、建築物における空間では、窓、換気口、出入りのための開閉部分（住居ではドア）など外部と連通する部分が存在することが多い。このような空間においても、その空間を構成する領域の表面積に対して開口部分が極小であれば、流体解析にほとんど影響せず、実質的に閉空間とみなすことができ、本発明が適用できる。

【0025】

また、構造物が熱処理炉などの工業炉の場合、特定の物理現象に基づく物理量の流れとしては、例えば、熱処理炉などの工業炉の内部にて対流する空気流を例示することができる。また、構造物が、エアコンが設置された建築物の場合、特定の物理現象に基づく物理量の流れとしては、エアコンからの風の流れを例示することができる。

【0026】

頭部位置姿勢センサー１１は、赤外線センサーおよびジャイロコンパスなどで構成することができ、ＨＭＤ１を頭部に装着して、頭を様々な方向に動かしたときの頭部位置および姿勢の変化を検出する。

【0027】

カメラ１２は、ユーザが現実世界を視覚している状況に対応したカメラ映像（撮像映像）を取得するために設けられており、カメラ１２が取得したカメラ映像を用いてＡＲ映像（３次元映像）が生成される。

【0028】

（ＰＣ２）
ＰＣ２は、表示情報変更部２１、データベース２２（記憶部）、マーカー認識部２３、３Ｄ映像構築部２４、および表示コントローラ２５を備えたパーソナルコンピュータである。

【0029】

表示情報変更部２１は、入力インターフェース３を介したユーザの入力操作により、ＨＭＤ１に出力される３次元映像の表示情報を変更するものである。表示情報変更部２１は、例えば、３次元映像としてＶＲ映像およびＡＲ映像の何れかを選択したり、後述するシーンパラメータ（場面構築パラメータ；例えば、表示ベクトル数など）の値を変更したりするなどの処理を実行する。表示情報変更部２１による表示情報の変更結果は、３Ｄ映像構築部２４に通知される。

【0030】

データベース２２（記憶部）には、シーンパラメータの値や、流体解析の結果などの特定の物理現象に基づく物理量の解析結果などが格納されている。なお、特定の物理現象に基づく物理量は、上述した閉空間に設定される座標に対応付けて記憶されている。

【0031】

マーカー認識部２３は、カメラ１２による撮像映像の中から予め決定されたマーカー（例えば、２次元バーコード）を認識する。マーカー認識部２３によるマーカーの認識結果は、３Ｄ映像構築部２４に通知される。後述する３Ｄ映像構築部２４のマーカー情報特定部２４３は、撮像映像の中でのマーカーの位置を特定するとともに、マーカーのパターンを識別し、画像合成部２４８は、このパターンに対応付けられたＣＧオブジェクト（例えば、後述する仮想マーカ画像）を、撮像映像中のマーカーの位置に重畳して表示する３次元映像を構築する。

【0032】

３Ｄ映像構築部２４は、主として、ＶＲ空間またはＡＲ空間における構造物の閉空間を表示する閉空間映像と、特定の物理現象に基づく物理量の流れを示す物理流関連データを視覚的に表示する流れ画像と、が合成された３次元映像を構築する処理を実行する。

【0033】

３Ｄ映像構築部２４は、頭部位置姿勢特定部２４１、カメラ映像取得部２４２、マーカー情報特定部２４３、閉空間映像生成部２４５、演算部２４６、流れ画像生成部２４７、画像合成部２４８、および表示モード切替部２４９を備える。

【0034】

頭部位置姿勢特定部２４１は、頭部位置姿勢センサー１１の検出結果をもとに、ＨＭＤ１を装着したユーザの頭部位置・姿勢を特定する処理を実行するものである。カメラ映像取得部２４２は、カメラ１２が撮影した撮像映像を取得する処理を実行するものである。撮像映像は、ＡＲ映像の３次元映像を構築するために使用される。

【0035】

マーカー情報特定部２４３は、撮像映像の中でのマーカーの位置を特定するとともに、マーカーのパターンを識別する処理を実行する。閉空間映像生成部２４５は、ＶＲ空間またはＡＲ空間における構造物の閉空間を表示する閉空間映像を生成する処理を実行する。

【0036】

演算部２４６は、データベース２２に格納されている流体解析の結果などの特定の物理現象に基づく物理量の解析結果などに基づき、閉空間内における座標に対応付けて設定される特定の物理現象に基づく物理量の流れを示す複数の物理流関連データを算出する処理を実行する。流れ画像生成部２４７は、算出された複数の物理流関連データの中から特定の物理流関連データを選択し、選択した物理流関連データを視覚的に表示する流れ画像を生成する処理を実行する。

【0037】

また、流れ画像生成部２４７は、上記閉空間を複数のセル空間に分割し、各セル空間の中心に最も近い位置に対応付けて設定された物理量の流れを示す物理流関連データを選択し、それ以外の位置に対応付けて設定された物理量の流れを示す物理流関連データを除外して（間引いて）、上記流れ画像を生成する処理を実行する。これにより、各セル空間の中心に最も近い位置以外の位置に対応付けて設定された物理量の流れを示す物理流関連データが除外されるため（間引かれるため）、物理流関連データが密に表示され過ぎることを抑制することができる。

【0038】

また、流れ画像生成部２４７は、上記閉空間内の一部の領域を、上記物理流関連データを表示する領域である興味領域として設定し、上記興味領域と交差する上記セル空間に対応付けられた物理流関連データを選択し、上記興味領域と交差しない上記セル空間に対応付けられた物理流関連データを除外して（間引いて）、上記流れ画像を生成する処理を実行する。これにより、興味領域と交差しないセル空間に対応付けられた物理流関連データが除外されるため（間引かれるため）、物理流関連データが密に表示され過ぎることを抑制することができる。

【0039】

画像合成部２４８は、上記閉空間映像と上記流れ画像とを合成することで３次元映像を構築する処理を実行する。また、画像合成部２４８は、上記構造物の全体を外部から俯瞰する３次元映像を構築する処理を実行しても良い。これにより、閉空間の内部において、現在の視点の位置が分からなくなった場合に、構造物の全体を外部から俯瞰することで、現在の視点の位置を再認識させることが可能になる。

【0040】

また、画像合成部２４８は、上記構造物の外面の一部をカリングすることで上記外面の一部を透視可能とした３次元映像を構築する処理を実行する。カリングとは描画するときに裏表描画しないように片方の面を描画しない処理のことである。具体的には、構造物の外面の法線に基づき、表面（または前面）および裏面を特定し、表面をカリングして裏面（閉空間の内部）だけを表示する。これにより、閉空間の内部の様子を構造物の外面の一部を透視して外部から視覚することが可能になる。

【0041】

また、画像合成部２４８は、ＶＲ空間における構造物の背景画像を、晴天に雲が点在する天空を示す天空画像（Skybox画像）とした３次元映像を構築する処理を実行しても良い。これにより、点在する雲との相対的な位置関係の変化により、視点を移動させたときの構造物の奥行き感や構造物の移動量などを体感し易くすることができる。

【0042】

また、画像合成部２４８は、実空間に設置される現物のマーカーに対応する仮想マーカー画像（例えば、ワイヤーフレーム画像）を生成し、ＡＲ空間におけるマーカーが設置された位置と対応する位置に上記仮想マーカー画像が表示されるようにした３次元映像を構築する処理を実行しても良い。これにより、ＡＲ空間における現物のマーカーの設置位置と、仮想マーカー画像の表示位置と、を比較することで、ＡＲ空間に重畳表示されるＣＧオブジェクトの位置が正しく表示されているか否かを確認することが可能になる。

【0043】

表示モード切替部２４９は、入力インターフェース３を介したユーザの入力操作に基づき、構築される３次元映像の表示モードを様々なモードに切り替える処理を実行するものである。表示モードの具体例としては、カメラを大きく引いて（ズームアウト処理して）、構造物の全体を外部から俯瞰できる３次元映像を構築する俯瞰モードや、構造物の外面の一部をカリングすることで上記外面の一部を透視可能とした３次元映像を構築するカリングモードや、ＶＲ空間における構造物の背景画像を、天空画像（Skybox画像）とした３次元映像を構築するSkyboxモードなどを例示することができる。

【0044】

以上のように擬似視覚体験システム１０（またはＰＣ２）によれば、ＶＲ空間またはＡＲ空間における構造物の閉空間を表示する閉空間映像と、物理流関連データを視覚的に表示する流れ画像と、が合成された３次元映像を構築することができる。このため、ＶＲ空間またはＡＲ空間における構造物の閉空間の内部において、特定の物理現象に基づく物理量の流れを視覚的に体験できるようにすることができる。

【0045】

〔擬似視覚体験システムの基本動作〕
次に、図２に基づき、擬似視覚体験システム１０の基本動作について説明する。図２は、擬似視覚体験システム１０の基本動作の流れを示すフローチャートである。

【0046】

ステップＳ（以下、「ステップ」を省略する）１０１では、後述するシーンパラメータ設定画面（図５の（ａ）参照）を見ながらユーザが入力インターフェース３を介してシーンパラメータの設定を変更するか否かを決定し、設定変更ありの場合（ＹＥＳ）は、Ｓ１０２に進む。一方、設定変更なしの場合（ＮＯ）は、Ｓ１０３に進む。

【0047】

Ｓ１０３では、ユーザが入力インターフェース３を介してＶＲコンテンツ（ＶＲ映像）またはＡＲコンテンツ（ＡＲ映像）の何れの３次元映像を視覚するかを決定して選択する。その結果、ＶＲコンテンツが選択された場合（ＹＥＳ）は、表示情報変更部２１のＶＲ／ＡＲ選択部２１１が、ＶＲコンテンツが選択された旨を３Ｄ映像構築部２４に通知して、Ｓ１０４に進む。一方、ＡＲコンテンツが選択された場合（ＮＯ）は、表示情報変更部２１のＶＲ／ＡＲ選択部２１１が、ＡＲコンテンツが選択された旨を３Ｄ映像構築部２４に通知して、Ｓ１０８に進む。

【0048】

Ｓ１０２では、表示情報変更部２１の設定情報変更部２１２が、シーンパラメータの設定をユーザの指示に従って変更し、変更結果を３Ｄ映像構築部２４に通知して、Ｓ１０３に進む。Ｓ１０４では、頭部位置姿勢特定部２４１が、頭部位置姿勢センサー１１の検出結果に基づき、頭部位置・姿勢を特定し、特定結果を画像合成部２４８に通知して、Ｓ１０５に進む。

【0049】

Ｓ１０５では、画像合成部２４８が、特定された頭部位置・姿勢に応じて３次元映像を構築し、構築した３次元映像を表示コントローラ２５に渡して、Ｓ１０６に進む。なお、ここで、上記では説明しなかった、画像合成部２４８が３次元映像を構築するまでの特徴的な動作を説明する。まず、閉空間映像生成部２４５が上述した閉空間映像を生成する。次に、演算部２４６が、データベース２２に格納されたシーパラメータおよび流体解析の解析結果などに基づいて、閉空間内における座標に対応付けて設定される特定の物理現象に基づく物理量の流れを示す複数の流線データまたはベクトルデータを算出する。次に、流れ画像生成部２４７が、算出された複数の流線データまたはベクトルデータの中から選択した流線データまたはベクトルデータを視覚的に表示する流れ画像を生成する。次に、画像合成部２４８は、上記閉空間映像と、上記流れ画像と、を合成して３次元映像を構築する。

【0050】

次に、Ｓ１０６では、表示コントローラ２５が、受け取った３次元映像をＨＭＤ１に出力してＳ１０７に進む。Ｓ１０７で動作を終了させる場合（ＹＥＳ）は、終了に進む。一方、動作を終了させない場合（ＮＯ）は、Ｓ１０１に戻る。

【0051】

次に、Ｓ１０８では、カメラ映像取得部２４２が、カメラ１２が撮影した撮像映像を取得し、撮像映像の中にマーカーが存在しているか否かを確認し、Ｓ１０９に進む。Ｓ１０９では、撮像映像の中にマーカーが存在している場合（ＹＥＳ）は、Ｓ１１０に進む。一方、撮像映像の中にマーカーが存在していない場合（ＮＯ）は、Ｓ１１１に進む。

【0052】

Ｓ１１０では、マーカー情報特定部２４３が、マーカー情報を特定し、すなわち撮像映像の中でのマーカーの位置を特定するとともに、マーカーのパターンを識別する処理を実行し、Ｓ１１２に進む。

【0053】

Ｓ１１１では、頭部位置姿勢特定部２４１が、頭部位置姿勢センサー１１の検出結果に基づき、頭部位置・姿勢を特定し、特定結果を画像合成部２４８に通知して、Ｓ１１２に進む。Ｓ１１２では、Ｓ１１０で、マーカー情報が特定されている場合は、画像合成部２４８は、撮像映像の中のマーカーの位置を調整して撮像映像を合成し、３次元映像を構築して、Ｓ１０６に進む。一方、Ｓ１１２では、Ｓ１１１で頭部位置・姿勢を特定した場合は、画像合成部２４８は、頭部位置・姿勢に応じて撮像映像を合成し、３次元映像を構築して、Ｓ１０６に進む。

【0054】

〔間引き動作について〕
次に、図３に基づき、間引き動作について説明する。図３は、間引き動作の流れを示すフローチャートである。Ｓ２０１では、流れ画像生成部２４７は、閉空間を複数のセル空間に分割して、Ｓ２０３に進む。Ｓ２０２からＳ２０８までの間の動作は、分割したセル空間ごとに実施される。Ｓ２０３では、流れ画像生成部２４７が、セル空間の中心点を算出し、Ｓ２０５に進む。

【0055】

Ｓ２０４からＳ２０６までの間の動作は、セル空間内のベクトルデータ（または流線データ）ごとに実施される。Ｓ２０５では、流れ画像生成部２４７が、ベクトルデータとセル空間の中心点との距離を算出し、Ｓ２０７に進む。

【0056】

Ｓ２０７では、流れ画像生成部２４７は、セル空間の中心点から最も近いベクトルデータ（または流線データ）を選択し、それ以外の位置に対応付けて設定された物理量の流れを示す流線データまたはベクトルデータを除外して（間引いて）、上記流れ画像〔セル空間の中心点から最も近いベクトルデータ（または流線データ）のみを表示〕を生成する。

【0057】

〔ＨＭＤ１装着時にユーザが視覚する流線データの例〕
次に、図４に基づき、ＨＭＤ１装着時にユーザが視覚する流線データの例について説明する。図４の（ａ）〜図４の（ｅ）は、それぞれ、ＨＭＤ１を頭部に装着して頭部を様々な方向に動かしたときに表示される流線データの例を示す図である。これらの図では、熱処理炉の内部にて対流する空気流を視覚的に表示した流線形状を流線データとして表示している。例えば、図４の（ａ）は、ＨＭＤ１を頭部に装着した状態で、上方向を見上げたときに、ユーザが視覚する流線データの例である。次に、図４の（ｂ）は、ＨＭＤ１を頭部に装着した状態で、左方向に頭を旋回させたときにユーザが視覚する流線データの例である。図４の（ｃ）は、ＨＭＤ１を頭部に装着した状態で顔を正面に向けたときにユーザが視覚する流線データの例である。図４の（ｄ）は、ＨＭＤ１を頭部に装着した状態で、右方向に頭を旋回させたときにユーザが視覚する流線データの例である。図４の（ｅ）は、ＨＭＤ１を頭部に装着した状態で、下方向を見下ろしたときに、ユーザが視覚する流線データの例である。

【0058】

〔シーンパラメータについて〕
次に、図５に基づき、シーンパラメータ（場面構築パラメータ）について説明する。図５の（ａ）は、シーンパラメータを作成、設定する画面の例を示す図である。シーンパラメータは、上述した流れ画像を生成するためのパラメータである。例えば、図５の（ａ）に示す、「データ設定 スケール１」、「外形設定 ＳＴＬファイル」、「流線設定 ＣＳＶファイル 表示ベクトル数 Ｘ：２０・・・・」、「色設定 グラデーション２０」などは、シーンパラメータの例である。図５の（ｂ）は、シーンパラメータに関するＸＭＬファイルの一部を抜粋したデータの例を示す図である。

【0059】

〔起動処理のフローおよびシーングラフ構築フロー〕
次に、ＰＣ２に関し、図６に基づき、起動処理のフローおよびシーングラフ構築フローについて説明する。図６の（ａ）は、起動処理フローの流れを示すフローチャートである。

【0060】

図６の（ａ）に示すＳ３０１では、流れ画像生成部２４７がデータベース２２からシーンパラメータを読み込んで、Ｓ３０２に進む。次に、Ｓ３０２では、データベース２２から流体解析などの解析結果を読み込んで、Ｓ３０３に進む。次に、Ｓ３０３では、後述するシーングラフ構築フローを実行し、Ｓ３０４〜Ｓ３０６に進む。Ｓ３０４では、トラッキングループが開始される。Ｓ３０５では、レンダリングループが開始される。Ｓ３０６では、入力操作受付ループが開始される。ここで、レンダリングとは、画像や画面の内容を指示するデータの集まり（数値や数式のパラメータ、描画ルールを記述したものなど）をコンピュータプログラムで処理して、具体的な画素の集合を得ることである。

【0061】

次に、図６の（ｂ）は、シーングラフ構築フローの流れを示すフローチャートである。図６の（ｂ）に示すＳ４０１では、流れ画像生成部２４７は、流線図シーン（流線データの表示）を構築して、Ｓ４０２に進む。次に、Ｓ４０２では、流れ画像生成部２４７は、コンター図シーン（輪郭線の表示）を構築して、Ｓ４０３に進む。ここで、コンター図シーンのコンター（輪郭線）とは、等値線の間の帯ごとに段階的に色彩表示したもののことである。

【0062】

次に、Ｓ４０３では、流れ画像生成部２４７は、ベクトル図シーン（ベクトルデータの表示）を構成する。

【0063】

〔ベクトルデータ構築フロー〕
次に、図７の（ａ）に基づき、ベクトルデータ構築フローについて説明する。図７の（ａ）は、ベクトルデータ構築フローの流れを示すフローチャートである。図７の（ａ）に示すＳ５０１では、流れ画像生成部２４７は、データベース２２から流体解析などの解析結果のレコードを読み込んで、Ｓ５０２に進む。Ｓ５０２では、流れ画像生成部２４７は、シーンパラメータから空間分割数を取得してＳ５０３に進む。Ｓ５０３では、流れ画像生成部２４７は、セル空間の構築処理を実行して、Ｓ５０４に進む。Ｓ５０４では、可視データ（ベクトルデータまたは流線データ）の削減処理を実行する。

【0064】

次に、セル空間の構築処理について説明する。図７の（ａ）に示すＳ５０３１からＳ５０３４までの間のステップは、すべてのレコード（ベクトルデータまたは流線データ）に対して実行される。Ｓ５０３２では、流れ画像生成部２４７は、レコードの座標データからセル空間座標を生成して、Ｓ５０３３に進む。Ｓ５０３３では、流れ画像生成部２４７は、セル空間座標に対応するセル（空間）にレコードを追加する。

【0065】

次に、可視データの削減処理について説明する。図７の（ａ）に示すＳ５０４１からＳ５０４４までの間のステップは、すべてのセル空間に対して実行される。Ｓ５０４２では、流れ画像生成部２４７は、セル空間に含まれるレコードから最も中心点に近い位置のベクトルデータ（または流線データ）を探して、Ｓ５０４３に進む。Ｓ５０４３では、流れ画像生成部２４７は、セル空間に含まれるレコードから最も中心点に近い位置以外のレコードを捨てる（除外する、間引く）。

【0066】

〔ＶＲ映像の頭部位置姿勢情報更新フロー〕
次に、ＰＣ２に関し、図７の（ｂ）に基づき、ＶＲ映像の頭部位置姿勢情報更新フローについて説明する。図７の（ｂ）は、ＶＲ映像の頭部位置姿勢情報更新フローの流れを示すフローチャートである。図７の（ｂ）に示すＳ６０１からＳ６０４までの間のステップは、フレーム毎に実行される。Ｓ６０２では、頭部位置姿勢特定部２４１は、頭部位置姿勢センサー１１の検出結果からＨＭＤ１の位置・姿勢を取得（特定）し、その結果を画像合成部２４８に通知して、Ｓ６０３に進む。Ｓ６０３では、画像合成部２４８が、データベース２２のメモリ上のＨＭＤ１の位置・姿勢情報を更新する。

【0067】

〔ＡＲ映像の頭部位置姿勢情報更新フロー〕
次に、図８に基づき、ＡＲ映像の頭部位置姿勢情報更新フローについて説明する。図８は、ＡＲ映像の頭部位置姿勢情報更新フローの流れを示すフローチャートである。Ｓ７０１からＳ７０８までの間のステップは、フレーム毎に実行される。Ｓ７０２では、頭部位置姿勢センサー１１のセンサー使用モードに設定されているか否かについて確認し、センサー使用モードに設定されている場合は、Ｓ７０６に進む。一方、センサー使用モードに設定されていない場合は、Ｓ７０３に進む。Ｓ７０６では、頭部位置姿勢センサー１１の検出結果からＨＭＤ１の位置・姿勢を取得（特定）し、その結果を画像合成部２４８に通知して、Ｓ７０７に進む。

【0068】

Ｓ７０３では、マーカー認識部２３が、マーカーを認識してＳ７０４に進む。Ｓ７０４では、マーカー認識部２３が、マーカーを認識した場合、Ｓ７０５に進む（ＹＥＳ）。一方、マーカー認識部２３がマーカーを認識しなかった場合、Ｓ７０６に進む。Ｓ７０５では、マーカー情報特定部２４３が、マーカーに基づいて、ＨＭＤ１の位置・姿勢を取得（特定）し、その結果を画像合成部２４８に通知して、Ｓ７０７に進む。Ｓ７０７では、画像合成部２４８が、データベース２２のメモリ上のＨＭＤ１の位置・姿勢情報を更新する。

【0069】

マーカーによる画像認識でＡＲ表示をすると大きな構造物になればなるほど、精度が良くないため認識結果の姿勢の細かなブレが問題になった。そこで、上記の処理（Ｓ７０７）では、一度マーカーを認識して実世界と仮想世界の位置合わせを済ませた後は、より精度の高い赤外線センサーおよびジャイロコンパスの数値を使って姿勢補正することで表示のブレを軽減するようにしている。

【0070】

〔レンダリングループフロー〕
次に、図９に基づき、レンダリングループフローについて説明する。図９は、レンダリングループフローの流れを示すフローチャートである。Ｓ８０１からＳ８０５までの間のステップは、フレーム毎に実行される。Ｓ８０２では、画像合成部２４８は、設定されたカメラの位置・姿勢を更新して、Ｓ８０３に進む。Ｓ８０３では、画像合成部２４８が、シーンレンダリングを実行し、３次元映像を構成して、表示コントローラ２５に送り、Ｓ８０４に進む。Ｓ８０４では、表示コントローラ２５が３次元映像をＨＭＤ１に送信（出力）する。

【0071】

〔シーンレンダリングフロー〕
次に、図１０の（ａ）に基づき、シーンレンダリングフローについて説明する。図１０の（ａ）は、シーンレンダリングフローの流れを示すフローチャートである。Ｓ８０３１では、画像合成部２４８が、カメラの設置（視点の設定）を行い、Ｓ８０３２に進む。Ｓ８０３２では、画像合成部２４８が、背景画像として、Skybox画像を配置し、Ｓ８０３３に進む。Ｓ８０３３では、閉空間映像生成部２４５が、構造物の外形のレンダリングを実行し、Ｓ８０３４に進む。Ｓ８０３４では、流れ画像生成部２４７が現在のシーンを判定し、流線図シーンの場合は、Ｓ８０３５に進み、コンター図シーンの場合は、Ｓ８０３６に進み、ベクトル図シーンの場合は、Ｓ８０３７に進む。

【0072】

Ｓ８０３５では、流れ画像生成部２４７が流線図シーンのレンダリングを実行する。Ｓ８０３６では、流れ画像生成部２４７がコンター図シーンのレンダリングを行う。Ｓ８０３７では、流れ画像生成部２４７が、ベクトル図シーンのレンダリングを行う。

【0073】

〔背景画像に天空画像（Skybox画像）を設定した場合の３次元映像〕
次に、図１０の（ｂ）〜図１０の（ｅ）に基づき、背景画像に天空画像（Skybox画像）を設定した場合の３次元映像について説明する。図１０の（ｂ）は、背景画像に天空画像を設定した場合の視点の移動前の状態を示す図である。図１０の（ｃ）は、背景画像に天空画像を設定した場合の視点の移動後の状態を示す図である。図１０の（ｄ）は、背景画像が無地（背景画像なし）の場合の視点の移動前の状態を示す図である。図１０の（ｅ）は、背景画像が無地（背景画像なし）の場合の視点の移動後の状態を示す図である。

【0074】

図１０の（ｄ）および（ｅ）に示すように、背景画像が無地（単一色）の場合、背景から得られる位置情報が無いため、空間認識力が低下し、奥行き感や異動量を把握しにくいという問題が生じた。そこで、図１０の（ｂ）および（ｃ）に示すように青空の仮想背景（天空画像）を設定することで、雲の見え方の違い等から自分の向きや位置に関する情報が得られるようになったため、上記の問題が軽減された。

【0075】

〔ＶＲ映像での外形のレンダリングフロー〕
次に、図１１の（ａ）に基づき、ＶＲ映像での外形（構造物の外面）に係るレンダリングフローについて説明する。図１１の（ａ）は、ＶＲ映像での外形に係るレンダリングフローの流れを示すフローチャートである。図１１の（ａ）に示すＳ９０１では、閉空間映像生成部２４５が、構造物の外面の裏面をレンダリングするか否かを決定し、裏面のレンダリングを行う場合、Ｓ９０２に進む（ＹＥＳ）。一方、裏面のレンダリングを行わない場合、Ｓ９０３に進む。Ｓ９０２では、閉空間映像生成部２４５が、裏面のレンダリングを行って、Ｓ９０３に進む。Ｓ９０３では、閉空間映像生成部２４５が、構造物の外形の前面をレンダリングするか否かを決定し、前面のレンダリングを行う場合、Ｓ９０４に進む（ＹＥＳ）。一方、前面のレンダリングを行わない場合、動作を終了する。Ｓ９０４では、閉空間映像生成部２４５が、前面のレンダリングを行う。

【0076】

〔カリングについて〕
次に、図１１の（ｂ）および図１１の（ｃ）に基づき、カリングについて説明する。一般にカリングとは、描画するときに裏表描画しないように片方の面を描画しない処理のことである。図１１の（ｂ）は、構造物の外形の前面をカリングする前の３次元映像の様子を示す図である。一方、図１１の（ｃ）は、構造物の外形の前面をカリングした後の３次元映像の様子を示す図である。読み込まれた構造物の外形形状（ＳＴＬ）の外面の法線方向から、外面の表（前面）と裏（裏面）を判別し、表の場合は透過（描画しない）、裏の場合は描画する。表面が透過されるため、構造物の外からでも内部構造が把握できる。ここでは、ＶＲ映像でベクトルデータまたは流線データを表示する際に、外形のＣＧが邪魔になる場合があったため、前面をカリングして、裏面だけを表示するようにしている。

【0077】

〔ＡＲ映像での外形のレンダリングフロー〕
次に、図１２の（ａ）に基づき、ＡＲ映像での構造物の外形（構造物の外面）に係るレンダリングフローについて説明する。図１２の（ａ）は、ＡＲ映像での外形に係るレンダリングフローの流れを示すフローチャートである。Ｓ９０５では、画像合成部２４８が、マーカーをレンダリングするか否かを決定し、マーカーをレンダリングする場合は、Ｓ９０６に進む（ＹＥＳ）。一方、マーカーをレンダリングしない場合は、Ｓ９０７に進む（ＮＯ）。Ｓ９０６では、画像合成部２４８が、マーカーのワイヤフレームレンダリング〔ワイヤーフレーム画像（仮想マーカ画像）のレンダリング〕を行い、Ｓ９０７に進む。Ｓ９０７では、閉空間映像生成部２４５が、構造物の外形のレンダリングを行うか否かを決定し、外形のレンダリングを行う場合には、Ｓ９０８に進む（ＹＥＳ）。一方、外形のレンダリングを行わない場合は、動作を終了する（ＮＯ）。Ｓ９０８では、閉空間映像生成部２４５が、構造物の外形のワイヤーフレームレンダリングを行う。

【0078】

〔ワイヤーフレーム画像（仮想マーカー画像）〕
次に、図１２の（ｂ）および（ｃ）に基づき、ワイヤーフレーム画像（仮想マーカー画像）について説明する。図１２の（ｂ）は、ワイヤーフレーム画像を表示していない場合における現物のマーカー付近の映像の例を示す。一方、図１２の（ｃ）は、ワイヤーフレーム画像を表示した場合における現物のマーカー付近の映像の例を示す。マーカーが印刷されているボードと同じ形状、同じサイズのワイヤーフレーム画像（仮想マーカー画像）を用意し、マーカーに対して同じ位置に表示されるように設定する。マーカー認識時にワイヤーフレーム画像を表示させ、現実のボードとワイヤーフレーム画像との重なりを見ることで、正しい位置認識ができているか確認できる。

【0079】

〔各シーンのレンダリングフロー〕
次に、図１３に基づき、流線図シーン、コンター図シーン、およびベクトル図シーンの各シーンのレンダリングフローについて説明する。図１３の（ａ）は、流線図シーンのレンダリングフローの流れを示すフローチャートである。図１３の（ａ）に示すＳ１００１では、流れ画像生成部２４７が、流線形状のレンダリングを行い、Ｓ１００２に進む。Ｓ１００２では、流れ画像生成部２４７が、ベクトルデータのレンダリングを行う。

【0080】

次に、図１３の（ｂ）は、コンター図シーンのレンダリングフローの流れを示すフローチャートである。図１３の（ｂ）に示すＳ１００３では、流れ画像生成部２４７がコンターデータのレンダリングを行う。次に、図１３の（ｃ）は、ベクトル図シーンのレンダリングフローの流れを示すフローチャートである。図１３の（ｃ）に示すＳ１００４では、流れ画像生成部２４７が、ベクトルデータのレンダリングを行う。

【0081】

〔ベクトルデータレンダリングフロー〕
次に、図１４の（ａ）に基づき、ベクトルデータレンダリングフローについて説明する。図１４の（ａ）は、ベクトルデータレンダリングフローの流れを示すフローチャートである。Ｓ２００１では、流れ画像生成部２４７は、閉空間内の一部の領域を上記流線データまたはベクトルデータを表示する領域である興味領域として設定し、この興味領域とセル空間との交差判定を実行するか否かを決定し、交差判定を実行する場合は、Ｓ２００２に進む（ＹＥＳ）。一方、交差判定を実行しない場合は、Ｓ２００５に進む（ＮＯ）。

【0082】

Ｓ２００２では、流れ画像生成部２４７は、興味領域とセル空間の交差判定を行い、Ｓ２００３に進む。Ｓ２００３では、興味領域と交差しないセル空間に対応付けられたベクトルデータ（または流線データ）を非活性化（除外）して、Ｓ２００４に進む。Ｓ２００４では、興味領域と交差するセル空間に対応付けられたベクトルデータ（または流線データ）を活性化（選択）して、Ｓ２００６に進む。

【0083】

Ｓ２００５では、すべてのセル空間に対応付けられたベクトルデータ（または流線データ）を活性化（選択）して、Ｓ２００６に進む。Ｓ２００６では、流れ画像生成部２４７は、活性化（選択）されているベクトルデータ（または流線データ）をレンダリングして、流れ画像を作成する。なお、興味領域の設定は、特に限定されないが、例えば、図１４の（ｂ）に示すように、「１．２ｍ前方の点を中心に縦横奥行き２ｍの立方体」を興味領域に設定しても良い。なお、興味領域の設定は、上述したシーンパラメータを変更することで、データごとに変更可能としても良い。

【0084】

〔視点位置操作受付フロー〕
次に、図１５に基づき、視点位置操作受付フローについて説明する。視点位置操作受付フローの流れを示すフローチャートである。Ｓ３００１からＳ３００４までの間のステップは、フレーム毎に実施される。Ｓ３００２では、３Ｄ映像構築部２４は、入力インターフェース３を介したユーザの視点位置操作入力を受付けて、Ｓ３００３に進む。Ｓ３００３では、画像合成部２４８が、視点位置・姿勢を更新する。

【0085】

ＨＭＤ１に出力される３次元映像は、ＶＲ空間において視点を旋回させる旋回操作が可能となっており、上記旋回操作は、ＶＲ空間における上下方向を回転軸の方向とする旋回操作〔水平方向（世界座標系のＹ軸）のみの旋回操作〕に限定されていても良い。これにより、３つの回転軸に基づいて旋回する自由回転と比較してユーザが元の位置に戻り易くなる。

【0086】

〔俯瞰操作入力受付フロー〕
次に、図１６の（ａ）に基づき、俯瞰操作入力受付フローについて説明する。図１６の（ａ）は、俯瞰操作入力受付フローの流れを示すフローチャートである。Ｓ４００１からＳ４００８までの間のステップは、フレーム毎に実行される。Ｓ４００２では、入力インターフェース３を介してユーザによる俯瞰切替え入力を受付ける。Ｓ４００３で、俯瞰切替え入力があった場合は、Ｓ４００４に進む（ＹＥＳ）。一方、俯瞰切替え入力がなかった場合は、Ｓ４００５に進む。

【0087】

Ｓ４００４では、表示モード切替部２４９は、俯瞰モードが選択されたと判断し、画像合成部２４８に通知し、画像合成部２４８は、カメラ（視点）が最大まで下がっているか（ズームアウトされているか）を確認し、カメラ（視点）が最大まで下がっている場合は、動作を終了する（ＹＥＳ）。一方、カメラ（視点）が最大まで下がっていない場合は、Ｓ４００６に進み、画像合成部２４８は、カメラを少し下げる処理に応じて３次元映像を構築する。

【0088】

Ｓ４００５では、表示モード切替部２４９は、通常モードが選択されたと判断し、画像合成部２４８に通知し、画像合成部２４８は、カメラ（視点）が元の位置まで戻っているか確認し、カメラ（視点）が元の位置まで戻っている場合は、動作を終了する。一方、カメラ（視点）が元の位置まで戻っていない場合は、Ｓ４００７に進み、カメラを少し戻す処理に応じて、３次元映像を構築する。

【0089】

〔通常モード／俯瞰モード〕
次に、図１６の（ｂ）および図１６の（ｃ）に基づき、通常モードおよび俯瞰モードについて説明する。図１６の（ｂ）は、通常モードにおける３次元映像の表示例を示す図である。一方、図１６の（ｃ）は、俯瞰モードにおける３次元映像の表示例を示す図である。例えば、入力インターフェース３に接続されたマウスの中ボタンを押すと、押している間は俯瞰モードにする。マウスから手を離すと通常モードに戻す。俯瞰モード時は、一定距離になるまで、視線を手前側に引いて行き、図１６の（ｃ）に示すように、元の場所にアバターが表示されるようになっている。上記俯瞰モードによれば、通常モードで閉空間の内部において視点（現在のカメラ）の位置がわからなくなった場合でも、一旦カメラを大きく引いて全体を俯瞰し、表示されたアバターの位置を確認することで、通常モードの際に閉空間の内部において視点の位置がどこにあったかを確認することができる。

【0090】

〔ソフトウェアによる実現例〕
ＰＣ２の制御ブロック（特に、閉空間映像生成部２４５、演算部２４６、流れ画像生成部２４７、および画像合成部２４８）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

【0091】

後者の場合、ＰＣ２は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0092】

〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0093】

１ ＨＭＤ（頭部装着ディスプレイ）
２ ＰＣ（映像構築装置）
１０ 擬似視覚体験システム
２４５ 閉空間映像生成部
２４６ 演算部
２４７ 流れ画像生成部
２４８ 画像合成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】