特許 6960212 視線誘導のためのコンピュータ・プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6960212

(24)【登録日】2021年10月13日

(45)【発行日】2021年11月5日

(54)【発明の名称】視線誘導のためのコンピュータ・プログラム

(51)【国際特許分類】

   G06F 3/0481 20130101AFI20211025BHJP

   A63F 13/211 20140101ALI20211025BHJP

   A63F 13/25 20140101ALI20211025BHJP

   A63F 13/428 20140101ALI20211025BHJP

   A63F 13/525 20140101ALI20211025BHJP

   A63F 13/5375 20140101ALI20211025BHJP

   G06F 3/01 20060101ALI20211025BHJP

   G06T 19/00 20110101ALI20211025BHJP

【ＦＩ】

   G06F3/0481

   A63F13/211

   A63F13/25

   A63F13/428

   A63F13/525

   A63F13/5375

   G06F3/01 510

   G06T19/00 A

【請求項の数】11

【全頁数】15

(21)【出願番号】特願2016-110508(P2016-110508)

(22)【出願日】2016年6月1日

(62)【分割の表示】特願2015-181073(P2015-181073)の分割

【原出願日】2015年9月14日

(65)【公開番号】特開2017-59212(P2017-59212A)

(43)【公開日】2017年3月23日

【審査請求日】2018年8月24日

【審判番号】不服2019-13203(P2019-13203/J1)

【審判請求日】2019年10月2日

(73)【特許権者】

【識別番号】509070463

【氏名又は名称】株式会社コロプラ

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100154759

【弁理士】

【氏名又は名称】高木 貴子

(72)【発明者】

【氏名】猪俣 篤

【合議体】

【審判長】 稲葉 和生

【審判官】 富澤 哲生

【審判官】 林 毅

(56)【参考文献】

【文献】 特開２００５−１７４０２１（ＪＰ，Ａ）

【文献】 特開２０００−１４０４１６（ＪＰ，Ａ）

【文献】 国際公開第２０１４／１６２８２３（ＷＯ，Ａ１）

【文献】 特開２０１３−３８６６８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

G06F 3/01, 3/048-3/0489

G06T 19/00-19/20

A63F 13/00-13/98

(57)【特許請求の範囲】

【請求項1】

ヘッドマウント・ディスプレイに接続されるコンピュータを、
３次元仮想空間内のターゲット・オブジェクトの位置を特定する特定手段、
ヘッドマウント・ディスプレイの動きに従って、仮想カメラからの視線に基づく視界を決定する視界決定手段、
前記３次元仮想空間において、３次元の誘導オブジェクトを、前記仮想カメラの位置と前記視線の方向と前記ターゲット・オブジェクトの位置とに基づいて決定される、前記視界内の位置に配置する配置手段、
前記３次元仮想空間の視界画像を生成して前記ヘッドマウント・ディスプレイに表示させる表示制御手段、
として機能させ、
前記配置手段が、更に、
前記仮想カメラに関し、前記視線の方向と前記ターゲット・オブジェクトの方向との間の角度が所与の第１角の範囲外にある場合に、前記誘導オブジェクトを前記視線の方向と前記ターゲット・オブジェクトの方向との間に配置し、前記第１角の範囲内にある場合に、前記誘導オブジェクトを前記視線の方向と前記ターゲット・オブジェクトの方向との間から外れた位置に配置し、
前記仮想カメラから前記誘導オブジェクトまでの距離に応じて前記誘導オブジェクトの大きさを動的に変化させる、視線誘導のためのコンピュータ・プログラム。

【請求項2】

前記配置手段が、更に、
前記３次元仮想空間において、前記誘導オブジェクトを、前記仮想カメラの位置を中心とし、且つ前記仮想カメラから前記ターゲット・オブジェクトまでを半径とする円周であって、前記視線と交差する円周上に配置する、請求項１記載のコンピュータ・プログラム。

【請求項3】

前記配置手段が、更に、
前記第１角の範囲内にある場合に、前記誘導オブジェクトを前記視線の方向と前記ターゲット・オブジェクトの方向との間から外れた位置で、且つ前記３次元仮想空間における垂直方向に配置する請求項１記載のコンピュータ・プログラム。

【請求項4】

前記第１角が１０度から３０度までの角度範囲から設定される、請求項１から３のいずれか一項記載のコンピュータ・プログラム。

【請求項5】

前記配置手段が、更に、
前記仮想カメラの位置に関し、前記誘導オブジェクトが前記視線の方向と前記ターゲット・オブジェクトの方向との間にある場合に、前記視線の方向から前記ターゲット・オブジェクトの方向に向けて所与の第２角を成す位置に前記誘導オブジェクトを配置することを特徴とする、請求項１から４のいずれか一項記載のコンピュータ・プログラム。

【請求項6】

前記誘導オブジェクトが、前記ターゲット・オブジェクトへの３次元の指向性を有する、請求項１から５のいずれか一項記載のコンピュータ・プログラム。

【請求項7】

前記誘導オブジェクトが、前記仮想カメラに関し、前記視線の方向と前記ターゲット・オブジェクトの方向との間の角度に応じた第１特性を有する、請求項１から６のいずれか一項記載のコンピュータ・プログラム。

【請求項8】

前記誘導オブジェクトが所定のモーションを有する、請求項１から７のいずれか一項記載のコンピュータ・プログラム。

【請求項9】

前記誘導オブジェクトのモーションが、前記仮想カメラに関し、前記視線の方向と前記ターゲット・オブジェクトの方向との間の角度に応じた第２特性を有する、請求項８記載のコンピュータ・プログラム。

【請求項10】

ヘッドマウント・ディスプレイに接続されるコンピュータであって、
３次元仮想空間内のターゲット・オブジェクトの位置を特定する特定手段と、
前記ヘッドマウント・ディスプレイの動きに従って、仮想カメラからの視線に基づく視界を決定する視界決定手段と、
前記３次元仮想空間において、３次元の誘導オブジェクトを、前記仮想カメラの位置と前記視線の方向と前記ターゲット・オブジェクトの位置とに基づいて決定される、前記視界内の位置に配置する配置手段と、
前記３次元仮想空間の視界画像を生成して前記ヘッドマウント・ディスプレイに表示させる表示制御手段と、を備え、
前記配置手段が、更に、
前記仮想カメラに関し、前記視線の方向と前記ターゲット・オブジェクトの方向との間の角度が所与の第１角の範囲外にある場合に、前記誘導オブジェクトを前記視線の方向と前記ターゲット・オブジェクトの方向との間に配置し、前記第１角の範囲内にある場合に、前記誘導オブジェクトを前記視線の方向と前記ターゲット・オブジェクトの方向との間から外れた位置に配置し、
前記仮想カメラから前記誘導オブジェクトまでの距離に応じて前記誘導オブジェクトの大きさを動的に変化させる、コンピュータ。

【請求項11】

３次元仮想空間内のターゲット・オブジェクトの位置を特定するステップと、
ヘッドマウント・ディスプレイの動きに従って、仮想カメラからの視線に基づく視界を決定する視界決定ステップと、
前記３次元仮想空間において、３次元の誘導オブジェクトを、前記仮想カメラの位置と前記視線の方向と前記ターゲット・オブジェクトの位置とに基づいて決定される、前記視界内の位置に配置する配置ステップと、
前記３次元仮想空間の視界画像を生成して前記ヘッドマウント・ディスプレイに表示させる表示制御ステップと、を含み、
前記配置ステップが、更に、
前記仮想カメラに関し、前記視線の方向と前記ターゲット・オブジェクトの方向との間の角度が所与の第１角の範囲外にある場合に、前記誘導オブジェクトを前記視線の方向と前記ターゲット・オブジェクトの方向との間に配置し、前記第１角の範囲内にある場合に、前記誘導オブジェクトを前記視線の方向と前記ターゲット・オブジェクトの方向との間から外れた位置に配置し、
前記仮想カメラから前記誘導オブジェクトまでの距離に応じて前記誘導オブジェクトの大きさを動的に変化させる、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータ・プログラムに関する。より詳細には、ユーザがヘッドマウント・ディスプレイ（以下、「ＨＭＤ」と称する。）を頭部に装着し、３次元仮想空間に没入している状況において、３次元仮想空間での視線を所定の方向に誘導するようコンピュータを機能させるものである。

【背景技術】

【0002】

ユーザの頭部に装着され、眼前に配置されたディスプレイ等によってユーザに３次元仮想空間画像を提示可能なＨＭＤが知られる。特に、３次元仮想空間に３６０度のパノラマ画像を表示可能なＨＭＤが知られる。ＨＭＤは通例、各種センサ（例えば、加速度センサや角速度センサ）を備え、ＨＭＤ本体の姿勢データを計測する。特に、頭部の回転角に関する情報に従ってパノラマ画像の視線方向変更を可能にすることを特徴とする。即ち、ＨＭＤを装着したユーザが自身の頭部を傾け、回転させると、それに併せて、３６０度のパノラマ画像の視線方向変更を可能にする。３次元仮想空間に没入したユーザは、自身の頭部動作により、３次元空間内で任意の方向に自らの視線を自由に向けることができる。

【0003】

このようにして、ＨＭＤは、ユーザに対し、映像世界への没入感を高め、エンタテインメント性を向上させる。他方で、アプリケーション開発者側にとっては、３次元仮想空間の特定の位置に対してユーザに視線を向けてもらいたい場合に、ユーザ視線をどのように誘導するかが問題となる。

【0004】

特許文献１には、ユーザに対し視点を推奨する従来技術が開示される。具体的には、３次元空間において、オブジェクト映像の推奨すべき視点を指定する推奨ベクトル情報を設定し、当該推奨ベクトル情報に基づいて、オブジェクト映像の表示に用いられる視点情報を決定する。これにより、推奨ベクトル情報の設定者の意図を反映させた形でオブジェクト映像を表示させるものである（段落〔０００８〕）。ここでは、推奨ベクトルとして視覚的な部品（矢印や円）が適用可能である（段落〔００３３〕）。しかしながら、特許文献１の開示は、上述したようなＨＭＤを装着したユーザの頭部動作とは直接関係するものではない。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開平１１−２６５４６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、ユーザの視線を効果的に誘導可能なように３次元の誘導オブジェクトを３次元空間内の適切な位置に動的に配置する。これにより、ＨＭＤを装着して３次元仮想空間に没入しているユーザに対し、ＨＭＤの動作に連動した視覚的な視線誘導効果を実現することを目的とするものである。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、本発明は、３次元仮想空間内のターゲット・オブジェクトの位置を特定する特定手段と、ＨＭＤの動きに従って、仮想カメラからの視線に基づく視界を決定する視界決定手段と、３次元仮想空間において、視線に追従する３次元の誘導オブジェクトを、仮想カメラの位置と視線の方向とターゲット・オブジェクトの位置とに基づいて決定される、視界内の位置に配置する配置手段と、３次元仮想空間の視界画像を生成して表示する表示手段と、としてＨＭＤに接続されるコンピュータを機能させる、視線誘導のためのコンピュータ・プログラムを提供する。

【図面の簡単な説明】

【0008】

【図1】図１は、本発明の実施形態によるコンピュータ・プログラムを実施するためのＨＭＤシステムを示した模式図である。

【図2】図２は、図１に示したＨＭＤを装着したユーザの頭部を中心にして規定される実空間の直交座標系を示す。

【図3】図３は、図１のポジション・トラッキング・カメラによって検知される、ＨＭＤ上に仮想的に設けられた複数の検知点を示す模式図である。

【図4】図４は、本発明の実施形態によるコンピュータ・プログラムをＨＭＤ用ゲーム・プログラムに適用して３次元仮想空間を構築した一例の画面イメージである。

【図5】図５は、３次元仮想空間における視界の内、水平方向について示す模式図である。

【図6A】図６Ａは、３次元仮想空間における誘導オブジェクトの配置について平面的に示す一例の模式図である。

【図6B】図６Ｂは、３次元仮想空間における誘導オブジェクトの配置について平面的に示す他の例の模式図である。

【図7A】図７Ａは、３次元仮想空間における誘導オブジェクトの配置について立体的に示す一例の模式図である。

【図7B】図７Ｂは、３次元仮想空間における誘導オブジェクトの配置について立体的に示す他の例の模式図である。

【図8】図８は、本発明の実施形態によるコンピュータ・プログラムで実装される主要な機能ブロック図である。

【図9】図９は、図８の機能ブロックにより実行される情報処理について示した概略の処理フロー図である。

【図10】図１０は、図８の機能ブロックにより実行される情報処理について示した詳細の処理フロー図である。

【発明を実施するための形態】

【0009】

［本発明の実施形態の説明］
最初に、本発明の実施形態の内容を列記して説明する。本発明の実施の形態による視線誘導のためのコンピュータ・プログラムは、以下のような構成を備える。

【0010】

（項目１）
３次元仮想空間内のターゲット・オブジェクトの位置を特定する特定手段と、
ＨＭＤの動きに従って、仮想カメラからの視線に基づく視界を決定する視界決定手段と、
前記３次元仮想空間において、前記視線に追従する３次元の誘導オブジェクトを、前記仮想カメラの位置と前記視線の方向と前記ターゲット・オブジェクトの位置とに基づいて決定される、前記視界内の位置に配置する配置手段と、
前記３次元仮想空間の視界画像を生成して表示する表示手段と
として前記ＨＭＤに接続されるコンピュータを機能させる、視線誘導のためのコンピュータ・プログラム。
本項目のコンピュータ・プログラムによれば、３次元仮想空間において、視線に追従する３次元誘導オブジェクトを視界内に動的に配置可能とすることにより、ユーザの視線を適切に誘導することができ、視覚的な視線誘導効果を発揮させることができる。

【0011】

（項目２）
前記配置手段が、更に、
前記３次元仮想空間において、前記誘導オブジェクトを、前記視線の方向と前記仮想カメラから前記ターゲット・オブジェクトへの方向との間の位置であって、前記仮想カメラから前記ターゲット・オブジェクトまでの距離と等距離となる位置に配置する、項目１記載のコンピュータ・プログラム。
本項目のコンピュータ・プログラムによれば、誘導オブジェクトの配置位置をより適切な構成にすることができ、より効果的なユーザの視線誘導を実施可能となる。

【0012】

（項目３）
前記配置手段が、更に、
前記３次元仮想空間において、前記誘導オブジェクトを、前記仮想カメラの位置を中心とし、且つ前記仮想カメラから前記ターゲット・オブジェクトまでを半径とする円周であって、前記視線と交差する円周上に配置する、項目２記載のコンピュータ・プログラム。
本項目のコンピュータ・プログラムによれば、誘導オブジェクトの配置位置をより適切な構成にすることができ、より自然な形で視線を追従可能とする。これにより、効果的なユーザの視線誘導を実施可能とする。

【0013】

（項目４）
前記配置手段が、更に、
前記仮想カメラに関し、前記視線の方向と前記ターゲット・オブジェクトの方向との間の角度が所与の第１角以内となった場合に、前記誘導オブジェクトを前記ターゲット・オブジェクトの周囲の所定方向に配置する、項目１から３のいずれか一項記載のコンピュータ・プログラム。
本項目のコンピュータ・プログラムによれば、誘導オブジェクトがターゲット・オブジェクトに接近したときに、誘導オブジェクトの動的な配置変更を実施可能とし、より効果的な視線誘導を可能とする。

【0014】

（項目５）
前記所定方向が、前記３次元仮想空間における垂直方向である、項目４記載のコンピュータ・プログラム。
本項目のコンピュータ・プログラムによれば、誘導オブジェクトがターゲット・オブジェクトに接近したときに、誘導オブジェクトの動的な配置変更を実施可能とし、より効果的な視線誘導を可能とする。

【0015】

（項目６）
前記第１角が１０度から３０度までの角度範囲から設定される、項目４または５記載のコンピュータ・プログラム。
本項目のコンピュータ・プログラムによれば、上記角度範囲を設けることにより、より効果的な誘導オブジェクトの配置変更を実施可能とする。

【0016】

（項目７）
前記配置手段が、更に、
前記仮想カメラの位置に関し、前記視線の方向から前記ターゲット・オブジェクトの方向に向けて所与の第２角を成す位置に前記誘導オブジェクトを配置することを特徴とする、項目１から６のいずれか一項記載のコンピュータ・プログラム。
本項目のコンピュータ・プログラムによれば、上記第２角を導入することにより、より適切な誘導オブジェクトの配置を通じたより効果的な視線誘導を実施可能とする。

【0017】

（項目８）
前記誘導オブジェクトが、前記ターゲット・オブジェクトへの３次元の指向性を有する、項目１から７のいずれか一項記載のコンピュータ・プログラム。
本項目のコンピュータ・プログラムによれば、誘導オブジェクトが、３次元の指向性を有することにより、より効果的な視線誘導を実施可能とする。

【0018】

（項目９）
前記誘導オブジェクトが、前記仮想カメラに関し、前記視線の方向と前記ターゲット・オブジェクトの方向との間の角度に応じた第１特性を有する、項目１から８のいずれか一項記載のコンピュータ・プログラム。
本項目のコンピュータ・プログラムによれば、所定の特性を有する動的な誘導オブジェクト表示態様とすることで、より効果的な視線誘導を実施可能とする。

【0019】

（項目１０）
前記誘導オブジェクトが所定のモーションを有する、項目１から９のいずれか一項記載のコンピュータ・プログラム。
本項目のコンピュータ・プログラムによれば、アニメーション効果を有する誘導オブジェクトを導入することで、より効果的な視線誘導を実施可能とする。

【0020】

（項目１１）
前記誘導オブジェクトのモーションが、前記仮想カメラに関し、前記視線の方向と前記ターゲット・オブジェクトの方向との間の角度に応じた第２特性を有する、項目１０記載のコンピュータ・プログラム。
本項目のコンピュータ・プログラムによれば、誘導オブジェクトを所定の特性を有するモーションによって導入することで、より効果的な視線誘導を実施可能とする。

【0021】

［本発明の実施形態の詳細］
以下に、図面を参照して、本発明の実施の形態による、視線誘導のためのコンピュータ・プログラムについて説明する。図中、同一の構成要素には同一の符号を付してある。

【0022】

図１は、本発明の実施形態によるコンピュータ・プログラムを実施するための、ヘッドマウント・ディスプレイ（以下、「ＨＭＤ」と称する。）を用いたＨＭＤシステム１００の全体概略図である。図示のように、ＨＭＤシステム１００は、ＨＭＤ本体１１０、コンピュータ（制御回路部）１２０、およびポジション・トラッキング・カメラ（位置センサ）１３０を備える。

【0023】

ＨＭＤ１１０は、ディスプレイ１１２およびセンサ１１４を具備する。ディスプレイ１１２は、これに限定されないが、ユーザの視界を完全に覆うよう構成された非透過型の表示装置とすることができ、ユーザはディスプレイ１１２に表示される画面のみを観察することができる。当該非透過型のＨＭＤ１１０を装着したユーザは、外界の視界を全て失う。このため、コンピュータ１２０において実行されるアプリケーションによりディスプレイ１１２に表示される３次元仮想空間に完全に没入する表示態様となる。

【0024】

ＨＭＤ１１０が具備するセンサ１１４は、ディスプレイ１１２近辺に固定される。センサ１１４は、地磁気センサ、加速度センサ、および／または傾き（角速度、ジャイロ）センサを含み、これらの１つ以上を通じて、ユーザの頭部に装着されたＨＭＤ１１０（ディスプレイ１１２）の各種動きを検知することができる。特に角速度センサの場合には、図２のように、ＨＭＤ１１０の動きに応じて、ＨＭＤ１１０の３軸回りの角速度を経時的に検知し、各軸回りの角度（傾き）の時間変化を決定することができる。

【0025】

そこで、図２を参照して、傾きセンサで検知可能な角度情報データについて具体的に説明する。図示のように、ＨＭＤを装着したユーザの頭部を中心として、ＸＹＺ座標系が規定される。ユーザが直立する垂直方向をＹ軸、Ｙ軸と直交しディスプレイ１１２の中心とユーザを結ぶ方向をＺ軸、Ｙ軸およびＺ軸と直交する方向の軸をＸ軸とする。傾きセンサでは、各軸回りの角度、具体的にはＹ軸を軸とした回転を示すヨー角、Ｘ軸を軸とした回転を示すピッチ角、およびＺ軸を軸とした回転を示すロール角で決定される傾きを検知する。そして、その経時的な変化により、動き検知部２２０が視界情報として角度（傾き）情報データを決定する。当該角度情報データを用いることによって、ＨＭＤを装着したユーザに対し、３次元仮想空間内でのユーザの視線および該視線に基づく視界を提供することができる。

【0026】

図１に戻り、ＨＭＤシステム１００が備えるコンピュータ１２０は、ＨＭＤを装着したユーザを３次元仮想空間に没入させ、３次元仮想空間に基づく動作を実施させるための制御回路装置として機能する。図示のように、コンピュータ１２０は、ＨＭＤ１１０とは別のハードウェアとして構成することができる。当該ハードウェアは、パーソナルコンピュータやネットワークを通じたサーバ・コンピュータのような汎用的なコンピュータとすることができる。即ち、互いにバス接続されたＣＰＵ、主記憶、補助記憶、送受信部、表示部、および入力部を備える（非図示）任意のコンピュータとすることができる。代替として、コンピュータ１２０は、視界調整装置としてＨＭＤ１１０内部に搭載されてもよい。この場合は、コンピュータ１２０は、視界調整装置の全部または一部の機能のみを実装することができる。一部のみを実装した場合には、残りの機能をＨＭＤ１１０側、またはネットワークを通じたサーバ・コンピュータ（非図示）側に実装してもよい。

【0027】

ＨＭＤシステム１００が備えるポジション・トラッキング・カメラ（位置センサ）１３０は、コンピュータ１２０に通信可能に接続され、ＨＭＤ１１０の位置追跡機能を有する。ポジション・トラッキング・カメラ１３０は、赤外線センサおよび／または複数の光学カメラを用いて実現される。ＨＭＤシステム１００は、このようなポジション・トラッキング・カメラ１３０を具備し、ユーザ頭部のＨＭＤの位置を検知することによって、実空間のＨＭＤの位置および３次元仮想空間における仮想カメラ／没入ユーザの仮想空間位置を正確に対応付けて、特定することができる。具体的には、ポジション・トラッキング・カメラ１３０は、図３に例示的に示すように、ＨＭＤ１１０上に仮想的に設けられ、赤外線を検知する複数の検知点の実空間位置をユーザの動きに対応して経時的に検知する。そして、ポジション・トラッキング・カメラ１３０により検知された実空間位置の経時的変化に基づいて、ＨＭＤ１１０の動きに応じて、３次元仮想空間内の位置特定を可能にする。

【0028】

図４は、本発明の実施形態による視線誘導のためのコンピュータ・プログラムをＨＭＤ用ゲーム・プログラムに適用して３次元仮想空間を構築した一例の画面イメージである。なお、図４では視界画像を２次元画面イメージとして示しているが、ＨＭＤを装着しているユーザには３次元画像として表示される点に留意すべきである。図４（ａ），（ｂ）に示すように、仮想カメラから撮影される視界の中心方向が視線方向であり、一例として、視野画像の中心部に仮想視点１０，１０’がドットで示される。また、視界画像には、中央のボード・オブジェクト４０をはじめとした様々な３次元オブジェクトが配置される。当該３次元オブジェクト配置に関しては、オブジェクト情報や位置情報を有する３次元仮想空間情報がメモリに格納される。そして、ＨＭＤの動きによる視線方向に合わせて、ＨＭＤ用ゲーム・プログラムが、３次元仮想空間情報に関連付けて視野画像を生成することができる。

【0029】

図４（ａ），（ｂ）のように、矢印（→）の３次元形状を有する３次元誘導オブジェクト２０が３次元空間内に配置および表示される。３次元誘導オブジェクト２０は、図４（ａ）では略左奥行き方向、図４（ｂ）では下向きというように３次元での指向性を有する。そして、誘導オブジェクト２０は、ＨＭＤの動き、即ち視線の動きに追従するように３次元仮想空間内の位置および向きが計算され、動的に配置される。

【0030】

図４（ａ）では、視線誘導先のターゲット・オブジェクトは離れた位置にあり、未だ視界画像に含まれない。つまり、誘導オブジェクト２０のみが、仮想視点１０とターゲット・オブジェクト（非図示）の間に表示される。図４（ａ）のように、視界画像にターゲット・オブジェクトが含まれない場合でも、左奥行き方向を有する誘導オブジェクト２０の存在により、ユーザは、左方向を向けばターゲット・オブジェクトを３次元空間内で特定できると認識可能である。他方、図４（ｂ）のように仮想視点１０’がターゲット・オブジェクトに十分近づいた場合は、もはや両者の間に誘導オブジェクト２０を表示する必要もない。ユーザはターゲット・オブジェクト３０の存在を既に認識していると想定できるからである。この場合は、誘導オブジェクト２０’は、ターゲット・オブジェクト３０の周囲の所定方向に、仮想視点１０’およびターゲット・オブジェクト３０の間からは外れて表示するのがよい。図４（ｂ）の例では、ターゲット・オブジェクト３０に対し、３次元仮想空間の垂直方向に所定の距離だけ離して下向きに誘導オブジェクト２０’を配置している。

【0031】

なお、誘導オブジェクト２０，２０’は、仮想カメラに関する視線の方向とターゲット・オブジェクトの方向との間の角度に応じた特性を有するようにしてもよい。特に、上記角度に応じて誘導オブジェクトの大きさや色を決定するのがよい。例えば、視線の方向がターゲット・オブジェクトから離れる程、３次元誘導オブジェクト（３Ｄ矢印オブジェクト）を大きい形状を有するようにし、および／または、目立つように色彩を付す（例えば赤色）ようにするのがよい。

【0032】

加えて、誘導オブジェクトは所定のモーションを有するようにＨＭＤにアニメーション表示してもよい。ここでのモーションとは、例えば、３Ｄ矢印オブジェクトが向いている方向に、３次元的に小刻みな前後運動をするといったアニメーション動作を含むが、これに限定されず、如何なるアニメーション動作としてもよい。また、誘導オブジェクトのモーションは、仮想カメラに関する視線の方向とターゲット・オブジェクトの方向との間の角度に応じた動きの特性を有するようにしてもよい。例えば、上記角度に応じて、前後運動の距離や速度を決定してもよい。

【0033】

図５は、３次元仮想空間に配置された仮想カメラからの視界、特に水平方向の視界について示す。図示のように、３次元仮想空間にＸＹＺ座標系が規定され、仮想カメラ１が（Ｘ_ｃａｍ，Ｙ_ｃａｍ，Ｚ_ｃａｍ）の位置に配置される。当該位置座標は、図３に示すように、ポジション・トラッキング・カメラ１３０により検知された位置情報に基づいて決定するのがよい。また、図２に示したように、センサ１１４の傾きに応じて、３次元仮想空間内の視線を決定するのがよい。仮想カメラ１は所定の視界角度を有しており、視線および視野角度に基づいて視界が決定されて視界画像が生成される。具体的には、仮想カメラ１からの視界の基準となる視線Ｌ_ｓｔｄが視界画像の所定位置（例えば、中心点）に対応するように規定される。そして、視線Ｌ_ｓｔｄを中心に水平方向（ＸＺ平面方向）の視野角αが規定される。図５では、簡単のため、水平方向（ＸＺ平面方向）の視野角αのみを示しており、垂直方向（Ｙ軸方向）の視野角βは、ここでは示していない。このようにして、図４に示すような、３次元仮想空間の視界画像が生成される。

【0034】

図６Ａおよび図６Ｂは、図４に示したターゲット・オブジェクト３０および誘導オブジェクト２０，２０の配置関係を、図５のような３次元仮想空間を垂直方向から見た概略平面図である。図６Ａ（ａ）および図６Ａ（ｂ）に示すように、視線に追従する誘導オブジェクト２０を配置する位置は、仮想カメラ１の位置、視線の方向上に設けた仮想視点１０の位置、およびターゲット・オブジェクト３０の位置に基づいて決定することができる。更に特定すれば、誘導オブジェクト２０は、３次元仮想空間において、仮想カメラ１からの視線の方向、および仮想カメラ１からのターゲット・オブジェクト３０への方向の間の位置に配置するのがよい。加えて、仮想カメラ１からターゲット・オブジェクトまでの距離と等距離となる位置に配置するのがよい。なお、図示のように、仮想視点１０は、仮想カメラ１からの視線の方向の内、仮想カメラ１からターゲット・オブジェクトまでの距離と等距離となる位置に仮想的に設定するのがよい。

【0035】

図６Ａ（ａ）および図６Ａ（ｂ）では、仮想カメラ１の位置に関し、視線の方向からターゲット・オブジェクトの方向に向けて所定の角度φを成す位置に誘導オブジェクトを維持するように配置する。これにより、ユーザによるＨＭＤ動作による視線変化に応じて、誘導オブジェクトを追従させるように構成する。なお、図６Ａ（ａ）では、３次元仮想空間において、仮想視点１０とターゲット・オブジェクト３０が十分離れている（角度θだけ離れている）。即ち、角度θが図５の水平視野角よりも大きい状態でターゲット・オブジェクト３０が配置される。このため、図４（ａ）に示したように、ＨＭＤに表示される視界画像にはターゲット・オブジェクト３０は表示されない。

【0036】

図６Ａ（ａ）の誘導オブジェクト２０の表示にしたがってユーザは頭（ＨＭＤ）を傾け、視線を図６Ａ（ｂ）の位置まで移動させる。即ち、仮想カメラ１に関する視線の方向とターゲット・オブジェクト３０の間の角度がθからθ’まで小さくなる。引き続き、ユーザは、視界画像中の誘導オブジェクト２０の表示にしたがって、更に頭（ＨＭＤ）を傾けてθ’を小さくしようとする。しかしながら、図６Ａ（ｃ）のようにθ’’が所定の角度よりも小さくなる場合には、角度φがθ’’よりも大きくなり、もはや誘導オブジェクト２０を表示する実益がない。この場合は、図４（ｂ）に示したように、誘導オブジェクトをターゲット・オブジェクトの周囲の所定方向に（例えば垂直方向に所定の距離だけ離して）配置するのがよい。

【0037】

このようなターゲット・オブジェクト３０の周囲の所定方向に誘導オブジェクト２０を配置するためのイベントは、θ’’が１０度から３０度の範囲内の所定角度に入ったことをトリガに発生させるのがよい。本発明者の実験によれば、当該１０度から３０度の角度範囲とするのがダイナミックな視覚効果をもたらすのに適切であると判明している。なお、上記所定角度は、１０度から３０度の範囲内であれば何れの角度でも設定可能である。

【0038】

上記では、角度φは固定的なものとして説明したが、これに限定されない。即ち、仮想カメラ１に関する視線の方向とターゲット・オブジェクト３０の間の角度θに応じて動的にφを変更してもよいし、ユーザのＨＭＤの傾け動作に応じて、例えば動作の角速度や加速度等に応じて変更してもよい。

【0039】

また、上記では、誘導オブジェクト２０を仮想カメラ１からターゲット・オブジェクトまでの距離と等距離となる位置に配置しているがこれに限定されない。但し、図６Ｂ（ａ）に示すように、誘導オブジェクト２０ａを仮想カメラに近づけ過ぎると、仮想視点１０と重なり、画面表示上邪魔になるため適切ではない。また、誘導オブジェクト２０ｂを仮想カメラから遠ざけ過ぎると、画面表示上小さすぎてユーザは視認しづらくなる。このため、図６Ｂ（ｂ）のように、仮想カメラからの距離に応じて、誘導オブジェクト２０ａ’，２０ｂ’の大きさを動的に決定するのがよい。

【0040】

図７Ａおよび図７Ｂに、図６（ａ）から（ｃ）へ移行する様子を立体的に示す。図７Ａは図６（ａ）（および図４（ａ））に相当し、図７Ｂは図６（ｃ）（および図４（ｂ））に相当する。なお、これらは概念的に例示したものに過ぎない。誘導オブジェクト２０およびターゲット・オブジェクト３０は、実際は３次元のオブジェクトとして空間内に配置されることに留意すべきである。

【0041】

図７Ａでは、３次元仮想空間において、誘導オブジェクト２０を円周平面上に配置する。即ち、誘導オブジェクト２０は、仮想カメラ１の位置を中心とし、且つ仮想カメラ１からターゲット・オブジェクト３０までを半径とする円周Ｃであって、視線と交差する（仮想視点１０を有する）円周Ｃ上に配置する。このように誘導オブジェクト２０を配置することにより、誘導オブジェクトが視線に追従して滑らかに３次元移動する様子を表現することができる。また、図７Ｂでは、一例として、仮想視点とターゲット・オブジェクトの間の角度θ’’が所定の角度範囲内に入ったため、誘導オブジェクト２０’を３次元仮想空間の垂直方向に所定の距離だけ離して配置する。しかしながら、誘導オブジェクト２０’の配置位置は、該誘導オブジェクトが視界の邪魔にならないよう、ターゲット・オブジェクトの周囲に配置するのであれば、何れの方向でもよいことに留意すべきである。この点、周囲に配置された別のオブジェクトとの関係において、配置位置を決定してもよい。

【0042】

これより図８以降を参照して、本発明の実施形態により、視線誘導のためのコンピュータ・プログラムで実行される情報処理について説明する。図８は、本発明の実施形態による、視線誘導のためのコンピュータ・プログラムを実装するために、コンピュータ（制御回路部）１２０に機能させるコンポーネントの主要機能の構成を示したブロック図である。本発明の実施形態では、図８の各コンポーネントによる手段としてコンピュータ１２０を機能させる。つまり、コンピュータ１２０では、主に、センサ１１４からの入力を受け、該入力を処理してＨＭＤ（ディスプレイ）１１２への出力を行う。ここでの出力には、３次元仮想空間の視界画像を生成して表示することを含む。

【0043】

具体的には、コンピュータ１２０は、主に、動き検知部２１０、視界決定部２２０、ターゲット特定部２３０、誘導オブジェクト配置部２４０、および視界画像生成部２５０を含む。また、仮想空間情報を格納した空間情報格納部２６０等の各種テーブルを参照・更新等することにより各種情報を処理するように構成される。

【0044】

動き検知部２１０では、センサ１１４で測定された動き情報の入力に基づいて、ユーザの頭部に装着されたＨＭＤ１１０の各種動きデータを決定する。本発明の実施形態では、特に、ＨＭＤが具備する傾きセンサ（ジャイロ・センサ）１１４により経時的に検知される傾き（角度）情報、およびＨＭＤを検知可能な位置センサ（ポジション・トラッキング・カメラ）１３０により経時的に検知される位置情報を決定する。

【0045】

視界決定部２２０では、ＨＭＤの動きに従って、仮想カメラからの視線に基づく視界を決定する。具体的には、空間情報格納部２６０に格納された３次元仮想空間情報、並びに、動き検知部２１０で検知された傾き情報および位置情報に基づいて、図５に示したように３次元仮想空間に配置した仮想カメラの位置、方向、そして、該仮想カメラからの視界を決定する。なお、位置センサ１３０は任意としてよく、位置センサを使用しない場合は、仮想カメラは常に３次元仮想空間の中心点に配置するように構成される。

【0046】

ターゲット特定部２３０では、空間情報格納部２６０に格納された３次元仮想空間情報に基づいて、３次元仮想空間に配置されたターゲット・オブジェクトの位置を特定する。当該ターゲット・オブジェクトは、視線を誘導する誘導先のターゲットである。また、ゲーム進行のシナリオ等に応じて、ターゲット・オブジェクトは予め順番と共に設定される。

【0047】

誘導オブジェクト配置部２４０では、３次元仮想空間において、３次元誘導オブジェクトを、仮想カメラの位置、視線の方向、およびターゲット・オブジェクトの位置に基づいて決定される、視界内の位置に配置する。これにより、誘導オブジェクトを視線の動きに追従させるよう構成可能である。

【0048】

視界画像生成部２５０では、ＨＭＤに表示するために、視界決定部２２０で決定した視界に対する３６０度パノラマの一部の視界画像を、仮想空間情報を用いて生成することができる。なお、視界画像について、２次元画像を左目用と右目用の２つを生成し、ＨＭＤにおいてこれら２つを重畳させることによって、ユーザには３次元画像の如くＨＭＤに表示可能である。

【0049】

なお図８において、様々な処理を行う機能ブロックとして記載される各コンポーネントは、ハードウェア的には、ＣＰＵ、メモリ、その他の集積回路で構成することができ、ソフトウェア的には、メモリにロードされた各種プログラムなどによって実現される。したがって、これらの機能ブロックがハードウェア、ソフトウェア、又はそれらの組み合わせによって実現できることが当業者に理解されて然るべきである。

【0050】

次に、図９および図１０を参照して、本発明の実施形態による視線誘導に関連する処理フローについて説明する。図９に示すように、当該情報処理は、主に、ＨＭＤ１１０とコンピュータ１２０の間の相互作用を通じて実施される。図９は、ユーザのＨＭＤ傾け動作と共に、視線誘導にしたがって３次元仮想空間における視界をユーザに変更させて、視界画像を生成および表示する一連の概略処理フローである。図１０は、図９の処理の内、誘導オブジェクトを配置する処理（ステップＳ２０−４）に関する詳細の処理フローである。

【0051】

図９では、ＨＭＤ１１０は、ステップＳ１０−１のように、恒常的にセンサ１１４を用いてユーザ頭部の動きを検知する。これを受けて、コンピュータ１２０では、ステップＳ２０−１では、動き検知部２１０によって、ＨＭＤの位置情報に基づいて３次元仮想空間内に配置される仮想カメラの位置を決定する。同時に、ステップＳ２０−２では、同じく動き検知部２１０によって、ＨＭＤの動き（傾き情報）に従って仮想カメラの向き、即ち視線を決定する。引き続き、ステップＳ２０−３では、視界決定部２２０により、仮想カメラからの視線、および仮想カメラの所定の視野角度（図５）に基づいて視界を決定する。

【0052】

ステップＳ２０−４では、ターゲット特定部２３０によって３次元空間に配置されたターゲット・オブジェクトを特定する。同時にステップＳ２０−４では、誘導オブジェクト配置部２４０によって、該ターゲット・オブジェクトに向ける３次元の誘導オブジェクトを視界内の空間位置に配置する。なお、当該ステップＳ２０−４の詳細は図１０で後述する。

【0053】

ステップＳ２０−５では、ＨＭＤ１１２に表示するために、視界画像生成部２５０により、視界に対する視界画像を、誘導オブジェクトを収容した形で生成する。具体的には、視界画像生成部２３０は、空間情報格納部２８０に格納した仮想空間情報を用いることによって、視界に対応する視界画像を生成することができる。次いで、ステップＳ１０−２に進み、ステップＳ２０−５で生成した視界画像をＨＭＤのディスプレイ１１２に表示する。

【0054】

上記ステップＳ１０−１、Ｓ２０−１からＳ２０−５、およびＳ１０−２が一連の基本処理ルーチンであり、アプリケーション実行中は、これらステップは基本的に繰り返し処理される。

【0055】

図１０に、ステップＳ２０−４に関する詳細フローを示す。ステップＳ２００−１では、ターゲット特定部２３０によって、３次元仮想空間内のターゲット・オブジェクトの位置を特定する。なお、ターゲット・オブジェクトは予めターゲットとされる順序と共に設定され、メモリにテーブルとして格納しておくのがよい。以降のステップは、誘導オブジェクト配置部２４０がその動作主体となる。

【0056】

ステップＳ２００−２では、仮想カメラの位置に関し、視線方向からターゲット・オブジェクト方向への角度θを決定する。そして、誘導オブジェクトの配置を決定するために、ステップＳ２００−３でθが所定の各ωより大きいかを判定する。ＹＥＳの場合は、ステップＳ２００−４に進み、視線に追従する３次元の誘導オブジェクトを、仮想カメラの位置、視線の方向、およびターゲット・オブジェクトの位置に基づいて決定する。他方、ＮＯの場合はステップＳ２００−６に進み、誘導オブジェクトの配置変更により、誘導オブジェクトをターゲット・オブジェクトの周囲の所定方向に配置する。

【0057】

より詳細には、ステップＳ２００−４では、仮想カメラの位置を中心とし、ターゲット・オブジェクトまでの距離を半径とし、且つ、視線が交差する円周（図７Ａの円周Ｃ）を決定する。引き続き、ステップＳ２００−５では、視線方向からターゲット・オブジェクト方向へ角度φを成す円周上の点を視界領域内の誘導オブジェクト配置点として決定する。次いで、ステップＳ２００−７で、決定した誘導オブジェクト配置点に３次元誘導オブジェクトを配置する。その際、誘導オブジェクトは３次元の指向性を有し、ターゲット・オブジェクト方向を指向するように配置するのがよい。

【0058】

他方、ステップＳ２００−６では、ターゲット・オブジェクトの周辺の所定の方向に、所定の距離だけ離れた場所を誘導オブジェクト配置点として決定する。例えば、図７Ｂに示したように、３次元仮想空間の垂直方向に所定の距離だけ離した位置を誘導オブジェクト配置点とするのがよい。次いで、上記同様、ステップＳ２００−７で、決定した誘導オブジェクト配置点に３次元誘導オブジェクトを配置する。

【0059】

本発明の実施形態による視線誘導のためのコンピュータ・プログラムによれば、３次元仮想空間において、視線に追従する３次元誘導オブジェクトを視界内に動的に配置可能とすることにより、ユーザの視線を適切に誘導することができ、視覚的な視線誘導効果を発揮させることができる。特に、３次元誘導オブジェクトは、３次元指向性を有することや様々な特性を有するように構成することにより、より効果的な視線誘導を可能とする。更に、所定の角度条件による視界変更を通じて、視線誘導をよりダイナミミックの視覚効果を有するように構成することが可能である。

【0060】

以上、本発明の実施形態による視線誘導のためのコンピュータ・プログラムについていくつかの例示と共に説明してきたが、本発明は上記実施形態に限定されるものではない。特許請求の範囲に記載される本発明の趣旨及び範囲から逸脱することなく、様々な実施形態の変更がなされ得ることを当業者は理解するであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7A】

【図7B】

【図8】

【図9】

【図10】