特許 6436872 情報処理装置、情報処理方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6436872

(24)【登録日】2018年11月22日

(45)【発行日】2018年12月12日

(54)【発明の名称】情報処理装置、情報処理方法、プログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20181203BHJP

   G06F 3/01 20060101ALI20181203BHJP

【ＦＩ】

   G06T19/00 600

   G06F3/01 510

【請求項の数】11

【全頁数】14

(21)【出願番号】特願2015-138117(P2015-138117)

(22)【出願日】2015年7月9日

(62)【分割の表示】特願2014-186531(P2014-186531)の分割

【原出願日】2014年9月12日

(65)【公開番号】特開2016-62593(P2016-62593A)

(43)【公開日】2016年4月25日

【審査請求日】2017年9月11日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100124442

【弁理士】

【氏名又は名称】黒岩 創吾

(72)【発明者】

【氏名】荒谷 真一

(72)【発明者】

【氏名】武本 和樹

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 特開２０１２−１５５６５４（ＪＰ，Ａ）

【文献】 特開２０１３−２５７７１６（ＪＰ，Ａ）

【文献】 特表２０１６−５３２１７８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

第１の属性および、前記第１の属性とは異なる第２の属性を有するデータを、現実空間に存在する現実物体の位置に対応づけて保持する保持手段と、
前記第１の属性が前記観察者への警告情報を出力することを示す属性の場合に、前記観察者の位置と前記データに対応づけられた現実物体の位置とに基づき前記観察者に対する警告情報を出力する警告情報出力手段と、
前記第２の属性が前記現実物体の位置と前記観察者が観察するための仮想物体が配置される位置とに応じて前記仮想物体を描画することを示す属性の場合に、前記データが対応づけられた現実物体の位置と前記仮想物体が配置される位置とに基づき、前記データが対応づけられた現実物体の位置が前記仮想物体が配置される位置よりも前記観察者の位置から見て手前である領域に対しては、前記仮想物体を描画せず、前記データが対応づけられた現実物体の位置が前記仮想物体が配置される位置よりも前記観察者の位置から見て奥である領域に対しては、前記仮想物体を描画することにより、画像を生成する画像生成手段と、
前記画像を出力する画像出力手段とを備えることを特徴とする情報処理装置。

【請求項2】

更に、
前記観察者の位置と前記データに対応づけられた現実物体の位置とを比較する第１の比較手段と、
前記データに対応づけられた現実物体の位置と前記仮想物体の配置される位置とを比較する第２の比較手段とを備えることを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記第１の比較手段は、前記観察者の位置と前記データに対応づけられた現実物体の位置とを比較することにより、前記観察者の位置と前記現実物体との間の距離を算出することを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記警告情報出力手段は、前記距離が閾値よりも小さい場合に、前記警告情報を出力することを特徴とする請求項３に記載の情報処理装置。

【請求項5】

前記第２の比較手段は、前記に対応づけられた現実物体の位置と前記仮想物体が配置される位置とを比較することにより、前記観察者の位置と前記仮想物体との間の距離を算出することを特徴とする請求項２乃至４のいずれか１項に記載の情報処理装置。

【請求項6】

前記データは、予め設定された形状およびサイズを有する基本モデルに対する前記観察者による入力に基づいて決定されるデータであることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。

【請求項7】

前記形状は、多面体であることを特徴とする請求項６に記載の情報処理装置。

【請求項8】

前記データは、前記現実空間における前記現実物体の位置に配置された指標を撮像した画像に基づいて生成されるデータであることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。

【請求項9】

更に、前記観察者の頭部または顔面に装着される撮像装置と、
前記撮像装置によって撮像された撮像画像を取得する画像取得手段と、
前記画像取得手段によって取得された撮像画像と前記画像とを合成することにより、合成画像を生成する合成画像生成手段とを備え、
前記警告情報出力手段は、前記合成画像に前記警告情報を付加することによって、前記警告情報を出力することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。

【請求項10】

第１の属性および、前記第１の属性とは異なる第２の属性を有するデータを、現実空間に存在する現実物体の位置に対応づけて保持する保持手段を有する情報処理装置が実行する情報処理方法であって、
前記第１の属性が前記観察者への警告情報を出力することを示す属性の場合に、前記観察者の位置と前記データに対応づけられた現実物体の位置とに基づき前記観察者に対する警告情報を出力する警告情報出力工程と、
前記第２の属性が前記現実物体の位置と前記観察者が観察するための仮想物体が配置される位置とに応じて前記仮想物体を描画することを示す属性の場合に、前記データが対応づけられた現実物体の位置と前記仮想物体が配置される位置とに基づき、前記データが対応づけられた現実物体の位置が前記仮想物体が配置される位置よりも前記観察者の位置から見て手前である領域に対しては、前記仮想物体を描画せず、前記データが対応づけられた現実物体の位置が前記仮想物体が配置される位置よりも前記観察者の位置から見て奥である領域に対しては、前記仮想物体を描画することにより、画像を生成する画像生成工程と、
前記画像を出力する画像出力工程とを備えることを特徴とする情報処理方法。

【請求項11】

コンピュータを、請求項１乃至９のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、現実空間の画像に仮想物体を重ね合わせて表示する複合現実感システムに関する。

【背景技術】

【0002】

現実世界と仮想世界とをリアルタイムに融合させる技術として、複合現実感（ＭＲ：ＭｉｘｅｄＲｅａｌｉｔｙ）技術や拡張現実感（ＡＲ：ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）技術が知られている。これらの技術は、現実空間とコンピュータによって作られる仮想空間を繋ぎ目なく融合する技術である。これらは、組み立て作業時に作業手順や配線の様子を重畳表示する組み立て支援や、建築物の内外装を実際に建てる前にＣＧを重畳表示することで確認する建築シミュレーション等、様々な分野への応用が期待される。

【0003】

観察者が、仮想物体を現実空間に実在するように感じるための装置の一つとして、頭部搭載型のＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）などが用いられる。特に、ビデオシースルー型のＨＭＤは、搭載されるビデオカメラで現実世界を撮影し、その画像に、仮想物体を重畳した合成画像を、リアルタイムにディスプレイ等の表示手段に表示させ、観察者に提示する。

【0004】

このとき、頭部装着型のＨＭＤなどのように、没入感の高い表示部を用いる場合に、複数人で体験していると、他の観察者が近づいてきていることがわからないため、他の観察者と接近する可能性が生じる。そこで、特許文献１では、第１の観察者の視点位置と方向と、第２の観察者の視点位置と方向を求め、第１と第２の観察者の距離が閾値より小さくなった場合に、第２の観察者が接近していることを報知することについて開示している。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００６−３０１９２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に開示される方法は、観察者と別の観察者との接近を報知することを目的としているため、現実空間に存在するテーブルや壁などの現実物体と観察者との接近については観察者に報知することができないという問題があった。

【0007】

本発明は、以上の問題に鑑みてなされたものであり、観察者が現実空間中の現実物体に接近したことを観察者に報知することを目的とする。

【課題を解決するための手段】

【0008】

上記の課題を解決するために、本発明の情報処理装置は、例えば、 第１の属性および、前記第１の属性とは異なる第２の属性を有するデータを、現実空間に存在する現実物体の位置に対応づけて保持する保持手段と、前記第１の属性が前記観察者への警告情報を出力することを示す属性の場合に、前記観察者の位置と前記データに対応づけられた現実物体の位置とに基づき前記観察者に対する警告情報を出力する警告情報出力手段と、前記第２の属性が前記現実物体の位置と前記観察者が観察するための仮想物体が配置される位置とに応じて前記仮想物体を描画することを示す属性の場合に、前記データが対応づけられた現実物体の位置と前記仮想物体が配置される位置とに基づき、前記データが対応づけられた現実物体の位置が前記仮想物体が配置される位置よりも前記観察者の位置から見て手前である領域に対しては、前記仮想物体を描画せず、前記データが対応づけられた現実物体の位置が前記仮想物体が配置される位置よりも前記観察者の位置から見て奥である領域に対しては、前記仮想物体を描画することにより、画像を生成する画像生成手段と、前記画像を出力する画像出力手段とを備える。

【発明の効果】

【0009】

本発明によれば、観察者が現実空間中の現実物体に接近したことを観察者に報知することができる。

【図面の簡単な説明】

【0010】

【図1】第１の実施形態における、情報処理装置１０００の構成図である。

【図2】仮想物体に接近警告報知用の属性を付加することで、計測対象が仮想物体に近づいた場合に接近警告報知を行う処理のフローチャートである。

【図3】１つの仮想物体に対するモデルデータの構成例を示す図である。

【図4】指標について説明する図である。

【図5】接近警告報知の提示情報を説明する図である。

【図6】接近警告報知属性を付加する仮想物体モデルデータを作成するためのＧＵＩ（グラフィック観察者インターフェース）を説明する図である。

【図7】仮想物体の属性を設定するフローチャートである。

【図8】モデル配置用指標について説明する図である。

【図9】本発明の実施形態に係るシステムに適用可能なコンピュータのハードウェア構成例を示す図である。

【発明を実施するための形態】

【0011】

本発明にかかる実施形態を説明するのに先立ち、各実施形態に示す情報処理装置が実装されるハードウェア構成について、図９を用いて説明する。

【0012】

図９は、本実施形態における情報装置のハードウェア構成図である。同図において、ＣＰＵ９１０は、バス９００を介して接続する各デバイスを統括的に制御する。ＣＰＵ９１０は、読み出し専用メモリ（ＲＯＭ）９２０に記憶された処理ステップやプログラムを読み出して実行する。オペレーティングシステム（ＯＳ）をはじめ、本実施形態に係る各処理プログラム、デバイスドライバ等はＲＯＭ９２０に記憶されており、ランダムアクセスメモリ（ＲＡＭ）９３０に一時記憶され、ＣＰＵ９１０によって適宜実行される。また、入力Ｉ／Ｆ９４０は、外部の装置（表示装置や操作装置など）から情報処理装置１で処理可能な形式で入力信号として入力する。また、出力Ｉ／Ｆ９５０は、外部の装置（表示装置）へ表示装置が処理可能な形式で出力信号として出力する。

【0013】

これらの各機能部は、ＣＰＵ７１０が、ＲＯＭ９２０に格納されたプログラムをＲＡＭ９３０に展開し、後述する各フローチャートに従った処理を実行することで実現されている。また例えば、ＣＰＵ９１０を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。

【0014】

（第１の実施形態）
以下、添付図面を参照して本発明の好適な実施形態について説明する。

【0015】

第１の実施形態では、現実の空間に配置されている現実物体の位置に仮想物体を関連付け、この仮想物体に接近警告報知用の属性を付加する。そして、計測対象とこの接近警告報知用の属性が付加された仮想物体との距離が近くなった場合に観察者に、現実物体に近付いている旨の報知を行う実施形態について説明する。

【0016】

図１は、本実施形態に係る情報処理装置１０００とＨＭＤの構成図である。情報処理装置１０００は、モデルデータ設定部１０１０、仮想物体生成部１０２０、画像取得部１０３０、計測対象位置取得部１０４０、距離算出部１０５０、接近警告生成部１０６０、観察用仮想物体生成部１０７０、合成画像生成部１０８０で構成される。また、情報処理装置１０００は、ＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ、頭部装着型表示装置）６００に有線または無線によって接続されている。ＨＭＤ６００は、撮像部４００と表示部５００を備えている。

【0017】

モデルデータ設定部１０１０は、仮想物体のモデルデータを設定する。図３は、１つの仮想物体に対するモデルデータの構成例を示す図である。本実施形態で描画する仮想物体のモデルデータには、仮想物体の位置姿勢（位置（ｘ、ｙ、ｚ）と姿勢（ｒｏｌｌ，ｐｉｔｃｈ，ｙａｗ））を示す位置姿勢情報３０２、仮想物体の色や形状などの視覚的な情報であるモデル情報３０３が含まれる。これに加えて、この仮想物体が接近警告報知の対象となっているか否かを示すための接近警告報知属性フラグ３０１が、このモデルデータに含まれている。接近警告報知属性フラグ３０１はＯＮ／ＯＦＦを示す１ビットでもって表現されるものである。例えば接近警告報知属性フラグ３０１の値が「１」（ＯＮ）の場合には「接近警告報知の対象である」ことを示し、「０」（ＯＦＦ）の場合には、「接近警告報知の対象ではない」ことを示す。ここで、接近警告報知属性フラグをＯＮに設定する仮想物体を決定するのは、観察者がＵＩ（観察者インターフェース）によって指示をしてもよい。また、壁のような物体との接近を報知するために、所定の大きさ以上の面積を持つ仮想物体に対して接近警告報知属性フラグ（設定情報）を自動的にＯＮに設定してもよい。

【0018】

仮想物体生成部１０２０は、モデルデータ設定部１０１０によって属性が設定されたモデルデータをもつ仮想物体を生成する。属性が設定されたモデルデータをもつ仮想物体は、図８のような観察者が持ち運び可能なボードに記された指標に対応づけられる。このボードに記された指標を含んだ画像から指標が認識されると、指標が配置された位置に仮想物体が生成される。

【0019】

画像取得部１０３０は、ＨＭＤ６００から、ＨＭＤ６００が備える撮像部４００によって撮像された画像を取得する。画像取得部１０３０は、ＨＭＤ６００（撮像部４００）の出力が、ＩＥＥＥ１３９４などのデジタル出力であれば、例えば、ＩＥＥＥ１３９４インタフェースボードによって実現される。またＨＭＤ６００（撮像部４００）の出力がＮＴＳＣ信号などのアナログ出力であれば、アナログビデオキャプチャーボードによって実現される。また、予め不図示の記憶装置に記憶してある静止画や動画像のデジタルデータを読み出してもよい。

【0020】

計測対象位置取得部１０４０は、計測対象の位置を取得する。本実施形態では、計測対象を、ＨＭＤ６００として説明する。計測対象位置取得部１００は、いずれの公知の手法でＨＭＤ６００の位置を求めてもよいが、本実施形態では、ＨＭＤ６００に備わる撮像部４００によって撮像される画像に含まれる既知の指標を撮影することによって求める。

【0021】

既知の座標を持つ指標を撮影することによって撮像装置の位置情報を求める方法については公知の方法であるので詳しい説明は省略する。指標としては、環境中に、図４（Ａ）に示すような四角形形状の指標（以下、四角形指標と呼ぶ）を複数配置するものとする。ここで、配置する指標をＰ^ｋ（ｋ＝１，，，Ｋ_ｏ）で表す。但し、Ｋ_ｏは配置する指標の数（図４（Ａ）の例ではＫ_ｏ＝３）である。図４（Ｂ）に示すように、四角形指標は、内部に識別子を表すパターンを持ち、一意に同定可能であるとする。また、また、四角形指標Ｐ^ｋは頂点ｐ^ｋｉ（ｉ＝１，，，Ｎ_ｋ）により構成される。但し、Ｎ_ｋは、指標Ｐ^ｋを構成する頂点の総数（本実施形態の場合は四角形指標であるのでＮ_ｋ＝４）を表す。撮影画像に２値化処理を施した後にラベリング処理を行い、一定面積以上の領域の中から４つの直線によって形成されているものを指標候補として抽出する。さらに、候補領域の中に特定のパターンがあるか否かを判定することによって候補領域が指標領域であるかを判定し、内部のパターンを読み出すことによって指標の画像内の方向と識別子を取得することにより、取得された画像中から指標を検出する。

【0022】

なお、環境中または対象物体上に配置される指標Ｐ^ｋは、四角形指標に限るものではなく、撮影画像上において検出可能であって、かついずれの指標であるか識別可能である指標であれば、何れの形態であってもよい。例えば、図４（Ｃ）に示すように、それぞれが異なる色を有する円形状の指標のような点指標であってもよい。この場合には、画像上から各々の指標の色に対応する領域を検出し、その重心位置を指標の検出座標とする。また、それぞれが異なるテクスチャ特徴を有する特徴点（自然特徴点）を点指標としてもよい。この場合には、既知の情報として予め保持している各々の指標のテンプレート画像によるテンプレートマッチングを画像上に施すことにより、画像から指標を抽出する。これに限らず、空間中に固定される指標であってそれを撮影した画像から検出可能なものであればどのような指標であってもかまわない。なお、指標の配置情報は何らかの方法により作成したもので既知とする。

【0023】

また、位置姿勢センサをＨＭＤ６００に装着し、センサの出力値を撮像部の位置姿勢としてもよい。位置姿勢センサを利用する場合には、位置姿勢センサと撮像部の相対的な位置関係は予め校正されており、位置姿勢センサの出力値をＨＭＤ６００の位置姿勢とできるものとする。

【0024】

距離算出部１０５０は、仮想物体生成部１０２０によって生成された仮想物体が生成された位置と、計測対象の位置との間の距離を算出する。そして、算出された距離が所定の値よりも小さいかを判定する。判定された結果を接近警告提示部に送出する。

【0025】

接近警告生成部１０６０は、観察者に接近の報知が必要か否かを判定し、必要があると判定された場合に、接近警告の提示情報を生成する。ＨＭＤ６００に搭載される表示部５００に接近警告の提示情報を表示する。接近警告報知の提示情報は、例えば、図５（Ａ）及び図５（Ｂ）に示すようなアイコンである。また、接近する可能性があることを文字で示し、画像の重畳させることで提示してもよい。生成した提示情報を、ＨＭＤ６００に送出する。

【0026】

観察用仮想物体生成部１０５０は、観察者が複合現実感を体験するために観察する仮想物体の情報を取得して、観察用仮想物体を生成する。本実施形態において、仮想物体生成部１０２０で生成される属性が設定された仮想物体と、観察用仮想物体とは使用される目的が異なり、また上記のように図３の３０１の属性が設定されているか否かという点で異なる。観察用仮想物体の情報は不図示のメモリに予め保存されていても良いし、記憶媒体から読み出しても良い。取得した仮想物体の情報とＨＭＤ６００の位置姿勢とに応じて、仮想物体を生成（レンダリング）する。

【0027】

合成画像生成部１０６０は、観察用仮想物体生成部１０５０で生成された仮想物体と，画像取得部で取得した画像とを合成して合成画像を生成する。接近警告生成部から接近警告の提示情報が送出されている場合には、接近警告の提示情報も合成画像に重畳する。生成された合成画像をＨＭＤ６００に出力する。

【0028】

次に、ＨＭＤ６００の各部について説明する。
撮像部４００は、指標が配置された現実空間を撮像するビデオカメラである。撮像部４００は、撮像した撮像画像を情報処理装置１０００に送出する。
表示部６００は、情報処理装置から送出された合成画像を受信して、表示するディスプレイである。

【0029】

次に、図２を参照して、本実施形態における情報処理装置１０００の処理フローチャートを説明する。

【0030】

（ステップＳ２０１０）
ステップＳ２０１０では、モデルデータ設定部は、新規作成する仮想物体モデルデータを設定する。
本ステップは、図３のフローチャートで詳述する。

【0031】

（ステップＳ７０１０）
ステップＳ７０１０では、モデルデータ設定部１０１０は、新規作成する仮想物体モデルデータとしてどのような基本形状にするかを設定する。例えば、基本形状は、平面または直方体または四角柱である。なお、基本形状は、三角柱や円柱、三角錐や円錐など、前述の形状に限るものではない。どのモデルを基本形状にするかは、例えば、図６のＧＵＩを観察者に提示し、観察者によって選択されたＧＵＩ上のボタン３０１０によって設定しても良い。また、例えば、予め決められている形状を設定しても良い。

【0032】

（ステップＳ７０２０）
ステップＳ７０２０では、モデルデータ設定部１０１０は、ステップＳ２０１０で設定された仮想物体モデルの基本形状の大きさを設定する。例えば、図６のリストボックス３０２０の中から観察者によって選択されたものを設定する。本実施形態では、リストボックスには大、中、小のようないくつかの大きさが設定されており、観察者はこの中から所望のサイズを選択することができる。また、例えば、予め決められているサイズを設定しても良い。

【0033】

（ステップＳ７０３０）
ステップＳ７０３０では、モデルデータ設定部１０１０は、ステップＳ７０１０、７０２０で形状と大きさが設定された仮想物体モデルに、属性を設定する。属性の設定は、図６のリストボックス３０５０から切り替えて付加する。ここで、本実施形態のリストボックス３０５０では、例えば、「接近警告報知用モデル」の他に、「マスク属性付加モデル」と、「マスク属性付加モデル及び接近警告報知用モデル」を切り替えできる。ここで、接近警告報知用モデルと、マスク属性付加モデルについてそれぞれ説明する。

【0034】

接近警告報知用モデルは、仮想物体と計測対象であるＨＭＤ６００と間の距離を計算し、計算された距離が閾値より小さい場合に、観察者に報知するために用いられるモデルである。

【0035】

次に、マスク属性付加モデルについて説明する。マスク属性付加モデルは、実写画像中の壁や柱などの現実物体の上に、奥行情報を考慮せずに仮想物体を上書きしないために、現実物体をマスクするモデルである。奥行情報を考慮せずに、仮想物体を画像に上書きすると、仮想物体と現実物体との前後関係を正しく表示できないため、複合現実感システムでは、没入感や臨場感を著しく低下させてしまう。そのため、現実空間と仮想空間の座標系を一致させ、現実物体の位置に正しくマスク属性付加モデルを配置することで、例えば、仮想物体と現実物体の前後関係を正しく表現できる。したがって、「マスク属性付加モデル」または、「マスク属性付加モデル及び接近警告報知用モデル」の属性が設定されている仮想物体は、その他の仮想物体との撮像部４００の視点位置からの奥行値を比較することで、前後関係を正しく表示することができる。

【0036】

（ステップＳ２０２０）
ステップＳ２０２０では、仮想物体生成部１０２０は、ステップＳ２０２０で設定されたモデルデータを持つ仮想物体モデルを生成する。仮想物体モデルデータ生成部５０１０は、例えば、図６中の新規作成ボタン３０３０が観察者によって押下されたことに応じて、ステップ４０１０〜４０３０で設定された基本形状、サイズ、属性をもった仮想物体モデルを作成する。また、同じく図６中の読み込みボタン３０４０が観察者によって押下されたことに応じて、過去に作成した仮想物体モデルを読み込むことによって、仮想物体モデルを生成してもよい。

【0037】

（ステップＳ２０３０）
ステップＳ２０３０では、仮想物体モデル生成部１０２０は、ステップＳ２０４０で設定されたモデルデータを持つ仮想物体モデルを現実空間中の現実物体に合わせて配置する。本実施形態では、図８に示すようなモデル配置用指標５０００に基づいて、所定の位置に仮想物体を配置する。

【0038】

まず、観察者が、モデル配置用指標５０００を現実の物体の位置に合わせて配置する。これは、例えば、現実物体がテーブルの場合には、所定の面方向のテーブルの足の部分に合わせて、モデル配置用指標５０００を配置する。モデル配置用指標５０００には、図８に示すように、接近警告報知用やマスク用の仮想物体モデルの位置を決めるための位置決め用マーク５０１０を備えている。本実施形態では、図８に示すように２つの位置決め用マークと接し、かつモデル配置用指標と直交する平面に接するように、モデル配置用指標５０００を配置する。配置されたモデル配置用指標５０００を撮像装置によって撮像し、撮像した画像を、画像取得部１０３０によって取得する。取得した画像から指標を検出することによって、モデル配置用指標５０００を配置された位置を取得することができる。

【0039】

観察者は、仮想物体モデルのサイズと位置を更に詳細に設定することもできる。例えば、観察者が仮想物体モデルのサイズと位置を、図６のエディットボックス３０７０に直接入力した値に基づいて、仮想物体モデルのサイズと位置を反映させることができる。また、画像取得した画像に仮想物体を重畳して表示し、仮想物体の境界線をマウス等を使ってドラッグすることで、サイズを変更してもよい。また、仮想物体の内部に表示した座標軸をドラッグすることで、位置を移動してもよい。

【0040】

（ステップＳ２０３０）
ステップＳ２０３０では、計測対象位置取得部１０４０は、公知の方法によりＨＭＤ６００の位置姿勢を計測する。計測対象位置計測部１００が計測する計測対象の位置姿勢情報はいずれの公知の手段で求めてもよい。本実施形態では、撮像部４００が、既知の指標を撮影することによって、位置姿勢を求める。

【0041】

計測対象位置取得部１０４０は、取得した計測対象の位置姿勢情報を、距離算出部１０５０と観察用仮想物体取得部１０７０に送出する。

【0042】

（ステップＳ２０４０）
ステップＳ２０４０では、距離算出部１０５０が、ステップＳ２０２０で生成された仮想物体の属性が接近警告報知用モデルであるかを判定する。ステップＳ２０２０で説明したように、仮想物体は、「接近警告報知用モデル」「マスク属性付加モデル」「マスク属性付加モデル及び接近警告報知用モデル」のいずれかが設定されている。本ステップでは、「接近警告報知用モデル」または「マスク属性付加モデル及び接近警告報知用モデル」のいずれかであるか否かを判定する。「接近警告報知用モデル」または「マスク属性付加モデル及び接近警告報知用モデル」のいずれかであると判定された場合には、ステップＳ２０４０へと処理を進める。「マスク属性付加モデル」であると判定された場合には、ステップＳ２０８０へと処理を進める。

【0043】

（ステップＳ２０５０）
ステップＳ２０５０では、距離算出部１０５０が、ＨＭＤ６００と仮想物体との間の距離を求める。距離算出部１０５０が、計測対象である撮像部４００と、接近警告報知属性フラグ３０１がＯＮの仮想物体との距離を計測する。なお、ここでは、現実空間に定義する座標系を前記指標によって設定することで、現実空間に定義される座標系と仮想空間に定義される座標系の原点や軸の向きを予め一致させてあるものとする。現実空間と仮想空間の座標系を一致させておくことで、計測対象である撮像部４００が現実空間を移動した場合でも、撮像部の現実空間の位置と仮想物体の位置を比較することで、距離を計測することができる。したがって、距離算出部１０５０は、計測対象の位置と接近警告報知属性フラグ３０１がＯＮの仮想物体の位置に基づいて、距離を計測する。

【0044】

（ステップＳ２０６０）
ステップＳ２０６０では、提示情報生成部１０６０が、ステップＳ２０５０で算出された距離が閾値以下であるかを判定する。閾値は、図６の入力欄３０９０によって観察者に入力させることによって決定しても良いし、予め定められていても良い。閾値以下であると判定された場合には、ステップＳ２０７０へと処理が進み、閾値よりも大きいと判定された場合には、ステップＳ２０８０へと処理が進む。

【0045】

（ステップＳ２０７０）
ステップＳ２０７０では、提示情報生成部１０６０は、接近警告の提示情報を生成する。提示情報は、例えば、図５（Ａ）及び図５（Ｂ）に示すようなアイコンである。そして、接近警告提示部１０６０は、生成した提示情報を合成画像生成部１０８０へと送出する。

【0046】

（ステップＳ２０８０）
ステップＳ２０８０では、合成画像生成部１０８０は、画像取得部１０３０で取得した撮像画像と観察用仮想物体取得部１０７０で取得した観察用仮想物体とを合成して合成画像を生成する。また、提示情報生成部１０６０で提示情報が生成されている場合には、提示情報を合成画像に付加して、ＨＭＤ６００に送出する。また、ステップＳ２０４０で、「マスク属性付加モデル」または「マスク属性付加モデル及び接近警告報知用モデル」と判定された仮想物体が配置されている領域に、観察用仮想物体を合成する場合には、両者の奥行き値を比較する。そして、観察用仮想物体がＨＭＤ６００から見て手前にある場合にのみ、仮想物体を合成する。

【0047】

以上のように、複合現実空間において、観察者が接近警告報知属性を持たせた仮想物体に近づいたときに、情報処理装置は、観察者に接近警告報知を行うことができる。

【0048】

また、仮想物体ごとに、接近警告報知属性フラグを設定することにより、観察者が接近したい現実物体に対しては警告が報知されず、必要な現実物体のみ、警告が報知されるように設定することができる。

【0049】

（変形例１）
第１の実施形態では、接近警告提示部１０６０は、アイコンや文字を撮像部が撮影した画像に重畳することで、接近警告報知情報を提示した。しかし、接近警告報知を行うことができれば、これに限るものではない。例えば、不図示のスピーカーによって、音声によって接近警告を提示してもよい。また、不図示の振動子を振動させることで、接近警告を提示してもよい。これらに限るものではなく、いずれの公知の提示方法であっても、接近警告を報知するものであればよい。

【0050】

（変形例２）
第１の実施形態では、計測対象をＨＭＤに装着された撮像部としていたが、計測対象はこれに限るものではない。手であってもよいし、足や腕など、体の一部であってもよい。手などを計測対象とする場合、ＨＭＤに搭載された２台の撮像部から予め肌色を登録しておくことで手の肌色領域抽出を行い、左右の撮像部の既知の相対的な位置姿勢情報に基づいてステレオ法により奥行を計測してもよい。また、観察者の体の一部を俯瞰するように設定された２台の撮像部で撮影することで、奥行を計測して位置を計測してもよい。また、デプスセンサーにより計測してもよい。計測対象の位置を計測できれば、その他の公知の方法で計測してもよい。

【0051】

ここで、仮想物体モデルが不要になった場合には、削除ボタン３１００を押して、仮想物体モデルを削除する。

【0052】

なお、本実施形態においては、観察者の頭部に装着するＨＭＤとして説明したが、顔面に装着するフェースマウントディスプレイでもよい。

【0053】

なお、本実施形態では、現実物体の例としてテーブルを用いたが、壁や、床の段差の部分など、観察者が接近を報知してほしいあらゆる箇所に適用することができる。

【0054】

以上により、ＧＵＩを用いて、接近警告を報知したい現実の物体に合わせて仮想物体モデルデータを作成することができる。実写映像に仮想物体を重畳した映像を見ながら、大きさや形や配置情報を調整することで、直観的かつ効率的に、現実物体に合わせて接近警告報知やマスクを行う仮想物体を設定することができる。

【0055】

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。

【0056】

即ち、上述した各実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

【0057】

このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】