特開 2020-156083 生成システム、及び生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2020-156083(P2020-156083A)

(43)【公開日】2020年9月24日

(54)【発明の名称】生成システム、及び生成プログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20200828BHJP

   G06T 7/521 20170101ALI20200828BHJP

   G06T 11/80 20060101ALI20200828BHJP

   G09G 5/00 20060101ALI20200828BHJP

   G09G 5/36 20060101ALI20200828BHJP

   G09G 5/377 20060101ALI20200828BHJP

【ＦＩ】

   H04N7/18 U

   H04N7/18 K

   G06T7/521

   G06T11/80 A

   G09G5/00 550C

   G09G5/36 520P

   G09G5/36 510V

   G09G5/36 520N

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

【全頁数】32

(21)【出願番号】特願2020-24986(P2020-24986)

(22)【出願日】2020年2月18日

(31)【優先権主張番号】特願2019-49692(P2019-49692)

(32)【優先日】2019年3月18日

(33)【優先権主張国】JP

(71)【出願人】

【識別番号】399104844

【氏名又は名称】ＳＣＳＫ株式会社

(74)【代理人】

【識別番号】100107364

【弁理士】

【氏名又は名称】斉藤 達也

(72)【発明者】

【氏名】▲高▼木 亨

(72)【発明者】

【氏名】坪田 賢治

(72)【発明者】

【氏名】阪上 英生

【テーマコード（参考）】

5B050

5C054

5C182

5L096

【Ｆターム（参考）】

5B050AA03

5B050BA06

5B050BA09

5B050BA13

5B050CA07

5B050CA08

5B050DA01

5B050EA19

5B050EA26

5B050FA02

5B050FA05

5C054AA02

5C054CA04

5C054CC02

5C054FC12

5C054FE13

5C054HA05

5C182AA03

5C182AB02

5C182AB08

5C182AB34

5C182AB37

5C182AC03

5C182AC46

5C182BA01

5C182BA14

5C182BA29

5C182BA46

5C182BA66

5C182BA68

5C182BC25

5C182BC26

5C182CB44

5C182CB47

5C182CB56

5C182DA62

5L096AA09

5L096BA08

5L096CA02

5L096DA04

(57)【要約】

【課題】マスク対象領域をマスクした実空間マスク画像を確実に生成することが可能となる生成システム、及び生成プログラムを提供すること。
【解決手段】実物体が設けられている実空間に対応付けられている三次元仮想空間に実物体に対応する第１仮想物体を設ける配置部１５１と、実空間を撮像するカメラと、配置部１５１が設けた第１仮想物体と、カメラが撮像した実空間の画像である撮像画像とに基づいて、撮像画像上のマスク対象領域であって第１仮想物体の位置又は形状を基準としたマスク対象領域をマスクした実空間マスク画像を生成する生成部１５２と、を備え、生成部１５２は、撮像画像上の実物体が写っていない領域をマスク対象領域としてマスクした実空間マスク画像を生成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

実対象物が設けられている実空間に対応付けられている三次元仮想空間に前記実対象物に対応する三次元仮想対象物を設ける配置手段と、
前記実空間を撮像する撮像手段と、
前記配置手段が設けた前記三次元仮想対象物と、前記撮像手段が撮像した前記実空間の画像である実空間撮像画像とに基づいて、前記実空間撮像画像上のマスク対象領域であって前記三次元仮想対象物の位置又は形状を基準とした前記マスク対象領域をマスクした実空間マスク画像を生成する生成手段と、を備え、
前記生成手段は、前記実空間撮像画像上の前記実対象物が写っていない領域を前記マスク対象領域としてマスクした前記実空間マスク画像を生成する、
生成システム。

【請求項2】

前記撮像手段は、前記実空間に設けられている撮像装置であり、
前記配置手段は、前記実空間の前記撮像装置に対応する仮想撮像装置であって前記三次元仮想空間における前記仮想撮像装置と、前記三次元仮想対象物とが内部に配置される三次元仮想中空体であって、当該三次元仮想中空体の内外を区画する仮想区画壁を有する前記三次元仮想中空体を前記三次元仮想空間に設け、
前記生成手段は、
前記三次元仮想空間において、前記仮想撮像装置を基準として前記三次元仮想対象物が前記仮想区画壁に投影された場合の、投影された前記三次元仮想対象物の二次元形状に基づいて、前記実空間マスク画像を生成する、
請求項１に記載の生成システム。

【請求項3】

前記配置手段は、前記撮像装置が前記実空間内を移動することにより、前記仮想撮像装置が前記三次元仮想空間内を移動した場合に、前記三次元仮想空間内の前記仮想撮像装置の位置に応じて、前記三次元仮想中空体の位置を変更する、
請求項２に記載の生成システム。

【請求項4】

前記配置手段は、前記三次元仮想空間内の所定位置に前記三次元仮想対象物を固定して設ける、
請求項１から３の何れか一項に記載の生成システム。

【請求項5】

コンピュータを、
実対象物が設けられている実空間に対応付けられている三次元仮想空間に前記実対象物に対応する三次元仮想対象物を設ける配置手段と、
前記配置手段が設けた前記三次元仮想対象物と、撮像手段が撮像した前記実空間の画像である実空間撮像画像とに基づいて、前記実空間撮像画像上のマスク対象領域であって前記三次元仮想対象物の位置又は形状を基準とした前記マスク対象領域をマスクした実空間マスク画像を生成する生成手段と、として機能させ、
前記生成手段は、前記実空間撮像画像上の前記実対象物が写っていない領域を前記マスク対象領域としてマスクした前記実空間マスク画像を生成する、
生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生成システム、及び生成プログラムに関する。

【背景技術】

【0002】

従来、撮像されたマーカを基準にして撮像された画像の一部をマスクする技術が知られていた（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７−１０８２６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の技術においては、画像の一部をマスクするためには、マーカを設けることが前提となっていたので、例えば、マーカが撮像範囲から逸脱した場合に画像をマスクできなくなる可能性があった。

【0005】

本発明は、上記に鑑みてなされたものであって、マスク対象領域をマスクした実空間マスク画像を確実に生成することが可能となる生成システム、及び生成プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、請求項１に記載の生成システムは、実対象物が設けられている実空間に対応付けられている三次元仮想空間に前記実対象物に対応する三次元仮想対象物を設ける配置手段と、前記実空間を撮像する撮像手段と、前記配置手段が設けた前記三次元仮想対象物と、前記撮像手段が撮像した前記実空間の画像である実空間撮像画像とに基づいて、前記実空間撮像画像上のマスク対象領域であって前記三次元仮想対象物の位置又は形状を基準とした前記マスク対象領域をマスクした実空間マスク画像を生成する生成手段と、を備え、前記生成手段は、前記実空間撮像画像上の前記実対象物が写っていない領域を前記マスク対象領域としてマスクした前記実空間マスク画像を生成する。

【0007】

請求項２に記載の生成システムは、請求項１に記載の生成システムにおいて、前記撮像手段は、前記実空間に設けられている撮像装置であり、前記配置手段は、前記実空間の前記撮像装置に対応する仮想撮像装置であって前記三次元仮想空間における前記仮想撮像装置と、前記三次元仮想対象物とが内部に配置される三次元仮想中空体であって、当該三次元仮想中空体の内外を区画する仮想区画壁を有する前記三次元仮想中空体を前記三次元仮想空間に設け、前記生成手段は、前記三次元仮想空間において、前記仮想撮像装置を基準として前記三次元仮想対象物が前記仮想区画壁に投影された場合の、投影された前記三次元仮想対象物の二次元形状に基づいて、前記実空間マスク画像を生成する。

【0008】

請求項３に記載の生成システムは、請求項２に記載の生成システムにおいて、前記配置手段は、前記撮像装置が前記実空間内を移動することにより、前記仮想撮像装置が前記三次元仮想空間内を移動した場合に、前記三次元仮想空間内の前記仮想撮像装置の位置に応じて、前記三次元仮想中空体の位置を変更する。

【0009】

請求項４に記載の生成システムは、請求項１から３の何れか一項に記載の生成システムにおいて前記配置手段は、前記三次元仮想空間内の所定位置に前記三次元仮想対象物を固定して設ける。

【0010】

請求項５に記載の生成プログラムは、コンピュータを、実対象物が設けられている実空間に対応付けられている三次元仮想空間に前記実対象物に対応する三次元仮想対象物を設ける配置手段と、前記配置手段が設けた前記三次元仮想対象物と、撮像手段が撮像した前記実空間の画像である実空間撮像画像とに基づいて、前記実空間撮像画像上のマスク対象領域であって前記三次元仮想対象物の位置又は形状を基準とした前記マスク対象領域をマスクした実空間マスク画像を生成する生成手段と、として機能させ、前記生成手段は、前記実空間撮像画像上の前記実対象物が写っていない領域を前記マスク対象領域としてマスクした前記実空間マスク画像を生成する。

【発明の効果】

【0011】

請求項１に記載の生成システム、及び請求項５に記載の生成プログラムによれば、少なくとも配置手段が設けた三次元仮想対象物と、撮像手段が撮像した実空間の画像である実空間撮像画像とに基づいて、マスク対象領域をマスクした実空間マスク画像を生成することにより、例えば、実空間マスク画像を確実に生成することが可能となる。

【0012】

請求項２に記載の生成システムによれば、仮想撮像装置を基準として三次元仮想対象物が仮想区画壁に投影された場合の、投影された三次元仮想対象物の二次元形状に基づいて、実空間マスク画像を生成することにより、例えば、実対象物が写っている部分以外をマスクした実空間マスク画像を確実に生成することが可能となる。

【0013】

請求項３に記載の生成システムによれば、撮像装置が実空間内を移動することにより、仮想撮像装置が三次元仮想空間内を移動した場合に、三次元仮想空間内の仮想撮像装置の位置に応じて、三次元仮想中空体の位置を変更することにより、例えば、仮想撮像装置が三次元仮想空間の外に出ることを防止することができ、実空間マスク画像を確実に生成することが可能となる。

【0014】

請求項４に記載の生成システムによれば、三次元仮想空間内の所定位置に三次元仮想対象物を固定して設けることにより、例えば、三次元仮想対象物の位置がずれることを防止することができ、実空間マスク画像を確実に生成することが可能となる。

【図面の簡単な説明】

【0015】

【図1】本発明の実施の形態に係る表示システムを例示するブロック図である。

【図2】実空間を例示した図である。

【図3】図２の平面図である。

【図4】レンズ部を介して視認される実空間を例示した図である。

【図5】空間認識情報を説明するための図である。

【図6】第１仮想物体及び第２仮想物体を示す図である。

【図7】第１特定情報を例示した図である。

【図8】表示処理のフローチャートである。

【図9】図２の実空間に対応する三次元仮想空間を例示した図である。

【図10】設定処理のフローチャートである。

【図11】三次元仮想空間を例示した図である。

【図12】図１１の平面図である。

【図13】レンズ部を介して視認される対象を例示した図である。

【図14】三次元仮想空間を例示した図である。

【図15】図１４の平面図である。

【図16】三次元仮想空間を例示した図である。

【図17】図１６の平面図である。

【図18】撮像画像を例示した図である。

【図19】第１マスク用画像を例示した図である。

【図20】撮像画像に第１マスク用画像を重ね合わせた状態を例示した図である。

【図21】表示画像を例示した図である。

【図22】実空間を例示した平面図である。

【図23】図２２の実空間に対応する三次元仮想空間を例示した平面図である。

【図24】第２マスク用画像を例示した図である。

【図25】表示画像を例示した図である。

【図26】実空間を例示した平面図である。

【図27】図２６の実空間に対応する三次元仮想空間を例示した平面図である。

【発明を実施するための形態】

【0016】

以下、本発明に係る生成システム、及び生成プログラムの実施の形態について図面を参照しつつ詳細に説明する。ただし、実施の形態によって本発明が限定されるものではない。

【0017】

本発明に係る生成システムは、実空間マスク画像を生成するシステムであり、例えば、実空間マスク画像を生成する専用システム、あるいは、汎用的に用いられるコンピュータ（一例としては、サーバ装置、パーソナルコンピュータ、スマートフォン、タブレット端末、ウェアラブル端末装置等）に対して生成プログラムをインストールして実空間マスク画像を生成する機能を実装することにより実現されるシステム等を含む概念である。また、生成システムは、例えば、配置手段、撮像手段、及び生成手段を備える。

【0018】

「実空間マスク画像」とは、実空間撮像画像において少なくとも一部をマスクした画像である。「マスク」するとは、例えば、隠すという概念である。「実空間撮像画像」とは、実空間を撮像した画像である。

【0019】

「配置手段」とは、実対象物が設けられている実空間に対応付けられている三次元仮想空間に対して、実対象物に対応する三次元仮想対象物を設ける手段である。また、「配置手段」とは、例えば、実空間の撮像装置に対応する仮想撮像装置であって三次元仮想空間における仮想撮像装置と、三次元仮想対象物とが内部に配置される三次元仮想中空体であって、当該三次元仮想中空体の内外を区画する仮想区画壁を有する三次元仮想中空体を三次元仮想空間に設ける手段等を含む概念である。また、「配置手段」とは、例えば、撮像装置が実空間内を移動することにより、仮想撮像装置が三次元仮想空間内を移動した場合に、三次元仮想空間内の仮想撮像装置の位置に応じて、三次元仮想中空体の位置を変更する手段等を含む概念である。また、「配置手段」とは、例えば、三次元仮想空間内の所定位置に三次元仮想対象物を固定して設ける手段等を含む概念である。

【0020】

「撮像手段」とは、実空間を撮像する手段であり、例えば、実空間に設けられている撮像装置等を含む概念である。

【0021】

「生成手段」とは、配置手段が設けた三次元仮想対象物と、撮像手段が撮像した実空間の画像である実空間撮像画像とに基づいて、当該実空間撮像画像上のマスク対象領域であって三次元仮想対象物の位置又は形状を基準としたマスク対象領域をマスクした実空間マスク画像を生成する手段であり、具体的には、実空間撮像画像上の実対象物が写っていない領域をマスク対象領域としてマスクした実空間マスク画像を生成する手段である。また、「生成手段」とは、例えば、三次元仮想空間において、仮想撮像装置を基準として三次元仮想対象物が仮想区画壁に投影された場合の、当該投影された三次元仮想対象物の二次元形状に基づいて、実空間マスク画像を生成する手段等を含む概念である。

【0022】

「実空間」とは、実際の空間であって、三次元の実際の空間であり、具体的には、屋外又は屋内の空間等を含む概念であり、例えば、工場内の空間、オフィス内の空間、自室内の空間、玄関、外庭、公園、及び道路等の任意の空間等を含む概念である。「実対象物」とは、実際の物であり、つまり、三次元の実際の物、人、又は犬猫等の動物（以下、単に「物」とも称する）等を含む概念であり、具体的には、実空間に存在する物等を含む概念であり、例えば、工場内の所定の装置（例えば、所定のメーカが製造販売サポートを行う製造装置等）、オフィス内の所定の機器（例えば、コピー機等）等の任意の物を含む概念である。なお、この「実対象物」は、例えば、壁等の平面に記載等されている平面的なもの等も含む概念であり、また、壁に埋め込まれて一部が露出している平面的なもの等も含む概念である。

【0023】

「三次元仮想空間」とは、実空間に対応付けられている仮想的な空間であり、例えば、任意の空間認識の技術にて認識された実空間に対応する仮想的な空間であり、一例としては、点群の情報、ポリゴンの情報、あるいは、メッシュの情報（ポリゴンメッシュを含む）等にて表現可能な空間等を含む概念である。

【0024】

「三次元仮想対象物」とは、三次元の仮想の物であり、具体的には、実空間には実際には存在せずに、データ処理等にて仮想的に取り扱われるもの等を含む概念であり、例えば、前述の実対象物の形状と同様な形状の物、あるいは、他の任意の形状の物等を含む概念である。

【0025】

「三次元仮想中空体」とは、三次元の仮想の物であり、具体的には、実空間には実際には存在せずに、データ処理等にて仮想的に取り扱われるもの等を含む概念である。「三次元仮想中空体」とは、例えば、実空間の撮像装置に対応する仮想撮像装置であって三次元仮想空間における仮想撮像装置と、三次元仮想対象物とが内部に配置されるもの等を含む概念である。「三次元仮想中空体」の具体的な形状は任意であり、例えば、立方体形状、直方体形状、球形状、柱形状、及び錐形状等の任意の形状であってもよい。「仮想撮像装置」とは、実空間内の撮像装置に対応するものとして三次元仮想空間内に設けられる仮想的なものであり、例えば、撮像装置の実空間内の位置に対応する三次元仮想空間内の位置に設けられており、また、撮像装置の実空間内での方向に対応する三次元仮想空間内での方向に向けられているとされるもの等を含む概念である。

【0026】

そして、以下に示す実施の形態では、「生成システム」がゴーグル型のウェアラブル端末装置として実現されており、また、「実空間」が工場内の空間であり、また、「実対象物」が工場内の所定の装置（例えば、所定のメーカが製造販売サポートを行う製造装置等）である場合を例示して説明する。

【0027】

（構成）
まず、本実施の形態に係る表示システム１００について説明する。図１は、本発明の実施の形態に係る表示システムを例示するブロック図であり、図２は、実空間を例示した図である。なお、図２のＺ軸が鉛直方向又は高さ方向であり、＋Ｚ方向を上側と称し、−Ｚ方向を下側と称し、また、Ｘ軸及びＹ軸がＺ軸に対して直交する水平方向であることとして説明する。図１の表示システム１００は、例えば、端末装置１、及び表示装置２を備える。

【0028】

（構成−端末装置）
端末装置１は、生成システムであり、例えば、空間認識及びＡＲ（拡張現実：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）に関する機能が搭載されている装置である。端末装置１は、例えば、図２に示すように、実物体３１〜３４が設けられている実空間である工場内のユーザが顔に装着して用いるゴーグル型のウェアラブル端末装置である。「実物体」３１〜３４とは、実空間に設けられている物であり、例えば、工場内に設けられている装置である。なお、図２では、実物体３１〜３４については、説明の便宜上、直方体形状にて図示されている。また、図２の工場内のユーザが当該工場で作業を行っている作業員であり、また、実物体３１〜３４は相互に異なるメーカの装置である場合において、端末装置１を用いて、液晶ディスプレイ３１１（つまり、情報を表示する手段）を有する実物体３１の画像を示す表示画像を当該実物体３１のメーカ側に送信する場合を例示して説明する。つまり、実物体３１が「実対象物」である場合について説明する。なお、「表示画像」については後述する。

【0029】

この端末装置１は、公知の構成を含む任意の構成を備えて構成することができるが、例えば、図１に示すように、通信部１１、センサ部１２、レンズ部１３、記録部１４、及び制御部１５を備える。

【0030】

（構成−端末装置−通信部）
通信部１１は、ネットワーク（図示省略）を介して外部装置（例えば、表示装置２等）との間で通信するための通信手段である。この通信部１１の具体的な種類や構成は任意であるが、例えば、公知の無線通信手段を用いることができる。

【0031】

（構成−端末装置−センサ部）
センサ部１２は、情報を検出又は取得する検出手段である。このセンサ部１２の具体的な種類や構成は任意であるが、例えば、慣性ユニット、デプスセンサ、及びカメラ等を含んで構成することができる。「慣性ユニット」とは、例えば、端末装置１の動き及び回転又は傾きを検出するためのものであり、例えば、加速度センサ（つまり、モーションセンサ）、及びジャイロセンサ等を用いて構成することができる。「デプスセンサ」とは、深度センサであり、例えば、周辺環境を三次元として認識するための情報を検出するためのセンサであり、一例としては、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）の技術を用いて実現可能なセンサ等を用いることができる。「カメラ」とは、前述の撮像手段及び撮像装置であり、例えば、動画又は静止画を撮像するためのものであり、一例としては、ＣＣＤ又はＣＭＯＳイメージセンサ等を用いて構成することができる。なお、センサ部１２の構成の全部又は一部を任意に変更してもよく、例えば、本実施の形態で説明する各種処理を実現できるように任意のセンサ又は検出ユニットを用いてもよいし、あるいは、マイク等を設けて端末装置１に音声入力を行えるように構成してもよい。そして、以下では、カメラを用いて動画を撮像する場合について説明する。

【0032】

（構成−端末装置−レンズ部）
図３は、図２の平面図であり、図４は、レンズ部を介して視認される実空間を例示した図である。なお、図３の−Ｘ方向を矢視している矢印は、ユーザの向きであり、つまり、端末装置１の向きを示していることとする（他の図面での矢印も同様とする）。図１のレンズ部１３は、端末装置１を装着したユーザに対して当該レンズ部１３を介して実空間を視認させる視認手段である。つまり、ユーザが端末装置１を自己の顔に装着した場合に、レンズ部１３がユーザの目の正面に配置され、当該ユーザはレンズ部１３を介して実空間を視認することが可能となる。このレンズ部１３の具体的な種類や構成は任意であるが、例えば、ユーザがレンズ部１３を介して実空間を視認できるように透明又は半透明となっており、また、少なくとも表示対象を表示できるように表示機能も備えているものを用いることができる。このレンズ部１３としては、例えば、シースルー・ホログラフィック・レンズを用いてもよい。そして、このようなレンズ部１３に表示対象を表示することにより、当該レンズ部１３を介して実空間を視認したユーザは、実空間に表示対象が重畳されている状態を観念することが可能となる。

【0033】

そして、本実施の形態では、例えば、レンズ部１３の構成（例えば、レンズの種類、曲率、サイズ、又は材質等）により、レンズ部１３を介してユーザが視認可能となる空間領域である視野領域Ｒ１（図３）が定められていることとする。ここでは、例えば、図３に図示されているように、ユーザが実物体３１の正面（図２の液晶ディスプレイ３１１が設けられている面）を向いた場合に、実空間の内の一部の空間が当該視野領域Ｒ１内に入り、一例としては、ユーザは、レンズ部１３を介して、当該視野領域Ｒ１内の空間として、図４に示す実空間を視認可能となる。

【0034】

また、本実施の形態では、例えば、前述のセンサ部１２のカメラの画角は、ユーザがレンズ部１３を介して視認可能な視野領域Ｒ１と同じ範囲の画像が撮像されるように設定されている場合を例示して説明する。つまり、図３のユーザがレンズ部１３を介して実空間を視認した場合、視野領域Ｒ１内の実空間として図４に示す範囲の実空間を視認することになり、また、図３の状態の端末装置１のセンサ部１２のカメラで実空間を撮像した場合、当該カメラは視野領域Ｒ１内の実空間を撮像することになり、図４に示す範囲の実空間が写っている画像を撮像することになる。つまり、例えば、端末装置１が、ユーザがレンズ部１３を介して視認している実空間と同じ範囲の実空間の画像をセンサ部１２のカメラを用いて撮像できるように構成されている場合について説明する。

【0035】

（構成−端末装置−記録部）
記録部１４は、端末装置１の動作に必要なプログラム及び各種のデータを記録する記録手段であり、例えば、外部記録装置としてのフラッシュメモリ（図示省略）を用いて構成されている。ただし、フラッシュメモリに代えてあるいはフラッシュメモリと共に、ハードディスク、磁気ディスクの如き磁気的記録媒体、又はＤＶＤやブルーレイディスクの如き光学的記録媒体を含む、その他の任意の記録媒体を用いることができる。この記録部１４は、例えば、空間認識情報、第１特定情報、及び第２特定情報を格納している。

【0036】

（構成−端末装置−記録部−空間認識情報）
図５は、空間認識情報を説明するための図である。図５においては、図４において図示されている実空間をメッシュとして空間認識する場合の当該メッシュの一例が便宜上図示されている。図１の「空間認識情報」とは、センサ部１２のデプスセンサの検出結果（つまり、端末装置１からの距離等）及びカメラの撮像結果（つまり、撮像画像）に基づいて、実空間について任意の三次元空間認識の技術を用いて認識した結果を示す情報であり、例えば、実空間の特徴を示すメッシュ等を特定する情報である。そして、当該空間認識情報を用いることにより、三次元空間認識された実空間に対応する三次元仮想空間を生成し、当該三次元仮想空間に関する処理を行うことが可能となる。ここでは、例えば、図４において図示されている実空間の特徴を示す図５のメッシュを特定する情報（例えば、メッシュにおける交点、辺、又は面の三次元座標の集合等）が空間認識情報として格納されることになる。そして、このような空間認識情報の具体的な格納手法は任意であるが、例えば、後述する表示処理を実行することにより格納される。

【0037】

（構成−端末装置−記録部−第１特定情報）
図６は、第１仮想物体及び第２仮想物体を示す図であり、図７は、第１特定情報を例示した図である。なお、図７で具体的に図示されている各情報は、説明の便宜上の記載である。図１の「第１特定情報」とは、第１仮想物体及び第１設定用仮想物体を特定する情報である。第１特定情報は、例えば、図７に示すように、項目「マーカＩＤ」に対応する情報と、項目「第１仮想物体特定情報」に対応する情報と、項目「第１設定用仮想物体特定情報」に対応する情報と、項目「位置情報」に対応する情報とが相互に関連付けられている。

【0038】

項目「マーカＩＤ」に対応する情報は、実空間に物理的に実際に配置されるＡＲマーカを識別するマーカ識別情報（以下、「識別情報」を「ＩＤ」と称する）である（図７では、図２の実物体３１に設けられているＡＲマーカＭ１を識別する「Ｍｉｄ００１」等）。

【0039】

項目「第１仮想物体特定情報」に対応する情報は、第１仮想物体を特定する第１仮想物体特定情報である（図７では、図２の実物体３１と外形が同一形状である図６の第１仮想物体４１を特定する「３Ｄｍ００１」等）。「第１仮想物体」とは、前述の三次元仮想対象物であり、実物体と外形が同一形状の三次元オブジェクト（つまり、三次元モデル）である。

【0040】

項目「第１設定用仮想物体特定情報」に対応する情報は、第１設定用仮想物体を特定する第１設定用仮想物体特定情報である。「第１設定用仮想物体」とは、第１仮想物体の後述する位置情報を設定するための三次元オブジェクトであり、例えば、関連付けられている第１仮想物体と同一形状及び同一サイズの三次元オブジェクトであり、また、任意の色（例えば、灰色等）の半透明に着色されている三次元オブジェクト（つまり、着色されている点以外は第１仮想物体と同じ三次元オブジェクト）である。図７では、例えば、「３Ｄｍ００１」が特定する図６の第１仮想物体４１と同一形状及び同一サイズの三次元オブジェクトを特定する「３Ｄｍｓ００１」等が格納されている。

【0041】

項目「位置情報」に対応する情報は、第１仮想物体特定情報が特定する第１仮想物体を配置する位置及び方向を特定する位置情報である。この位置情報としては、任意の情報を用いることができるが、例えば、直接的に又は間接的に前述の空間認識情報と関連付けられている情報を用いることとし、一例としては、位置として「Ｘ軸、Ｙ軸、Ｚ軸からなる直交座標系」における三次元座標を直接的に又は間接的に特定する情報を用い、また、方向として当該直交座標系のＸ軸、Ｙ軸、Ｚ軸を基準にした回転角度を直接的に又は間接的に特定する情報を用いる場合を例示して説明する。図７では、例えば、「３Ｄｍ００１」が特定する図６の第１仮想物体４１の位置情報を特定する「Ｄｐ００１」等が格納されている。

【0042】

そして、このような第１特定情報の具体的な格納手法は任意であるが、例えば、管理者が、端末装置１を用いて表示画像を送信する対象となる実物体に付されるＡＲマーカを生成し、生成したＡＲマーカを実物体に付す。次に、管理者が、当該ＡＲマーカを付した実物体の外形を任意の手法（例えば、実物体を実寸して把握する手法、あるいは、実物体の図面に基づいて把握する方法）で把握した上で、当該把握した実物体の外形と同一形状の第１仮想物体及び第１設定用仮想物体を、管理者の管理者端末（例えば、パーソナルコンピュータ等）を用いて生成し、生成した各仮想物体を特定する情報と、前述の付したＡＲマーカのマーカＩＤとを管理者端末から端末装置１に送信する。この場合、端末装置１の制御部１５が、前述の管理者端末から送信された情報に基づいて、記録部１４の第１特定情報における図７のマーカＩＤ、第１仮想物体特定情報、及び第１設定用仮想物体特定情報を格納することとする。

【0043】

なお、第１仮想物体特定情報及び第１設定用仮想物体特定情報については、セットで格納される運用がとられていることを前提として以下説明する。また、図７の位置情報については、後述する設定処理を実行することにより格納される。

【0044】

（構成−端末装置−記録部−第２特定情報）
図１の「第２特定情報」とは、第２仮想物体を特定する情報である。「第２仮想物体」とは、前述の三次元仮想中空体であり、例えば、図６の第２仮想物体４２を特定する情報である。

【0045】

そして、このような第２特定情報の具体的な格納手法は任意であるが、例えば、管理者が、第１特定情報の第１仮想物体特定情報で特定される第１仮想物体よりも大きなサイズで任意の形状の第２仮想物体を管理者端末を用いて生成した上で、前述の第１特定情報の第１仮想物体特定情報と同様にして格納されることとしてもよい。なお、ここでは、例えば、図６に示すように、第１仮想物体４１よりも大きなサイズであり、且つ、Ｘ軸方向において十分に長い形状であり、且つ、６個の仮想区画壁４２１（図では２個のみに符号が付されている）にて内外が区画されている中空形状又は箱形状である第２仮想物体４２を特定する第２特定情報が格納されていることとして説明する。

【0046】

（構成−端末装置−制御部）
図１の制御部１５は、端末装置１を制御する制御手段であり、具体的には、ＣＰＵ、当該ＣＰＵ上で解釈実行される各種のプログラム（ＯＳなどの基本制御プログラムや、ＯＳ上で起動され特定機能を実現するアプリケーションプログラムを含む）、及びプログラムや各種のデータを格納するためのＲＡＭの如き内部メモリを備えて構成されるコンピュータである。特に、実施の形態に係るプログラムは、任意の記録媒体又はネットワークを介して端末装置１にインストールされることで、制御部１５の各部を実質的に構成する。

【0047】

また、制御部１５は、機能概念的には、例えば、配置部１５１、及び生成部１５２を備える。配置部１５１は、実対象物が設けられている実空間に対応付けられている三次元仮想空間に実対象物に対応する三次元仮想対象物を設ける配置手段である。生成部１５２は、配置部１５１が設けた第１仮想物体と、センサ部１２のカメラが撮像した実空間の画像である実空間撮像画像とに基づいて、実空間撮像画像上のマスク対象領域であって三次元仮想対象物の位置又は形状を基準としたマスク対象領域をマスクした実空間マスク画像を生成する生成手段であり、具体的には、実空間撮像画像上の実対象物が写っていない領域をマスク対象領域としてマスクした実空間マスク画像を生成する手段である。なお、この制御部１５の各部により行われる処理については、後述する。

【0048】

（構成−表示装置）
図１の表示装置２は、例えば、端末装置１が設けられている工場に対する遠隔地である実物体３１のメーカのサポートセンタに設けられている装置であり、一例としては、通信部２１、表示部２２、記録部２３、及び制御部２４を備える。

【0049】

（構成−表示装置−通信部）
通信部２１は、ネットワーク（図示省略）を介して外部装置（例えば、端末装置１等）との間で通信するための通信手段である。この通信部２１の具体的な種類や構成は任意であるが、例えば、端末装置１の通信部１１と同様にして構成することができる。

【0050】

（構成−表示装置−表示部）
表示部２２は、制御部２４の処理により、画像を表示する表示手段である。この表示部２２の具体的な種類や構成は任意であるが、例えば、公知の液晶パネルディスプレイ等を用いて構成することができる。

【0051】

（構成−表示装置−記録部）
記録部２３は、表示装置２の動作に必要なプログラム及び各種のデータを記録する記録手段であり、例えば、端末装置１の記録部１４と同様にして構成することができる。

【0052】

（構成−表示装置−制御部）
制御部２４は、表示装置２を制御する制御手段であり、例えば、端末装置１の制御部１５と同様にして構成することができる。

【0053】

（処理）
次に、このように構成される表示システム１００によって実行される表示処理について説明する。図８は、表示処理のフローチャートである（以下の各処理の説明ではステップを「Ｓ」と略記する）。表示処理は、概略的には、表示システム１００の端末装置１にて行われる処理であり、具体的には、表示画像を生成して利用する処理である。「表示画像」とは、センサ部１２のカメラにて撮像された画像（以下、カメラにて撮像された画像を「撮像画像」とも称する）に基づく画像であり、例えば、当該撮像画像の少なくとも一部がマスクされた画像である。この表示処理を実行するタイミングは任意であるが、例えば、端末装置１の電源をオンした場合に、起動されて実行を開始することとして、実行を開始したところから説明する。ここでは、例えば、図２の工場内において実物体３１〜３４のうちの実物体３１にのみにＡＲマーカ（具体的には、ＡＲマーカＭ１）が設けられていることとし、端末装置１が、当該ＡＲマーカＭ１を認識する場合を適宜例示して説明する。また、端末装置１の電源をオンした場合、センサ部１２の慣性ユニット、デプスセンサ、及びカメラの動作を開始し、これらの各要素が自動的に及び連続的に動作しているものとして以下説明する。また、端末装置１の記録部１４の第１特定情報として、図７のマーカＩＤ、第１仮想物体特定情報、及び第１設定用仮想物体特定情報は予め格納されているものの、位置情報については、端末装置１の電源をオンした直後には未だ格納されていないものとして説明する。

【0054】

まず、図８のＳＡ１において端末装置１の制御部１５は、空間認識を行う。具体的には任意であるが、例えば、センサ部１２の慣性ユニットの検出結果、センサ部１２のデプスセンサの検出結果、及び当該センサ部１２のカメラの撮像画像に基づいて、実空間について任意の三次元空間認識の技術を用いて認識し、これらの各検出結果及び撮像画像に基づいて認識した三次元空間を示す情報として、前述のメッシュを特定する情報である座標等を空間認識情報として図１の記録部１４に記録する。そして、端末装置１は、この記録した空間認識情報に基づいて、実空間に対応する三次元仮想空間に関する処理を行うことが可能となる。

【0055】

ここでは、例えば、センサ部１２の慣性ユニットの検出結果、センサ部１２のデプスセンサの検出結果、及びカメラの撮像画像に基づいて、図２の工場内の実空間について任意の三次元空間認識の技術を用いて認識し、これらの各検出結果及び撮像画像に基づいて認識した三次元空間を示す情報として、前述のメッシュを特定する情報である座標等を空間認識情報として図１の記録部１４に記録する。特に、ここでの空間認識情報については、例えば、端末装置１の電源をオンした際の当該端末装置１の位置を基準位置（つまり、Ｘ軸、Ｙ軸、Ｚ軸からなる所定の直交座標系における座標を「（０，０，０）」）とし、電源をオンした際に端末装置１が向いている方向を基準方向（つまり、当該直交座標系のＸ軸、Ｙ軸、Ｚ軸を基準にした回転角度を「（０度，０度，０度）」）とした上で、これらの基準位置を基準にして（必要に応じて基準方向も基準にして）空間認識情報を格納する。なお、ここで説明した空間認識の手法は例示であり、端末装置１が空間認識を行える限りにおいて、ここで説明した手法以外の公知の手法を用いてもよい。また、以下では、この「基準位置」及び「基準方向」を適宜「基準情報」と総称する。

【0056】

図９は、図２の実空間に対応する三次元仮想空間を例示した図である。ＳＡ１において空間認識を行って格納した空間認識情報を用いることにより、端末装置１の制御部１５は、当該空間認識情報に基づいて、図９に示す三次元仮想空間に関する処理を行うことが可能となる。なお、図９に示す仮想端末装置Ｖ１は、図２の端末装置１に対応しており、また、仮想物体Ｖ３１〜Ｖ３４は、実物体３１〜３４に対応している。つまり、図９に示す仮想端末装置Ｖ１は、端末装置１が設けられている実空間に対応する三次元仮想空間（つまり、前述の空間認識情報に基づいて把握される空間）内における端末装置１を仮想的に示すものである。また、仮想物体Ｖ３１〜Ｖ３４は、実物体３１〜３４が設けられている実空間に対応する三次元仮想空間（つまり、前述の空間認識情報に基づいて把握される空間）内における実物体３１〜３４を仮想的に示すものである。特に、端末装置１の制御部１５は、実際には、実物体３１〜３４については、例えば、図５を用いて説明したように、メッシュの情報として実空間の一部として認識するが、図９では、実物体３１〜３４に対応する三次元仮想空間内の部分を、説明の便宜上、仮想物体Ｖ３１〜Ｖ３４として図示している。また、端末装置１の制御部１５は、三次元仮想空間における端末装置１自身に対応するものとして仮想端末装置Ｖ１を考慮して処理を行うことが可能となる。特に、端末装置１の制御部１５は、センサ部１２の慣性ユニットの検出結果に基づいて実空間内での端末装置１の動き及び回転又は傾きを把握することができるので、当該検出結果を反映して情報処理を行うことにより、実空間内での端末装置１の動き及び回転又は傾きを、三次元仮想空間内での仮想端末装置Ｖ１の動き及び回転又は傾きに反映することが可能となる。つまり、このように空間認識を行うことにより、実空間と三次元仮想空間とを相互に関連付けることが可能となる。以下では、端末装置１により行われる情報処理について、この三次元仮想空間を考慮した情報処理を適宜含めて説明する。なお、図９の仮想端末装置Ｖ１は、前述したように、端末装置１に対応しているために、端末装置１のセンサ部１２の「カメラ」にも対応しているので、当該仮想端末装置Ｖ１を「仮想撮像装置」と解釈してもよい。

【0057】

次に、図８のＳＡ２において端末装置１の配置部１５１は、ＡＲマーカを認識する。具体的には任意であるが、例えば、センサ部１２のカメラの撮像画像及びデプスセンサの検出結果に基づいて、ＡＲマーカを認識する。詳細には、当該カメラの撮像画像にＡＲマーカが写っている場合、当該ＡＲマーカを認識し、当該ＡＲマーカについてのデプスセンサの検出結果及び慣性センサの検出結果を取得する。ここでは、例えば、端末装置１が図３に示す方向を向いている場合、センサ部１２のカメラを用いて図４に示す実空間を撮像し、撮像した画像にＡＲマーカＭ１の画像が写っているので、当該ＡＲマーカＭ１を認識し、当該ＡＲマーカＭ１についてのデプスセンサの検出結果及び慣性センサの検出結果を取得する。

【0058】

次に、図８のＳＡ３において端末装置１の配置部１５１は、ＳＡ２で認識したＡＲマーカに関連付けられている位置情報が存在するか否かを判定する。具体的には任意であるが、例えば、図１の記録部１４に記録されている図７の第１特定情報を参照して、ＳＡ２で認識したＡＲマーカを識別するマーカＩＤを特定し、特定したマーカＩＤに関連付けられている位置情報を参照する。次に、参照した位置情報として具体的な情報が格納されている場合、位置情報が存在するものと判定し（ＳＡ３のＹＥＳ）、ＳＡ５に移行する。また、参照した位置情報として具体的な情報が格納されていない場合、位置情報が存在しないものと判定し（ＳＡ３のＮＯ）、ＳＡ４に移行する。

【0059】

ここでは、例えば、図１の記録部１４に記録されている図７の第１特定情報を参照して、ＳＡ２で認識したＡＲマーカＭ１を識別するマーカＩＤである「Ｍｉｄ００１」を特定し、特定したマーカＩＤである「Ｍｉｄ００１」に関連付けられている位置情報を参照する。そして、前述したように、図７の位置情報については、端末装置１の電源をオンした直後には未だ格納されていない（つまり、図７の「位置情報」＝「Ｄｐ００１」は未だ格納されていない）ので、位置情報が存在しないものと判定する。

【0060】

図８のＳＡ４において端末装置１の配置部１５１は、設定処理を実行する。図１０は、設定処理のフローチャートである。

【0061】

まず、図１０のＳＢ１において端末装置１の配置部１５１は、ＡＲマーカの三次元座標を一時保存する。具体的には任意であるが、例えば、ＳＡ２で認識したＡＲマーカの座標を、記録部１４に格納する。詳細には、ＳＡ２で認識したＡＲマーカの座標を、任意の手法を用いて、前述の「基準情報」を基準にして特定し、特定した座標を記録部１４に格納する。なお、ここでの「ＳＡ２で認識したＡＲマーカの座標を特定する任意の手法」としては、例えば、センサ部１２の慣性ユニットの検出結果に基づいて実空間内での端末装置１の動き及び回転又は傾きを把握可能であること、センサ部１２のカメラによる撮像画像及びセンサ部１２のデプスセンサによる検出結果に基づいて端末装置１からの距離又は方向等を把握することが可能となることに着目して、ＳＡ２の処理時点での、センサ部１２のカメラによる撮像画像、センサ部１２のデプスセンサによる検出結果、及びセンサ部１２の慣性ユニットの検出結果に基づいて、ＳＡ２で認識したＡＲマーカの座標を特定する手法を用いてもよい。ここでは、例えば、ＳＡ２で認識したＡＲマーカである図４のＡＲマーカＭ１の座標を、前述の任意の手法を用いて、前述の「基準情報」を基準にして、例えば「（Ｘ３，Ｙ３，Ｚ３）」と特定し、特定した座標である「（Ｘ３，Ｙ３，Ｚ３）」をＡＲマーカＭ１の座標として記録部１４に格納する。なお、座標の具体的な値は説明の便宜上の記載とする（後述する回転角度の値も同様とする）。

【0062】

なお、ここでは、ＳＡ２の処理時点での、センサ部１２のカメラによる撮像画像、センサ部１２のデプスセンサによる検出結果、及びセンサ部１２の慣性ユニットの検出結果に基づいて、ＡＲマーカの座標を特定する場合について説明したが、これに限らず、ＳＢ１の処理時点での、センサ部１２のカメラによる撮像画像、センサ部１２のデプスセンサによる検出結果、及びセンサ部１２の慣性ユニットの検出結果に基づいて、ＡＲマーカの座標を特定してもよい。あるいは、センサ部１２のカメラによる撮像画像、センサ部１２のデプスセンサによる検出結果、及びセンサ部１２の慣性ユニットの検出結果の内の、少なくともセンサ部１２のデプスセンサによる検出結果を用いて、ＡＲマーカの座標を特定してもよい。なお、このように、実空間上で対象の物（実施の形態では、ＡＲマーカ）の座標を特定する処理としては、公知の技術を含めて任意の技術を用いて実現することが可能となるので、当該任意の技術を適用することとしてもよい。

【0063】

次に、図１０のＳＢ２において端末装置１の配置部１５１は、第１仮想物体が存在するか否かを判定する。具体的には任意であるが、例えば、図１の記録部１４に記録されている図７の第１特定情報を参照して、ＳＡ２で認識したＡＲマーカを識別するマーカＩＤを特定し、特定したマーカＩＤに関連付けられている第１仮想物体特定情報を参照する。次に、参照した第１仮想物体特定情報として具体的な情報が格納されていない場合、第１仮想物体が存在しないものと判定し（ＳＢ２のＮＯ）、設定処理及び図８の表示処理を終了する。なお、この場合、「ＡＲマーカに対応する三次元オブジェクトがありません。確認して下さい」等のメッセージを、レンズ部１３に表示した後に終了するように構成してもよい。また、参照した第１仮想物体特定情報として具体的な情報が格納されている場合、第１仮想物体が存在するものと判定し（ＳＢ２のＹＥＳ）、ＳＢ３に移行する。

【0064】

ここでは、例えば、まず、図１の記録部１４に記録されている図７の第１特定情報を参照して、ＳＡ２で認識したＡＲマーカＭ１を識別するマーカＩＤである「Ｍｉｄ００１」を特定し、特定したマーカＩＤである「Ｍｉｄ００１」に関連付けられている第１仮想物体特定情報を参照する。そして、図７に示すように、「マーカＩＤ」＝「Ｍｉｄ００１」に関連付けられている「第１仮想物体特定情報」＝「３Ｄｍ００１」が格納されているので、第１仮想物体が存在するものと判定する。

【0065】

次に、図１０のＳＢ３において端末装置１の配置部１５１は、第１設定用仮想物体を配置する。具体的には任意であるが、例えば、まず、図１の記録部１４に記録されている図７の第１特定情報を参照して、ＳＡ２で認識したＡＲマーカを識別するマーカＩＤを特定し、特定したマーカＩＤに関連付けられている第１設定用仮想物体特定情報を取得する。次に、図８のＳＡ１で記録した空間認識情報及び図１０のＳＢ１で格納したＡＲマーカの座標を取得し、また、ＳＡ２で認識したＡＲマーカが示す方向を任意の手法（公知の手法を適用することができるが、例えば、撮像したＡＲマーカの画像に基づいて方向を特定する公知の手法等）で特定した上で、取得した空間認識情報にて特定される三次元仮想空間内において、取得した座標及び特定した方向を基準に前述の取得した第１設定用仮想物体特定情報が特定する第１設定用仮想物体を配置する。

【0066】

図１１は、三次元仮想空間を例示した図である。ここでは、例えば、まず、図１の記録部１４に記録されている図７の第１特定情報を参照して、ＳＡ２で認識したＡＲマーカＭ１を識別するマーカＩＤである「Ｍｉｄ００１」を特定し、特定した「Ｍｉｄ００１」に関連付けられている第１設定用仮想物体特定情報として「３Ｄｍｓ００１」を取得する。次に、図８のＳＡ１で記録した空間認識情報及び図１０のＳＢ１で格納したＡＲマーカＭ１の座標である「（Ｘ３，Ｙ３，Ｚ３）」を取得し、また、ＳＡ２で認識したＡＲマーカが示す方向として回転角度である「（Ｘ１度，Ｙ１度，Ｚ１度）」を特定し、図１１に示すように、前述の取得した空間認識情報にて特定される三次元仮想空間内において、前述の取得した座標である「（Ｘ３，Ｙ３，Ｚ３）」及び特定した方向である「（Ｘ１度，Ｙ１度，Ｚ１度）」を基準に、前述の取得した「３Ｄｍｓ００１」が特定する第１設定用仮想物体４３を配置する。なお、ここでは、例えば、第１設定用仮想物体４３の所定位置（例えば、第１設定用仮想物体４３における右上の隅又は右上の隅から若干離れた位置等）がＡＲマーカＭ１の座標である「（Ｘ３，Ｙ３，Ｚ３）」に対応する三次元仮想空間内の位置と一致し、且つ、第１設定用仮想物体４３の方向がＡＲマーカＭ１の方向である「（Ｘ１度，Ｙ１度，Ｚ１度）」に対応する三次元仮想空間内での方向と一致するように配置することとする。

【0067】

次に、図１０のＳＢ４において端末装置１の配置部１５１は、ＳＢ３で配置した第１設定用仮想物体を表示する。図１２は、図１１の平面図である。具体的には任意であるが、例えば、まず、前述したようにセンサ部１２の慣性ユニットの検出結果を用いて、前述の「基準情報」を基準にして現在の端末装置１の位置及び方向を特定し、当該特定した端末装置１の位置及び方向に対応する仮想端末装置Ｖ１の位置及び方向を、図８のＳＡ１で記録した空間認識情報にて特定される三次元仮想空間内において特定し、当該特定した位置の仮想端末装置Ｖ１が当該特定した方向に向かって仮想視野領域ＶＲ１を見た場合の第１設定用仮想物体を、レンズ部１３に表示する。なお、仮想視野領域ＶＲ１とは、実空間の図３の視野領域Ｒ１（つまり、前述したように、レンズ部１３を介してユーザが視認可能となる空間領域に対応する領域であり、また、センサ部１２のカメラを用いて撮像可能な領域）に対応する三次元仮想空間の領域である。

【0068】

図１３は、レンズ部を介して視認される対象を例示した図である。ここでは、例えば、まず、前述したようにセンサ部１２の慣性ユニットの検出結果を用いて、前述の「基準情報」を基準にして現在の端末装置１の位置及び方向を特定し、当該特定した端末装置１の位置及び方向に対応する仮想端末装置Ｖ１の位置及び方向として、図８のＳＡ１で記録した空間認識情報にて特定される三次元仮想空間内において図１１及び図１２に図示されている位置及び方向を特定し、当該特定した位置の仮想端末装置Ｖ１が当該特定した方向に向かって仮想視野領域ＶＲ１を見た場合の第１設定用仮想物体４３（つまり、仮想端末装置Ｖ１内の第１設定用仮想物体４３）を、レンズ部１３に表示する。この場合、図３のユーザは、図１３に示すように、レンズ部１３を介して実物体３１〜３４を視認可能となり、また、レンズ部１３に表示されている灰色の半透明の第１設定用仮想物体４３も視認可能となり、当該ユーザは、レンズ部１３を介して視認することにより、実空間に対して第１設定用仮想物体４３が重畳されているように視認することが可能となる。特に、前述の配置した第１設定用仮想物体４３が、三次元仮想空間内の仮想物体Ｖ３１（つまり、実空間内の実物体３１に対応する三次元仮想空間内の部分）から若干ずれていることとし、この場合、図１３に示すように、レンズ部１３を介して視認した場合に、第１設定用仮想物体４３が実物体３１に対して若干ずれているように視認されることになる。

【0069】

次に、図１０のＳＢ５において端末装置１の配置部１５１は、第１設定用仮想物体が配置される位置又は方向を調整するための入力情報を受け付ける。具体的には任意であるが、例えば、ユーザが公知のジェスチャ入力にて入力情報を入力することとし、この場合、端末装置１の配置部１５１は、センサ部１２のカメラで撮像されたユーザの指の動き等のジェスチャ入力に基づいてユーザからの入力情報として、第１設定用仮想物体４３の移動方向、移動量、及び回転角度を特定する情報を受け付ける。

【0070】

ここでは、例えば、ユーザが、図１３に示すように、レンズ部１３を介して視認した場合において、第１設定用仮想物体４３が実物体３１から位置又は方向がずれている場合に、レンズ部１３を介して視認して、第１設定用仮想物体４３が実物体３１と位置及び方向（回転角度）が合致するように（つまり、レンズ部１３を介して視認した場合に、第１設定用仮想物体４３が実物体３１と位置及び方向（回転角度）が合致したように視認可能となるように）、ジェスチャ入力を行って第１設定用仮想物体４３の位置及び方向を調整する。一例としては、ジェスチャ入力を行うことにより、レンズ部１３に表示されている第１設定用仮想物体４３の位置又は方向が変更されて、レンズ部１３を介して視認した場合において、実物体３１に対して第１設定用仮想物体４３の位置又は方向が変更された状態を認識できるように構成されていることとし、当該表示を視認しつつジェスチャ入力を行うことにより、入力情報を入力する場合について説明する。この場合、端末装置１の配置部１５１は、図１３の第１設定用仮想物体４３の位置及び方向を実物体３１の位置及び方向に合致されるための入力情報として、第１設定用仮想物体４３の移動方向、移動量、及び回転角度を特定する情報を受け付ける。

【0071】

なお、レンズ部１３を介して視認した場合において、第１設定用仮想物体４３が実物体３１から位置及び方向がずれていない場合、ユーザは、何らの変更も行わないジェスチャ入力を行い、この場合、端末装置１の配置部１５１は、当該ジェスチャ入力に対応する入力情報を受け付けることとする。

【0072】

次に、図１０のＳＢ６において端末装置１の配置部１５１は、位置情報を格納する。具体的には任意であるが、例えば、まず、ＳＢ５で受け付けた入力情報を取得し、また、ＳＢ１で一時保存したＡＲマーカの三次元座標を取得した上で、当該取得したＡＲマーカの三次元座標を基準にした当該入力情報が示す三次元相対座標（具体的には、一時保存したＡＲマーカの三次元座標に対して、前述の取得した入力情報に示される移動方向に対応する方向に向かって当該取得した入力情報に示される移動量分に対応する移動量分だけ離れた位置の座標）を特定する。次に、ＳＢ５で受け付けた入力情報を取得した上で、ＳＡ２で認識したＡＲマーカが示す方向を基準にした当該入力情報が示す相対回転角度を特定する。次に、これらの特定した三次元相対座標及び相対回転角度を特定する情報を、ＳＡ２で認識したＡＲマーカの位置情報として格納する。格納する処理について詳細には、図１の記録部１４に記録されている図７の第１特定情報を参照して、ＳＡ２で認識したＡＲマーカを識別するマーカＩＤを特定し、特定したマーカＩＤに関連付けられている位置情報として、これらの三次元相対座標及び相対回転角度を特定する情報を格納する。

【0073】

ここでは、例えば、ＳＢ５で受け付けた入力情報を取得し、また、ＳＢ１で一時保存したＡＲマーカの三次元座標である「（Ｘ３，Ｙ３，Ｚ３）」を取得した上で、前述の取得したＡＲマーカの三次元座標である「（Ｘ３，Ｙ３，Ｚ３）」を基準にした当該取得した入力情報が示す三次元相対座標として「（Ｘｒ１，Ｙｒ１，Ｚｒ１）」を特定する。次に、ＳＢ５で受け付けた入力情報を取得した上で、ＳＡ２で認識したＡＲマーカが示す方向である「（Ｘ１度，Ｙ１度，Ｚ１度）」を基準にした当該取得した入力情報が示す相対回転角度として「（Ｘｒ１度，Ｙｒ１度，Ｚｒ１度）」を特定する。次に、これらの特定した三次元相対座標である「（Ｘｒ１，Ｙｒ１，Ｚｒ１）」及び相対回転角度である「（Ｘｒ１度，Ｙｒ１度，Ｚｒ１度）」を特定する情報である「Ｄｐ００１」を、図１の記録部１４に記録されている図７の第１特定情報において、ＳＡ２で認識したＡＲマーカＭ１を識別する「マーカＩＤ」＝「Ｍｉｄ００１」に関連付けられている位置情報として記録する。この後、設定処理をリターンする。

【0074】

次に、図８のＳＡ５において端末装置１の配置部１５１は、第１仮想物体特定情報及び位置情報を取得する。具体的には任意であるが、例えば、図１の記録部１４に記録されている図７の第１特定情報を参照して、ＳＡ２で認識したＡＲマーカを識別するマーカＩＤを特定し、特定したマーカＩＤに関連付けられている第１仮想物体特定情報及び位置情報を取得する。ここでは、例えば、図１の記録部１４に記録されている図７の第１特定情報を参照して、ＳＡ２で認識したＡＲマーカＭ１を識別するマーカＩＤである「Ｍｉｄ００１」を特定し、特定したマーカＩＤである「Ｍｉｄ００１」に関連付けられている「第１仮想物体特定情報」＝「３Ｄｍ００１」及び「位置情報」＝「Ｄｐ００１」（つまり、「（Ｘｒ１度，Ｙｒ１度，Ｚｒ１度）」及び「（Ｘｒ１度，Ｙｒ１度，Ｚｒ１度）」）を取得する。

【0075】

次に、図８のＳＡ６において端末装置１の配置部１５１は、第１仮想物体及び第２仮想物体を配置する。図１４は、三次元仮想空間を例示した図であり、図１５は、図１４の平面図である。ここでは、第１仮想物体を配置する処理と、第２仮想物体を配置する処理に分けて説明する。

【0076】

＝＝＝第１仮想物体を配置する処理＝＝＝
まず、第１仮想物体を配置する処理については具体的には任意であるが、例えば、端末装置１の配置部１５１は、まず、図１０のＳＢ１の場合と同様にして、ＳＡ２で認識したＡＲマーカの座標を特定し、また、図１０のＳＢ３の場合と同様にして、ＳＡ２で認識したＡＲマーカが示す方向を特定する。次に、ＳＡ５で取得した位置情報を取得し、前述の特定したＡＲマーカの座標に対する当該取得した位置情報が示す三次元相対座標に対応する座標（以下、「配置座標」とも称する）を、前述の「基準情報」を基準に特定する。次に、ＳＡ５で取得した位置情報を取得し、前述の特定したＡＲマーカの方向に対する当該取得した位置情報が示す相対回転角度に対応する回転角度（以下、「配置回転角度」とも称する）を、前述の「基準情報」を基準に特定する。次に、ＳＡ１で記録した空間認識情報にて特定される三次元仮想空間内において、前述の特定した「配置座標」及び特定した「配置回転角度」を基準に、ＳＡ５で取得した第１仮想物体特定情報が特定する第１仮想物体を配置する。そして、この後、三次元仮想空間内において、第１仮想物体を当該配置した位置（所定位置であり、実空間内の実物体３１の位置に対応する三次元仮想空間内の位置）に固定する。

【0077】

ここでは、例えば、第１仮想物体を配置する処理については具体的には任意であるが、例えば、端末装置１の配置部１５１は、まず、図１０のＳＢ１の場合と同様にして、ＳＡ２で認識したＡＲマーカの座標として「（Ｘ３，Ｙ３，Ｚ３）」を特定し、また、図１０のＳＢ３の場合と同様にして、ＳＡ２で認識したＡＲマーカが示す方向として回転角度である「（Ｘ１度，Ｙ１度，Ｚ１度）」を特定する。次に、ＳＡ５で取得した位置情報である「Ｄｐ００１」（つまり、「（Ｘｒ１度，Ｙｒ１度，Ｚｒ１度）」及び「（Ｘｒ１度，Ｙｒ１度，Ｚｒ１度）」）を取得し、前述の特定した「ＡＲマーカの座標」＝「（Ｘ３，Ｙ３，Ｚ３）」に対する当該取得した「位置情報」＝「Ｄｐ００１」が示す「三次元相対座標」＝「（Ｘｒ１，Ｙｒ１，Ｚｒ１）」に対応する座標として「配置座標」＝「Ｘ２，Ｙ２，Ｚ２」を、前述の「基準情報」を基準に特定する。次に、ＳＡ５で取得した位置情報である「Ｄｐ００１」を取得し、前述の特定した「ＡＲマーカの方向」＝「（Ｘ１度，Ｙ１度，Ｚ１度）」に対する当該「位置情報」＝「Ｄｐ００１」が示す「相対回転角度」＝「（Ｘｒ１度，Ｙｒ１度，Ｚｒ１度）」に対応する回転角度として「配置回転角度」＝「（Ｘ２度，Ｙ２度，Ｚ２度）」を、前述の「基準情報」を基準に特定する。次に、ＳＡ１で記録した空間認識情報にて特定される三次元仮想空間内において、図１４及び図１５に示されるように、前述の特定した「配置座標」＝「Ｘ２，Ｙ２，Ｚ２」及び「配置回転角度」＝「（Ｘ２度，Ｙ２度，Ｚ２度）」を基準に、ＳＡ５で取得した「第１仮想物体特定情報」＝「３Ｄｍ００１」が特定する第１仮想物体４１を配置する。なお、ここでは、ＳＢ３の場合と同様にして、例えば、第１仮想物体４１の所定位置（例えば、第１仮想物体４１における右上の隅又は右上の隅から若干離れた位置等）が「配置座標」＝「Ｘ２，Ｙ２，Ｚ２」に対応する位置と一致し、且つ、第１仮想物体４１の方向が「配置回転角度」＝「（Ｘ２度，Ｙ２度，Ｚ２度）」に対応する方向と一致するように配置して固定することとする。また、この場合、図１０のＳＢ５で受け付けた入力情報を反映して第１仮想物体４１が配置されることになり、つまり、第１仮想物体４１は、図１０のＳＢ５においてジェスチャ入力にて調整された調整後の第１設定用仮想物体４３（つまり、レンズ部１３を介して視認して、実物体３１と位置及び方向が合致する第１設定用仮想物体４３）と位置及び方向が合致するように配置されることになる。

【0078】

＝＝＝第２仮想物体を配置する処理＝＝＝
次に、第２仮想物体を配置する処理については具体的には任意であるが、例えば、端末装置１の配置部１５１は、まず、図１の記録部１４の第２特定情報を取得し、ＳＡ１で記録した空間認識情報にて特定される三次元仮想空間内に、当該取得した第２特定情報が示す第２仮想物体を配置する。第２仮想物体を配置する位置及び方向は、仮想端末装置Ｖ１及び第１仮想物体が第２仮想物体の内部に配置される限りにおいて任意である。

【0079】

ここでは、例えば、図１４に示すように、６個の仮想区画壁４２１（図１４では２個のみに符号が付されている）の内の１個の仮想区画壁４２１ａ（図１４及び図１５参照）が第１仮想物体４１を挟んで仮想端末装置Ｖ１の反対側に設けられるように配置する場合を例示して説明する。また、例えば、図１５の第２仮想物体４２のＸ軸方向の長さが、実空間上での所定距離（例えば、１００ｍ〜１２０ｍ程度（つまり、ユーザが移動するものと想定される距離よりも十分に長い距離）））に対応する長さとなるように設定されている場合について説明する。また、ここでは、例えば、第１仮想物体４１と仮想区画壁４２１ａとの間の距離が一定の距離となるように、第２仮想物体４２を配置してもよいし、あるいは、仮想端末装置Ｖ１と仮想区画壁４２１ａとの間の距離が一定の距離となるように、第２仮想物体４２を配置してもよい。そして、この第２仮想物体４２は、後のステップで特記するまで当該配置された位置に固定されることとなる。

【0080】

次に、図８のＳＡ７において端末装置１の生成部１５２は、表示画像を生成する。なお、実際には、センサ部１２のカメラでは動画として撮像画像を撮像しているが、ここでは、当該動画である撮像画像の内の１個のフレームを取り上げて処理を詳細に説明するが、ここで説明する処理を高速に実行することにより、動画である撮像画像に基づいて動画の表示画像を生成することが可能となる。

【0081】

ＳＡ７の処理について概略的には、センサ部１２のカメラで撮像した撮像画像（つまり、図３の視野領域Ｒ１内を撮像した撮像画像）と、仮想端末装置Ｖ１から仮想視野領域ＶＲ１を見た場合の第２仮想物体４２の仮想区画壁４２１に対応する画像（後述するように、第１仮想物体４１を投影された部分を透明化した画像を含む）とに基づいて、表示画像を生成する。

【0082】

ＳＡ７の処理について詳細には、まず、センサ部１２のカメラで実空間を撮像し、当該撮像した撮像画像を取得する（以下、「撮像画像取得ステップ」）。

【0083】

次に、前述したようにセンサ部１２の慣性ユニットの検出結果を用いて、前述の「基準情報」を基準にして、現在（つまり、「撮像画像取得ステップ」で取得した撮像画像を撮像した際）の端末装置１の位置及び方向を特定し、当該特定した端末装置１の位置及び方向に対応する仮想端末装置Ｖ１の位置及び方向を、図８のＳＡ１で記録した空間認識情報にて特定される三次元仮想空間内において特定する（以下、「特定ステップ」と称する）。

【0084】

次に、前述の三次元仮想空間において、「特定ステップ」で特定した位置及び方向の仮想端末装置Ｖ１から仮想視野領域ＶＲ１を見た場合に、当該仮想視野領域ＶＲ１内に第１仮想物体４１が配置されている場合、以下の「第１の処理」を行い、一方、「特定ステップ」で特定した位置及び方向の仮想端末装置Ｖ１から仮想視野領域ＶＲ１を見た場合に、当該仮想視野領域ＶＲ１内に第１仮想物体４１が配置されていない場合、以下の「第２の処理」を行う。

【0085】

＝＝＝第１の処理＝＝＝
「第１の処理」とは、「撮像画像取得ステップ」で取得した撮像画像の一部の領域をマスクすることにより、表示画像を生成する処理である。この「第１の処理」においては、まず、「特定ステップ」で特定した位置及び方向の仮想端末装置Ｖ１を基準（例えば、仮想的な光源）として、仮想視野領域ＶＲ１内において第１仮想物体を第２仮想物体の仮想区画壁に投影した場合の、仮想視野領域ＶＲ１内の仮想区画壁に投影された第１仮想物体の二次元形状の像を特定する（以下、「第１の処理の第１ステップ」）。次に、仮想視野領域ＶＲ１内の仮想区画壁において、投影された二次元形状の像（つまり、「第１の処理の第１ステップ」で特定された二次元形状の像）に対応する部分を透明な部分とし（つまり、当該部分を介して一方側から他方側を視認できる部分とし）、当該二次元形状の像以外の部分を不透明な部分とする（つまり、当該部分を介して一方側から他方側を視認可能でない部分）とする（以下、「第１の処理の第２ステップ」）。次に、「撮像画像取得ステップ」で取得した撮像画像において、当該撮像画像の一部を「第１の処理の第２ステップ」での処理結果に基づいてマスクした画像を表示画像として生成する（以下、「第１の処理の第３ステップ」）。

【0086】

この「第１の処理の第３ステップ」については任意であるが、例えば、仮想視野領域ＶＲ１が図３の視野領域Ｒ１（つまり、センサ部１２のカメラを用いて撮像可能な領域）に対応する領域である点に着目して、以下の処理を行うこととしてもよい。具体的には、第１マスク用画像（例えば、仮想視野領域ＶＲ１内の仮想区画壁を基準にして生成されるマスク用画像であって、「第１の処理の第２ステップ」にて透明な部分とされた部分に対応する領域に非マスク領域を有し、不透明な部分とされた部分に対応する領域にマスク領域を有するマスク用画像）を生成し、「撮像画像取得ステップ」で取得した撮像画像に対して当該生成した第１マスク用画像を重ね合わせる処理を行うことにより、前述の撮像画像の一部が第１マスク用画像にてマスクされた画像を表示画像として生成してもよい。なお、「マスク領域」とは、例えば、隠される領域を示す概念であり、また、「非マスク領域」とは、例えば、隠されない領域を示す概念である。

【0087】

なお、ここで説明した第１マスク用画像を重ね合わせる処理は一例であり、前述の「第１の処理の第１ステップ」及び「第１の処理の第２ステップ」の処理結果に基づいて、撮像画像において、前述の不透明な部分に対応する当該撮像画像内の一部の領域がマスクされ、且つ、前述の透明な部分に対応する当該撮像画像内の他の一部の領域がマスクされない画像を表示画像として生成する処理である限りにおいて、任意の処理を適用することができる。

【0088】

＝＝＝第１の処理（具体例）＝＝＝
図１６は、三次元仮想空間を例示した図であり、図１７は、図１６の平面図であり、図１８は、撮像画像を例示した図であり、図１９は、第１マスク用画像を例示した図であり、図２０は、撮像画像に第１マスク用画像を重ね合わせた状態を例示した図であり、図２１は、表示画像を例示した図である。なお、図１７における仮想視野領域ＶＲ１の境界を示す２本の一点鎖線の内側の２本の破線は、仮想端末装置Ｖ１を光源とした場合の当該光源と第１仮想物体４１の外形の最外部分とを結んだ直線である。

【0089】

ここでは、例えば、「撮像画像取得ステップ」において、図３に示す状態において、センサ部１２のカメラで実空間を撮像した撮像画像として、図１８の撮像画像を撮像した場合を例示して説明」する。なお、この図１８の撮像画像の実物体画像Ｇ３１〜Ｇ３４及び液晶ディスプレイ画像Ｇ３１１は、図３又は図４の実物体３１〜３４及び液晶ディスプレイ３１１の画像である。

【0090】

この場合、「特定ステップ」において、前述したようにセンサ部１２の慣性ユニットの検出結果を用いて、前述の「基準情報」を基準にして、現在（つまり、「撮像画像取得ステップ」で取得した図１８の撮像画像を撮像した際）の図３の端末装置１の位置及び方向を特定し、当該特定した端末装置１の位置及び方向に対応する図１５の仮想端末装置Ｖ１の位置及び方向を、図８のＳＡ１で記録した空間認識情報にて特定される三次元仮想空間内において特定する。

【0091】

次に、「特定ステップ」で特定した位置及び方向の図１５の仮想端末装置Ｖ１から仮想視野領域ＶＲ１を見た場合に、当該仮想視野領域ＶＲ１内に第１仮想物体４１が配置されているので、「第１の処理」を実行することになる。具体的には、「第１の処理の第１ステップ」において、「特定ステップ」で特定した位置及び方向の図１５の仮想端末装置Ｖ１を基準（例えば、仮想的な光源）として、図１６及び図１７に示すように、仮想視野領域ＶＲ１内において第１仮想物体４１を第２仮想物体４２の仮想区画壁４２１ａに投影した場合の、仮想視野領域ＶＲ１内の仮想区画壁４２１ａに投影された第１仮想物体４１の二次元形状の像４１ａを特定する（以下、「第１の処理の第１ステップ」）。次に、「第１の処理の第２ステップ」について、仮想視野領域ＶＲ１内の仮想区画壁４２１ａにおいて、投影された二次元形状の像４１ａ（つまり、「第１の処理の第１ステップ」で特定された二次元形状の像４１ａ）に対応する部分を透明な部分とし、当該二次元形状の像４１ａ以外の部分を不透明な部分とする。次に、「第１の処理の第３ステップ」において、「撮像画像取得ステップ」で取得した図１８の撮像画像の一部を「第１の処理の第２ステップ」での処理結果に基づいてマスクした画像を表示画像として生成する。

【0092】

この「第１の処理の第３ステップ」について具体的には、まず、仮想区画壁４２１ａにおける仮想視野領域ＶＲ１内の一部の領域４２１ａ１（つまり、図１６及び図１７の仮想区画壁４２１ａにおける一部の領域であって、仮想視野領域ＶＲ１内に入る一部の領域）を基準にして「第１の処理の第２ステップ」にて透明な部分とされた部分（つまり、二次元形状の像４１ａの部分）に対応する領域を非マスク領域Ｒ２２とし、不透明な部分とされた部分（つまり、二次元形状の像４１ａの部分以外の部分）に対応する領域をマスク領域Ｒ２１とする第１マスク用画像として、図１９の第１マスク用画像を生成する。なお、この図１９の第１マスク用画像の外形、マスク領域Ｒ２１、及び非マスク領域Ｒ２２は、図１６及び図１７における仮想区画壁４２１ａにおける仮想視野領域ＶＲ１内の一部の領域４２１ａ１の外形、当該領域４２１ａ１における二次元形状の像４１ａの部分以外の部分、及び当該領域４２１ａ１における二次元形状の像４１ａの部分に対応している。なお、この第１マスク用画像の具体的な構成は任意であるが、例えば、マスク領域Ｒ２１が重ねられた領域が隠され、且つ、非マスク領域Ｒ２２に対応する部分が隠されないように構成されている限りにおいて任意である。次に、図２０に示すように、前述の「撮像画像取得ステップ」で取得した図１８の撮像画像に対して当該生成した図１９の第１マスク用画像を重ね合わせる処理を行うことにより、前述の図１８の撮像画像の一部が図１９の第１マスク用画像のマスク領域Ｒ２１にてマスクされた画像として図２１の表示画像として生成する。

【0093】

なお、この図２１の表示画像においては、図１９の第１マスク用画像における非マスク領域Ｒ２２に対応する一部のみが視認可能となり、他の部分はマスクされて視認不可能となるので、図１８の撮像画像に写っている実物体画像Ｇ３１〜Ｇ３４の内の実物体画像Ｇ３２〜Ｇ３４はマスクされて実物体画像Ｇ３１のみが表示されることになる。また、例えば、ここで生成した図２１の表示画像が「実空間マスク画像」に相当し、また、図１８の撮像画像が「実空間撮像画像」に相当し、また、図１８の撮像画像における図１９の第１マスク用画像のマスク領域Ｒ２１にてマスクされる領域（つまり、実物体３１の画像である実物体画像Ｇ３１が写っていない領域）が「マスク対象領域」に相当し、当該マスク対象領域は、前述したように、第１仮想物体４１の位置又は形状を基準として定められることになる。

【0094】

＝＝＝第２の処理＝＝＝
「第２の処理」とは、「撮像画像取得ステップ」で取得した撮像画像の全部の領域をマスクすることにより、表示画像を生成する処理である。この「第２の処理」においては、「特定ステップ」で特定した位置及び方向の仮想端末装置Ｖ１を基準として、第２マスク用画像（例えば、仮想視野領域ＶＲ１内の仮想区画壁を基準にして生成されるマスク用画像であって、全ての部分をマスク領域とするマスク用画像）を生成し、「撮像画像取得ステップ」で取得した撮像画像に対して当該生成した第２マスク用画像を重ね合わせる処理を行うことにより、前述の撮像画像の全部が第２マスク用画像にてマスクされた画像を表示画像として生成してもよい。

【0095】

なお、ここで説明した第２マスク用画像を重ね合わせる処理は一例であり、撮像画像内の全部の領域がマスクされる画像を表示画像として生成する処理である限りにおいて、任意の処理を適用することができる。

【0096】

＝＝＝第２の処理（具体例）＝＝＝
図２２は、実空間を例示した平面図であり、図２３は、図２２の実空間に対応する三次元仮想空間を例示した平面図であり、図２４は、第２マスク用画像を例示した図であり、図２５は、表示画像を例示した図である。

【0097】

ここでは、例えば、「撮像画像取得ステップ」において、図２２に示す状態において、センサ部１２のカメラで実空間を撮像した場合を例示して説明する。

【0098】

この場合、「特定ステップ」において、前述したようにセンサ部１２の慣性ユニットの検出結果を用いて、前述の「基準情報」を基準にして、現在（つまり、「撮像画像取得ステップ」で取得した撮像画像を撮像した際）の図２２の端末装置１の位置及び方向を特定し、当該特定した端末装置１の位置及び方向に対応する図２３の仮想端末装置Ｖ１の位置及び方向を、図８のＳＡ１で記録した空間認識情報にて特定される三次元仮想空間内において特定する。

【0099】

次に、「特定ステップ」で特定した位置及び方向の図２３の仮想端末装置Ｖ１から仮想視野領域ＶＲ１を見た場合に、当該仮想視野領域ＶＲ１内に第１仮想物体４１が配置されていないので、「第２の処理」を実行することになる。具体的には、「特定ステップ」で特定した位置及び方向の図２３の仮想端末装置Ｖ１を基準とした仮想区画壁４２１ｂにおける仮想視野領域ＶＲ１内の一部の領域４２１ｂ１（つまり、図２３の仮想区画壁４２１ｂにおける一部の領域であって、仮想視野領域ＶＲ１内に入る一部の領域）を基準にして、全部をマスク領域Ｒ３１とする第２マスク用画像として、図２４の第２マスク用画像を生成する。なお、この図２４の第２マスク用画像の外形は、図２３における仮想区画壁４２１ｂにおける仮想視野領域ＶＲ１内の一部の領域４２１ｂ１の外形に対応している。なお、この第２マスク用画像の具体的な構成は任意であるが、例えば、マスク領域Ｒ３１が重ねられた領域が隠されるように構成されている限りにおいて任意である。次に、前述の「撮像画像取得ステップ」で取得した撮像画像に対して当該生成した図２４の第２マスク用画像を重ね合わせる処理を行うことにより、撮像画像の全部が図２４の第２マスク用画像のマスク領域Ｒ３１にてマスクされた画像として図２５の表示画像として生成する。

【0100】

次に、図８のＳＡ８において端末装置１の制御部１５は、ＳＡ７で生成した表示画像を出力して利用する。具体的には任意であるが、例えば、端末装置１と表示装置２との間のビデオ通話で利用する場合について説明する。詳細には、ＳＡ８で生成した表示画像を取得し、取得した表示画像を、通信部１１を介して図１の表示装置２に送信して、表示装置２の表示部２２に表示画像を表示することにより、端末装置１と表示装置２との間のビデオ通話で利用する。なお、実際には、この図８の各ステップについては高速に実行されているために、ビデオ通話では動画をシームレスに表示することができる。また、表示画像をビデオ通話で利用するための具体的な処理については、公知の処理を含む任意の処理を適用してもよい。

【0101】

ここでは、例えば、ユーザが図２及び図３の位置及び方向において、レンズ部１３を介して図４の三次元対象空間を視認している場合、ＳＡ７において図２１の表示画像等が生成されるので、この図２１の表示画像等を表示装置２に送信して、表示部２２に当該図２１の表示画像等を表示する。また、例えば、ユーザが図２３の位置において当該図２３が示す方向（図面下側）を向いている場合、ＳＡ７において図２５の表示画像等が生成されているので、この図２５の表示画像等を送信して表示部２２に表示する。このように、図１の表示装置２側では、図２の実物体３１の画像は視認可能となるが、その他の空間の画像（つまり、実物体３２〜３４を含む空間の画像）は視認不可能となるために、図２の工場内の機密性を確保することが可能となる。

【0102】

次に、図８のＳＡ９において端末装置１の配置部１５１は、端末装置１が移動したか否かを判定する。図２６は、実空間を例示した平面図であり、図２７は、図２６の実空間に対応する三次元仮想空間を例示した平面図である。具体的には任意であるが、例えば、センサ部１２の慣性ユニットの検出結果に基づいて、端末装置１がＳＡ２において認識したＡＲマーカの位置（つまり、実物体３１の位置）を基準として、ＳＡ６において第２仮想物体を配置した場合の端末装置１の位置（又は、後述するＳＡ１０を実行した後にＳＡ９を実行する場合においては、直近のＳＡ１０で特定した端末装置１の位置）に対して、端末装置１が回転方向に移動したか否かを判定する。なお、「回転方向」とは、例えば、ＳＡ２で認識したＡＲマーカと端末装置１とを通る直線上から外れる方向（又は当該直線と交差する方向）であり、例えば、図２６において一点鎖線の矢印で示す方向等を含む概念である。そして、端末装置１が回転方向に移動していないものと判定した場合（ＳＡ９のＮＯ）、ＳＡ１１に移行する。また、端末装置１が回転方向に移動したものと判定した場合（ＳＡ９のＹＥＳ）、ＳＡ１０に移行する。

【0103】

ここでは、例えば、図２６に示すように、ユーザが、図３に示す位置から図２６に示す位置に移動した場合、端末装置１が回転方向に移動することになり、この場合、端末装置１が回転方向に移動したものと判定する。

【0104】

次に、図８のＳＡ１０において端末装置１の配置部１５１は、第２仮想物体が配置される位置を変更する。具体的には任意であるが、例えば、まず、前述したようにセンサ部１２の慣性ユニットの検出結果を用いて、前述の「基準情報」を基準にして、現在の端末装置１の位置及び方向を特定し、当該特定した端末装置１の位置及び方向に対応する仮想端末装置Ｖ１の位置及び方向を、図８のＳＡ１で記録した空間認識情報にて特定される三次元仮想空間内において特定する。次に、当該位置及び方向が特定された仮想端末装置Ｖ１が第２仮想物体４２の内部に入った状態が維持されるように、仮想空間内に配置されて固定されている第１仮想物体４１を中心にして、第２仮想物体４２を回動させることにより第２仮想物体４２の位置を変更する。

【0105】

ここでは、例えば、まず、前述したようにセンサ部１２の慣性ユニットの検出結果を用いて、前述の「基準情報」を基準にして、現在の図２６の端末装置１の位置及び方向を特定し、当該特定した端末装置１の位置及び方向に対応する図２７の仮想端末装置Ｖ１の位置及び方向を、図８のＳＡ１で記録した空間認識情報にて特定される三次元仮想空間内において特定する。次に、当該位置及び方向が特定された仮想端末装置Ｖ１が第２仮想物体４２の内部に入った状態が維持されるように、仮想空間内に配置されて固定されている第１仮想物体４１を中心にして、第２仮想物体４２を図２７の一点鎖線の矢印で示されている方向に回動させることにより第２仮想物体４２の位置を変更する。なお、このＳＡ１０を含むＳＡ７〜ＳＡ１１の処理に対応する処理は、実際には高速で行われるので、端末装置１が実空間内を移動することにより、仮想端末装置Ｖ１が三次元仮想空間内を移動した場合に、三次元仮想空間内の仮想端末装置Ｖ１の位置に応じて、第２仮想物体４２の位置が変更されることになる。このように処理することにより、仮想端末装置Ｖ１及び第１仮想物体４１が常に第２仮想物体４２の内部に配置されることになり、ＳＡ７での表示画像の生成を確実に行うことが可能となる。

【0106】

図８のＳＡ１１において端末装置１の制御部１５は、処理を終了するか否かを判定する。具体的には任意であるが、例えば、センサ部１２のカメラを介して処理を終了するためのジェスチャ操作が入力されたか否かに基づいて判定する。そして、処理を終了するためのジェスチャ操作が入力されていない場合、処理を終了しないものと判定し（ＳＡ１１のＮＯ）、ＳＡ７に移行する。また、処理を終了するためのジェスチャ操作が入力された場合、処理を終了するものと判定し（ＳＡ１１のＹＥＳ）、処理を終了する。これにて、表示処理を終了する。

【0107】

（実施の形態の効果）
このように本実施の形態によれば、少なくとも配置部１５１が設けた第１仮想物体４１と、センサ部１２のカメラが撮像した実空間の画像である撮像画像とに基づいて、マスク対象領域をマスクした実空間マスク画像（表示画像）を生成することにより、例えば、実空間マスク画像を確実に生成することが可能となる。

【0108】

また、仮想端末装置Ｖ１を基準として第１仮想物体４１が仮想区画壁４２１に投影された場合の、投影された第１仮想物体４１の二次元形状に基づいて、実空間マスク画像を生成することにより、例えば、実対象物（実物体３１）が写っている部分以外をマスクした実空間マスク画像を確実に生成することが可能となる。

【0109】

また、端末装置１（つまり、端末装置１に実装されているセンサ部１２のカメラ）が実空間内を移動することにより、仮想端末装置Ｖ１が三次元仮想空間内を移動した場合に、三次元仮想空間内の仮想端末装置Ｖ１の位置に応じて、第２仮想物体４２の位置を変更することにより、例えば、仮想端末装置Ｖ１が第２仮想物体４２の外に出ることを防止することができ、実空間マスク画像を確実に生成することが可能となる。

【0110】

また、三次元仮想空間内の所定位置に第１仮想物体４１を固定して設けることにより、例えば、第１仮想物体４１の位置がずれることを防止することができ、実空間マスク画像を確実に生成することが可能となる。

【0111】

〔実施の形態に対する変形例〕
以上、本発明に係る実施の形態について説明したが、本発明の具体的な構成及び手段は、特許請求の範囲に記載した本発明の技術的思想の範囲内において、任意に改変及び改良することができる。以下、このような変形例について説明する。

【0112】

（解決しようとする課題や発明の効果について）
まず、発明が解決しようとする課題や発明の効果は、上述の内容に限定されるものではなく、発明の実施環境や構成の細部に応じて異なる可能性があり、上述した課題の一部のみを解決したり、上述した効果の一部のみを奏したりすることがある。

【0113】

（分散や統合について）
また、上述した各電気的構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散や統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散又は統合して構成できる。また、本出願における「装置」とは、単一の装置によって構成されたものに限定されず、複数の装置によって構成されたものを含む。例えば、端末装置１の少なくとも一部の機能を不図示のサーバ装置又は表示装置２に設けてもよい。より具体的には、例えば、端末装置１の第１特定情報又は第２特定情報を不図示のサーバに格納した上で、端末装置１が当該サーバと適宜通信を行いつつ上述の各処理を実行するように構成してもよい。

【0114】

（形状、数値、構造、時系列について）
実施の形態や図面において例示した構成要素に関して、形状、数値、又は複数の構成要素の構造若しくは時系列の相互関係については、本発明の技術的思想の範囲内において、任意に改変及び改良することができる。

【0115】

（第１仮想物体及び第２仮想物体の表示について）
また、上記実施の形態の図８のＳＡ６で配置する第１仮想物体４１及び第２仮想物体４２については、ＳＡ７での表示画像の生成のために用いられるが、この第１仮想物体４１及び第２仮想物体４２について、レンズ部１３に表示してユーザが当該レンズ部１３を介して視認可能となるように構成してもよい。この場合、図１０のＳＢ４の場合と同様にして表示してもよい。なお、ここでの、第１仮想物体４１及び第２仮想物体４２については、表示又は非表示をユーザからの入力に基づいて選択可能としてもよい。

【0116】

（第１設定仮想物体について）
また、上記実施の形態では、図７の第１設定用仮想物体特定情報を省略してもよい。この場合、図１０の設定処理においては、第１仮想物体を用いて処理を行うように変更してもよい。この場合、ＳＡ４においては、ユーザによって予め定められている半透明の色にて、第１仮想物体を表示するように構成してもよい。

【0117】

（第２仮想物体について）
また、上記第２仮想物体の構成を任意に変更してもよい。例えば、図６の第２仮想物体４２を十分に大きなサイズ（例えば、実空間である工場の建築物に対応するサイズ等）にしてもよい。この場合、ユーザが工場の建築物内で移動する限りにおいて、実空間における端末装置１の移動に応じて、三次元仮想空間における仮想端末装置Ｖ１が第２仮想物体４２の外部に移動することは想定されないので、図８のＳＡ９及びＳＡ１０の処理を省略してもよい。

【0118】

また、例えば、第２仮想物体４２の形状又はサイズを自由に変更可能にしてもよく、一例としては、端末装置１が移動した場合、当該端末装置１の移動に応じて第２仮想物体４２の形状又はサイズを変更することにより、仮想端末装置Ｖ１及び第１仮想物体４１が第２仮想物体４２の内部に配置されるように構成してもよい。

【0119】

（表示画像の記録）
また、上記実施の形態の図８のＳＡ７で生成した表示画像について、制御部１５が、記録部１４に記録するように構成してもよい。

【0120】

（非表示の部分への他の画像の表示について）
また、上記実施の形態の図２１又は図２５の撮像画像がマスクされている領域に、他の画像（実空間とは無関係の画像）が表示されるように、表示画像を生成しもよい。他の画像としては、例えば、ユーザが設定可能となるように構成してもよいし、あるいは、予め定められているものとしてもよく、一例としては、風景画像等のユーザの心理状態に影響を与えうる画像を採用してもよい。

【0121】

（生成システムについて）
また、上記実施の形態では、生成システムとしてウェアラブル端末装置を用いる場合を例示して説明したが、これに限らない。例えば、生成システムとしてタブレット端末を用いてもよい。この場合、例えば、ユーザが、工場内で作業する場合に、生成システムであるタブレット端末を用いて当該工場内の実物体３１周辺を、当該タブレット端末のカメラで動画又は静止画を撮像することにより、タブレット端末が表示画像情報を生成するように構成してもよい。また、生成システムとして例えばスマートフォンを用いてもよい。

【0122】

（レンズ部について）
また、上記実施の形態では、レンズ部１３が透明である場合について説明したが、これに限らず、レンズ部１３を半透明にしたり、あるいは、レンズ部の代わりに小型ディスプレイ（つまり、画像表示装置）を用いたりしてもよい。

【0123】

（端末装置の位置について）
また、上記実施の形態では、センサ部１２の慣性ユニットを用いて端末装置１の位置を特定する場合について説明したが、これに限らない。例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）の技術を用いて、端末装置１の位置を特定するように構成してもよい。

【0124】

（位置情報について）
また、上記実施の形態では、図１０のＳＢ６において三次元相対座標及び相対回転角度を特定する情報を、図７の位置情報として格納する場合について説明したが、これに限らない。例えば、前述の「基準情報」を基準とした三次元座標及び回転角度（つまり、ＳＢ１で一時保存したＡＲマーカの三次元座標に対してＳＢ２で受け付けた入力情報を反映した三次元座標、ＳＡ２で認識したＡＲマーカが示す方向を基準にした当該入力情報を反映した方向（回転角度）を反映した回転角度）を位置情報として格納してもよい。

【0125】

（用語の解釈について）
また、上記実施の形態の各用語については、ＡＲの技術、仮想空間に関する技術、空間認識の技術等において各処理を実現するための具体的な情報処理を特定しているものと解釈することとしてもよい。例えば、第１仮想物体４１を「配置する」とは、三次元仮想空間（ここでは、例えば、ＳＡ１で記録した空間認識情報にて特定される三次元仮想空間）内に第１仮想物体４１を設けることに対応する概念であり、例えば、三次元仮想空間内に第１仮想物体４１を設けるための情報をメモリ又は記録部１４に記録すること等を含む概念であるものと解釈してもよい（他の仮想物体を「配置する」についても同様としてもよい）。また、第１仮想物体４１を「固定する」とは、例えば、固定した以後の処理において明示的に第１仮想物体４１を移動させる処理を行うまで、三次元仮想空間内の同じ場所に設けられていることを示す概念と解釈してもよい。また、第１仮想物体４１を「固定する」とは、三次元仮想空間内に第１仮想物体４１を設けるための情報をメモリ又は記録部１４に記録しておき、固定した以後の処理において明示的に第１仮想物体４１を移動させる処理を行うまで、当該記録しておいた情報を用いて三次元仮想空間内の第１仮想物体４１の位置を特定する概念であるものと解釈してもよい（他の仮想物体を「固定する」についても同様としてもよい）。あるいは、本願発明の範囲を逸脱しない範囲において、ここで説明した用語の解釈以外の任意の解釈を行ってもよい。

【0126】

（特徴について）
また、上記実施の形態と変形例の特徴を任意に組み合わせてもよい。また、各処理の各ステップについては、任意に組み替えてもよい。

【0127】

（付記）
付記１の生成システムは、実対象物が設けられている実空間に対応付けられている三次元仮想空間に前記実対象物に対応する三次元仮想対象物を設ける配置手段と、前記実空間を撮像する撮像手段と、前記配置手段が設けた前記三次元仮想対象物と、前記撮像手段が撮像した前記実空間の画像である実空間撮像画像とに基づいて、前記実空間撮像画像上のマスク対象領域であって前記三次元仮想対象物の位置又は形状を基準とした前記マスク対象領域をマスクした実空間マスク画像を生成する生成手段と、を備え、前記生成手段は、前記実空間撮像画像上の前記実対象物が写っていない領域を前記マスク対象領域としてマスクした前記実空間マスク画像を生成する。

【0128】

付記２の生成システムは、付記１に記載の生成システムにおいて、前記撮像手段は、前記実空間に設けられている撮像装置であり、前記配置手段は、前記実空間の前記撮像装置に対応する仮想撮像装置であって前記三次元仮想空間における前記仮想撮像装置と、前記三次元仮想対象物とが内部に配置される三次元仮想中空体であって、当該三次元仮想中空体の内外を区画する仮想区画壁を有する前記三次元仮想中空体を前記三次元仮想空間に設け、前記生成手段は、前記三次元仮想空間において、前記仮想撮像装置を基準として前記三次元仮想対象物が前記仮想区画壁に投影された場合の、投影された前記三次元仮想対象物の二次元形状に基づいて、前記実空間マスク画像を生成する。

【0129】

付記３の生成システムは、付記２に記載の生成システムにおいて、前記配置手段は、前記撮像装置が前記実空間内を移動することにより、前記仮想撮像装置が前記三次元仮想空間内を移動した場合に、前記三次元仮想空間内の前記仮想撮像装置の位置に応じて、前記三次元仮想中空体の位置を変更する。

【0130】

付記４の生成システムは、付記１から３の何れか一項に記載の生成システムにおいて前記配置手段は、前記三次元仮想空間内の所定位置に前記三次元仮想対象物を固定して設ける。

【0131】

付記５の生成プログラムは、コンピュータを、実対象物が設けられている実空間に対応付けられている三次元仮想空間に前記実対象物に対応する三次元仮想対象物を設ける配置手段と、前記配置手段が設けた前記三次元仮想対象物と、撮像手段が撮像した前記実空間の画像である実空間撮像画像とに基づいて、前記実空間撮像画像上のマスク対象領域であって前記三次元仮想対象物の位置又は形状を基準とした前記マスク対象領域をマスクした実空間マスク画像を生成する生成手段と、として機能させ、前記生成手段は、前記実空間撮像画像上の前記実対象物が写っていない領域を前記マスク対象領域としてマスクした前記実空間マスク画像を生成する。
（付記の効果）
付記１に記載の生成システム、及び付記５に記載の生成プログラムによれば、少なくとも配置手段が設けた三次元仮想対象物と、撮像手段が撮像した実空間の画像である実空間撮像画像とに基づいて、マスク対象領域をマスクした実空間マスク画像を生成することにより、例えば、実空間マスク画像を確実に生成することが可能となる。

【0132】

付記２に記載の生成システムによれば、仮想撮像装置を基準として三次元仮想対象物が仮想区画壁に投影された場合の、投影された三次元仮想対象物の二次元形状に基づいて、実空間マスク画像を生成することにより、例えば、実対象物が写っている部分以外をマスクした実空間マスク画像を確実に生成することが可能となる。

【0133】

付記３に記載の生成システムによれば、撮像装置が実空間内を移動することにより、仮想撮像装置が三次元仮想空間内を移動した場合に、三次元仮想空間内の仮想撮像装置の位置に応じて、三次元仮想中空体の位置を変更することにより、例えば、仮想撮像装置が三次元仮想空間の外に出ることを防止することができ、実空間マスク画像を確実に生成することが可能となる。

【0134】

付記４に記載の生成システムによれば、三次元仮想空間内の所定位置に三次元仮想対象物を固定して設けることにより、例えば、三次元仮想対象物の位置がずれることを防止することができ、実空間マスク画像を確実に生成することが可能となる。

【符号の説明】

【0135】

１ 端末装置
２ 表示装置
１１ 通信部
１２ センサ部
１３ レンズ部
１４ 記録部
１５ 制御部
２１ 通信部
２２ 表示部
２３ 記録部
２４ 制御部
３１ 実物体
３２ 実物体
３３ 実物体
３４ 実物体
４１ 第１仮想物体
４１ａ 像
４２ 第２仮想物体
４３ 第１設定用仮想物体
１００ 表示システム
１５１ 配置部
１５２ 生成部
３１１ 液晶ディスプレイ
４２１ 仮想区画壁
４２１ａ 仮想区画壁
４２１ａ１ 領域
４２１ｂ 仮想区画壁
４２１ｂ１ 領域
Ｇ３１ 実物体画像
Ｇ３２ 実物体画像
Ｇ３３ 実物体画像
Ｇ３４ 実物体画像
Ｇ３１１ 液晶ディスプレイ画像
Ｍ１ ＡＲマーカ
Ｒ１ 視野領域
Ｒ２１ マスク領域
Ｒ２２ 非マスク領域
Ｖ１ 仮想端末装置
Ｖ３１ 仮想物体
Ｖ３２ 仮想物体
Ｖ３３ 仮想物体
Ｖ３４ 仮想物体
ＶＲ１ 仮想視野領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】