(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023170386
(43)【公開日】2023-12-01
(54)【発明の名称】画像の表示方法、情報処理装置およびプログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20231124BHJP
G09G 5/00 20060101ALI20231124BHJP
G09G 5/377 20060101ALI20231124BHJP
G06T 19/00 20110101ALI20231124BHJP
G06T 7/70 20170101ALI20231124BHJP
【FI】
G06F3/01 510
G09G5/00 510H
G09G5/36 520M
G09G5/00 550C
G06T19/00 600
G06T7/70 Z
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022082102
(22)【出願日】2022-05-19
(71)【出願人】
【識別番号】000002369
【氏名又は名称】セイコーエプソン株式会社
(74)【代理人】
【識別番号】100179475
【弁理士】
【氏名又は名称】仲井 智至
(74)【代理人】
【識別番号】100216253
【弁理士】
【氏名又は名称】松岡 宏紀
(74)【代理人】
【識別番号】100225901
【弁理士】
【氏名又は名称】今村 真之
(72)【発明者】
【氏名】武村 功司
(72)【発明者】
【氏名】宮澤 晃幸
【テーマコード(参考)】
5B050
5C182
5E555
5L096
【Fターム(参考)】
5B050AA10
5B050BA09
5B050DA04
5B050EA09
5B050EA19
5B050EA27
5C182AA02
5C182AA03
5C182AB08
5C182AC03
5C182BA06
5C182BA14
5C182BA46
5C182BA47
5C182BA65
5C182BA75
5C182CB54
5E555AA26
5E555BA01
5E555BB01
5E555BC01
5E555BE17
5E555CA42
5E555CB19
5E555CB21
5E555CC03
5E555DA01
5E555DB53
5E555DC09
5E555DD08
5E555FA00
5L096FA67
5L096FA69
(57)【要約】
【課題】現実の空間に位置する物体に重畳して、適切な位置に画像を表示する。
【解決手段】現実空間に位置する物体の第1の面を、投射画像が仮想的に表示される面として設定する設定操作をユーザーから受け付けることと、物体を撮像することにより得られた撮像画像に、第1の面を含む平面を示す設定画像が重畳された第1重畳画像を表示することと、を含む、画像の表示方法。
【選択図】
図12
【特許請求の範囲】
【請求項1】
現実空間に位置する物体の第1の面を、投射画像が仮想的に表示される面として設定する設定操作をユーザーから受け付けることと、
前記物体を撮像することにより得られた撮像画像に、前記第1の面を含む平面を示す設定画像が重畳された第1重畳画像を表示することと、
を含む、
画像の表示方法。
【請求項2】
前記撮像画像は、撮像装置によって取得され、
前記設定操作は、前記撮像装置が前記物体の前記第1の面に位置する状態で実行され、
前記設定操作を受け付けた第1の時点における前記撮像装置の位置を基準として、前記撮像装置が前記撮像画像を取得した第2の時点における前記撮像装置の変位を表す位置情報と、前記第1の時点における前記撮像装置の姿勢を基準として、前記第2の時点における前記撮像装置の姿勢の変化を表す姿勢情報とを取得することを更に含み、
前記設定画像は、前記位置情報および前記姿勢情報に基づいて生成される、
請求項1に記載の画像の表示方法。
【請求項3】
前記第1の面を検出することを指示する検出操作を前記ユーザーから受け付けることと、
前記検出操作を受け付け、かつ、前記第1の面が検出されない場合に、前記設定操作に関する通知を出力することと、
を更に含む、
請求項1または2に記載の画像の表示方法。
【請求項4】
前記検出操作を受け付けた場合に、前記物体を撮像することにより得られるモニター画像に前記第1の面を示す画像が含まれるか否かを判定することを更に含み、
前記通知を出力することは、前記モニター画像に前記第1の面を示す画像が含まれないと判定された場合に、前記通知を出力することを含む、
請求項3に記載の画像の表示方法。
【請求項5】
前記投射画像を表示させる表示操作を前記ユーザーから受け付けることと、
前記表示操作を受け付けた場合に、前記撮像画像に含まれる前記第1の面を示す画像の一部または全部の領域に前記投射画像が重畳された第2重畳画像を表示することと、
を更に含む、
請求項1または2に記載の画像の表示方法。
【請求項6】
前記投射画像は、前記現実空間に仮想的に配置される仮想のプロジェクターから、仮想的に投射される画像である、
請求項5に記載の画像の表示方法。
【請求項7】
処理装置を備え、
前記処理装置は、
現実空間に位置する物体の第1の面を投射画像が仮想的に表示される面として設定する設定操作をユーザーから受け付けることと、
前記物体を撮像することにより得られた撮像画像に、前記第1の面を含む平面を示す設定画像が重畳された第1重畳画像を、表示装置に出力することと、
を実行する、
情報処理装置。
【請求項8】
処理装置に、
現実空間に位置する物体の第1の面を投射画像が仮想的に表示される面として設定する設定操作をユーザーから受け付けることと、
前記物体を撮像することにより得られた撮像画像に、前記第1の面を含む平面を示す設定画像が重畳された第1重畳画像を、表示装置に出力することと、
を実行させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像の表示方法、情報処理装置およびプログラムに関する。
【背景技術】
【0002】
現実の空間を撮像した撮像画像にCG(Computer Graphics)等を重畳させて表示することで、ユーザーの視覚情報の獲得を支援する、所謂AR(Augmented Reality)技術が開発されている。例えば、特許文献1には、撮像装置を用いて現実空間内の物体を撮像することにより得られる入力画像と、当該物体の外観の特徴を表す特徴データとに基づいて、当該物体の位置を特定する画像処理装置が開示されている。当該画像処理装置は、特定された物体の位置に基づいて、入力画像に重畳される画像の位置を決定する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載の画像処理装置において、撮像される物体に関する特徴データが記憶されていない場合、当該物体の位置を特定することができないため、重畳される画像が適切な位置に配置されないという問題があった。
【課題を解決するための手段】
【0005】
本発明に係る画像の表示方法の一態様は、現実空間に位置する物体の第1の面を、投射画像が仮想的に表示される面として設定する設定操作をユーザーから受け付けることと、物体を撮像することにより得られた撮像画像に、第1の面を含む平面を示す設定画像が重畳された第1重畳画像を表示することと、を含む。
【0006】
本発明に係る情報処理装置の一態様は、処理装置を備え、処理装置は、現実空間に位置する物体の第1の面を投射画像が仮想的に表示される面として設定する設定操作をユーザーから受け付けることと、物体を撮像することにより得られた撮像画像に、第1の面を含む平面を示す設定画像が重畳された第1重畳画像を、表示装置に出力することと、を実行する。
【0007】
本発明に係るプログラムの一態様は、処理装置に、現実空間に位置する物体の第1の面を投射画像が仮想的に表示される面として設定する設定操作をユーザーから受け付けることと、物体を撮像することにより得られた撮像画像に、第1の面を含む平面を示す設定画像が重畳された第1重畳画像を、表示装置に出力することと、を実行させる。
【図面の簡単な説明】
【0008】
【
図1】物体Ob1が配置された空間を図示した模式図である。
【
図2】第1重畳画像GM11について説明するための模式図である。
【
図3】第2重畳画像GM21について説明するための模式図である。
【
図4】第1重畳画像GM12について説明するための模式図である。
【
図7】第1重畳画像GM11を表示する際の様子を図示した模式図である。
【
図8】モニター画像GC2について説明するための模式図である。
【
図9】通知画像GN1について説明するための模式図である。
【
図10】実施形態に係るスマートフォン1の構成を示すブロック図である。
【
図11】実施形態に係る記憶装置10の構成を示すブロック図である。
【
図12】実施形態に係るスマートフォン1の動作について説明するためのフローチャートである。
【
図13】第2重畳画像GM23について説明するための模式図である。
【
図14】第1重畳画像GM13について説明するための模式図である。
【発明を実施するための形態】
【0009】
以下、添付図面を参照しながら、本発明に係る好適な実施形態を説明する。なお、図面において各部の寸法および縮尺は実際と異なる場合があり、理解を容易にするために模式的に示す部分もある。また、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られない。また、本明細書および特許請求の範囲において、数値範囲を「Φ~Ψ」(Φ、Ψはともに数値)を用いて表現する場合、その範囲は上限(Ψ)および下限(Φ)の数値を含むものである。また、上限(Ψ)および下限(Φ)の単位は同じである。
【0010】
1.実施形態
実施形態では、所定の画像が仮想的に表示される面として設定された側面を有する物体を撮像することによって取得された撮像画像に、当該側面を含む平面を示す画像を重畳して表示するスマートフォンを例示して、本発明に係る画像の表示方法、情報処理装置およびプログラムについて説明する。
【0011】
1.1.スマートフォンの概要
以下、
図1~
図4を参照しつつ、本実施形態に係るスマートフォン1の概要について説明する。
図1は、物体Ob1が配置された現実空間を図示した模式図である。
図2~
図4は、スマートフォン1の備えるタッチパネル16に表示される画像について説明するための模式図である。
【0012】
物体Ob1は、面W2と、面W3と、面W4とを有する直方体状の物体である。面W2は、物体Ob1の底面のひとつであって、床面WFと接していない面である。面W3は、物体Ob1の側面のひとつであって、壁面W1と平行な面である。面W4は、物体Ob1の側面のひとつであって、壁面W1に対して垂直な面である。また、物体Ob1は、壁面W1と、面W3の反対の側面を介して接している。平面H1は、面W3を含む概念的な平面である。すなわち、平面H1は、現実空間には実在しないので、ユーザーUからは直接視認されない。なお、物体Ob1は少なくとも1つの平面を有していれば、直方体に限定されず、他の形状であってもよい。
【0013】
本実施形態において、壁面W1、面W3および平面H1は、Z軸およびX軸と平行である。ここで、Z軸は、鉛直方向と平行な軸である。また、Z軸は、床面WFに対して垂直な軸である。なお、Z軸と平行な方向のうち、鉛直方向を-Z方向、-Z方向と反対の方向を+Z方向とする。X軸は、Z軸と垂直な軸であって、壁面W1、面W3および平面H1と平行な軸である。また、X軸は、面W4に対して垂直な軸である。なお、X軸と平行な方向のうち、面W4から面W4の反対の側面に向かう方向を-X方向、-X方向と反対の方向を+X方向とする。また、Z軸およびX軸に対して垂直な軸を、「Y軸」と称する。Y軸は、壁面W1、面W3および平面H1に対して垂直な軸である。なお、Y軸と平行な方向のうち、面W3から壁面W1に向かう方向を+Y方向、+Y方向と反対の方向を-Y方向とする。
【0014】
ユーザーUは、スマートフォン1を物体Ob1の面W3に接触させた状態で、面W3を、後述する投射画像GP1が仮想的に表示される面として設定する操作を実行する。具体的には、ユーザーUは、スマートフォン1の備える撮像装置18を面W3に接触させた状態で、当該操作を実行する。なお、本実施形態において、「仮想的に表示する」とは、スマートフォン1の撮像装置18によって現実空間を撮像した画像に、別の画像を重畳した画像をスマートフォン1に表示することを意味する。本実施形態において、面W3を、投射画像GP1が仮想的に表示される面として設定する操作を「設定操作」と称することがある。スマートフォン1は、物体Ob1の面W3に位置する状態で、ユーザーUから設定操作を受け付ける。設定操作は、例えば、タッチパネル16を所定時間以上長押しする操作であってもよい。設定操作は、タッチパネル16に表示された決定ボタンの画像等、設定操作を示す仮想操作子に対する操作であってもよい。
【0015】
図2は、第1重畳画像GM11について説明するための模式図である。第1重畳画像GM11は、スマートフォン1が物体Ob1の面W3に位置する状態で、ユーザーUから設定操作を受け付けた場合に、タッチパネル16に表示される画像である。第1重畳画像GM11は、撮像装置18によって物体Ob1を撮像することにより得られた撮像画像GC1に、設定画像GV1が重畳された画像である。撮像画像GC1は、画像GOb1と、画像GWFとを含む。画像GOb1は、画像GW3と、画像GW4とを含む。画像GW3は、面W3を示す画像である。画像GW4は、面W4を示す画像である。画像GWFは、床面WFを示す画像である。設定画像GV1は、面W3を含む平面H1を示す画像である。設定画像GV1は、投射画像GP1が仮想的に表示される仮想の平面を示す。
【0016】
なお、平面H1はユーザーUからは直接視認されないため、設定画像GV1は、一部または全部の領域が半透明であることが好ましい。これにより、ユーザーUは、ユーザーU自身の視野と、第1重畳画像GM11に含まれる撮像画像GC1とを比較することができる。また、設定画像GV1は、投射画像GP1が仮想的に表示される面の位置を示すための画像である。
図2において、面W3を示す画像である画像GW3が設定画像GV1の一部と一致する。具体的には、画像GW3の有する4つの辺のうちのひとつの辺と、設定画像GV1の底辺の一部とが一致する。このことから、ユーザーUは、設定画像GV1を確認することで、投射画像GP1が仮想的に表示される面が面W3であることが判る。
【0017】
スマートフォン1は、ユーザーUから設定操作を受け付けた後、物体Ob1を撮像することで撮像画像GC1を取得する。また、スマートフォン1は、撮像画像GC1に設定画像GV1を重畳することで、第1重畳画像GM11を生成する。そして、スマートフォン1は、第1重畳画像GM11をタッチパネル16に表示させる。
【0018】
図3は、第2重畳画像GM21について説明するための模式図である。第2重畳画像GM21は、撮像画像GC1に含まれる画像GW3に、投射画像GP1が重畳された画像である。
【0019】
スマートフォン1は、ユーザーUから、投射画像GP1を表示させる操作を受け付けた場合、撮像画像GC1に投射画像GP1を重畳することで、第2重畳画像GM21を生成する。そして、スマートフォン1は、第2重畳画像GM21をタッチパネル16に表示させる。すなわち、スマートフォン1は、面W3を示す画像GW3に投射画像GP1を重畳させて表示させることができる。換言すれば、スマートフォン1は、タッチパネル16を用いて、面W3上に投射画像GP1を仮想的に表示させることができる。第2重畳画像GM21は、設定画像GV1を含んでいてもよいし、設定画像GV1を含まなくてもよい。本実施形態の第2重畳画像GM21は、設定画像GV1を含まない。第2重畳画像GM21が設定画像GV1を含んでいれば、ユーザーUは設定操作によって設定された面と投射画像GP1との位置関係を理解しやすい。第2重畳画像GM21が設定画像GV1を含まなければ、実際に面W3に画像を投射した際の様子により近い第2重畳画像GM21をユーザーUに提示することができる。なお、本実施形態において、投射画像GP1を表示させる操作を「表示操作」と称することがある。表示操作は、例えば、タッチパネル16に表示された第1重畳画像GM11に含まれる設定画像GV1をタップする操作であってもよい。表示操作は、タッチパネル16に表示された、投射画像GP1を表示させる指示を受け付ける仮想操作子をタップする操作であってもよい。
【0020】
図4は、第1重畳画像GM12について説明するための模式図である。第1重畳画像GM12は、撮像画像GC1に、設定画像GV2が重畳された画像である。設定画像GV2は、平面H1とは異なる平面、すなわち面W3を含まない平面を示す画像である。例えば、ユーザーUが設定操作を正確に行わなかった場合、具体的には、スマートフォン1の備える撮像装置18が面W3から-Y方向に離れた位置で設定操作を実行した場合、スマートフォン1は、タッチパネル16に第1重畳画像GM12を表示させる。すなわち、タッチパネル16に設定画像GV2を含む第1重畳画像GM12が表示された場合、ユーザーUは、撮像装置18が面W3に位置する状態で設定操作が実行されなかったことを確認することができる。他方、
図2のようにタッチパネル16に設定画像GV1を含む第1重畳画像GM11が表示された場合、ユーザーUは、撮像装置18が面W3に位置する状態で設定操作が実行されたことを確認することができる。
【0021】
撮像装置18が面W3に位置する状態で設定操作が実行されなかった場合、面W3は、投射画像GP1が仮想的に表示される面として設定されていない。すなわち、スマートフォン1は、面W3を示す画像GW3に投射画像GP1を重畳させて表示させることができないことがある。タッチパネル16に第1重畳画像GM12が表示された場合、ユーザーUは、スマートフォン1を物体Ob1の面W3に接触させた状態で、設定操作を実行し直すことで、投射画像GP1を画像GW3上に重畳させることができる。なお、本実施形態において、設定操作を実行し直すことを「再設定操作」と称することがある。
【0022】
1.2.第1重畳画像を表示するまでの流れ
以下、
図5~
図9を参照しつつ、タッチパネル16に第1重畳画像GM11を表示するまでの流れについて説明する。
【0023】
図5は、検出操作の様子を図示した模式図である。スマートフォン1は、画像処理を用いて、例えば、物体Ob1の有する平坦な面を撮像することにより得られた撮像画像から特徴点を抽出することで、物体Ob1の有する平坦な面を検出する機能を有する。物体Ob1の有する面を検出した場合、スマートフォン1は、物体Ob1の有する面を、投射画像GP1が仮想的に表示される面として設定する。すなわち、物体Ob1の有する面W3を検出した場合、スマートフォン1は、面W3を、投射画像GP1が仮想的に表示される面として設定する。
【0024】
スマートフォン1は、物体Ob1を撮像することにより得られた撮像画像をタッチパネル16に表示させた状態で、ユーザーUから、物体Ob1の有する面W3を検出することを指示する操作を受け付ける。物体Ob1の有する面W3を検出することを指示する操作を受け付けた場合、スマートフォン1は、撮像画像に基づいて面W3の検出を試みる。なお、本実施形態において、物体Ob1の有する面W3を検出することを指示する操作を「検出操作」と称することがある。検出操作は、例えば、タッチパネル16に表示された撮像画像に含まれる物体Ob1を示す画像をタップする操作であってもよい。検出操作は、タッチパネル16に表示された、面の検出処理を実行させる指示を受け付ける仮想操作子をタップする操作であってもよい。
【0025】
図8は、モニター画像GC2について説明するための模式図である。モニター画像GC2は、撮像装置18によって物体Ob1を撮像することにより得られた撮像画像である。モニター画像GC2は、画像GOb1aと、画像GWFaとを含む。画像GOb1aは、画像GW3aを含む。画像GW3aは、面W3を示す画像である。画像GWFaは、床面WFを示す画像である。
【0026】
画像処理によって画像から特徴点を抽出する場合、一般的に、位置を正確に決定することができるような点が、特徴点として抽出される。特徴点は、具体的には、隣接する画素間における輝度値等の変化量が、画像の縦方向および画像の横方向の両方向において大きい点が好ましい。隣接する画素間における輝度値等の変化量が、画像の縦方向および画像の横方向の両方向において大きい箇所として、例えば、画像に含まれる角状の部分が挙げられる。
図8から判るように、モニター画像GC2は、角状の部分を含まないことから、画像処理による特徴点の抽出が正確に実施されない可能性が高い。従って、タッチパネル16にモニター画像GC2が表示された状態で、ユーザーUが検出操作を実施した場合、スマートフォン1は、面W3を検出できないことがある。
【0027】
面W3が検出されなかった場合、スマートフォン1は、設定操作の実行をユーザーUに促す。例えば、スマートフォン1は、設定操作の実行をユーザーUに促すためのメッセージをタッチパネル16に表示させてもよい。
図9は、通知画像GN1について説明するための模式図である。通知画像GN1は、設定操作の実行をユーザーUに促すためのメッセージを含む画像である。通知画像GN1をタッチパネル16に表示させることは、換言すれば、設定操作に関する通知を出力することである。
【0028】
図6は、設定操作の様子を図示した模式図である。ユーザーUは、スマートフォン1の備える撮像装置18を面W3に接触させた状態で、タッチパネル16を所定時間以上長押しする操作、すなわち設定操作を実行することで、面W3を、投射画像GP1が仮想的に表示される面として設定する。スマートフォン1は、設定操作をユーザーUから受け付けた場合、面W3を、投射画像GP1が仮想的に表示される面として設定する。また、スマートフォン1は、設定操作を受け付けた時点における撮像装置18の位置を、基準の位置として設定する。また、スマートフォン1は、設定操作を受け付けた時点における撮像装置18の光軸を、基準の軸として設定する。以下では、スマートフォン1が設定操作を受け付けた時点における撮像装置18の光軸を「光軸L11」と称する。光軸L11は、面W3に対して垂直な軸であって、Y軸と平行である。また、スマートフォン1が設定操作を受け付けた時点を「第1の時点」と称する。
【0029】
図7は、第1重畳画像GM11を表示する際の様子を図示した模式図である。設定操作を受け付けた後、スマートフォン1は、撮像装置18を制御して、面W3から-Y方向に離れた位置から物体Ob1を撮像することで、撮像画像GC1を取得する。撮像装置18が撮像画像GC1を取得した時点を「第2の時点」と称する。また、第1の時点から第2の時点までの間の撮像装置18の変位を「変位DP1」と称する。なお、ここでいう「変位」は、撮像装置18の位置の変化を表すベクトルを指す。また、第2の時点における撮像装置18の光軸を「光軸L12」と称する。スマートフォン1は、変位DP1と、第1の時点から第2の時点までの間の撮像装置18の姿勢の変化とに基づいて、設定画像GV1を生成する。また、スマートフォン1は、撮像画像GC1に設定画像GV1を重畳することで、第1重畳画像GM11を生成する。そして、スマートフォン1は、タッチパネル16に第1重畳画像GM11を表示させる。
【0030】
撮像装置18の姿勢の変化は、例えば、撮像装置18を原点として、撮像装置18の光軸をロール軸、スマートフォン1の短手方向と平行な軸をピッチ軸、スマートフォン1の長手方向と平行な軸をヨー軸とした3次元の回転角によって表される。撮像装置18の姿勢の変化は、具体的には、スマートフォン1が設定操作を受け付けた時点におけるロール角、ピッチ角およびヨー角をいずれも0°とした場合の、スマートフォン1が物体Ob1を撮像した時点におけるロール角、ピッチ角およびヨー角によって表される。すなわち、第1の時点から第2の時点までの間の撮像装置18の姿勢の変化は、撮像装置18の光軸が光軸L11から光軸L12へ変化した場合の、ロール角、ピッチ角およびヨー角の変化によって表される。
【0031】
1.3.スマートフォンの構成および機能
以下、
図10および
図11を参照しつつ、本実施形態に係るスマートフォン1の構成および機能について説明する。
【0032】
図10は、実施形態に係るスマートフォン1の構成を示すブロック図である。スマートフォン1は、各種情報を記憶する記憶装置10と、スマートフォン1の動作を制御する処理装置12と、スマートフォン1の位置の変化に基づく信号およびスマートフォン1の姿勢の変化に基づく信号を出力するセンサー14と、各種画像を表示し、またユーザーUからの操作を受け付けるタッチパネル16と、物体Ob1を撮像する撮像装置18とを備える。処理装置12は、表示制御部120、撮像制御部121、入力管理部122、画像生成部123、検出部124および空間管理部125としての機能を有する。タッチパネル16は、表示部160と、入力部161とを備える。撮像装置18は、撮像レンズ180と、撮像素子181とを備える。
【0033】
記憶装置10は、例えば、RAM等の揮発性メモリーおよびROM等の不揮発性メモリーを含んで構成される。ここで、RAMとは、Random Access Memoryの略称である。また、ROMとは、Read Only Memoryの略称である。
【0034】
図11は、実施形態に係る記憶装置10の構成を示すブロック図である。記憶装置10の有する不揮発性メモリーは、スマートフォン1の動作を規定するプログラム100と、検出された物体の位置および形状を表す情報を含む空間情報101と、撮像装置18の位置の変化に基づく位置情報102と、撮像装置18の姿勢の変化に基づく姿勢情報103と、投射画像GP1を表す投射画像情報104と、撮像画像GC1を表す撮像情報105と、モニター画像GC2を表すモニター情報106と、設定画像GV1を表す設定画像情報107と、通知画像GN1を表す通知情報108と、重畳画像情報110とを記憶する。重畳画像情報110は、第1重畳画像GM11を表す第1重畳画像情報111と、第2重畳画像GM21を表す第2重畳画像情報112とを含む。
【0035】
また、記憶装置10の有する揮発性メモリーは、プログラム100を実行する際のワークエリアとして処理装置12によって利用される。
【0036】
なお、記憶装置10の一部または全部は、外部記憶装置または外部サーバー等に設けてもよい。また、記憶装置10に記憶される各種情報の一部または全部は、予め記憶装置10に記憶されるものであってもよいし、外部記憶装置または外部サーバー等から取得されるものであってもよい。
【0037】
処理装置12は、1または複数のCPUを含んで構成される。但し、処理装置12は、CPUの代わりに、または、CPUに加えて、FPGA等のプログラマブルロジックデバイスを備えるものでもよい。ここで、CPUとはCentral Processing Unitの略称であり、FPGAとはField-Programmable Gate Arrayの略称である。
【0038】
処理装置12は、処理装置12が有するCPU等がプログラム100を実行し、プログラム100に従って動作することで、
図10に示す表示制御部120、撮像制御部121、入力管理部122、画像生成部123、検出部124および空間管理部125として機能する。
【0039】
表示制御部120は、タッチパネル16の備える表示部160を制御することで、各種画像を表示させる。換言すれば、表示制御部120は、タッチパネル16の備える表示部160に各種画像を出力する。
【0040】
撮像制御部121は、撮像装置18を制御することで、物体Ob1を撮像させる。そして、撮像制御部121は、撮像装置18から、物体Ob1を撮像した撮像結果を表す情報を取得する。また、撮像制御部121は、撮像装置18から取得した情報を記憶装置10に記憶させる。本実施形態において、撮像制御部121は、物体Ob1を撮像した撮像結果を表す情報として、撮像情報105と、モニター情報106とを取得する。そして、撮像制御部121は、取得した撮像情報105およびモニター情報106を記憶装置10に記憶させる。
【0041】
また、撮像制御部121は、センサー14から出力される信号に基づいて、位置情報102および姿勢情報103を生成する。本実施形態において、位置情報102は、変位DP1を表す情報である。また、姿勢情報103は、第1の時点から第2の時点までの間の撮像装置18の姿勢の変化を表す情報である。撮像制御部121は、生成した位置情報102および姿勢情報103を記憶装置10に記憶させる。
【0042】
入力管理部122は、タッチパネル16の備える入力部161を制御することで、ユーザーUから受け付けた操作の内容を表す情報を取得する。また、入力管理部122は、ユーザーUから受け付ける操作に係る各種判定を行う。
【0043】
検出部124は、画像処理を用いて、物体Ob1を撮像することにより得られた撮像画像の特徴点を抽出することで、物体Ob1の有する平坦な面を検出する。換言すれば、検出部124は、撮像画像に物体Ob1の有する平坦な面を示す画像が含まれるか否かを判定する。本実施形態において、検出部124は、モニター画像GC2に物体Ob1の有する面W3を示す画像が含まれるか否かを判定する。なお、物体Ob1の有する平坦な面を示す画像が含まれるか否かの判定の対象となる撮像画像を「モニター画像」と称することがある。
【0044】
撮像画像の特徴点の抽出に係る機能において、公知の画像処理技術が用いられてもよい。特徴点の抽出に係る公知の画像処理技術として、例えば、「AKAZE」と呼ばれるアルゴリズムが挙げられる。本明細書において、特徴点の抽出に係る詳細な技術的説明は省略する。
【0045】
空間管理部125は、現実空間に配置された物体の位置および形状を表す情報を含む空間情報101を管理する。例えば、空間管理部125は、検出された物体Ob1の有する面の位置および形状に基づいて、空間情報101を更新する。
【0046】
空間情報101は、スマートフォン1が設定操作を受け付けた位置に関する情報を含む。空間管理部125は、センサー14から出力される信号に基づいて、ユーザーUから設定操作を受け付けた第1の時点におけるスマートフォン1の位置が、基準の位置となるように、空間情報101を更新する。より具体的には、空間管理部125は、第1の時点における撮像装置18の位置が、例えば、原点となるように、空間情報101を更新する。また、空間管理部125は、空間情報101を更新することで、第1の時点における撮像装置18の位置を含むように、投射画像GP1が仮想的に表示される面を設定する。すなわち、撮像装置18が物体Ob1の面W3に位置する状態でユーザーUから設定操作を受け付けた場合、空間管理部125は、面W3を、投射画像GP1が仮想的に表示される面として設定する。なお、投射画像GP1が仮想的に表示される面は、例えば、第1の時点における撮像装置18の光軸L11に対して垂直に設定される。
【0047】
画像生成部123は、空間情報101、位置情報102および姿勢情報103に基づいて、設定画像情報107を生成する。換言すれば、画像生成部123は、空間情報101、位置情報102および姿勢情報103に基づいて、設定画像GV1を生成する。また、画像生成部123は、設定画像情報107および撮像情報105に基づいて、第1重畳画像情報111を生成する。換言すれば、画像生成部123は、設定画像GV1および撮像画像GC1に基づいて、第1重畳画像GM11を生成する。また、画像生成部123は、投射画像情報104および撮像情報105に基づいて、第2重畳画像情報112を生成する。換言すれば、画像生成部123は、投射画像GP1および撮像画像GC1に基づいて、第2重畳画像GM21を生成する。
【0048】
センサー14は、加速度センサーと、ジャイロセンサーとを含んで構成される。センサー14は、スマートフォン1の位置の変化と、スマートフォン1の姿勢の変化とを検出する。そして、センサー14は、スマートフォン1の位置の変化に基づく信号と、スマートフォン1の姿勢の変化に基づく信号とを処理装置12へ出力する。
【0049】
タッチパネル16は、画像を表示する表示部160と、ユーザーUからの入力操作を受け付ける入力部161とが一体化された装置である。表示部160は、所謂ディスプレイパネルであり、例えば、液晶パネルや有機ELパネル等を含んで構成される。ここで、ELとはElectro-Luminescenceの略称である。表示部160は、表示制御部120の制御により、各種画像を表示する。入力部161は、例えば透明なシート状の接触センサーを含んで構成される。入力部161は、表示部160を覆うように設けられる。入力部161は、入力部161に接触する物体と、入力部161とによって特定される静電容量を用いてタッチ位置を検出し、検出したタッチ位置を示すデータを処理装置12へ出力する。
【0050】
撮像装置18は、例えば、集光のための撮像レンズ180と、集光された光を電気信号に変換する撮像素子181とを備えるカメラである。光軸L11および光軸L12は、撮像レンズ180の光軸である。撮像素子181は、例えば、CCDまたはCMOS等を一例とするイメージセンサーである。ここで、CCDとはCharge Coupled Deviceの略称であり、CMOSとはComplementary Metal Oxide Semiconductorの略称である。撮像装置18は、撮像制御部121の制御により、撮像画像を取得する。また、撮像装置18は、取得された撮像画像を表す情報を、処理装置12へ出力する。例えば、撮像装置18は、撮像画像GC1と、モニター画像GC2とを取得する。また、撮像装置18は、撮像画像GC1を表す撮像情報105と、モニター画像GC2を表すモニター情報106とを、処理装置12へ出力する。
【0051】
1.4.スマートフォンの動作
図12は、実施形態に係るスマートフォン1の動作について説明するためのフローチャートである。当該フローチャートに示す一連の動作は、例えば、スマートフォン1の電源がONになり、タッチパネル16が動作開始に係るユーザーUからの入力操作を受け付けた際に開始される。
【0052】
ステップS101において、撮像制御部121は、撮像装置18を制御することで、物体Ob1を撮像させる。そして、撮像制御部121は、撮像装置18から、物体Ob1を撮像した撮像結果を表すモニター情報106を取得する。また、撮像制御部121は、取得したモニター情報106を記憶装置10に記憶させる。
【0053】
ステップS102において、表示制御部120は、タッチパネル16の備える表示部160を制御することで、モニター情報106の示すモニター画像GC2を表示させる。
【0054】
ステップS103において、入力管理部122は、入力部161がユーザーUから検出操作を受け付けたか否かを判定する。入力部161がユーザーUから検出操作を受け付けた場合、すなわち、ステップS103でYESの場合、入力管理部122は処理をステップS104へ進める。また、入力部161がユーザーUから検出操作を受け付けていない場合、すなわち、ステップS103でNOの場合、入力管理部122は処理をステップS101へ進める。
【0055】
入力部161がユーザーUから検出操作を受け付けていない場合、スマートフォン1は、入力部161がユーザーUから検出操作を受け付けるまで撮像装置18に物体Ob1を撮像させ続ける。そして、スマートフォン1は、タッチパネル16に表示されるモニター画像を更新し続ける。本実施形態では、ユーザーUが、タッチパネル16にモニター画像GC2が表示されている時点で検出操作を行った場合を想定する。
【0056】
ステップS104において、検出部124は、モニター画像GC2に物体Ob1の有する面W3を示す画像が含まれるか否かを判定する。モニター画像GC2に物体Ob1の有する面W3を示す画像が含まれると判定した場合、すなわち、ステップS104でYESの場合、検出部124は処理をステップS107へ進める。また、モニター画像GC2に物体Ob1の有する面W3を示す画像が含まれないと判定した場合、すなわち、ステップS104でNOの場合、検出部124は処理をステップS105へ進める。
【0057】
ステップS104における判定は、検出部124がモニター画像から複数の特徴点を抽出し、抽出された複数の特徴点の数や位置等に基づいて実施される。このため、モニター画像から特徴点を正しく抽出できない場合、当該モニター画像に平坦な面を示す画像が含まれていても、検出部124は、平坦な面を示す画像が含まれないと判定することがある。
【0058】
ステップS105において、表示制御部120は、タッチパネル16の備える表示部160を制御することで、通知情報108の示す通知画像GN1を表示させる。
【0059】
ステップS106において、入力管理部122は、入力部161がユーザーUから設定操作を受け付けたか否かを判定する。入力部161がユーザーUから設定操作を受け付けた場合、すなわち、ステップS106でYESの場合、入力管理部122は処理をステップS107へ進める。また、入力部161がユーザーUから設定操作を受け付けていない場合、すなわち、ステップS106でNOの場合、入力管理部122はステップS106における処理を再度実行する。
【0060】
入力部161がユーザーUから設定操作を受け付けていない場合、入力管理部122は、入力部161がユーザーUから設定操作を受け付けるまで、ステップS106における判定を繰り返す。なお、入力部161がユーザーUから設定操作を受け付けるまで、タッチパネル16には通知画像GN1が表示され続けることが好ましい。これにより、ユーザーUは、通知画像GN1に含まれるメッセージを確認することで、ユーザーUが実施すべき行動を把握することができる。
【0061】
ステップS107において、空間管理部125は、空間情報101を更新することで、面W3を、投射画像GP1が仮想的に表示される面として設定する。
【0062】
ステップS108において、撮像制御部121は、撮像装置18を制御することで、物体Ob1を撮像させる。そして、撮像制御部121は、撮像装置18から、物体Ob1を撮像した撮像結果を表す撮像情報105を取得する。また、撮像制御部121は、取得した撮像情報105を記憶装置10に記憶させる。
【0063】
ステップS109において、画像生成部123は、空間情報101、位置情報102および姿勢情報103に基づいて、設定画像GV1を表す設定画像情報107を生成する。また、画像生成部123は、設定画像情報107および撮像情報105に基づいて、第1重畳画像GM11を表す第1重畳画像情報111を生成する。
【0064】
ステップS110において、表示制御部120は、タッチパネル16の備える表示部160を制御することで、第1重畳画像情報111の示す第1重畳画像GM11を表示させる。
【0065】
ステップS111において、入力管理部122は、入力部161がユーザーUから再設定操作を受け付けたか否かを判定する。入力部161がユーザーUから再設定操作を受け付けた場合、すなわち、ステップS111でYESの場合、入力管理部122は処理をステップS107へ進める。また、入力部161がユーザーUから再設定操作を受け付けていない場合、すなわち、ステップS111でNOの場合、入力管理部122は処理をステップS112へ進める。
【0066】
仮に、ステップS106の設定操作においてスマートフォン1と物体Ob1の面W3とが離れていた場合には、ステップS110までの処理が実行され、第1重畳画像GM12が表示される。ステップS110において表示された画像が第1重畳画像GM12であった場合、ユーザーUは、投射画像GP1が仮想的に表示される面として設定された面が面W3ではないことを把握することができる。このような場合、ユーザーUは、スマートフォン1を物体Ob1の面W3に接触させた状態で再設定操作を実施することで、面W3を、投射画像GP1が仮想的に表示される面として設定することができる。
【0067】
ステップS112において、入力管理部122は、入力部161がユーザーUから表示操作を受け付けたか否かを判定する。入力部161がユーザーUから表示操作を受け付けた場合、すなわち、ステップS112でYESの場合、入力管理部122は処理をステップS113へ進める。また、入力部161がユーザーUから表示操作を受け付けていない場合、すなわち、ステップS112でNOの場合、入力管理部122は処理をステップS108へ進める。
【0068】
入力部161がユーザーUから表示操作を受け付けていない場合、スマートフォン1は、入力部161がユーザーUから表示操作を受け付けるまで撮像装置18に物体Ob1を撮像させ続ける。そして、スマートフォン1は、タッチパネル16に表示される画像を更新し続ける。本実施形態では、ユーザーUが、タッチパネル16に第1重畳画像GM11が表示されている時点で表示操作を行った場合を想定する。
【0069】
ステップS113において、画像生成部123は、投射画像情報104および撮像情報105に基づいて、第2重畳画像GM21を表す第2重畳画像情報112を生成する。
【0070】
ステップS114において、表示制御部120は、タッチパネル16の備える表示部160を制御することで、第2重畳画像情報112の示す第2重畳画像GM21を表示させる。
【0071】
ステップS107においてユーザーUが設定操作を行った場合、投射画像GP1は、例えば、スマートフォン1が設定操作を受け付けた時点で、撮像装置18が位置していた面W3上の箇所に対応する画像GW3の位置を基準として表示される。ステップS104において検出部124が面W3を検出した場合、スマートフォン1は、例えば、検出された面W3の位置および形状に基づいて、投射画像GP1が面W3の一部または全部に仮想的に表示されるように設定する。
【0072】
ステップS114における処理が実行された後、処理装置12は、
図12のフローチャートに示す一連の動作を終了させる。
【0073】
以上より、実施形態によれば、スマートフォン1は、物体Ob1の面W3に位置する状態でユーザーUから設定操作を受け付けることで、面W3を、投射画像GP1が仮想的に表示される面として設定することができる。すなわち、スマートフォン1は、面W3を検出できない場合であっても、面W3を示す画像GW3に、投射画像GP1を重畳させて表示することができる。
【0074】
また、実施形態によれば、スマートフォン1は、設定画像GV1を含む第1重畳画像GM11を表示させることで、投射画像GP1が仮想的に表示される面の位置を示すことができる。すなわち、ユーザーUは、撮像装置18が面W3に位置する状態で設定操作が実行されたか否かを確認することができる。
【0075】
以上に説明したように、実施形態に係る画像の表示方法は、現実空間に位置する物体Ob1の面W3を、投射画像GP1が仮想的に表示される面として設定する設定操作をユーザーUから受け付けることと、物体Ob1を撮像することにより得られた撮像画像GC1に、面W3を含む平面H1を示す設定画像GV1が重畳された第1重畳画像GM11を表示することと、を含む。
【0076】
また、実施形態に係るスマートフォン1は、処理装置12を備え、処理装置12は、現実空間に位置する物体Ob1の面W3を投射画像GP1が仮想的に表示される面として設定する設定操作をユーザーUから受け付けることと、物体Ob1を撮像することにより得られた撮像画像GC1に、面W3を含む平面H1を示す設定画像GV1が重畳された第1重畳画像GM11を、タッチパネル16に出力することと、を実行する。
【0077】
また、実施形態に係るプログラム100は、処理装置12に、現実空間に位置する物体Ob1の面W3を投射画像GP1が仮想的に表示される面として設定する設定操作をユーザーUから受け付けることと、物体Ob1を撮像することにより得られた撮像画像GC1に、面W3を含む平面H1を示す設定画像GV1が重畳された第1重畳画像GM11を、タッチパネル16に出力することと、を実行させる。
【0078】
すなわち、本実施形態に係る画像の表示方法、スマートフォン1、およびプログラム100は、投射画像GP1が仮想的に表示される面、換言すれば投射画像GP1が重畳される撮像画像GC1上の位置を、ユーザーUの操作に基づいて設定することができる。これにより、スマートフォン1は、被写体となる物体Ob1の外観の特徴を表す特徴データを使用しなくても、ユーザーUが指定した位置に投射画像GP1を表示することができるので、適切な位置に投射画像GP1を表示することができる。
また、本実施形態に係るスマートフォン1は、設定画像GV1を含む第1重畳画像GM11を表示させることで、投射画像GP1が仮想的に表示される面の位置を示すことができる。これにより、ユーザーUは、設定操作が自身の意図した通りに実行されたか否かを、投射画像GP1が表示される前に確認することができる。
【0079】
なお、本実施形態において、スマートフォン1は「情報処理装置」の一例であり、プログラム100は「プログラム」の一例であり、物体Ob1は「物体」の一例であり、面W3は「第1の面」の一例であり、投射画像GP1は「投射画像」の一例であり、ユーザーUは「ユーザー」の一例であり、撮像画像GC1は「撮像画像」の一例であり、平面H1は「第1の面を含む平面」の一例であり、設定画像GV1は「設定画像」の一例であり、第1重畳画像GM11は「第1重畳画像」の一例であり、処理装置12は「処理装置」の一例であり、タッチパネル16は「表示装置」の一例である。
【0080】
また、実施形態に係る画像の表示方法において、撮像画像GC1は、撮像装置18によって取得され、設定操作は、撮像装置18が物体Ob1の面W3に位置する状態で実行され、設定操作を受け付けた第1の時点における撮像装置18の位置を基準として、撮像装置18が撮像画像GC1を取得した第2の時点における撮像装置18の変位DP1を表す位置情報102と、第1の時点における撮像装置18の姿勢を基準として、第2の時点における撮像装置18の姿勢の変化を表す姿勢情報103とを取得することを更に含み、設定画像GV1は、位置情報102および姿勢情報103に基づいて生成される。
【0081】
すなわち、スマートフォン1は、撮像装置18が物体Ob1の面W3に位置する状態で、ユーザーUから設定操作を受け付ける。これにより、ユーザーUは、簡便な操作で、かつ正確に、投射画像GP1が仮想的に表示される面を設定することができる。
また、第1重畳画像GM11は、位置情報102と、姿勢情報103とに基づいて生成された設定画像GV1を、撮像画像GC1に重畳することで生成される。すなわち、スマートフォン1は、例えば、画像処理によって特徴点を抽出することが難しい面を、投射画像GP1が仮想的に表示される面として設定する場合であっても、面の位置を特定することができる。これにより、スマートフォン1は、設定画像GV1を、所定の位置に、適切に重畳することができる。
【0082】
なお、本実施形態において、撮像装置18は「撮像装置」の一例であり、位置情報102は「位置情報」の一例であり、姿勢情報103は「姿勢情報」の一例であり、変位DP1は「変位」の一例である。
【0083】
また、実施形態に係る画像の表示方法は、面W3を検出することを指示する検出操作をユーザーUから受け付けることと、検出操作を受け付け、かつ、面W3が検出されない場合に、設定操作に関する通知を出力することと、を更に含む。
【0084】
すなわち、ユーザーUは、複数の手段によって、投射画像GP1が仮想的に表示される面を設定することができる。これにより、投射画像GP1が仮想的に表示される面を設定する際のユーザビリティが向上する。
【0085】
なお、本実施形態において、「設定操作に関する通知を出力すること」は通知画像GN1をタッチパネル16に表示させることを一例とする。
【0086】
また、実施形態に係る画像の表示方法において、検出操作を受け付けた場合に、物体Ob1を撮像することにより得られるモニター画像GC2に面W3を示す画像が含まれるか否かを判定することを更に含み、通知を出力することは、モニター画像GC2に面W3を示す画像が含まれないと判定された場合に、通知を出力することを含む。
【0087】
これにより、ユーザーUは、投射画像GP1が仮想的に表示される面として設定したい面を、モニター画像を用いて確認しながら、検出操作を行うことができる。
【0088】
なお、本実施形態において、モニター画像GC2は「モニター画像」の一例である。また、「第1の面を示す画像」は画像GW3および画像GW3aを一例とする。
【0089】
また、実施形態に係る画像の表示方法は、投射画像GP1を表示させる表示操作をユーザーUから受け付けることと、表示操作を受け付けた場合に、撮像画像GC1に含まれる画像GW3の一部または全部の領域に投射画像GP1が重畳された第2重畳画像GM21を表示することと、を更に含む。
【0090】
ユーザーUから表示操作を受け付けた場合、スマートフォン1は、投射画像GP1を撮像画像GC1に重畳する。これにより、ユーザーUは、投射画像GP1が現実空間に投射された場合の見え方を、第2重畳画像GM21によって確認することができる。
【0091】
なお、本実施形態において、第2重畳画像GM21は「第2重畳画像」の一例である。
【0092】
2.変形例
以上の実施形態は多様に変形され得る。具体的な変形の態様を以下に例示する。また、以下の例示から任意に選択された2以上の態様は、相互に矛盾しない範囲内で適宜併合され得る。なお、以下に例示する変形例において作用や機能が前述の実施形態と同等である要素については、以上の説明で使用した符号を流用して各々の詳細な説明を適宜省略する。
【0093】
2.1.変形例1
前述の実施形態において、物体の有する面上に投射画像が仮想的に表示される場合を例示したが、投射画像と併せて、投射画像を投射する仮想のプロジェクターが表示されてもよい。
【0094】
図13は、第2重畳画像GM23について説明するための模式図である。第2重畳画像GM23は、スマートフォン1の備えるタッチパネル16に表示される。第2重畳画像GM23は、撮像装置18によって物体Ob1を撮像することにより得られた撮像画像GC3に、投射画像GP1bと、投射装置画像GS1とが重畳された画像である。撮像画像GC3は、画像GOb1bと、画像GWFbとを含む。画像GOb1bは、画像GW3bと、画像GW4bとを含む。画像GW3bは、面W3を示す画像である。画像GW4bは、面W4を示す画像である。画像GWFbは、床面WFを示す画像である。投射装置画像GS1は、現実空間に仮想的に配置される仮想のプロジェクターを示す画像である。投射画像GP1bは、投射装置画像GS1の示す仮想のプロジェクターから、面W3に仮想的に投射される画像である。すなわち、投射画像GP1bは、面W3を示す画像GW3bに重畳される。これにより、例えば、現実空間内にプロジェクターを配置した場合の、投射画像の表示のされ方に関するシミュレーションを行うことができる。
【0095】
以上に説明したように、変形例1に係る画像の表示方法において、投射画像GP1bは、現実空間に仮想的に配置される仮想のプロジェクターから、仮想的に投射される画像である。
【0096】
すなわち、スマートフォン1は、現実空間に配置された物体Ob1の面上に仮想的に表示される投射画像GP1bと、投射画像GP1bを仮想的に投射する仮想のプロジェクターとを表示することができる。これにより、スマートフォン1のユーザーUは、例えば、現実空間内にプロジェクターを配置した場合の、投射画像の表示のされ方に関するシミュレーションを行うことができる。
【0097】
なお、変形例1において、投射画像GP1bは「投射画像」の一例である。
【0098】
2.2.変形例2
前述の実施形態および変形例において、投射画像が面W3を示す画像に重畳して表示される、換言すれば投射画像が面W3上に仮想的に表示される場合を例示したが、投射画像が仮想的に表示される面は、面W3とは異なる面であってもよい。すなわち、スマートフォン1は、撮像装置18が面W3とは異なる面に位置する状態で、ユーザーUから設定操作を受け付けてもよい。例えば、スマートフォン1は、撮像装置18が物体Ob1の面W2に位置する状態で、ユーザーUから設定操作を受け付けてもよい。
【0099】
図14は、第1重畳画像GM13について説明するための模式図である。第1重畳画像GM13は、スマートフォン1が物体Ob1の面W2に位置する状態で、ユーザーUから設定操作を受け付けた場合に、タッチパネル16に表示される画像である。第1重畳画像GM13は、撮像画像GC1に、設定画像GV4が重畳された画像である。設定画像GV4は、面W2を含む平面を示す画像である。また、設定画像GV4は、設定画像GV1と同様、投射画像が仮想的に表示される面の位置を示すための画像である。ユーザーUは、設定画像GV4を確認することで、投射画像が仮想的に表示される面が面W2であることが判る。なお、撮像画像GC1は面W2を示す画像を含んでいないことから、ユーザーUは、表示操作を実行する前に、スマートフォン1に面W2を示す画像を含む撮像画像を取得させることが好ましい。また、投射画像が仮想的に表示される面を有する物体は、例えば、壁面W1そのものであってもよい。この場合は、スマートフォン1は、撮像装置18が壁面W1に位置する状態で、ユーザーUから設定操作を受け付ける。
【0100】
2.3.変形例3
前述の実施形態および変形例では、本発明に係る情報処理装置として、スマートフォン1を例示したが、スマートフォン1の代わりに、スマートフォン1と同様の機能を有するタブレット端末やノートパソコン等であってもよい。
【0101】
2.4.変形例4
前述の実施形態および変形例において、面W3が検出されなかった場合、設定操作の実行をユーザーUに促すためのメッセージを含む通知画像GN1が表示される場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、メッセージを表示する代わりに、音声を用いて、設定操作の実行をユーザーUに促してもよい。すなわち、音声を用いて、設定操作に関する通知を出力してもよい。
【符号の説明】
【0102】
1…スマートフォン、10…記憶装置、12…処理装置、14…センサー、16…タッチパネル、18…撮像装置、100…プログラム、101…空間情報、102…位置情報、103…姿勢情報、104…投射画像情報、105…撮像情報、106…モニター情報、107…設定画像情報、110…重畳画像情報、111…第1重畳画像情報、112…第2重畳画像情報、120…表示制御部、121…撮像制御部、122…入力管理部、123…画像生成部、124…検出部、125…空間管理部、160…表示部、161…入力部、180…撮像レンズ、181…撮像素子、DP1…変位、GC1…撮像画像、GC2…モニター画像、GM11…第1重畳画像、GM21…第2重畳画像、GN1…通知画像、GV1…設定画像、GP1…投射画像、GS1…投射装置画像、L11…光軸、Ob1…物体、H1…平面、U…ユーザー、W1…壁面、W3…面、WF…床面。