特開 2023-170386 画像の表示方法、情報処理装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023170386

(43)【公開日】2023-12-01

(54)【発明の名称】画像の表示方法、情報処理装置およびプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20231124BHJP

   G09G 5/00 20060101ALI20231124BHJP

   G09G 5/377 20060101ALI20231124BHJP

   G06T 19/00 20110101ALI20231124BHJP

   G06T 7/70 20170101ALI20231124BHJP

【ＦＩ】

G06F3/01 510

G09G5/00 510H

G09G5/36 520M

G09G5/00 550C

G06T19/00 600

G06T7/70 Z

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022082102

(22)【出願日】2022-05-19

(71)【出願人】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】100179475

【弁理士】

【氏名又は名称】仲井 智至

(74)【代理人】

【識別番号】100216253

【弁理士】

【氏名又は名称】松岡 宏紀

(74)【代理人】

【識別番号】100225901

【弁理士】

【氏名又は名称】今村 真之

(72)【発明者】

【氏名】武村 功司

(72)【発明者】

【氏名】宮澤 晃幸

【テーマコード（参考）】

5B050

5C182

5E555

5L096

【Ｆターム（参考）】

5B050AA10

5B050BA09

5B050DA04

5B050EA09

5B050EA19

5B050EA27

5C182AA02

5C182AA03

5C182AB08

5C182AC03

5C182BA06

5C182BA14

5C182BA46

5C182BA47

5C182BA65

5C182BA75

5C182CB54

5E555AA26

5E555BA01

5E555BB01

5E555BC01

5E555BE17

5E555CA42

5E555CB19

5E555CB21

5E555CC03

5E555DA01

5E555DB53

5E555DC09

5E555DD08

5E555FA00

5L096FA67

5L096FA69

(57)【要約】

【課題】現実の空間に位置する物体に重畳して、適切な位置に画像を表示する。
【解決手段】現実空間に位置する物体の第１の面を、投射画像が仮想的に表示される面として設定する設定操作をユーザーから受け付けることと、物体を撮像することにより得られた撮像画像に、第１の面を含む平面を示す設定画像が重畳された第１重畳画像を表示することと、を含む、画像の表示方法。
【選択図】図１２

【特許請求の範囲】

【請求項1】

現実空間に位置する物体の第１の面を、投射画像が仮想的に表示される面として設定する設定操作をユーザーから受け付けることと、
前記物体を撮像することにより得られた撮像画像に、前記第１の面を含む平面を示す設定画像が重畳された第１重畳画像を表示することと、
を含む、
画像の表示方法。

【請求項2】

前記撮像画像は、撮像装置によって取得され、
前記設定操作は、前記撮像装置が前記物体の前記第１の面に位置する状態で実行され、
前記設定操作を受け付けた第１の時点における前記撮像装置の位置を基準として、前記撮像装置が前記撮像画像を取得した第２の時点における前記撮像装置の変位を表す位置情報と、前記第１の時点における前記撮像装置の姿勢を基準として、前記第２の時点における前記撮像装置の姿勢の変化を表す姿勢情報とを取得することを更に含み、
前記設定画像は、前記位置情報および前記姿勢情報に基づいて生成される、
請求項１に記載の画像の表示方法。

【請求項3】

前記第１の面を検出することを指示する検出操作を前記ユーザーから受け付けることと、
前記検出操作を受け付け、かつ、前記第１の面が検出されない場合に、前記設定操作に関する通知を出力することと、
を更に含む、
請求項１または２に記載の画像の表示方法。

【請求項4】

前記検出操作を受け付けた場合に、前記物体を撮像することにより得られるモニター画像に前記第１の面を示す画像が含まれるか否かを判定することを更に含み、
前記通知を出力することは、前記モニター画像に前記第１の面を示す画像が含まれないと判定された場合に、前記通知を出力することを含む、
請求項３に記載の画像の表示方法。

【請求項5】

前記投射画像を表示させる表示操作を前記ユーザーから受け付けることと、
前記表示操作を受け付けた場合に、前記撮像画像に含まれる前記第１の面を示す画像の一部または全部の領域に前記投射画像が重畳された第２重畳画像を表示することと、
を更に含む、
請求項１または２に記載の画像の表示方法。

【請求項6】

前記投射画像は、前記現実空間に仮想的に配置される仮想のプロジェクターから、仮想的に投射される画像である、
請求項５に記載の画像の表示方法。

【請求項7】

処理装置を備え、
前記処理装置は、
現実空間に位置する物体の第１の面を投射画像が仮想的に表示される面として設定する設定操作をユーザーから受け付けることと、
前記物体を撮像することにより得られた撮像画像に、前記第１の面を含む平面を示す設定画像が重畳された第１重畳画像を、表示装置に出力することと、
を実行する、
情報処理装置。

【請求項8】

処理装置に、
現実空間に位置する物体の第１の面を投射画像が仮想的に表示される面として設定する設定操作をユーザーから受け付けることと、
前記物体を撮像することにより得られた撮像画像に、前記第１の面を含む平面を示す設定画像が重畳された第１重畳画像を、表示装置に出力することと、
を実行させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像の表示方法、情報処理装置およびプログラムに関する。

【背景技術】

【0002】

現実の空間を撮像した撮像画像にＣＧ（Computer Graphics）等を重畳させて表示することで、ユーザーの視覚情報の獲得を支援する、所謂ＡＲ（Augmented Reality）技術が開発されている。例えば、特許文献１には、撮像装置を用いて現実空間内の物体を撮像することにより得られる入力画像と、当該物体の外観の特徴を表す特徴データとに基づいて、当該物体の位置を特定する画像処理装置が開示されている。当該画像処理装置は、特定された物体の位置に基づいて、入力画像に重畳される画像の位置を決定する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１－２０３８２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の画像処理装置において、撮像される物体に関する特徴データが記憶されていない場合、当該物体の位置を特定することができないため、重畳される画像が適切な位置に配置されないという問題があった。

【課題を解決するための手段】

【0005】

本発明に係る画像の表示方法の一態様は、現実空間に位置する物体の第１の面を、投射画像が仮想的に表示される面として設定する設定操作をユーザーから受け付けることと、物体を撮像することにより得られた撮像画像に、第１の面を含む平面を示す設定画像が重畳された第１重畳画像を表示することと、を含む。

【0006】

本発明に係る情報処理装置の一態様は、処理装置を備え、処理装置は、現実空間に位置する物体の第１の面を投射画像が仮想的に表示される面として設定する設定操作をユーザーから受け付けることと、物体を撮像することにより得られた撮像画像に、第１の面を含む平面を示す設定画像が重畳された第１重畳画像を、表示装置に出力することと、を実行する。

【0007】

本発明に係るプログラムの一態様は、処理装置に、現実空間に位置する物体の第１の面を投射画像が仮想的に表示される面として設定する設定操作をユーザーから受け付けることと、物体を撮像することにより得られた撮像画像に、第１の面を含む平面を示す設定画像が重畳された第１重畳画像を、表示装置に出力することと、を実行させる。

【図面の簡単な説明】

【0008】

【図1】物体Ｏｂ１が配置された空間を図示した模式図である。

【図2】第１重畳画像ＧＭ１１について説明するための模式図である。

【図3】第２重畳画像ＧＭ２１について説明するための模式図である。

【図4】第１重畳画像ＧＭ１２について説明するための模式図である。

【図5】検出操作の様子を図示した模式図である。

【図6】設定操作の様子を図示した模式図である。

【図7】第１重畳画像ＧＭ１１を表示する際の様子を図示した模式図である。

【図8】モニター画像ＧＣ２について説明するための模式図である。

【図9】通知画像ＧＮ１について説明するための模式図である。

【図10】実施形態に係るスマートフォン１の構成を示すブロック図である。

【図11】実施形態に係る記憶装置１０の構成を示すブロック図である。

【図12】実施形態に係るスマートフォン１の動作について説明するためのフローチャートである。

【図13】第２重畳画像ＧＭ２３について説明するための模式図である。

【図14】第１重畳画像ＧＭ１３について説明するための模式図である。

【発明を実施するための形態】

【0009】

以下、添付図面を参照しながら、本発明に係る好適な実施形態を説明する。なお、図面において各部の寸法および縮尺は実際と異なる場合があり、理解を容易にするために模式的に示す部分もある。また、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られない。また、本明細書および特許請求の範囲において、数値範囲を「Φ～Ψ」（Φ、Ψはともに数値）を用いて表現する場合、その範囲は上限（Ψ）および下限（Φ）の数値を含むものである。また、上限（Ψ）および下限（Φ）の単位は同じである。

【0010】

１．実施形態
実施形態では、所定の画像が仮想的に表示される面として設定された側面を有する物体を撮像することによって取得された撮像画像に、当該側面を含む平面を示す画像を重畳して表示するスマートフォンを例示して、本発明に係る画像の表示方法、情報処理装置およびプログラムについて説明する。

【0011】

１．１．スマートフォンの概要
以下、図１～図４を参照しつつ、本実施形態に係るスマートフォン１の概要について説明する。図１は、物体Ｏｂ１が配置された現実空間を図示した模式図である。図２～図４は、スマートフォン１の備えるタッチパネル１６に表示される画像について説明するための模式図である。

【0012】

物体Ｏｂ１は、面Ｗ２と、面Ｗ３と、面Ｗ４とを有する直方体状の物体である。面Ｗ２は、物体Ｏｂ１の底面のひとつであって、床面ＷＦと接していない面である。面Ｗ３は、物体Ｏｂ１の側面のひとつであって、壁面Ｗ１と平行な面である。面Ｗ４は、物体Ｏｂ１の側面のひとつであって、壁面Ｗ１に対して垂直な面である。また、物体Ｏｂ１は、壁面Ｗ１と、面Ｗ３の反対の側面を介して接している。平面Ｈ１は、面Ｗ３を含む概念的な平面である。すなわち、平面Ｈ１は、現実空間には実在しないので、ユーザーＵからは直接視認されない。なお、物体Ｏｂ１は少なくとも１つの平面を有していれば、直方体に限定されず、他の形状であってもよい。

【0013】

本実施形態において、壁面Ｗ１、面Ｗ３および平面Ｈ１は、Ｚ軸およびＸ軸と平行である。ここで、Ｚ軸は、鉛直方向と平行な軸である。また、Ｚ軸は、床面ＷＦに対して垂直な軸である。なお、Ｚ軸と平行な方向のうち、鉛直方向を－Ｚ方向、－Ｚ方向と反対の方向を＋Ｚ方向とする。Ｘ軸は、Ｚ軸と垂直な軸であって、壁面Ｗ１、面Ｗ３および平面Ｈ１と平行な軸である。また、Ｘ軸は、面Ｗ４に対して垂直な軸である。なお、Ｘ軸と平行な方向のうち、面Ｗ４から面Ｗ４の反対の側面に向かう方向を－Ｘ方向、－Ｘ方向と反対の方向を＋Ｘ方向とする。また、Ｚ軸およびＸ軸に対して垂直な軸を、「Ｙ軸」と称する。Ｙ軸は、壁面Ｗ１、面Ｗ３および平面Ｈ１に対して垂直な軸である。なお、Ｙ軸と平行な方向のうち、面Ｗ３から壁面Ｗ１に向かう方向を＋Ｙ方向、＋Ｙ方向と反対の方向を－Ｙ方向とする。

【0014】

ユーザーＵは、スマートフォン１を物体Ｏｂ１の面Ｗ３に接触させた状態で、面Ｗ３を、後述する投射画像ＧＰ１が仮想的に表示される面として設定する操作を実行する。具体的には、ユーザーＵは、スマートフォン１の備える撮像装置１８を面Ｗ３に接触させた状態で、当該操作を実行する。なお、本実施形態において、「仮想的に表示する」とは、スマートフォン１の撮像装置１８によって現実空間を撮像した画像に、別の画像を重畳した画像をスマートフォン１に表示することを意味する。本実施形態において、面Ｗ３を、投射画像ＧＰ１が仮想的に表示される面として設定する操作を「設定操作」と称することがある。スマートフォン１は、物体Ｏｂ１の面Ｗ３に位置する状態で、ユーザーＵから設定操作を受け付ける。設定操作は、例えば、タッチパネル１６を所定時間以上長押しする操作であってもよい。設定操作は、タッチパネル１６に表示された決定ボタンの画像等、設定操作を示す仮想操作子に対する操作であってもよい。

【0015】

図２は、第１重畳画像ＧＭ１１について説明するための模式図である。第１重畳画像ＧＭ１１は、スマートフォン１が物体Ｏｂ１の面Ｗ３に位置する状態で、ユーザーＵから設定操作を受け付けた場合に、タッチパネル１６に表示される画像である。第１重畳画像ＧＭ１１は、撮像装置１８によって物体Ｏｂ１を撮像することにより得られた撮像画像ＧＣ１に、設定画像ＧＶ１が重畳された画像である。撮像画像ＧＣ１は、画像ＧＯｂ１と、画像ＧＷＦとを含む。画像ＧＯｂ１は、画像ＧＷ３と、画像ＧＷ４とを含む。画像ＧＷ３は、面Ｗ３を示す画像である。画像ＧＷ４は、面Ｗ４を示す画像である。画像ＧＷＦは、床面ＷＦを示す画像である。設定画像ＧＶ１は、面Ｗ３を含む平面Ｈ１を示す画像である。設定画像ＧＶ１は、投射画像ＧＰ１が仮想的に表示される仮想の平面を示す。

【0016】

なお、平面Ｈ１はユーザーＵからは直接視認されないため、設定画像ＧＶ１は、一部または全部の領域が半透明であることが好ましい。これにより、ユーザーＵは、ユーザーＵ自身の視野と、第１重畳画像ＧＭ１１に含まれる撮像画像ＧＣ１とを比較することができる。また、設定画像ＧＶ１は、投射画像ＧＰ１が仮想的に表示される面の位置を示すための画像である。図２において、面Ｗ３を示す画像である画像ＧＷ３が設定画像ＧＶ１の一部と一致する。具体的には、画像ＧＷ３の有する４つの辺のうちのひとつの辺と、設定画像ＧＶ１の底辺の一部とが一致する。このことから、ユーザーＵは、設定画像ＧＶ１を確認することで、投射画像ＧＰ１が仮想的に表示される面が面Ｗ３であることが判る。

【0017】

スマートフォン１は、ユーザーＵから設定操作を受け付けた後、物体Ｏｂ１を撮像することで撮像画像ＧＣ１を取得する。また、スマートフォン１は、撮像画像ＧＣ１に設定画像ＧＶ１を重畳することで、第１重畳画像ＧＭ１１を生成する。そして、スマートフォン１は、第１重畳画像ＧＭ１１をタッチパネル１６に表示させる。

【0018】

図３は、第２重畳画像ＧＭ２１について説明するための模式図である。第２重畳画像ＧＭ２１は、撮像画像ＧＣ１に含まれる画像ＧＷ３に、投射画像ＧＰ１が重畳された画像である。

【0019】

スマートフォン１は、ユーザーＵから、投射画像ＧＰ１を表示させる操作を受け付けた場合、撮像画像ＧＣ１に投射画像ＧＰ１を重畳することで、第２重畳画像ＧＭ２１を生成する。そして、スマートフォン１は、第２重畳画像ＧＭ２１をタッチパネル１６に表示させる。すなわち、スマートフォン１は、面Ｗ３を示す画像ＧＷ３に投射画像ＧＰ１を重畳させて表示させることができる。換言すれば、スマートフォン１は、タッチパネル１６を用いて、面Ｗ３上に投射画像ＧＰ１を仮想的に表示させることができる。第２重畳画像ＧＭ２１は、設定画像ＧＶ１を含んでいてもよいし、設定画像ＧＶ１を含まなくてもよい。本実施形態の第２重畳画像ＧＭ２１は、設定画像ＧＶ１を含まない。第２重畳画像ＧＭ２１が設定画像ＧＶ１を含んでいれば、ユーザーＵは設定操作によって設定された面と投射画像ＧＰ１との位置関係を理解しやすい。第２重畳画像ＧＭ２１が設定画像ＧＶ１を含まなければ、実際に面Ｗ３に画像を投射した際の様子により近い第２重畳画像ＧＭ２１をユーザーＵに提示することができる。なお、本実施形態において、投射画像ＧＰ１を表示させる操作を「表示操作」と称することがある。表示操作は、例えば、タッチパネル１６に表示された第１重畳画像ＧＭ１１に含まれる設定画像ＧＶ１をタップする操作であってもよい。表示操作は、タッチパネル１６に表示された、投射画像ＧＰ１を表示させる指示を受け付ける仮想操作子をタップする操作であってもよい。

【0020】

図４は、第１重畳画像ＧＭ１２について説明するための模式図である。第１重畳画像ＧＭ１２は、撮像画像ＧＣ１に、設定画像ＧＶ２が重畳された画像である。設定画像ＧＶ２は、平面Ｈ１とは異なる平面、すなわち面Ｗ３を含まない平面を示す画像である。例えば、ユーザーＵが設定操作を正確に行わなかった場合、具体的には、スマートフォン１の備える撮像装置１８が面Ｗ３から－Ｙ方向に離れた位置で設定操作を実行した場合、スマートフォン１は、タッチパネル１６に第１重畳画像ＧＭ１２を表示させる。すなわち、タッチパネル１６に設定画像ＧＶ２を含む第１重畳画像ＧＭ１２が表示された場合、ユーザーＵは、撮像装置１８が面Ｗ３に位置する状態で設定操作が実行されなかったことを確認することができる。他方、図２のようにタッチパネル１６に設定画像ＧＶ１を含む第１重畳画像ＧＭ１１が表示された場合、ユーザーＵは、撮像装置１８が面Ｗ３に位置する状態で設定操作が実行されたことを確認することができる。

【0021】

撮像装置１８が面Ｗ３に位置する状態で設定操作が実行されなかった場合、面Ｗ３は、投射画像ＧＰ１が仮想的に表示される面として設定されていない。すなわち、スマートフォン１は、面Ｗ３を示す画像ＧＷ３に投射画像ＧＰ１を重畳させて表示させることができないことがある。タッチパネル１６に第１重畳画像ＧＭ１２が表示された場合、ユーザーＵは、スマートフォン１を物体Ｏｂ１の面Ｗ３に接触させた状態で、設定操作を実行し直すことで、投射画像ＧＰ１を画像ＧＷ３上に重畳させることができる。なお、本実施形態において、設定操作を実行し直すことを「再設定操作」と称することがある。

【0022】

１．２．第１重畳画像を表示するまでの流れ
以下、図５～図９を参照しつつ、タッチパネル１６に第１重畳画像ＧＭ１１を表示するまでの流れについて説明する。

【0023】

図５は、検出操作の様子を図示した模式図である。スマートフォン１は、画像処理を用いて、例えば、物体Ｏｂ１の有する平坦な面を撮像することにより得られた撮像画像から特徴点を抽出することで、物体Ｏｂ１の有する平坦な面を検出する機能を有する。物体Ｏｂ１の有する面を検出した場合、スマートフォン１は、物体Ｏｂ１の有する面を、投射画像ＧＰ１が仮想的に表示される面として設定する。すなわち、物体Ｏｂ１の有する面Ｗ３を検出した場合、スマートフォン１は、面Ｗ３を、投射画像ＧＰ１が仮想的に表示される面として設定する。

【0024】

スマートフォン１は、物体Ｏｂ１を撮像することにより得られた撮像画像をタッチパネル１６に表示させた状態で、ユーザーＵから、物体Ｏｂ１の有する面Ｗ３を検出することを指示する操作を受け付ける。物体Ｏｂ１の有する面Ｗ３を検出することを指示する操作を受け付けた場合、スマートフォン１は、撮像画像に基づいて面Ｗ３の検出を試みる。なお、本実施形態において、物体Ｏｂ１の有する面Ｗ３を検出することを指示する操作を「検出操作」と称することがある。検出操作は、例えば、タッチパネル１６に表示された撮像画像に含まれる物体Ｏｂ１を示す画像をタップする操作であってもよい。検出操作は、タッチパネル１６に表示された、面の検出処理を実行させる指示を受け付ける仮想操作子をタップする操作であってもよい。

【0025】

図８は、モニター画像ＧＣ２について説明するための模式図である。モニター画像ＧＣ２は、撮像装置１８によって物体Ｏｂ１を撮像することにより得られた撮像画像である。モニター画像ＧＣ２は、画像ＧＯｂ１ａと、画像ＧＷＦａとを含む。画像ＧＯｂ１ａは、画像ＧＷ３ａを含む。画像ＧＷ３ａは、面Ｗ３を示す画像である。画像ＧＷＦａは、床面ＷＦを示す画像である。

【0026】

画像処理によって画像から特徴点を抽出する場合、一般的に、位置を正確に決定することができるような点が、特徴点として抽出される。特徴点は、具体的には、隣接する画素間における輝度値等の変化量が、画像の縦方向および画像の横方向の両方向において大きい点が好ましい。隣接する画素間における輝度値等の変化量が、画像の縦方向および画像の横方向の両方向において大きい箇所として、例えば、画像に含まれる角状の部分が挙げられる。図８から判るように、モニター画像ＧＣ２は、角状の部分を含まないことから、画像処理による特徴点の抽出が正確に実施されない可能性が高い。従って、タッチパネル１６にモニター画像ＧＣ２が表示された状態で、ユーザーＵが検出操作を実施した場合、スマートフォン１は、面Ｗ３を検出できないことがある。

【0027】

面Ｗ３が検出されなかった場合、スマートフォン１は、設定操作の実行をユーザーＵに促す。例えば、スマートフォン１は、設定操作の実行をユーザーＵに促すためのメッセージをタッチパネル１６に表示させてもよい。図９は、通知画像ＧＮ１について説明するための模式図である。通知画像ＧＮ１は、設定操作の実行をユーザーＵに促すためのメッセージを含む画像である。通知画像ＧＮ１をタッチパネル１６に表示させることは、換言すれば、設定操作に関する通知を出力することである。

【0028】

図６は、設定操作の様子を図示した模式図である。ユーザーＵは、スマートフォン１の備える撮像装置１８を面Ｗ３に接触させた状態で、タッチパネル１６を所定時間以上長押しする操作、すなわち設定操作を実行することで、面Ｗ３を、投射画像ＧＰ１が仮想的に表示される面として設定する。スマートフォン１は、設定操作をユーザーＵから受け付けた場合、面Ｗ３を、投射画像ＧＰ１が仮想的に表示される面として設定する。また、スマートフォン１は、設定操作を受け付けた時点における撮像装置１８の位置を、基準の位置として設定する。また、スマートフォン１は、設定操作を受け付けた時点における撮像装置１８の光軸を、基準の軸として設定する。以下では、スマートフォン１が設定操作を受け付けた時点における撮像装置１８の光軸を「光軸Ｌ１１」と称する。光軸Ｌ１１は、面Ｗ３に対して垂直な軸であって、Ｙ軸と平行である。また、スマートフォン１が設定操作を受け付けた時点を「第１の時点」と称する。

【0029】

図７は、第１重畳画像ＧＭ１１を表示する際の様子を図示した模式図である。設定操作を受け付けた後、スマートフォン１は、撮像装置１８を制御して、面Ｗ３から－Ｙ方向に離れた位置から物体Ｏｂ１を撮像することで、撮像画像ＧＣ１を取得する。撮像装置１８が撮像画像ＧＣ１を取得した時点を「第２の時点」と称する。また、第１の時点から第２の時点までの間の撮像装置１８の変位を「変位ＤＰ１」と称する。なお、ここでいう「変位」は、撮像装置１８の位置の変化を表すベクトルを指す。また、第２の時点における撮像装置１８の光軸を「光軸Ｌ１２」と称する。スマートフォン１は、変位ＤＰ１と、第１の時点から第２の時点までの間の撮像装置１８の姿勢の変化とに基づいて、設定画像ＧＶ１を生成する。また、スマートフォン１は、撮像画像ＧＣ１に設定画像ＧＶ１を重畳することで、第１重畳画像ＧＭ１１を生成する。そして、スマートフォン１は、タッチパネル１６に第１重畳画像ＧＭ１１を表示させる。

【0030】

撮像装置１８の姿勢の変化は、例えば、撮像装置１８を原点として、撮像装置１８の光軸をロール軸、スマートフォン１の短手方向と平行な軸をピッチ軸、スマートフォン１の長手方向と平行な軸をヨー軸とした３次元の回転角によって表される。撮像装置１８の姿勢の変化は、具体的には、スマートフォン１が設定操作を受け付けた時点におけるロール角、ピッチ角およびヨー角をいずれも０°とした場合の、スマートフォン１が物体Ｏｂ１を撮像した時点におけるロール角、ピッチ角およびヨー角によって表される。すなわち、第１の時点から第２の時点までの間の撮像装置１８の姿勢の変化は、撮像装置１８の光軸が光軸Ｌ１１から光軸Ｌ１２へ変化した場合の、ロール角、ピッチ角およびヨー角の変化によって表される。

【0031】

１．３．スマートフォンの構成および機能
以下、図１０および図１１を参照しつつ、本実施形態に係るスマートフォン１の構成および機能について説明する。

【0032】

図１０は、実施形態に係るスマートフォン１の構成を示すブロック図である。スマートフォン１は、各種情報を記憶する記憶装置１０と、スマートフォン１の動作を制御する処理装置１２と、スマートフォン１の位置の変化に基づく信号およびスマートフォン１の姿勢の変化に基づく信号を出力するセンサー１４と、各種画像を表示し、またユーザーＵからの操作を受け付けるタッチパネル１６と、物体Ｏｂ１を撮像する撮像装置１８とを備える。処理装置１２は、表示制御部１２０、撮像制御部１２１、入力管理部１２２、画像生成部１２３、検出部１２４および空間管理部１２５としての機能を有する。タッチパネル１６は、表示部１６０と、入力部１６１とを備える。撮像装置１８は、撮像レンズ１８０と、撮像素子１８１とを備える。

【0033】

記憶装置１０は、例えば、ＲＡＭ等の揮発性メモリーおよびＲＯＭ等の不揮発性メモリーを含んで構成される。ここで、ＲＡＭとは、Random Access Memoryの略称である。また、ＲＯＭとは、Read Only Memoryの略称である。

【0034】

図１１は、実施形態に係る記憶装置１０の構成を示すブロック図である。記憶装置１０の有する不揮発性メモリーは、スマートフォン１の動作を規定するプログラム１００と、検出された物体の位置および形状を表す情報を含む空間情報１０１と、撮像装置１８の位置の変化に基づく位置情報１０２と、撮像装置１８の姿勢の変化に基づく姿勢情報１０３と、投射画像ＧＰ１を表す投射画像情報１０４と、撮像画像ＧＣ１を表す撮像情報１０５と、モニター画像ＧＣ２を表すモニター情報１０６と、設定画像ＧＶ１を表す設定画像情報１０７と、通知画像ＧＮ１を表す通知情報１０８と、重畳画像情報１１０とを記憶する。重畳画像情報１１０は、第１重畳画像ＧＭ１１を表す第１重畳画像情報１１１と、第２重畳画像ＧＭ２１を表す第２重畳画像情報１１２とを含む。

【0035】

また、記憶装置１０の有する揮発性メモリーは、プログラム１００を実行する際のワークエリアとして処理装置１２によって利用される。

【0036】

なお、記憶装置１０の一部または全部は、外部記憶装置または外部サーバー等に設けてもよい。また、記憶装置１０に記憶される各種情報の一部または全部は、予め記憶装置１０に記憶されるものであってもよいし、外部記憶装置または外部サーバー等から取得されるものであってもよい。

【0037】

処理装置１２は、１または複数のＣＰＵを含んで構成される。但し、処理装置１２は、ＣＰＵの代わりに、または、ＣＰＵに加えて、ＦＰＧＡ等のプログラマブルロジックデバイスを備えるものでもよい。ここで、ＣＰＵとはCentral Processing Unitの略称であり、ＦＰＧＡとはField-Programmable Gate Arrayの略称である。

【0038】

処理装置１２は、処理装置１２が有するＣＰＵ等がプログラム１００を実行し、プログラム１００に従って動作することで、図１０に示す表示制御部１２０、撮像制御部１２１、入力管理部１２２、画像生成部１２３、検出部１２４および空間管理部１２５として機能する。

【0039】

表示制御部１２０は、タッチパネル１６の備える表示部１６０を制御することで、各種画像を表示させる。換言すれば、表示制御部１２０は、タッチパネル１６の備える表示部１６０に各種画像を出力する。

【0040】

撮像制御部１２１は、撮像装置１８を制御することで、物体Ｏｂ１を撮像させる。そして、撮像制御部１２１は、撮像装置１８から、物体Ｏｂ１を撮像した撮像結果を表す情報を取得する。また、撮像制御部１２１は、撮像装置１８から取得した情報を記憶装置１０に記憶させる。本実施形態において、撮像制御部１２１は、物体Ｏｂ１を撮像した撮像結果を表す情報として、撮像情報１０５と、モニター情報１０６とを取得する。そして、撮像制御部１２１は、取得した撮像情報１０５およびモニター情報１０６を記憶装置１０に記憶させる。

【0041】

また、撮像制御部１２１は、センサー１４から出力される信号に基づいて、位置情報１０２および姿勢情報１０３を生成する。本実施形態において、位置情報１０２は、変位ＤＰ１を表す情報である。また、姿勢情報１０３は、第１の時点から第２の時点までの間の撮像装置１８の姿勢の変化を表す情報である。撮像制御部１２１は、生成した位置情報１０２および姿勢情報１０３を記憶装置１０に記憶させる。

【0042】

入力管理部１２２は、タッチパネル１６の備える入力部１６１を制御することで、ユーザーＵから受け付けた操作の内容を表す情報を取得する。また、入力管理部１２２は、ユーザーＵから受け付ける操作に係る各種判定を行う。

【0043】

検出部１２４は、画像処理を用いて、物体Ｏｂ１を撮像することにより得られた撮像画像の特徴点を抽出することで、物体Ｏｂ１の有する平坦な面を検出する。換言すれば、検出部１２４は、撮像画像に物体Ｏｂ１の有する平坦な面を示す画像が含まれるか否かを判定する。本実施形態において、検出部１２４は、モニター画像ＧＣ２に物体Ｏｂ１の有する面Ｗ３を示す画像が含まれるか否かを判定する。なお、物体Ｏｂ１の有する平坦な面を示す画像が含まれるか否かの判定の対象となる撮像画像を「モニター画像」と称することがある。

【0044】

撮像画像の特徴点の抽出に係る機能において、公知の画像処理技術が用いられてもよい。特徴点の抽出に係る公知の画像処理技術として、例えば、「ＡＫＡＺＥ」と呼ばれるアルゴリズムが挙げられる。本明細書において、特徴点の抽出に係る詳細な技術的説明は省略する。

【0045】

空間管理部１２５は、現実空間に配置された物体の位置および形状を表す情報を含む空間情報１０１を管理する。例えば、空間管理部１２５は、検出された物体Ｏｂ１の有する面の位置および形状に基づいて、空間情報１０１を更新する。

【0046】

空間情報１０１は、スマートフォン１が設定操作を受け付けた位置に関する情報を含む。空間管理部１２５は、センサー１４から出力される信号に基づいて、ユーザーＵから設定操作を受け付けた第１の時点におけるスマートフォン１の位置が、基準の位置となるように、空間情報１０１を更新する。より具体的には、空間管理部１２５は、第１の時点における撮像装置１８の位置が、例えば、原点となるように、空間情報１０１を更新する。また、空間管理部１２５は、空間情報１０１を更新することで、第１の時点における撮像装置１８の位置を含むように、投射画像ＧＰ１が仮想的に表示される面を設定する。すなわち、撮像装置１８が物体Ｏｂ１の面Ｗ３に位置する状態でユーザーＵから設定操作を受け付けた場合、空間管理部１２５は、面Ｗ３を、投射画像ＧＰ１が仮想的に表示される面として設定する。なお、投射画像ＧＰ１が仮想的に表示される面は、例えば、第１の時点における撮像装置１８の光軸Ｌ１１に対して垂直に設定される。

【0047】

画像生成部１２３は、空間情報１０１、位置情報１０２および姿勢情報１０３に基づいて、設定画像情報１０７を生成する。換言すれば、画像生成部１２３は、空間情報１０１、位置情報１０２および姿勢情報１０３に基づいて、設定画像ＧＶ１を生成する。また、画像生成部１２３は、設定画像情報１０７および撮像情報１０５に基づいて、第１重畳画像情報１１１を生成する。換言すれば、画像生成部１２３は、設定画像ＧＶ１および撮像画像ＧＣ１に基づいて、第１重畳画像ＧＭ１１を生成する。また、画像生成部１２３は、投射画像情報１０４および撮像情報１０５に基づいて、第２重畳画像情報１１２を生成する。換言すれば、画像生成部１２３は、投射画像ＧＰ１および撮像画像ＧＣ１に基づいて、第２重畳画像ＧＭ２１を生成する。

【0048】

センサー１４は、加速度センサーと、ジャイロセンサーとを含んで構成される。センサー１４は、スマートフォン１の位置の変化と、スマートフォン１の姿勢の変化とを検出する。そして、センサー１４は、スマートフォン１の位置の変化に基づく信号と、スマートフォン１の姿勢の変化に基づく信号とを処理装置１２へ出力する。

【0049】

タッチパネル１６は、画像を表示する表示部１６０と、ユーザーＵからの入力操作を受け付ける入力部１６１とが一体化された装置である。表示部１６０は、所謂ディスプレイパネルであり、例えば、液晶パネルや有機ＥＬパネル等を含んで構成される。ここで、ＥＬとはElectro-Luminescenceの略称である。表示部１６０は、表示制御部１２０の制御により、各種画像を表示する。入力部１６１は、例えば透明なシート状の接触センサーを含んで構成される。入力部１６１は、表示部１６０を覆うように設けられる。入力部１６１は、入力部１６１に接触する物体と、入力部１６１とによって特定される静電容量を用いてタッチ位置を検出し、検出したタッチ位置を示すデータを処理装置１２へ出力する。

【0050】

撮像装置１８は、例えば、集光のための撮像レンズ１８０と、集光された光を電気信号に変換する撮像素子１８１とを備えるカメラである。光軸Ｌ１１および光軸Ｌ１２は、撮像レンズ１８０の光軸である。撮像素子１８１は、例えば、ＣＣＤまたはＣＭＯＳ等を一例とするイメージセンサーである。ここで、ＣＣＤとはCharge Coupled Deviceの略称であり、ＣＭＯＳとはComplementary Metal Oxide Semiconductorの略称である。撮像装置１８は、撮像制御部１２１の制御により、撮像画像を取得する。また、撮像装置１８は、取得された撮像画像を表す情報を、処理装置１２へ出力する。例えば、撮像装置１８は、撮像画像ＧＣ１と、モニター画像ＧＣ２とを取得する。また、撮像装置１８は、撮像画像ＧＣ１を表す撮像情報１０５と、モニター画像ＧＣ２を表すモニター情報１０６とを、処理装置１２へ出力する。

【0051】

１．４．スマートフォンの動作
図１２は、実施形態に係るスマートフォン１の動作について説明するためのフローチャートである。当該フローチャートに示す一連の動作は、例えば、スマートフォン１の電源がＯＮになり、タッチパネル１６が動作開始に係るユーザーＵからの入力操作を受け付けた際に開始される。

【0052】

ステップＳ１０１において、撮像制御部１２１は、撮像装置１８を制御することで、物体Ｏｂ１を撮像させる。そして、撮像制御部１２１は、撮像装置１８から、物体Ｏｂ１を撮像した撮像結果を表すモニター情報１０６を取得する。また、撮像制御部１２１は、取得したモニター情報１０６を記憶装置１０に記憶させる。

【0053】

ステップＳ１０２において、表示制御部１２０は、タッチパネル１６の備える表示部１６０を制御することで、モニター情報１０６の示すモニター画像ＧＣ２を表示させる。

【0054】

ステップＳ１０３において、入力管理部１２２は、入力部１６１がユーザーＵから検出操作を受け付けたか否かを判定する。入力部１６１がユーザーＵから検出操作を受け付けた場合、すなわち、ステップＳ１０３でＹＥＳの場合、入力管理部１２２は処理をステップＳ１０４へ進める。また、入力部１６１がユーザーＵから検出操作を受け付けていない場合、すなわち、ステップＳ１０３でＮＯの場合、入力管理部１２２は処理をステップＳ１０１へ進める。

【0055】

入力部１６１がユーザーＵから検出操作を受け付けていない場合、スマートフォン１は、入力部１６１がユーザーＵから検出操作を受け付けるまで撮像装置１８に物体Ｏｂ１を撮像させ続ける。そして、スマートフォン１は、タッチパネル１６に表示されるモニター画像を更新し続ける。本実施形態では、ユーザーＵが、タッチパネル１６にモニター画像ＧＣ２が表示されている時点で検出操作を行った場合を想定する。

【0056】

ステップＳ１０４において、検出部１２４は、モニター画像ＧＣ２に物体Ｏｂ１の有する面Ｗ３を示す画像が含まれるか否かを判定する。モニター画像ＧＣ２に物体Ｏｂ１の有する面Ｗ３を示す画像が含まれると判定した場合、すなわち、ステップＳ１０４でＹＥＳの場合、検出部１２４は処理をステップＳ１０７へ進める。また、モニター画像ＧＣ２に物体Ｏｂ１の有する面Ｗ３を示す画像が含まれないと判定した場合、すなわち、ステップＳ１０４でＮＯの場合、検出部１２４は処理をステップＳ１０５へ進める。

【0057】

ステップＳ１０４における判定は、検出部１２４がモニター画像から複数の特徴点を抽出し、抽出された複数の特徴点の数や位置等に基づいて実施される。このため、モニター画像から特徴点を正しく抽出できない場合、当該モニター画像に平坦な面を示す画像が含まれていても、検出部１２４は、平坦な面を示す画像が含まれないと判定することがある。

【0058】

ステップＳ１０５において、表示制御部１２０は、タッチパネル１６の備える表示部１６０を制御することで、通知情報１０８の示す通知画像ＧＮ１を表示させる。

【0059】

ステップＳ１０６において、入力管理部１２２は、入力部１６１がユーザーＵから設定操作を受け付けたか否かを判定する。入力部１６１がユーザーＵから設定操作を受け付けた場合、すなわち、ステップＳ１０６でＹＥＳの場合、入力管理部１２２は処理をステップＳ１０７へ進める。また、入力部１６１がユーザーＵから設定操作を受け付けていない場合、すなわち、ステップＳ１０６でＮＯの場合、入力管理部１２２はステップＳ１０６における処理を再度実行する。

【0060】

入力部１６１がユーザーＵから設定操作を受け付けていない場合、入力管理部１２２は、入力部１６１がユーザーＵから設定操作を受け付けるまで、ステップＳ１０６における判定を繰り返す。なお、入力部１６１がユーザーＵから設定操作を受け付けるまで、タッチパネル１６には通知画像ＧＮ１が表示され続けることが好ましい。これにより、ユーザーＵは、通知画像ＧＮ１に含まれるメッセージを確認することで、ユーザーＵが実施すべき行動を把握することができる。

【0061】

ステップＳ１０７において、空間管理部１２５は、空間情報１０１を更新することで、面Ｗ３を、投射画像ＧＰ１が仮想的に表示される面として設定する。

【0062】

ステップＳ１０８において、撮像制御部１２１は、撮像装置１８を制御することで、物体Ｏｂ１を撮像させる。そして、撮像制御部１２１は、撮像装置１８から、物体Ｏｂ１を撮像した撮像結果を表す撮像情報１０５を取得する。また、撮像制御部１２１は、取得した撮像情報１０５を記憶装置１０に記憶させる。

【0063】

ステップＳ１０９において、画像生成部１２３は、空間情報１０１、位置情報１０２および姿勢情報１０３に基づいて、設定画像ＧＶ１を表す設定画像情報１０７を生成する。また、画像生成部１２３は、設定画像情報１０７および撮像情報１０５に基づいて、第１重畳画像ＧＭ１１を表す第１重畳画像情報１１１を生成する。

【0064】

ステップＳ１１０において、表示制御部１２０は、タッチパネル１６の備える表示部１６０を制御することで、第１重畳画像情報１１１の示す第１重畳画像ＧＭ１１を表示させる。

【0065】

ステップＳ１１１において、入力管理部１２２は、入力部１６１がユーザーＵから再設定操作を受け付けたか否かを判定する。入力部１６１がユーザーＵから再設定操作を受け付けた場合、すなわち、ステップＳ１１１でＹＥＳの場合、入力管理部１２２は処理をステップＳ１０７へ進める。また、入力部１６１がユーザーＵから再設定操作を受け付けていない場合、すなわち、ステップＳ１１１でＮＯの場合、入力管理部１２２は処理をステップＳ１１２へ進める。

【0066】

仮に、ステップＳ１０６の設定操作においてスマートフォン１と物体Ｏｂ１の面Ｗ３とが離れていた場合には、ステップＳ１１０までの処理が実行され、第１重畳画像ＧＭ１２が表示される。ステップＳ１１０において表示された画像が第１重畳画像ＧＭ１２であった場合、ユーザーＵは、投射画像ＧＰ１が仮想的に表示される面として設定された面が面Ｗ３ではないことを把握することができる。このような場合、ユーザーＵは、スマートフォン１を物体Ｏｂ１の面Ｗ３に接触させた状態で再設定操作を実施することで、面Ｗ３を、投射画像ＧＰ１が仮想的に表示される面として設定することができる。

【0067】

ステップＳ１１２において、入力管理部１２２は、入力部１６１がユーザーＵから表示操作を受け付けたか否かを判定する。入力部１６１がユーザーＵから表示操作を受け付けた場合、すなわち、ステップＳ１１２でＹＥＳの場合、入力管理部１２２は処理をステップＳ１１３へ進める。また、入力部１６１がユーザーＵから表示操作を受け付けていない場合、すなわち、ステップＳ１１２でＮＯの場合、入力管理部１２２は処理をステップＳ１０８へ進める。

【0068】

入力部１６１がユーザーＵから表示操作を受け付けていない場合、スマートフォン１は、入力部１６１がユーザーＵから表示操作を受け付けるまで撮像装置１８に物体Ｏｂ１を撮像させ続ける。そして、スマートフォン１は、タッチパネル１６に表示される画像を更新し続ける。本実施形態では、ユーザーＵが、タッチパネル１６に第１重畳画像ＧＭ１１が表示されている時点で表示操作を行った場合を想定する。

【0069】

ステップＳ１１３において、画像生成部１２３は、投射画像情報１０４および撮像情報１０５に基づいて、第２重畳画像ＧＭ２１を表す第２重畳画像情報１１２を生成する。

【0070】

ステップＳ１１４において、表示制御部１２０は、タッチパネル１６の備える表示部１６０を制御することで、第２重畳画像情報１１２の示す第２重畳画像ＧＭ２１を表示させる。

【0071】

ステップＳ１０７においてユーザーＵが設定操作を行った場合、投射画像ＧＰ１は、例えば、スマートフォン１が設定操作を受け付けた時点で、撮像装置１８が位置していた面Ｗ３上の箇所に対応する画像ＧＷ３の位置を基準として表示される。ステップＳ１０４において検出部１２４が面Ｗ３を検出した場合、スマートフォン１は、例えば、検出された面Ｗ３の位置および形状に基づいて、投射画像ＧＰ１が面Ｗ３の一部または全部に仮想的に表示されるように設定する。

【0072】

ステップＳ１１４における処理が実行された後、処理装置１２は、図１２のフローチャートに示す一連の動作を終了させる。

【0073】

以上より、実施形態によれば、スマートフォン１は、物体Ｏｂ１の面Ｗ３に位置する状態でユーザーＵから設定操作を受け付けることで、面Ｗ３を、投射画像ＧＰ１が仮想的に表示される面として設定することができる。すなわち、スマートフォン１は、面Ｗ３を検出できない場合であっても、面Ｗ３を示す画像ＧＷ３に、投射画像ＧＰ１を重畳させて表示することができる。

【0074】

また、実施形態によれば、スマートフォン１は、設定画像ＧＶ１を含む第１重畳画像ＧＭ１１を表示させることで、投射画像ＧＰ１が仮想的に表示される面の位置を示すことができる。すなわち、ユーザーＵは、撮像装置１８が面Ｗ３に位置する状態で設定操作が実行されたか否かを確認することができる。

【0075】

以上に説明したように、実施形態に係る画像の表示方法は、現実空間に位置する物体Ｏｂ１の面Ｗ３を、投射画像ＧＰ１が仮想的に表示される面として設定する設定操作をユーザーＵから受け付けることと、物体Ｏｂ１を撮像することにより得られた撮像画像ＧＣ１に、面Ｗ３を含む平面Ｈ１を示す設定画像ＧＶ１が重畳された第１重畳画像ＧＭ１１を表示することと、を含む。

【0076】

また、実施形態に係るスマートフォン１は、処理装置１２を備え、処理装置１２は、現実空間に位置する物体Ｏｂ１の面Ｗ３を投射画像ＧＰ１が仮想的に表示される面として設定する設定操作をユーザーＵから受け付けることと、物体Ｏｂ１を撮像することにより得られた撮像画像ＧＣ１に、面Ｗ３を含む平面Ｈ１を示す設定画像ＧＶ１が重畳された第１重畳画像ＧＭ１１を、タッチパネル１６に出力することと、を実行する。

【0077】

また、実施形態に係るプログラム１００は、処理装置１２に、現実空間に位置する物体Ｏｂ１の面Ｗ３を投射画像ＧＰ１が仮想的に表示される面として設定する設定操作をユーザーＵから受け付けることと、物体Ｏｂ１を撮像することにより得られた撮像画像ＧＣ１に、面Ｗ３を含む平面Ｈ１を示す設定画像ＧＶ１が重畳された第１重畳画像ＧＭ１１を、タッチパネル１６に出力することと、を実行させる。

【0078】

すなわち、本実施形態に係る画像の表示方法、スマートフォン１、およびプログラム１００は、投射画像ＧＰ１が仮想的に表示される面、換言すれば投射画像ＧＰ１が重畳される撮像画像ＧＣ１上の位置を、ユーザーＵの操作に基づいて設定することができる。これにより、スマートフォン１は、被写体となる物体Ｏｂ１の外観の特徴を表す特徴データを使用しなくても、ユーザーＵが指定した位置に投射画像ＧＰ１を表示することができるので、適切な位置に投射画像ＧＰ１を表示することができる。
また、本実施形態に係るスマートフォン１は、設定画像ＧＶ１を含む第１重畳画像ＧＭ１１を表示させることで、投射画像ＧＰ１が仮想的に表示される面の位置を示すことができる。これにより、ユーザーＵは、設定操作が自身の意図した通りに実行されたか否かを、投射画像ＧＰ１が表示される前に確認することができる。

【0079】

なお、本実施形態において、スマートフォン１は「情報処理装置」の一例であり、プログラム１００は「プログラム」の一例であり、物体Ｏｂ１は「物体」の一例であり、面Ｗ３は「第１の面」の一例であり、投射画像ＧＰ１は「投射画像」の一例であり、ユーザーＵは「ユーザー」の一例であり、撮像画像ＧＣ１は「撮像画像」の一例であり、平面Ｈ１は「第１の面を含む平面」の一例であり、設定画像ＧＶ１は「設定画像」の一例であり、第１重畳画像ＧＭ１１は「第１重畳画像」の一例であり、処理装置１２は「処理装置」の一例であり、タッチパネル１６は「表示装置」の一例である。

【0080】

また、実施形態に係る画像の表示方法において、撮像画像ＧＣ１は、撮像装置１８によって取得され、設定操作は、撮像装置１８が物体Ｏｂ１の面Ｗ３に位置する状態で実行され、設定操作を受け付けた第１の時点における撮像装置１８の位置を基準として、撮像装置１８が撮像画像ＧＣ１を取得した第２の時点における撮像装置１８の変位ＤＰ１を表す位置情報１０２と、第１の時点における撮像装置１８の姿勢を基準として、第２の時点における撮像装置１８の姿勢の変化を表す姿勢情報１０３とを取得することを更に含み、設定画像ＧＶ１は、位置情報１０２および姿勢情報１０３に基づいて生成される。

【0081】

すなわち、スマートフォン１は、撮像装置１８が物体Ｏｂ１の面Ｗ３に位置する状態で、ユーザーＵから設定操作を受け付ける。これにより、ユーザーＵは、簡便な操作で、かつ正確に、投射画像ＧＰ１が仮想的に表示される面を設定することができる。
また、第１重畳画像ＧＭ１１は、位置情報１０２と、姿勢情報１０３とに基づいて生成された設定画像ＧＶ１を、撮像画像ＧＣ１に重畳することで生成される。すなわち、スマートフォン１は、例えば、画像処理によって特徴点を抽出することが難しい面を、投射画像ＧＰ１が仮想的に表示される面として設定する場合であっても、面の位置を特定することができる。これにより、スマートフォン１は、設定画像ＧＶ１を、所定の位置に、適切に重畳することができる。

【0082】

なお、本実施形態において、撮像装置１８は「撮像装置」の一例であり、位置情報１０２は「位置情報」の一例であり、姿勢情報１０３は「姿勢情報」の一例であり、変位ＤＰ１は「変位」の一例である。

【0083】

また、実施形態に係る画像の表示方法は、面Ｗ３を検出することを指示する検出操作をユーザーＵから受け付けることと、検出操作を受け付け、かつ、面Ｗ３が検出されない場合に、設定操作に関する通知を出力することと、を更に含む。

【0084】

すなわち、ユーザーＵは、複数の手段によって、投射画像ＧＰ１が仮想的に表示される面を設定することができる。これにより、投射画像ＧＰ１が仮想的に表示される面を設定する際のユーザビリティが向上する。

【0085】

なお、本実施形態において、「設定操作に関する通知を出力すること」は通知画像ＧＮ１をタッチパネル１６に表示させることを一例とする。

【0086】

また、実施形態に係る画像の表示方法において、検出操作を受け付けた場合に、物体Ｏｂ１を撮像することにより得られるモニター画像ＧＣ２に面Ｗ３を示す画像が含まれるか否かを判定することを更に含み、通知を出力することは、モニター画像ＧＣ２に面Ｗ３を示す画像が含まれないと判定された場合に、通知を出力することを含む。

【0087】

これにより、ユーザーＵは、投射画像ＧＰ１が仮想的に表示される面として設定したい面を、モニター画像を用いて確認しながら、検出操作を行うことができる。

【0088】

なお、本実施形態において、モニター画像ＧＣ２は「モニター画像」の一例である。また、「第１の面を示す画像」は画像ＧＷ３および画像ＧＷ３ａを一例とする。

【0089】

また、実施形態に係る画像の表示方法は、投射画像ＧＰ１を表示させる表示操作をユーザーＵから受け付けることと、表示操作を受け付けた場合に、撮像画像ＧＣ１に含まれる画像ＧＷ３の一部または全部の領域に投射画像ＧＰ１が重畳された第２重畳画像ＧＭ２１を表示することと、を更に含む。

【0090】

ユーザーＵから表示操作を受け付けた場合、スマートフォン１は、投射画像ＧＰ１を撮像画像ＧＣ１に重畳する。これにより、ユーザーＵは、投射画像ＧＰ１が現実空間に投射された場合の見え方を、第２重畳画像ＧＭ２１によって確認することができる。

【0091】

なお、本実施形態において、第２重畳画像ＧＭ２１は「第２重畳画像」の一例である。

【0092】

２．変形例
以上の実施形態は多様に変形され得る。具体的な変形の態様を以下に例示する。また、以下の例示から任意に選択された２以上の態様は、相互に矛盾しない範囲内で適宜併合され得る。なお、以下に例示する変形例において作用や機能が前述の実施形態と同等である要素については、以上の説明で使用した符号を流用して各々の詳細な説明を適宜省略する。

【0093】

２．１．変形例１
前述の実施形態において、物体の有する面上に投射画像が仮想的に表示される場合を例示したが、投射画像と併せて、投射画像を投射する仮想のプロジェクターが表示されてもよい。

【0094】

図１３は、第２重畳画像ＧＭ２３について説明するための模式図である。第２重畳画像ＧＭ２３は、スマートフォン１の備えるタッチパネル１６に表示される。第２重畳画像ＧＭ２３は、撮像装置１８によって物体Ｏｂ１を撮像することにより得られた撮像画像ＧＣ３に、投射画像ＧＰ１ｂと、投射装置画像ＧＳ１とが重畳された画像である。撮像画像ＧＣ３は、画像ＧＯｂ１ｂと、画像ＧＷＦｂとを含む。画像ＧＯｂ１ｂは、画像ＧＷ３ｂと、画像ＧＷ４ｂとを含む。画像ＧＷ３ｂは、面Ｗ３を示す画像である。画像ＧＷ４ｂは、面Ｗ４を示す画像である。画像ＧＷＦｂは、床面ＷＦを示す画像である。投射装置画像ＧＳ１は、現実空間に仮想的に配置される仮想のプロジェクターを示す画像である。投射画像ＧＰ１ｂは、投射装置画像ＧＳ１の示す仮想のプロジェクターから、面Ｗ３に仮想的に投射される画像である。すなわち、投射画像ＧＰ１ｂは、面Ｗ３を示す画像ＧＷ３ｂに重畳される。これにより、例えば、現実空間内にプロジェクターを配置した場合の、投射画像の表示のされ方に関するシミュレーションを行うことができる。

【0095】

以上に説明したように、変形例１に係る画像の表示方法において、投射画像ＧＰ１ｂは、現実空間に仮想的に配置される仮想のプロジェクターから、仮想的に投射される画像である。

【0096】

すなわち、スマートフォン１は、現実空間に配置された物体Ｏｂ１の面上に仮想的に表示される投射画像ＧＰ１ｂと、投射画像ＧＰ１ｂを仮想的に投射する仮想のプロジェクターとを表示することができる。これにより、スマートフォン１のユーザーＵは、例えば、現実空間内にプロジェクターを配置した場合の、投射画像の表示のされ方に関するシミュレーションを行うことができる。

【0097】

なお、変形例１において、投射画像ＧＰ１ｂは「投射画像」の一例である。

【0098】

２．２．変形例２
前述の実施形態および変形例において、投射画像が面Ｗ３を示す画像に重畳して表示される、換言すれば投射画像が面Ｗ３上に仮想的に表示される場合を例示したが、投射画像が仮想的に表示される面は、面Ｗ３とは異なる面であってもよい。すなわち、スマートフォン１は、撮像装置１８が面Ｗ３とは異なる面に位置する状態で、ユーザーＵから設定操作を受け付けてもよい。例えば、スマートフォン１は、撮像装置１８が物体Ｏｂ１の面Ｗ２に位置する状態で、ユーザーＵから設定操作を受け付けてもよい。

【0099】

図１４は、第１重畳画像ＧＭ１３について説明するための模式図である。第１重畳画像ＧＭ１３は、スマートフォン１が物体Ｏｂ１の面Ｗ２に位置する状態で、ユーザーＵから設定操作を受け付けた場合に、タッチパネル１６に表示される画像である。第１重畳画像ＧＭ１３は、撮像画像ＧＣ１に、設定画像ＧＶ４が重畳された画像である。設定画像ＧＶ４は、面Ｗ２を含む平面を示す画像である。また、設定画像ＧＶ４は、設定画像ＧＶ１と同様、投射画像が仮想的に表示される面の位置を示すための画像である。ユーザーＵは、設定画像ＧＶ４を確認することで、投射画像が仮想的に表示される面が面Ｗ２であることが判る。なお、撮像画像ＧＣ１は面Ｗ２を示す画像を含んでいないことから、ユーザーＵは、表示操作を実行する前に、スマートフォン１に面Ｗ２を示す画像を含む撮像画像を取得させることが好ましい。また、投射画像が仮想的に表示される面を有する物体は、例えば、壁面Ｗ１そのものであってもよい。この場合は、スマートフォン１は、撮像装置１８が壁面Ｗ１に位置する状態で、ユーザーＵから設定操作を受け付ける。

【0100】

２．３．変形例３
前述の実施形態および変形例では、本発明に係る情報処理装置として、スマートフォン１を例示したが、スマートフォン１の代わりに、スマートフォン１と同様の機能を有するタブレット端末やノートパソコン等であってもよい。

【0101】

２．４．変形例４
前述の実施形態および変形例において、面Ｗ３が検出されなかった場合、設定操作の実行をユーザーＵに促すためのメッセージを含む通知画像ＧＮ１が表示される場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、メッセージを表示する代わりに、音声を用いて、設定操作の実行をユーザーＵに促してもよい。すなわち、音声を用いて、設定操作に関する通知を出力してもよい。

【符号の説明】

【0102】

１…スマートフォン、１０…記憶装置、１２…処理装置、１４…センサー、１６…タッチパネル、１８…撮像装置、１００…プログラム、１０１…空間情報、１０２…位置情報、１０３…姿勢情報、１０４…投射画像情報、１０５…撮像情報、１０６…モニター情報、１０７…設定画像情報、１１０…重畳画像情報、１１１…第１重畳画像情報、１１２…第２重畳画像情報、１２０…表示制御部、１２１…撮像制御部、１２２…入力管理部、１２３…画像生成部、１２４…検出部、１２５…空間管理部、１６０…表示部、１６１…入力部、１８０…撮像レンズ、１８１…撮像素子、ＤＰ１…変位、ＧＣ１…撮像画像、ＧＣ２…モニター画像、ＧＭ１１…第１重畳画像、ＧＭ２１…第２重畳画像、ＧＮ１…通知画像、ＧＶ１…設定画像、ＧＰ１…投射画像、ＧＳ１…投射装置画像、Ｌ１１…光軸、Ｏｂ１…物体、Ｈ１…平面、Ｕ…ユーザー、Ｗ１…壁面、Ｗ３…面、ＷＦ…床面。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】