特許 7464066 画像編集方法、画像編集システム、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-01

(45)【発行日】2024-04-09

(54)【発明の名称】画像編集方法、画像編集システム、及びプログラム

(51)【国際特許分類】

   G09G 5/00 20060101AFI20240402BHJP

   G09G 5/37 20060101ALI20240402BHJP

   H04N 5/74 20060101ALI20240402BHJP

【ＦＩ】

G09G5/00 510B

G09G5/00 550C

G09G5/00 555D

G09G5/37 320

H04N5/74 Z

【請求項の数】 5

(21)【出願番号】P 2022022674

(22)【出願日】2022-02-17

(65)【公開番号】P2023119685

(43)【公開日】2023-08-29

【審査請求日】2022-11-25

(73)【特許権者】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】110003177

【氏名又は名称】弁理士法人旺知国際特許事務所

(72)【発明者】

【氏名】北林 一良

(72)【発明者】

【氏名】宮田 愛恵

(72)【発明者】

【氏名】西本 徹太

【審査官】武田 悟

(56)【参考文献】

【文献】特開２０１１－１８８０２３（ＪＰ，Ａ）

【文献】特開２０１７－２０００２１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０２１３１９６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｇ ５／００ － ５／４２

Ｈ０４Ｎ ５／７４

(57)【特許請求の範囲】

【請求項1】

プロジェクターからの画像の投射先となる投射対象物を含み、且つ、前記プロジェクターによって第１画像が表示された実空間内の投射領域を、カメラの撮像範囲の中心部分と前記第１画像の中心部分とが重なる前記実空間内の位置から前記カメラによって撮像することによって、撮像画像を取得すること、
前記撮像画像と前記撮像範囲の中心部分を示す第３画像とが重畳された重畳画像を表示装置に表示すること、
前記重畳画像において前記第１画像の中心部分と前記撮像範囲の中心部分とが重なる領域の大きさが閾値未満であるか否かを判定すること、
前記領域の大きさが前記閾値未満である場合に、前記第３画像の中心部分と前記重畳画像における前記第１画像の中心部分とが重なる位置に前記カメラを移動させることを促す通知を出力すること、及び、
前記プロジェクターによる前記第１画像の表示を停止し、前記第１画像が表示されていない投射領域を前記カメラによって撮像することで得られた基準画像を編集することによって得られる第２画像を、前記プロジェクターに送信すること、
を含む、画像編集方法。

【請求項2】

前記撮像画像が取得された場合に、前記基準画像を編集する編集機能を呼び出すことに用いるユーザーインターフェイス画像を表示すること、を更に含み、
前記第２画像は、前記編集機能によって前記撮像画像を編集することで得られる、
請求項１に記載の画像編集方法。

【請求項3】

前記領域の大きさが前記閾値以上である場合に、前記投射領域を前記カメラに撮像させること、を含む、
請求項１又は請求項２に記載の画像編集方法。

【請求項4】

カメラと、
プロジェクター、表示装置、及び前記カメラ、を制御する処理装置と、を含み、
前記処理装置は、
前記プロジェクターからの画像の投射先となる投射対象物を含み、且つ、前記プロジェクターによって第１画像を表示させた実空間内の投射領域を、カメラの撮像範囲の中心部分と前記第１画像の中心部分とが重なる前記実空間内の位置から前記カメラに撮像させることによって、撮像画像を取得すること、及び、
前記撮像画像と前記撮像範囲の中心部分を示す第３画像とが重畳された重畳画像を前記表示装置に表示させること、
前記重畳画像において前記第１画像の中心部分と前記撮像範囲の中心部分とが重なる領
域の大きさが閾値未満であるか否かを判定すること、
前記領域の大きさが前記閾値未満である場合に、前記第３画像の中心部分と前記重畳画像における前記第１画像の中心部分とが重なる位置に前記カメラを移動させることを促す通知を出力すること、及び、
前記プロジェクターによる前記第１画像の表示を停止し、前記第１画像が表示されていない投射領域を前記カメラに撮像させることで得られた基準画像を編集することによって得られる第２画像を、前記プロジェクターに送信すること、を実行する、
画像編集システム。

【請求項5】

コンピューターに、
プロジェクターからの画像の投射先となる投射対象物を含み、且つ、前記プロジェクターによって第１画像を表示させた実空間内の投射領域を、カメラの撮像範囲の中心部分と前記第１画像の中心部分とが重なる前記実空間内の位置から前記カメラに撮像させることによって、撮像画像を取得すること、
前記撮像画像と前記撮像範囲の中心部分を示す第３画像とが重畳された重畳画像を表示装置に表示させること、
前記重畳画像において前記第１画像の中心部分と前記撮像範囲の中心部分とが重なる領
域の大きさが閾値未満であるか否かを判定すること、
前記領域の大きさが前記閾値未満である場合に、前記第３画像の中心部分と前記重畳画像における前記第１画像の中心部分とが重なる位置に前記カメラを移動させることを促す通知を出力すること、及び、
前記プロジェクターによる前記第１画像の表示を停止し、前記第１画像が表示されていない投射領域を前記カメラに撮像させることで得られた基準画像を編集することによって得られる第２画像を、前記プロジェクターに送信すること、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像編集方法、画像編集システム、及びプログラム、に関する。

【背景技術】

【0002】

近年、３次元形状を有する物体に対してプロジェクターから各種画像を投射することにより様々な演出を行うプロジェクションマッピングが普及しつつある。以下では、プロジェクターから画像を投射される物体は投射対象物と称される。プロジェクションマッピングを行うには、プロジェクターから投射する２次元画像、即ちプロジェクター視点の２次元画像を作成しておくことが必要となる。プロジェクター視点の２次元画像の作成に関する技術が種々提案されており、その一例としては特許文献１に開示の技術が挙げられる。特許文献１に開示の技術は、３次元的な投影対象の投影装置視点画像を取得し、投影コンテンツとして投影対象に対応する３次元モデルを準備し、この３次元モデルを投影装置視点画像に一致する２次元画像に変換することにより、投影装置から投影する２次元画像を作成する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１９２０４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示の技術を利用してプロジェクションマッピングを行うには、プロジェクターの視点から見える投射対象物の形状に関する知見、及び３次元モデルに関する知見等の専門知識がユーザーに要求される。しかし、プロジェクションマッピングを行おうとするユーザーが、そのような専門知識を常に有しているとは限らない。特許文献１に開示の技術には、専門知識を有さないユーザーが、手軽にプロジェクションマッピングを実現できない、という問題がある。

【課題を解決するための手段】

【0005】

本開示の画像編集方法の一態様は、プロジェクターからの画像の投射先となる投射対象物を含み、且つ、前記プロジェクターによって第１画像が表示される実空間内の投射領域を、カメラの撮像範囲の中心部分と前記第１画像の中心部分とが重なる前記実空間内の位置から前記カメラによって撮像することによって、撮像画像を取得すること、及び、前記撮像画像を編集することによって得られる第２画像を、プロジェクターに送信すること、を含む。

【0006】

また、本開示の画像編集システムの一態様は、カメラと、前記カメラを制御する処理装置と、を含み、前記処理装置は、プロジェクターからの画像の投射先となる投射対象物を含み、且つ、前記プロジェクターによって第１画像が表示される実空間内の投射領域を、カメラの撮像範囲の中心部分と前記第１画像の中心部分とが重なる前記実空間内の位置から前記カメラによって撮像することによって、撮像画像を取得すること、及び、前記撮像画像を編集することによって得られる第２画像を、プロジェクターに送信すること、を実行する。

【0007】

また、本開示のプログラムは、コンピューターに、プロジェクターからの画像の投射先となる投射対象物を含み、且つ、前記プロジェクターによって第１画像が表示される実空間内の投射領域を、カメラの撮像範囲の中心部分と前記第１画像の中心部分とが重なる前記実空間内の位置から前記カメラによって撮像することによって、撮像画像を取得すること、及び、前記撮像画像を編集することによって得られる第２画像を、プロジェクターに送信すること、を実行させる。

【図面の簡単な説明】

【0008】

【図1】本開示の実施形態による画像編集システム１の構成例を示す図である。

【図2】情報処理装置２０の構成例を示す図である。

【図3】第１ガイド画像ＧＡ１の一例を示す図である。

【図4】投射領域に対する投射対象物ＳＣの設置例を示す図である。

【図5】撮像画像ＧＡ２、第２ガイド画像ＧＡ３、及び重畳画像ＧＡ４の関係を示す図である。

【図6】重畳画像ＧＡ４、メッセージＭ１、及びユーザーインターフェイス画像ＧＡ５の表示例を示す図である。

【図7】第１ガイド画像ＧＡ１の中心部分と第２ガイド画像ＧＡ３の中心部分とがほぼ一致したときの重畳画像ＧＡ４の一例を示す図である。

【図8】基準画像に基づいて編集される投射画像ＧＢ１の一例を示す図である。

【図9】プロジェクター１０による投射画像ＧＢ１の投射例を示す図である。

【図10】処理装置２１０がプログラムＰＡに従って実行する画像編集方法の流れを示すフローチャートである。

【発明を実施するための形態】

【0009】

以下に述べる実施形態には技術的に好ましい種々の限定が付されている。しかし、本開示の実施形態は、以下に述べる形態に限られるものではない。
１．実施形態
図１は、本発明の開示の実施形態による画像編集システム１の構成例を示す図である。画像編集システム１は、投射対象物ＳＣを含む投射領域に対してプロジェクター１０から投射する画像を表す画像データを編集するための情報処理システムである。本実施形態における投射対象物ＳＣは、地紙に人物が描かれた団扇である。プロジェクター１０及び投射対象物ＳＣは、プロジェクター１０を使用するユーザーの居室に設置される。プロジェクター１０を使用するユーザーの居室は本開示における実空間の一例である。

【0010】

プロジェクター１０は、画像供給装置から供給される画像データに応じた画像光を投射することにより、この画像データの表す画像を投射する装置である。詳細について後述するが、本実施形態における画像供給装置は情報処理装置２０である。図１では、詳細な図示が省略されているが、プロジェクター１０は、投射レンズ、液晶駆動部、液晶パネル、及び光源部、を含む。液晶駆動部は、画像供給装置から供給される画像データに従って液晶パネルを駆動することにより、この画像データの表す画像を液晶パネルに描画する。光源部は、例えば、ハロゲンランプ又はレーザーダイオードなどの光源を含む。光源部からの光は、液晶パネルにおいて画素毎に変調され、投射レンズを介して画像光として投射される。

【0011】

本実施形態における投射領域は、プロジェクター１０の居室内における所定の領域である。プロジェクター１０から投射領域に画像を投射することにより、投射領域に画像が表示される。以下では、プロジェクター１０によって投射される画像は投射画像と称される。投射画像を表す画像データは投射画像データと称される場合がある。投射領域には投射対象物ＳＣが含まれる。本実施形態では、投射領域に投射画像を表示することにより、投射対象物ＳＣを装飾するプロジェクションマッピングが実現される。投射画像は静止画像であってもよく、また動画像であってもよい。本実施形態における投射画像は静止画像である。

【0012】

図１に示されるように、画像編集システム１は、情報処理装置２０と、カメラ３０と、端末装置４０と、を含む。図１には、画像編集システム１の他に、プロジェクター１０、投射対象物ＳＣ、通信網５０、及び画像保管装置６０が図示されている。

【0013】

情報処理装置２０は、例えばスティック型パーソナルコンピューターである。情報処理装置２０は、例えばＵＳＢ（Universal Serial Bus）等の所定の規格に準拠したオス型コネクターを備える。プロジェクター１０は当該オス型コネクターに対応したメス型コネクターを備える。情報処理装置２０のオス型コネクターをプロジェクター１０のメス型コネクターに差し込むことにより、情報処理装置２０とプロジェクター１０とが電気的に接続される。また、情報処理装置２０は、無線又は有線によりカメラ３０及び端末装置４０と通信する。

【0014】

カメラ３０は、投射領域を撮像するための装置である。カメラ３０は、例えば三脚等を用いて、光軸を投射対象物ＳＣに向けた姿勢でユーザーの居室内に設置される。本実施形態では、ユーザーは居室内においてカメラ３０を設置する位置を任意に変更できる。カメラ３０は、情報処理装置２０による制御の下で撮像を行い、撮像画像を表す画像データを情報処理装置２０に出力する。以下では、撮像画像を表す画像データは撮像画像データと称される。

【0015】

通信網５０は、例えばインターネット等の電気通信回線である。通信網５０には、画像保管装置６０が接続される。画像保管装置６０は、例えばデータサーバーである。画像保管装置６０には、１又は複数の画像データが記憶される。画像保管装置６０に記憶される画像データの具体例としては、画像編集システム１により編集された投射画像データ、又はカメラ３０による撮像画像を表す撮像画像データが挙げられる。画像保管装置６０に画像データを記憶させることで、プロジェクター１０のユーザーは編集済の投射画像又は投射領域の撮像画像を再利用することができる。

【0016】

端末装置４０は、プロジェクター１０のユーザーが使用するスマートフォンである。図１に示されるように、端末装置４０は、外部ＩＦ装置４１０、表示装置４２０、及び入力装置４３０を備える。外部ＩＦ装置４１０は、通信網５０を介して画像保管装置６０と通信するとともに、情報処理装置２０と通信する通信回路を含む。ＩＦは、Interfaceの略である。表示装置４２０は、液晶ディスプレイと当該液晶ディスプレイの駆動回路とを含む。端末装置４０は、情報処理装置２０による制御の元、各種画像を表示装置４２０に表示する。入力装置４３０は、表示装置４２０の表示領域を覆うように設けられた透明なシート状の感圧センサであり、ユーザーの入力操作を受け付ける。端末装置４０は、入力装置４３０に対するユーザーの入力操作を示す入力操作データを、外部ＩＦ装置４１０を介して情報処理装置２０に送信する。これにより、ユーザーの入力操作が情報処理装置２０に伝達される。また、端末装置４０には、カメラ３０による撮像画像を編集することで投射画像を生成するためのソフトウェアである画像描画ツールが予めインストールされている。この画像描画ツールは本開示における編集機能に対応する。

【0017】

詳細については後述するが、情報処理装置２０は、端末装置４０に対して為される入力操作に応じて、カメラ３０による投射領域の撮像、入力装置４３０に対して為されたユーザーの入力操作に応じた投射画像データの編集、及び編集した投射画像データのプロジェクター１０への出力を行う。プロジェクター１０は、情報処理装置２０から出力された投射画像データの表す投射画像を投射領域に投射する。

【0018】

図２は、情報処理装置２０の構成例を示す図である。図２に示されるように情報処理装置２０は、処理装置２１０、外部ＩＦ装置２２０、及び記憶装置２３０を含む。処理装置２１０は、例えばＣＰＵ（Central Processing Unit）等のプロセッサー、即ちコンピューターを含んで構成される。処理装置２１０は、単一のプロセッサーで構成されてもよいし、複数のプロセッサーで構成されてもよい。処理装置２１０は、記憶装置２３０に記憶されているプログラムＰＡに従って作動することにより、情報処理装置２０の制御中枢として機能する。

【0019】

外部ＩＦ装置２２０は、前述のオス型コネクターを含む。このオス型コネクターがプロジェクター１０のメス型コネクターに差し込まれ、情報処理装置２０とプロジェクター１０とが電気的に接続された状態では、外部ＩＦ装置２２０は、処理装置２１０から与えられたデータ又は信号をプロジェクター１０へ出力する。また、外部ＩＦ装置２２０は、カメラ３０又は端末装置４０と通信する通信回路を含む。

【0020】

記憶装置２３０は、処理装置２１０が読み取り可能な記録媒体である。記憶装置２３０は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリーは、例えば、ＲＡＭ（Random Access Memory）である。

【0021】

記憶装置２３０の不揮発性メモリーには、本開示の画像編集方法を処理装置２１０に実行させるプログラムＰＡが予め記憶されている。記憶装置２３０の揮発性メモリーは、プログラムＰＡを実行する際のワークエリアとして処理装置２１０によって利用される。

【0022】

処理装置２１０は、情報処理装置２０のプロジェクター１０への接続を検出した場合に、プログラムＰＡを不揮発性メモリーから揮発性メモリーへ読み出し、読み出したプログラムＰＡの実行を開始する。プログラムＰＡに従って作動している処理装置２１０は、端末装置４０及びカメラ３０の接続を検知すると、図２に示される投射制御部２１０ａ、表示制御部２１０ｂ、通知部２１０ｃ、取得部２１０ｄ、及び出力部２１０ｅとして機能する。図２に示される投射制御部２１０ａ、表示制御部２１０ｂ、通知部２１０ｃ、取得部２１０ｄ、及び出力部２１０ｅは、プログラムＰＡに従って処理装置２１０を作動させることにより実現されるソフトウェアモジュールである。図２に示される投射制御部２１０ａ、表示制御部２１０ｂ、通知部２１０ｃ、取得部２１０ｄ、及び出力部２１０ｅの各々が担う機能は次の通りである。

【0023】

投射制御部２１０ａは、プロジェクター１０の投射範囲を示す画像の投射を指示する第１信号をプロジェクター１０に出力する。プロジェクター１０の投射範囲は、プロジェクター１０の光軸の向き及びプロジェクター１０の画角に応じて定まる。以下では、プロジェクター１０の投射範囲を示す画像は第１ガイド画像ＧＡ１と称される。第１ガイド画像ＧＡ１の具体例としては、例えば白色等の第１色で均一に塗り潰された矩形の画像、又は第１色とは異なる第２色により縁取りが施された当該矩形の画像が挙げられる。本実施形態における第２色は赤色であるが、第２色は赤色には限定されない。図３は、第１ガイド画像ＧＡ１の一例を示す図である。図３においてハッチングは第１色を表し、点線は第２色で描画された線を表す。つまり、本実施形態における第１ガイド画像ＧＡ１は、第１色で均一に塗り潰され、且つ第２色で縁取られた矩形の画像であり、点線で囲まれた領域が投射範囲となる。第１ガイド画像ＧＡ１は本開示における第１画像の一例である。第１信号を受け取ったプロジェクター１０は、第１ガイド画像ＧＡ１を投射領域に投射する。投射領域に表示された第１ガイド画像ＧＡ１を視認したユーザーは、図４に示されるように、第１ガイド画像ＧＡ１が示す投射範囲内に投射対象物ＳＣを設置する。なお、図４では、第１色を示すハッチングの描画は省略されている。つまり、投射領域には、投射対象物ＳＣが含まれ、且つ、第１ガイド画像ＧＡ１が表示される。

【0024】

表示制御部２１０ｂは、撮像開始を指示する第２信号をカメラ３０に出力する。カメラ３０は、第２信号を受信すると、例えば数ミリ秒間隔等の所定の周期で撮像を行い、撮像画像データを情報処理装置２０に出力する。前述したように、カメラ３０は光軸を投射対象物ＳＣに向けた姿勢でユーザーの居室に設置される。このため、カメラ３０による撮像画像ＧＡ２には、第１ガイド画像ＧＡ１が表示された投射領域と当該投射領域に設置された投射対象物ＳＣとが写る。

【0025】

表示制御部２１０ｂは、カメラ３０から撮像画像データを入力される毎に、図５に示される重畳画像ＧＡ４を撮像画像データに基づいて生成する。図５は、重畳画像ＧＡ４、撮像画像データの表す撮像画像ＧＡ２、及び第２ガイド画像ＧＡ３の関係を示す図である。第２ガイド画像ＧＡ３は、カメラ３０の撮像範囲を示す画像である。カメラ３０の撮像範囲は、カメラ３０の光軸の向き及びカメラ３０の画角に応じて定まる。本実施形態における第２ガイド画像ＧＡ３は、撮像画像ＧＡ２の外縁を区画する矩形状の枠線の画像である。本実施形態には、当該枠線は第１色とは異なり、且つ第２色とも異なる第３色で着色されており、図５では第３色による着色が一点鎖線で表されている。本実施形態における第３色は青色であるが、第３色は青色には限定されない。図５に示されるように、重畳画像ＧＡ４は、撮像画像ＧＡ２に第２ガイド画像ＧＡ３を重畳させた画像である。

【0026】

表示制御部２１０ｂは、図６に示されるように、重畳画像ＧＡ４を表示装置４２０に表示する。また、表示制御部２１０ｂは、カメラ３０の位置を決定する入力をユーザーに促すユーザーインターフェイス画像ＧＡ５を表示装置４２０に表示する。図６に示されるように本開示におけるユーザーインターフェイス画像ＧＡ５は仮想操作子の画像である。

【0027】

通知部２１０ｃは、第１ガイド画像ＧＡ１の中心部分と第２ガイド画像ＧＡ３の中心部分とが重なる位置にカメラ３０を移動させることを促す通知を行う。第１ガイド画像ＧＡ１の中心部分とは、第１ガイド画像ＧＡ１において第１ガイド画像ＧＡ１の中心位置を中心とする所定の半径の第１円の内側の領域のことをいう。第２ガイド画像ＧＡ３の中心部分とは、第２ガイド画像ＧＡ３において第２ガイド画像ＧＡ３の中心位置を中心とする当該所定の半径の第２円の内側の領域のことをいう。第１ガイド画像ＧＡ１の中心位置とは、第１ガイド画像ＧＡ１における２つの対角線の交点のことである。同様に、第２ガイド画像ＧＡ３の中心位置とは、第２ガイド画像ＧＡ３における２つの対角線の交点のことである。第１ガイド画像ＧＡ１及び第２ガイド画像ＧＡ３の中心部分を規定する円の半径は、実験等により好適な値に定められてもよい。第１ガイド画像ＧＡ１の中心部分と第２ガイド画像ＧＡ３の中心部分とが重なるとは、第１円の中心と第２円の中心との間の距離が前述の半径未満であることをいう。

【0028】

前述したように、第１ガイド画像ＧＡ１はプロジェクター１０の投射範囲に対応し、第２ガイド画像ＧＡ３はカメラ３０の撮像範囲に対応する。従って、第１ガイド画像ＧＡ１の中心部分と第２ガイド画像ＧＡ３の中心部分とが重なるということは、プロジェクター１０の投射範囲の中心部分とカメラ３０の撮像範囲の中心部分とが重なることに相当する。

【0029】

本実施形態では、通知部２１０ｃは、第１ガイド画像ＧＡ１の中心部分と第２ガイド画像ＧＡ３の中心部分とが重なる位置にカメラ３０を移動させることを促す文言のメッセージＭ１を、図６に示されるように表示装置４２０に表示する。本実施形態では、メッセージＭ１を表示装置４２０に表示することが、第１ガイド画像ＧＡ１の中心部分と第２ガイド画像ＧＡ３の中心部分とが重なる位置にカメラ３０を移動させることを促す通知を行うことに相当する。なお、通知部２１０ｃは、メッセージＭ１を読み上げた音声の出力により、上記通知を行ってもよい。メッセージＭ１を視認したユーザーは、表示装置４２０に表示される重畳画像ＧＡ４を通じて第１ガイド画像ＧＡ１の中心部分と第２ガイド画像ＧＡ３の中心部分の重なり具合を確認しつつ、カメラ３０を持って移動する。カメラ３０の移動に伴って、表示装置４２０に表示される重畳画像ＧＡ４における第１ガイド画像ＧＡ１の中心部分と第２ガイド画像ＧＡ３の中心部分の重なり具合は変化する。

【0030】

取得部２１０ｄは、第１ガイド画像ＧＡ１の中心部分と第２ガイド画像ＧＡ３の中心部分とが重なった重複領域の大きさが閾値以上になったか否かを重畳画像ＧＡ４に基づいて判定する。この閾値は、前述の第１円又は第２円の面積に応じて定められてもよく、この態様における閾値の具体例としては、前述の第１円又は第２円の面積の６０～９０％の値が挙げられる。重複領域の大きさが閾値未満である場合には、取得部２１０ｄは、通知部２１０ｃにメッセージＭ１の表示を継続させる。重複領域の大きさが閾値以上である場合、取得部２１０ｄは、通知部２１０ｃにメッセージＭ１の表示を終了させる。図７は、重複領域の大きさが閾値以上である場合の重畳画像ＧＡ４及びユーザーインターフェイス画像ＧＡ５の表示例を示す図である。重複領域の大きさが閾値以上であるため、図７に示される例では、メッセージＭ１は表示されていない。図７に示されるように、メッセージＭ１が表示装置４２０に表示されなくなると、ユーザーは、ユーザーインターフェイス画像ＧＡ５に対するタッチ操作を行う。

【0031】

ユーザーインターフェイス画像ＧＡ５に対するタッチ操作を検出した場合、取得部２１０ｄは、まず、第１ガイド画像ＧＡ１の投射を停止することを指示する第３信号をプロジェクター１０へ出力する。次いで、取得部２１０ｄは、カメラ３０から出力される撮像画像データを、投射画像を編集する際の基準となる基準画像を表す基準画像データとして記憶装置２３０の揮発性メモリーに書き込む。基準画像データは、第１ガイド画像ＧＡ１が表示されていない投射領域の撮像画像ＧＡ２を表す画像データである。

【0032】

出力部２１０ｅは、基準画像に対する編集をユーザーに行わせることによって、投射画像を表す投射画像データを取得する。本実施形態では、出力部２１０ｅは、まず、基準画像データを端末装置４０へ送信し画像描画ツールを起動させる。画像描画ツールを実行中の端末装置４０は、基準画像データの表す画像を表示装置４２０に表示する。ユーザーは、基準画像に写っている投射対象物ＳＣの位置及び形状を参考にしつつ、投射対象物ＳＣを装飾するための投射画像を、当該画像描画ツールを用いて編集する。

【0033】

図８は、基準画像に基づいて編集される投射画像の一例を示す図である。図８では、基準画像に写っている投射対象物ＳＣが点線で表されており、横線のハッチングを付与された星の画像が、投射対象物ＳＣを装飾するためにユーザーが描いた投射画像である。図８における横線のハッチングは、例えば黄色等、星の画像に付与された色を表す。出力部２１０ｅは、基準画像に基づいて編集された投射画像を表す画像データを、投射画像データとして端末装置４０から取得する。基準画像に基づいて編集された投射画像は本開示における第２画像の一例である。出力部２１０ｅは、投射画像データをプロジェクター１０へ出力する。プロジェクター１０は、情報処理装置２０から出力される投射画像データの表す投射画像を投射領域に投射する。その結果、図９に示すように、投射対象物ＳＣの周囲に当該投射対象物ＳＣを装飾するための星の画像が表示される。図９における横線のハッチングは、例えば黄色等、星の画像に付与された色を表す。

【0034】

基準画像が撮像されたときのカメラ３０の位置は、第１ガイド画像ＧＡ１の中心部分と第２ガイド画像ＧＡ３の中心部分とが重なる位置である。第１ガイド画像ＧＡ１の中心部分と第２ガイド画像ＧＡ３の中心部分とが重なるということは、プロジェクター１０の投射範囲の中心部分とカメラ３０の撮像範囲の中心部分とが重なるということである。プロジェクター１０の投射範囲の中心部分とカメラ３０の撮像範囲の中心部分とが重なるということは、プロジェクター１０の光軸の向きとカメラ３０の光軸の向きとがほぼ一致し、且つプロジェクター１０の画角とカメラ３０の画角とはほぼ一致しているということである。従って、基準画像における投射対象物ＳＣの位置及び形状は、プロジェクター１０から投射対象物ＳＣを見たときの投射対象物ＳＣの位置及び形状にほぼ一致する。このため、ユーザーは、基準画像に写っている投射対象物ＳＣの位置及び形状を参考にしつつ、投射対象物ＳＣを装飾するための投射画像を描くことで、投射対象物ＳＣの位置及び形状に合う投射画像を作成できる。

【0035】

また、プログラムＰＡに従って作動している処理装置２１０は、図１０に示す画像編集方法を実行する。図１０に示されるように、本実施形態の画像編集方法は、投射制御処理ＳＡ１１０、表示制御処理ＳＡ１２０、通知処理ＳＡ１３０、取得処理ＳＡ１４０、及び出力処理ＳＡ１５０を含む。

【0036】

投射制御処理ＳＡ１１０では、処理装置２１０は、投射制御部２１０ａとして機能する。投射制御処理ＳＡ１１０では、処理装置２１０は、第１ガイド画像ＧＡ１の投射を指示する第１信号をプロジェクター１０に出力することにより、第１ガイド画像ＧＡ１をプロジェクター１０に表示させる。

【0037】

表示制御処理ＳＡ１２０では、処理装置２１０は、表示制御部２１０ｂとして機能する。表示制御処理ＳＡ１２０では、処理装置２１０は、撮像を指示する第２信号をカメラ３０に出力する。次いで、処理装置２１０は、カメラ３０により撮像された撮像画像ＧＡ２に第２ガイド画像ＧＡ３を重畳させた重畳画像ＧＡ４、及びユーザーインターフェイス画像ＧＡ５を表示装置４２０に表示する。

【0038】

通知処理ＳＡ１３０では、処理装置２１０は、通知部２１０ｃとして機能する。通知処理ＳＡ１３０では、処理装置２１０は、メッセージＭ１を表示装置４２０に表示することにより、第１ガイド画像ＧＡ１の中心部分と第２ガイド画像ＧＡ３の中心部分とが重なる位置にカメラ３０を移動させることを促す通知を行う。

【0039】

取得処理ＳＡ１４０では、処理装置２１０は、取得部２１０ｄとして機能する。取得処理ＳＡ１４０では、処理装置２１０は、重複領域の大きさが閾値以上になったか否かを判定する。重複領域の大きさが閾値未満である場合には、取得部２１０ｄは、通知部２１０ｃにメッセージＭ１の表示を継続させる。重複領域の大きさが閾値以上である場合、取得部２１０ｄは、通知部２１０ｃにメッセージＭ１の表示を終了させる。ユーザーは、メッセージＭ１が表示装置４２０に表示されなくなったことを契機として、ユーザーインターフェイス画像ＧＡ５に対するタッチ操作を行う。ユーザーインターフェイス画像ＧＡ５に対するタッチ操作を検出した場合、処理装置２１０は、第１ガイド画像ＧＡ１の投射を停止することを指示する第３信号をプロジェクター１０へ出力し、第１ガイド画像ＧＡ１が表示されていない投射領域の撮像画像ＧＡ２を表す撮像画像データ、即ち基準画像を表す基準画像データを記憶装置２３０の揮発性メモリーに書き込む。

【0040】

出力処理ＳＡ１５０では、処理装置２１０は出力部２１０ｅとして機能する。出力処理ＳＡ１５０では、処理装置２１０は、基準画像データの表す基準画像に対する編集をユーザーに行わせることによって、投射画像を表す投射画像データを取得する。次いで、処理装置２１０は、投射画像データをプロジェクター１０へ出力する。

【0041】

前述したように、本実施形態においてプロジェクター１０のユーザーに要求されることは、メッセージＭ１に応じてカメラ３０の位置を決定してタッチ操作を行うこと、及びカメラ３０の撮像画像ＧＡ２を参考にして投射画像を編集することである。特許文献１に開示の技術では、投射対象物ＳＣに対応する３次元モデルを準備すること、及びこの３次元モデルを投影装置視点画像に一致する２次元画像に座標変換することが必要であり、３次元モデルに関する専門知識及び座標変換に関する専門知識が必要となった。これに対して、本実施形態では、投射対象物ＳＣに対応する３次元モデルを準備する必要はなく、また、投射画像を編集する際に座標変換を行う必要もない。従って、本実施形態によれば、３次元モデル等に関する専門知識を有さないユーザーが、プロジェクションマッピングを手軽に行うことが可能になる。

【0042】

２．変形
上記実施形態は、以下のように変形され得る。
（１）上記実施形態では、プロジェクター１０のユーザーの居室における装飾を実現するプロジェクションマッピングへの本開示の適用例が説明された。しかし、本開示は、小売店等の店舗における商品ディスプレイを実現するプロジェクションマッピングに適用されてもよく、テーマパーク或いはイベント会場等における演出を実現するためのプロジェクションマッピングに適用されてもよい。

【0043】

（２）上記実施形態では、一つの投射対象物ＳＣに対して一つのプロジェクター１０が投射画像を投射した。しかし、一つの投射対象物ＳＣに対して各々異なる位置に配置される複数のプロジェクター１０が投射画像を投射してもよい。一つの投射対象物ＳＣに対して各々異なる位置に配置される複数のプロジェクター１０から投射画像を投射することにより、明るさを増したプロジェクションマッピングが実現できる。また、一つの投射対象物ＳＣに対して各々異なる位置に配置される複数のプロジェクター１０から投射画像を投射することにより、影を極力減らし、３６０°どこからでも見られるプロジェクションマッピングが実現できる。

【0044】

（３）上記実施形態における取得部２１０ｄは、ユーザーインターフェイス画像ＧＡ５に対するタッチ操作が為された場合に、第１ガイド画像ＧＡ１の表示を停止する第３信号を出力し、その後、基準画像データを取得した。しかし、第３信号の出力は省略されてもよい。第３信号の出力が省略される態様では、カメラ３０から出力される撮像画像データの表す撮像画像ＧＡ２には第１ガイド画像ＧＡ１が含まれる。取得部２１０ｄは、第１ガイド画像ＧＡ１を含む撮像画像ＧＡ２を表す撮像画像データをそのまま基準画像データとして記憶装置２３０の揮発性メモリーに書き込んでもよく、この態様における基準画像には第１ガイド画像ＧＡ１が含まれる。また、第３信号の出力が省略される態様では、取得部２１０ｄは、第１ガイド画像ＧＡ１を消去又は薄める画像処理を撮像画像データに施すことによって、基準画像データを生成してもよい。第１ガイド画像ＧＡ１を消去又は薄める画像処理の具体例としては、第１ガイド画像ＧＡ１に対応する画素の画素値を、当該画素の周囲に位置し且つ第１ガイド画像ＧＡ１に対応しない画素である周辺画素の画素値で置き換える画像処理が挙げられる。また、第１ガイド画像ＧＡ１を消去又は薄める画像処理の他の具体例としては、第１ガイド画像ＧＡ１に対応する画素の画素値を、当該画素の画素値と複数の周辺画素の各々の画素値の平均値で置き換える画像処理が挙げられる。本態様によれば、撮像を指示する入力操作が為されてから実際に撮像が行われるまでの期間が短縮される。

【0045】

（４）上記実施形態における取得部２１０ｄは、重複領域の大きさが閾値未満と判定した場合には、カメラ３０の移動を促す通知を通知部２１０ｃに継続させ、重複領域の大きさが閾値以上と判定した場合に、通知部２１０ｃによる通知を終了させた。しかし、取得部２１０ｄ、重複領域の大きさが閾値以上と判定した場合に、カメラ３０の位置の決定を指示する入力をユーザーに促す通知を通知部２１０ｃに行わせてもよい。また、取得部２１０ｄ、重複領域の大きさが閾値以上と判定した場合に、ユーザーの入力操作を待つことなく基準画像データの記憶を行ってもよい。後者の態様によれば、重複領域の大きさが閾値以上となった場合に基準画像データを自動的に記憶することが可能になり、ユーザーの手間が軽減される。また、後者の態様では、ユーザーインターフェイス画像ＧＡ５の表示は不要である。なお、重複領域の大きさが閾値未満であるか否かの判定は必須ではなく、省略されてもよい。

【0046】

（５）上記実施形態における第２ガイド画像ＧＡ３は、カメラ３０の撮像範囲を示す画像であった。しかし、表示制御部２１０ｂは、カメラ３０の撮像範囲の中心部分を明示するため、第２ガイド画像ＧＡ３に代えて或いは第２ガイド画像ＧＡ３とともに、カメラ３０の撮像範囲の中心部分を示す第３ガイド画像を表示装置４２０に表示してもよい。この態様において撮像範囲の中心部分と第１ガイド画像ＧＡ１の中心部分とが重なる実空間内の位置とは、重畳画像ＧＡ４における第３ガイド画像の中心部分、又は第３ガイド画像自体と、第１ガイド画像ＧＡ１の中心部分とが重なる位置のことである。

【0047】

第３ガイド画像は第２ガイド画像ＧＡ３よりも小さい画像であってもよい。第２ガイド画像ＧＡ３よりも小さい第３ガイド画像の具体例としては、前述の第２円の画像、前述の第２円に内接或いは外接する多角形の画像、又は第２円の中心において交差する複数の線分の画像が挙げられる。第２ガイド画像ＧＡ３よりも小さい第３ガイド画像を第２ガイド画像ＧＡ３とともに表示することにより、カメラ３０の撮像範囲全体と当該撮像範囲の中心部分とをユーザーに明示することができる。第２ガイド画像ＧＡ３に代えて第２ガイド画像ＧＡ３よりも小さい第３ガイド画像を表示する場合、カメラ３０の撮像範囲の中心部分をユーザーに明示することができる。

【0048】

また、第３ガイド画像は、第２ガイド画像ＧＡ３と同じ大きさの画像であってもよい。第２ガイド画像ＧＡ３と同じ大きさの第３ガイド画像の具体例としては、撮像画像ＧＡ２の外縁を区画する矩形状の枠線と当該枠線の対角線とを含む画像、又は当該対角線の画像が挙げられる。第３ガイド画像は本開示における第３画像の一例である。前者の態様であれば、第２ガイド画像ＧＡ３に代えて第３ガイド画像を表示することにより、カメラ３０の撮像範囲全体と当該撮像範囲の中心部分とをユーザーに明示することができる。後者の態様であれば、第２ガイド画像ＧＡ３とともに第３ガイド画像を表示する場合にはカメラ３０の撮像範囲全体と当該撮像範囲の中心部分とをユーザーに明示することができ、第２ガイド画像ＧＡ３に代えて第３ガイド画像を表示する場合には、カメラ３０の撮像範囲の中心部分をユーザーに明示することができる。

【0049】

なお、第１ガイド画像ＧＡ１の中心部分を明示するために、第１ガイド画像ＧＡ１の中心部分を示す画像が第１ガイド画像ＧＡ１に含まれてもよい。第１ガイド画像ＧＡ１の中心部分を示す画像の具体例としては、前述の第１円の画像、前述の第１円に内接或いは外接する多角形の画像、又は第１円の中心において交差する複数の線分の画像が挙げられる。

【0050】

（６）上記実施形態では、出力部２１０ｅは、基準画像データの揮発性メモリーへの記憶を契機として当該基準画像データを端末装置４０へ送信し画像描画ツールを起動させた。しかし、出力部２１０ｅは、基準画像データの揮発性メモリーへの記憶を契機として、画像描画ツールの起動をユーザーに入力させるための仮想操作子等のユーザーインターフェイス画像を表示装置４２０に表示してもよい。この態様では、出力部２１０ｅは、当該ユーザーインターフェイス画像に対する入力操作に応じて画像描画ツールを端末装置４０に起動させる。

【0051】

（７）上記実施形態における通知処理ＳＡ１３０は省略されてもよい。通知処理ＳＡ１３０を省略する態様では、通知部２１０ｃは省略されてもよい。通知処理ＳＡ１３０が省略されても、投射画像を手軽に作成できることに変わりはないからである。また、プロジェクター１０の電源投入を契機としてプロジェクター１０が第１ガイド画像ＧＡ１を投射する場合には、投射制御部２１０ａ及び投射制御処理ＳＡ１１０は省略可能である。また、撮像画像ＧＡ２からカメラ３０の撮像範囲を把握することは可能であり、また当該撮像範囲の中心部分を把握することも可能であるため、第２ガイド画像ＧＡ３の重畳は省略されてもよい。

【0052】

（８）上記実施形態ではカメラ３０と端末装置４０とが別個の装置であったが、カメラ３０は端末装置４０に含まれてもよい。例えば、端末装置４０がカメラを備えたスマートフォンである場合には、当該スマートフォンのカメラがカメラ３０の役割を担えばよい。また、上記実施形態では、情報処理装置２０が、端末装置４０、カメラ３０及びプロジェクター１０の何れとも異なる装置であった。しかし、情報処理装置２０は、端末装置４０、カメラ３０及びプロジェクター１０の何れに含まれてもよい。

【0053】

（９）上記実施形態における投射制御部２１０ａ、表示制御部２１０ｂ、通知部２１０ｃ、取得部２１０ｄ、及び出力部２１０ｅはソフトウェアモジュールであった。しかし、投射制御部２１０ａ、表示制御部２１０ｂ、通知部２１０ｃ、取得部２１０ｄ、及び出力部２１０ｅのうちの何れか一つ或いは複数、又は全部がＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアモジュールであってもよい。投射制御部２１０ａ、表示制御部２１０ｂ、通知部２１０ｃ、取得部２１０ｄ、及び出力部２１０ｅのうちの何れか一つ或いは複数、又は全部がハードウェアモジュールであっても、上記実施形態と同じ効果が奏される。

【0054】

（１０）プログラムＰＡは単体で製造されてもよく、有償又は無償で提供されてもよい。プログラムＰＡを提供する際の具体的な態様としては、フラッシュＲＯＭ等のコンピューター読み取り可能な記録媒体にプログラムＰＡを書き込んで提供する態様、又はインターネット等の電気通信回線経由のダウンロードによりプログラムＰＡを提供する態様が挙げられる。これらの態様により提供されるプログラムＰＡに従って一般的なコンピューターを作動させることで、当該コンピューターに本開示の画像編集方法を実行させることが可能になる。

【0055】

３．実施形態及び各変形例の少なくとも１つから把握される態様
本開示は、上述した実施形態及び変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の態様で実現することができる。例えば、本開示は、以下の態様によっても実現可能である。以下に記載した各態様中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、或いは本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【0056】

本開示の画像編集方法の一態様は、取得処理、及び出力処理を含む。取得処理では、プロジェクターからの画像の投射先となる投射対象物を含み、且つ、プロジェクターによって第１ガイド画像が表示される投射領域のカメラによる撮像画像が取得される。投射領域は、プロジェクターと投射対象物とが配置される実空間内の領域である。この撮像画像を撮像するカメラの位置は、カメラの撮像範囲の中心部分と第１ガイド画像の中心部分とが重なる実空間内の位置である。出力処理では、取得処理にて取得された撮像画像を編集することによって投射画像が得られ、この投射画像がプロジェクターに送信される。本態様の画像編集方法によれば、専門知識を有さないユーザーであっても、プロジェクションマッピングを手軽に行うことが可能になる。

【0057】

より好ましい態様の画像編集方法は、第１ガイド画像が投射されている投射領域をカメラによって撮像することで得られる画像と撮像範囲の中心部分を示す第３ガイド画像とが重畳された重畳画像を表示装置に表示すること、を更に含んでもよい。第３ガイド画像は本開示における第３画像の一例である。本態様におけるカメラの実空間内の位置は、重畳画像において第１ガイド画像の中心部分と第３ガイド画像の中心部分又は第３ガイド画像自体とが重なる位置である。本態様によれば、ユーザーは、重畳画像における第１ガイド画像と第３ガイド画像とからカメラの撮像範囲の中心部分とプロジェクターの投射範囲の中心部分との重なりの程度を把握しつつ、カメラの位置を決定することができる。

【0058】

更に好ましい態様の画像編集方法は、前記撮像画像が取得された場合に、前記撮像画像を編集する編集機能を呼び出すことに用いるユーザーインターフェイス画像を表示すること、を更に含んでもよい、本態様における前記第２画像は、前記編集機能によって前記撮像画像を編集することで得られてもよい。本態様によれば、ユーザーは、ユーザーインターフェイス画像に対する操作により撮像画像を編集する編集機能を呼び出すことができる。

【0059】

更に好ましい態様の画像編集方法は、前記撮像範囲の中心部分と前記第１画像の中心部分とが重なる前記実空間内の位置に前記カメラを移動させることを促す通知を出力することを含んでもよい。本態様によれば、カメラの撮像範囲の中心部分と第１ガイド画像の中心部分とが重なる実空間内の位置にカメラを移動させることをユーザーに促すことができる。

【0060】

更に好ましい態様の画像編集方法は、重複領域の大きさが閾値以上になったか否かを判定すること、及び重複領域の大きさが閾値未満である場合に、前述の通知を出力すること、を含んでもよい。重複領域とは、重畳画像においてカメラの撮像範囲の中心部分と第１ガイド画像の中心部分とが重なった領域のことである。本態様によれば、重複領域の大きさが閾値未満である場合に、カメラの撮像範囲の中心部分と第１ガイド画像の中心部分とが重なる実空間内の位置にカメラを移動させることユーザーに促すことができる。

【0061】

更に好ましい態様の画像編集方法は、重複領域の大きさが閾値以上である場合にカメラに投射領域を撮像させること、を含んでもよい。本態様によれば、重複領域の大きさが閾値以上である場合に、投射領域をカメラに自動的に撮像させることができ、ユーザーの手間が軽減される。

【0062】

更に好ましい態様の画像編集方法において撮像画像を取得することは、第１ガイド画像が表示されていない投射領域を撮像することによって撮像画像を取得することであってもよい。本態様によれば、第１ガイド画像が表示されていない投射領域の撮像画像に基づいて投射画像を編集することが可能になる。

【0063】

また、本開示の画像編集システムの一態様は、カメラと、カメラを制御する処理装置と、を含む。処理装置は、取得処理、及び出力処理を実行する。取得処理では、処理装置は、プロジェクターからの画像の投射先となる投射対象物を含み、且つ、プロジェクターによって第１ガイド画像が表示される投射領域のカメラによる撮像画像を取得する。投射領域は、プロジェクターと投射対象物とが配置される実空間内の領域である。この撮像画像を撮像するカメラの位置は、カメラの撮像範囲の中心部分と第１ガイド画像の中心部分とが重なる実空間内の位置である。出力処理では、処理装置は、取得処理にて取得された撮像画像を編集することによって得られる投射画像を表す投射画像データをプロジェクターに送信する。本態様の画像編集システムによれば、専門知識を有さないユーザーであっても、プロジェクションマッピングを手軽に行うことが可能になる。

【0064】

また、本開示のプログラムの一態様は、コンピューターに、取得処理、及び出力処理を実行させる。このプログラムに従って作動しているコンピューターは、取得処理では、プロジェクターからの画像の投射先となる投射対象物を含み、且つ、プロジェクターによって第１ガイド画像が表示される投射領域のカメラによる撮像画像を取得する。投射領域は、プロジェクターと投射対象物とが配置される実空間内の領域である。この撮像画像を撮像するカメラの位置は、カメラの撮像範囲の中心部分と第１ガイド画像の中心部分とが重なる実空間内の位置である。このプログラムに従って作動しているコンピューターは、出力処理では、取得処理にて取得された撮像画像を編集することによって得られる投射画像を表す投射画像データをプロジェクターに送信する。本態様のプログラムによれば、専門知識を有さないユーザーであっても、プロジェクションマッピングを手軽に行うことが可能になる。

【符号の説明】

【0065】

１…画像編集システム、１０…プロジェクター、２０…情報処理装置、３０…カメラ、４０…端末装置、５０…通信網、６０…画像保管装置、２１０…処理装置、２１０ａ…投射制御部、２１０ｂ…表示制御部、２１０ｃ…通知部、２１０ｄ…取得部、２１０ｅ…出力部、２２０、４１０…外部ＩＦ装置、２３０…記憶装置、４２０…表示装置、４３０…入力装置、ＰＡ…プログラム、ＳＣ…投射対象物。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】