特許 6429545 制御装置、制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6429545

(24)【登録日】2018年11月9日

(45)【発行日】2018年11月28日

(54)【発明の名称】制御装置、制御方法

(51)【国際特許分類】

   G06F 3/048 20130101AFI20181119BHJP

   G06F 3/0482 20130101ALI20181119BHJP

   G03B 21/00 20060101ALI20181119BHJP

   H04N 5/74 20060101ALI20181119BHJP

【ＦＩ】

   G06F3/048

   G06F3/0482

   G03B21/00 D

   H04N5/74 D

【請求項の数】21

【全頁数】19

(21)【出願番号】特願2014-184542(P2014-184542)

(22)【出願日】2014年9月10日

(65)【公開番号】特開2016-57915(P2016-57915A)

(43)【公開日】2016年4月21日

【審査請求日】2017年9月5日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100076428

【弁理士】

【氏名又は名称】大塚 康徳

(74)【代理人】

【識別番号】100112508

【弁理士】

【氏名又は名称】高柳 司郎

(74)【代理人】

【識別番号】100115071

【弁理士】

【氏名又は名称】大塚 康弘

(74)【代理人】

【識別番号】100116894

【弁理士】

【氏名又は名称】木村 秀二

(74)【代理人】

【識別番号】100130409

【弁理士】

【氏名又は名称】下山 治

(74)【代理人】

【識別番号】100134175

【弁理士】

【氏名又は名称】永川 行光

(72)【発明者】

【氏名】西岡 督雄

【審査官】 野村 和史

(56)【参考文献】

【文献】 特開２０１１−１８０２５１（ＪＰ，Ａ）

【文献】 特開２００９−０８６４８５（ＪＰ，Ａ）

【文献】 特開２００５−２７４９３７（ＪＰ，Ａ）

【文献】 特開２０１３−１９２０９８（ＪＰ，Ａ）

【文献】 特開２００６−２８４９９０（ＪＰ，Ａ）

【文献】 特開２００１−２５１６５１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０３Ｂ ２１／００−２１／１０

２１／１２−２１／１３

２１／１３４−２１／３０

３３／００−３３／１６

Ｇ０６Ｆ ３／０１

３／０３３−３／０３９

３／０４８−３／０４８９

３／１４−３／１５３

Ｇ０９Ｇ５／００−５／３６

５／３７７−５／４２

Ｈ０４Ｎ ５／６６−５／７４

(57)【特許請求の範囲】

【請求項1】

複数の投射装置の少なくとも１つの設定を制御する制御装置であって、
前記複数の投射装置の投射画像に対応する画像データを取得する取得手段と、
前記取得手段により取得された画像データに応じた画像を表示画面に表示させる表示制御手段と、
前記複数の投射装置のうち、前記表示制御手段により前記画像が表示される表示領域内の操作位置に対応する一部の投射装置を、制御対象として決定する決定手段と、
前記一部の投射装置を制御するための信号を、該一部の投射装置に対して出力する出力手段と
を有する制御装置。

【請求項2】

前記複数の投射装置は、１画像を分割して得られる複数の分割画像を前記複数の投射装置に投射させることによりマルチスクリーン表示を行う請求項１に記載の制御装置。

【請求項3】

前記取得手段は、前記複数の投射装置の画像投射面の少なくとも一部を撮影して得られる撮影画像を前記画像データとして取得する請求項１又は２に記載の制御装置。

【請求項4】

前記取得手段は、前記複数の投射装置のそれぞれの投射画像の位置関係に関する画面構成情報を取得し、
前記決定手段は、前記表示制御手段により前記画像が表示される表示領域内の操作位置と、前記画面構成情報と、に基づいて、前記制御対象を決定する請求項１乃至３のうち、何れか１項に記載の制御装置。

【請求項5】

前記取得手段は、前記複数の投射装置のそれぞれの投射範囲に関する画面構成情報を取得し、
前記決定手段は、前記表示制御手段により前記画像が表示される表示領域内の操作位置と、前記画面構成情報と、に基づいて、前記制御対象を決定する請求項１乃至３のうち、何れか１項に記載の制御装置。

【請求項6】

前記取得手段は、前記複数の投射装置の画像投射面の少なくとも一部を撮影して得られる撮影画像を取得すると共に、前記複数の投射装置に入力される入力画像に応じた画像を取得し、
前記表示制御手段は、前記撮影画像に応じた画像を前記表示画面に表示させ、
前記決定手段は、前記表示制御手段により前記画像が表示される表示領域内の操作位置と、前記入力画像に応じた画像と、に基づいて、前記制御対象を決定する請求項１又は２に記載の制御装置。

【請求項7】

前記決定手段は、前記表示制御手段により表示される前記画像のうち、前記操作位置から所定範囲の画像に類似する画像を、前記入力画像に応じた画像から特定し、該特定の結果に従って、前記制御対象を決定する請求項６に記載の制御装置。

【請求項8】

前記取得手段は、前記複数の投射装置に入力される入力画像に応じた画像と、該画像に対応する投射装置の識別情報と、を取得し、
前記表示制御手段は、前記入力画像に応じた画像を前記表示画面に表示させ、
前記決定手段は、前記表示制御手段により前記画像が表示される表示領域内の操作位置に対応する投射装置の識別情報に基づいて、前記制御対象を決定する請求項１又は２に記載の制御装置。

【請求項9】

前記入力画像に応じた画像は、前記入力画像に対して低解像度化処理、及び／又は、フレームレート低減処理することで得られる画像である請求項６乃至８のうち、何れか１項に記載の制御装置。

【請求項10】

複数の投射装置の少なくとも１つの設定を制御する制御装置であって、
前記複数の投射装置の投射画像の位置関係に関する構成情報を取得する取得手段と、
前記取得手段により取得された構成情報に応じた画像を表示画面に表示させる表示制御手段と、
前記複数の投射装置のうち、前記表示制御手段により前記画像が表示される表示領域内の操作位置に対応する一部の投射装置を、制御対象として決定する決定手段と、
前記一部の投射装置を制御するための信号を、該一部の投射装置に対して出力する出力手段と
を有する制御装置。

【請求項11】

前記表示制御手段は、前記複数の投射装置のそれぞれの投射領域を示す枠線を前記構成情報に基づいて前記表示画面に表示させる請求項１０に記載の制御装置。

【請求項12】

前記表示制御手段により前記画像が表示される表示領域内の異なる位置において所定時間内に２以上の操作が行われた場合、前記決定手段は、前記２以上の操作の操作位置に応じて２以上の投射装置を制御対象として決定する請求項１乃至１１のうち、何れか１項に記載の制御装置。

【請求項13】

前記操作位置が２以上の投射装置による重複投射領域に対応する場合、前記決定手段は、前記２以上の投射装置を制御対象として決定する請求項１乃至１２のうち、何れか１項に記載の制御装置。

【請求項14】

前記表示画面はタッチパネルであり、前記操作位置は、前記タッチパネルに対するタッチ操作が行われた位置である請求項１乃至１３のうち、何れか１項に記載の制御装置。

【請求項15】

前記制御装置により制御される設定には、色調整のためのパラメータ、輝度調整のためのパラメータ、及び、台形補正のためのパラメータのうち、少なくとも何れかが含まれる請求項１乃至１４のうち、何れか１項に記載の制御装置。

【請求項16】

複数の投射装置の少なくとも１つの設定を制御する制御方法であって、
前記複数の投射装置の投射画像に対応する画像データを取得し、
前記取得された画像データに応じた画像を表示画面に表示させ、
前記複数の投射装置のうち、前記画像が表示される表示領域内の操作位置に対応する一部の投射装置を、制御対象として決定し、
前記一部の投射装置を制御するための信号を、該一部の投射装置に対して出力する制御方法。

【請求項17】

前記複数の投射装置の画像投射面の少なくとも一部を撮影して得られる撮影画像が前記画像データとして取得される請求項１６に記載の制御方法。

【請求項18】

前記複数の投射装置に入力される入力画像に応じた画像をさらに取得し、
前記表示画面には前記撮影画像に応じた画像が表示され、
前記画像が表示される表示領域内の操作位置と、前記入力画像に応じた画像と、に基づいて、前記制御対象が決定される請求項１７に記載の制御方法。

【請求項19】

前記複数の投射装置に入力される入力画像に応じた画像と、該画像に対応する投射装置の識別情報と、を取得し、
前記表示画面には前記入力画像に応じた画像が表示され、
前記表示画面における前記画像の表示領域内の操作位置に対応する投射装置の識別情報に基づいて、前記制御対象が決定される請求項１６に記載の制御方法。

【請求項20】

複数の投射装置の少なくとも１つの設定を制御する制御方法であって、
前記複数の投射装置の投射画像の位置関係に関する構成情報を取得し、
前記取得された構成情報に応じた画像を表示画面に表示させ、
前記複数の投射装置のうち、前記画像が表示される表示領域内の操作位置に対応する一部の投射装置を、制御対象として決定し、
前記一部の投射装置を制御するための信号を、該一部の投射装置に対して出力する制御方法。

【請求項21】

コンピュータを請求項１乃至１５のうち、何れか１項に記載の制御装置の各手段として動作させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マルチスクリーン表示を構成する複数台の投射装置を調整する技術に関するものである。

【背景技術】

【0002】

複数のプロジェクタを並べて大型のマルチスクリーン表示を構成する表示システムが、展示場や映画館など多くの人が視聴する場面で用いられている。このようなマルチスクリーン表示では、各プロジェクタの投射画像の画質が異なると違和感があるため、個別に画質調整を行い、マルチスクリーン表示全体が同一の画質となるように調整する必要がある。また、各プロジェクタの投射画像の隣接境界に対しては、プロジェクタ間で重複領域を設けて互いの輝度を調整することで、継ぎ目のない一体感のあるマルチスクリーン表示を実現することができる。

【0003】

このように、マルチスクリーン表示を構成する表示システムでは、ユーザは、多数のプロジェクタに対して画質調整や位置調整などの設定操作を行う必要がある。各プロジェクタに備わったリモートコントローラ（以下リモコン）を用いる場合、ユーザは都度リモコンを変えながら設定する必要があり、煩雑である。

【0004】

特許文献１には、ディスプレイ装置を識別するためのＩＤをマルチディスプレイを構成するディスプレイ装置に表示し、そのＩＤをリモコンで選択することで、特定のディスプレイ装置でメニューを表示させて設定を可能にする技術が開示されている。

【0005】

特許文献２には、複数のディスプレイ装置をひとつの入力装置で制御するために、ユーザが凝視するディスプレイ装置を判断し、そのディスプレイ装置に対してユーザ命令に対応した制御信号を伝送する技術を開示している。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００６−２５４２７５号公報

【特許文献2】特開２０１４−２１９８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１に開示されている技術では、ユーザは、調整したい領域とその領域を表示する表示装置を特定した上で、該特定した表示装置のＩＤをリモコンで入力する必要があるため、操作が煩わしい。マルチスクリーン表示を構成するプロジェクタが多数の場合や、各プロジェクタの投射画像の隣接境界が継ぎ目なく高度に調整されている場合、調整対象となる領域をどのプロジェクタが投射しているかを特定することはユーザにとって容易ではない。また、ＩＤやメニューを表示することで視聴を妨げるため、多数の人が視聴するマルチスクリーン画面に対して適していない。

【0008】

また、特許文献２に開示されている技術では、ユーザの視線で制御対象を判断するため、各ディスプレイ装置の表示画像が至極近接しているマルチスクリーン表示では、制御対象を正確に決定する事は困難である。また、多数の人が視聴する場面においては、多数の視線が存在するため、制御対象を一意に決定する事ができない。

【0009】

本発明は、このような問題に鑑みてなされたものであり、複数台の投射装置によるマルチスクリーン表示において、所望の投射装置に対するユーザ操作を簡便に行うための技術を提供する。

【課題を解決するための手段】

【0010】

本発明の一様態は、複数の投射装置の少なくとも１つの設定を制御する制御装置であって、
前記複数の投射装置の投射画像に対応する画像データを取得する取得手段と、
前記取得手段により取得された画像データに応じた画像を表示画面に表示させる表示制御手段と、
前記複数の投射装置のうち、前記表示制御手段により前記画像が表示される表示領域内の操作位置に対応する一部の投射装置を、制御対象として決定する決定手段と、
前記一部の投射装置を制御するための信号を、該一部の投射装置に対して出力する出力手段と
を有する。

【発明の効果】

【0011】

本発明の構成により、複数台の投射装置によるマルチスクリーン表示において、所望の投射装置に対するユーザ操作を簡便に行うことができる。

【図面の簡単な説明】

【0012】

【図1】システムの構成例を示す図。

【図2】端末装置１００の機能構成例を示すブロック図。

【図3】端末装置１００が行う処理のフローチャート。

【図4】ステップＳ８０５を説明する図。

【図5】端末装置５００の機能構成例を示すブロック図。

【図6】端末装置５００が行う処理のフローチャート。

【図7】投射画像の指示操作と、該指示操作により表示されるメニュー画面を示す図。

【図8】投射画像の指示操作と、該指示操作により表示されるメニュー画面を示す図。

【図9】端末装置６００の機能構成例を示すブロック図。

【図10】端末装置６００が行う処理のフローチャート。

【図11】オリジナル画像の表示例を示す図。

【図12】端末装置７００の機能構成例を示すブロック図。

【図13】端末装置７００が行う処理のフローチャート。

【図14】枠の表示例を示す図。

【図15】端末装置のハードウェア構成例を示すブロック図。

【発明を実施するための形態】

【0013】

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。

【0014】

［第１の実施形態］
本実施形態では、複数台の投射装置によって平面上に投射された投射画像群を撮像して表示画面に表示し、該表示画面上でユーザによって指示された投射画像を投射した投射装置を、設定変更対象の投射装置として特定する端末装置について説明する。さらに端末装置は、設定変更対象として特定した投射装置の設定を変更することで、マルチスクリーン表示のための複数台の投射装置の設定を調整することが可能である。

【0015】

先ず、本実施形態に係るシステムについて、図１を用いて説明する。図１に示す如く、本実施形態に係るシステムは、投射装置２００〜２０３と、端末装置１００と、を有しており、投射装置２００〜２０３、端末装置１００、は何れも有線若しくは無線のＬＡＮ３００に接続されている。もちろん、ＬＡＮ以外のネットワークを用いても構わない。

【0016】

投射装置２００〜２０３は何れも平面（例えばスクリーン等の投射面）上に画像を投射するプロジェクタとして機能する装置であり、例えば、投射装置２００が画像４００ａを投射し、投射装置２０１が該画像４００ａの右隣に隣接するように画像４００ｂを投射し、投射装置２０２が該画像４００ａの下隣に隣接するように画像４００ｃを投射し、投射装置２０３が該画像４００ｃの右隣に隣接するように画像４００ｄを投射することで、１枚の画像４００（マルチスクリーン表示）を同平面上に形成することができる。以下では、投射装置２００〜２０３のそれぞれがこのようにして画像４００ａ〜４００ｄを平面上に投射して１枚の画像４００を該平面上に形成する場合について説明する。なお、本実施形態では平面に画像を投射する場合の例を中心に説明するが、曲面に投射する場合であっても本実施形態の内容は適用可能である。また、マルチスクリーン表示は、図１に示した形態に限らず、複数台の投射装置を用いて、その投射装置の投射領域の一部を重複させて大画面の画像投射を行う形態であればよい。

【0017】

端末装置１００は、スマートフォンやタブレット端末装置など、タッチパネル画面と撮像部とを有する装置であり、本実施形態では、ユーザが端末装置１００を用いて投射装置２００〜２０３のうち設定変更対象を選択し、該選択した投射装置を設定変更可能にする。端末装置１００の機能構成例について、図２のブロック図を用いて説明する。設定変更には、他の投射装置の設定に応じて、設定変更対象の投射装置の設定を調整することが含まれる。

【0018】

撮像部１０１は、端末装置１００に内蔵されたカメラである（端末装置１００に外付けするカメラであっても良い）。なお、カメラは静止画を撮像するカメラであってもよいし、動画像を撮像するビデオカメラであってもよい。撮像部１０１をビデオカメラとした場合は、撮像された各フレームの画像（撮像画像）を順次表示部１０２に対して送出する。これにより表示部１０２には、撮像部１０１の撮像方向に対応する動画像が表示されることになる。なお、撮像部１０１は、必ずしもマルチスクリーン表示の全体が収まるように撮像しなくてもよい。

【0019】

表示部１０２は液晶画面であり、撮像部１０１が撮像した動画像や、後述するメニュー画面などを表示することができる。操作入力部１０３は表示部１０２と一体化してタッチパネル画面を形成するものであり、表示部１０２上でユーザがタッチした位置を検知したりして、ユーザによる表示部１０２上における操作内容を検知する。

【0020】

画面構成取得部１０４は、画像４００内で画像４００ａ〜４００ｄを規定する情報及び画像４００を規定する情報を含む画面構成情報（構成情報）を取得する。構成情報は、表示部１０２の表示画面上の位置（領域）と、投射装置の識別情報とを対応づけるための情報（撮像画像内の領域と投射装置とを対応づけるための情報）であり、種々の形態の情報が考えられる。本実施形態では、画面構成情報には、以下の情報が含まれているものとする。

【0021】

・ 画像４００の縦サイズＨ及び横サイズＷ
・ 画像４００内における画像４００ａの範囲（範囲ａ）（０≦ｘ＜Ｗ１且つ０≦ｙ＜Ｈ１）
・ 画像４００内における画像４００ｂの範囲（範囲ｂ）（Ｗ１≦ｘ≦Ｗ２且つ０≦ｙ＜Ｈ１）
・ 画像４００内における画像４００ｃの範囲（範囲ｃ）（０≦ｘ＜Ｗ１且つＨ１≦ｙ≦Ｈ２）
・ 画像４００内における画像４００ｄの範囲（範囲ｄ）（Ｗ１≦ｘ≦Ｗ２且つＨ１≦ｙ≦Ｈ２）
なお、ｘ及びｙはそれぞれ、画像４００の左上隅の位置を原点とする画像４００内のｘ座標及びｙ座標、Ｗ１は画像４００ａ及び画像４００ｃの横サイズ、Ｗ２は画像４００ｂ及び画像４００ｄの横サイズ、Ｈ１は画像４００ａ及び画像４００ｂの縦サイズ、Ｈ２は画像４００ｃ及び画像４００ｄの縦サイズを表す。

【0022】

このような画面構成情報の取得方法については特定の方法に限るものではなく、如何なる方法を採用しても構わない。例えば、ユーザが予め作成して端末装置１００の不図示のメモリに登録したものを取得しても構わないし、近年ではカメラを用いてマルチスクリーン表示の画面構成を自動で構築する技術が開示されており、構築時に算出された同等の情報を投射装置や外部の計算機から取得しても構わない。

【0023】

また、この画面構成情報には、画像４００ａ〜４００ｄのそれぞれを投射する投射装置が投射装置２００〜２０３であることを示す情報も含まれている。例えば、画面構成情報では、範囲ａと投射装置２００の識別子とが対応づけられており、範囲ｂと投射装置２０１の識別子とが対応づけられており、範囲ｃと投射装置２０２の識別子とが対応づけられており、範囲ｄと投射装置２０３の識別子とが対応づけられている。

【0024】

ここで、投射装置２００〜２０３のそれぞれが画像４００ａ〜４００ｄを平面上に投射することで該平面上に画像４００を形成している状態で、ユーザが端末装置１００を手に持って撮像部１０１を該画像４００に向けた場合には、撮像部１０１は該画像４００を撮像することになるため、該画像４００の撮像画像（各フレームの画像）は表示部１０２に対して送出され、表示部１０２の表示画面上には、画像４００の撮像画像が表示される。ユーザは表示部１０２に表示されている撮像画像を閲覧して、該撮像画像に含まれている画像４００を構成する画像４００ａ〜４００ｄのうち何れか１つの画像内の位置にタッチすることができる。ここで、ユーザが表示部１０２の表示画面上でタッチした際、そのタッチした位置が、該表示部１０２に表示されている画像４００ａ〜４００ｄの何れに該当するのかを判定する必要がある。

【0025】

そこで操作対象特定部１０５は先ず、表示部１０２に表示されている撮像画像から画像４００の領域（マルチスクリーン表示領域）を検出する。撮像画像からマルチスクリーン表示領域を検出する方法には様々な方法があり、特定の方法に限るものではない。例えば、四隅にマーカなどの特徴点が配置された画像４００を投射し、操作対象特定部１０５は撮像画像からこの特徴点を検出して該検出した特徴点を四隅とする領域をマルチスクリーン表示領域として検出すればよい。そして操作対象特定部１０５は、この検出したマルチスクリーン表示領域の縦横サイズと、画面構成取得部１０４が取得した画面構成情報が示す画像４００の縦横サイズと、の比率（マルチスクリーン表示領域の縦横サイズ／画面構成取得部１０４が取得した画面構成情報が示す画像４００の縦横サイズ）ｒを求める。ここでは説明を簡単にするために、縦サイズと横サイズの比率は同じｒであるものとして説明する。

【0026】

ユーザが表示部１０２の表示画面上をタッチするなどして該表示画面上を指示した場合には、該指示した位置（Ｘ，Ｙ）が操作入力部１０３によって検知される（表示部１０２の表示画面の左上隅の位置を原点とする）。ここで、表示部１０２上におけるマルチスクリーン表示領域の左上隅の画素位置を（ｘｏ、ｙｏ）とすると、操作対象特定部１０５は、画面構成情報を参照し、０≦Ｘ−ｘｏ＜ｒ×Ｗ１且つ０≦Ｙ−ｙｏ＜ｒ×Ｈ１であれば、指示した位置（Ｘ，Ｙ）は表示部１０２の表示画面において範囲ａに該当する領域内の位置であると判断し、これにより画像４００ａが指示されたものと判断する。この場合、操作対象特定部１０５は、画面構成情報を用いて、範囲ａに関連づけられている識別子に対応する投射装置２００を、画像４００ａを投射した投射装置として特定する。

【0027】

また、操作対象特定部１０５は、画面構成情報を参照し、ｒ×Ｗ１≦Ｘ−ｘｏ≦ｒ×Ｗ２且つ０≦Ｙ−ｙｏ＜ｒ×Ｈ１であれば、指示した位置（Ｘ，Ｙ）は表示部１０２の表示画面において範囲ｂに該当する領域内の位置であると判断し、これにより画像４００ｂが指示されたものと判断する。この場合、操作対象特定部１０５は、画面構成情報を用いて、範囲ｂに関連づけられている識別子に対応する投射装置２０１を、画像４００ｂを投射した投射装置として特定する。

【0028】

また、操作対象特定部１０５は、画面構成情報を参照し、０≦Ｘ−ｘｏ＜ｒ×Ｗ１且つｒ×Ｈ１≦Ｙ−ｙｏ≦ｒ×Ｈ２であれば、指示した位置（Ｘ，Ｙ）は表示部１０２の表示画面において範囲ｃに該当する領域内の位置であると判断し、これにより画像４００ｃが指示されたものと判断する。この場合、操作対象特定部１０５は、画面構成情報を用いて、範囲ｃに関連づけられている識別子に対応する投射装置２０２を、画像４００ｃを投射した投射装置として特定する。

【0029】

また、操作対象特定部１０５は、画面構成情報を参照し、ｒ×Ｗ１≦Ｘ−ｘｏ≦ｒ×Ｗ２且つｒ×Ｈ１≦Ｙ−ｙｏ≦ｒ×Ｈ２であれば、指示した位置（Ｘ，Ｙ）は表示部１０２の表示画面において範囲ｄに該当する領域内の位置であると判断し、これにより画像４００ｄが指示されたものと判断する。この場合、操作対象特定部１０５は、画面構成情報を用いて、範囲ｄに関連づけられている識別子に対応する投射装置２０３を、画像４００ｄを投射した投射装置として特定する。

【0030】

このようにして操作対象特定部１０５は、表示部１０２に表示されている画像４００ａ〜４００ｄのうち、ユーザが表示部１０２の表示画面上で指示した位置に対応する画像を特定し、投射装置２００〜２０３のうち、該特定した画像を投射した投射装置を特定することができる。

【0031】

送信部１０６は、操作対象特定部１０５によって特定された投射装置に対し、ＬＡＮ３００を介して、設定変更内容を示す情報を送信する。

【0032】

次に、端末装置１００が行う処理について、同処理のフローチャートを示す図３を用いて説明する。なお、以下では、投射装置２００〜２０３のそれぞれが画像４００ａ〜４００ｄを平面上に投射することで該平面上に画像４００を形成している状態で、ユーザが端末装置１００を手に持って撮像部１０１を該画像４００に向けた場合における端末装置１００の動作について説明する。

【0033】

＜ステップＳ８００＞
撮像部１０１は平面上に投射された画像４００を撮像し、該画像４００の撮像画像（各フレームの画像）を順次表示部１０２に対して送出する。

【0034】

＜ステップＳ８０１＞
表示部１０２の表示画面上には、画像４００の撮像画像が表示される。

【0035】

＜ステップＳ８０２＞
操作入力部１０３は、ユーザによる表示部１０２への指示操作（例えばタッチ操作）がなされたのか否かを判断する。より詳しくは、操作対象特定部１０５が上記のようにして検出したマルチスクリーン表示領域内の何れかの位置への操作指示がなされたのか否かを判断する。この判断の結果、マルチスクリーン表示領域内の何れかの位置への操作指示がなされた場合には処理はステップＳ８０３に進み、なされていない場合には、処理はステップＳ８００に進む。

【0036】

＜ステップＳ８０３＞
画面構成取得部１０４は、上記の画面構成情報を取得する。

【0037】

＜ステップＳ８０４＞
操作対象特定部１０５は、上記の処理により、表示部１０２に表示されている画像４００ａ〜４００ｄのうち、ユーザが表示部１０２の表示画面上で指示した位置に対応する画像を特定し、投射装置２００〜２０３のうち、該特定した画像を投射した投射装置を特定する。すなわち、操作対象特定部１０５は、マルチスクリーン表示に対する撮像画像が表示された表示画面に対するユーザ操作の表示画面上における位置と画面構成情報とに応じて設定変更対象の投射装置を特定する。

【0038】

＜ステップＳ８０５＞
操作対象特定部１０５は、ステップＳ８０４で特定した投射装置に対する設定項目を列挙したメニュー画面を表示部１０２に表示させる。例えば図４（ａ）に示す如く、ユーザが表示部１０２の表示画面上でタッチ操作を行い、操作対象特定部１０５が該タッチ操作がなされた位置に応じた投射装置を特定すると、図４（ｂ）に示す如く、操作対象特定部１０５は、該特定した投射装置に対する設定項目が列挙されたメニュー画面を、表示部１０２の表示画面上に表示する。

【0039】

ユーザは表示部１０２への操作によってこのようなメニュー画面を操作して、様々な設定項目における値を設定したり変更したりする。タッチパネル画面に表示されたメニュー画面を介して様々な設定を行うための操作入力方法やそのときに端末装置１００が行う処理については周知であるため、これについての説明は省略する。このように、メニュー画面に対するユーザ操作に応じて、特定の投射装置の設定を変更することが可能である。特に、マルチスクリーン表示を行う複数台の投射装置の輝度や色、投射形状の調整を行うことが可能である。

【0040】

＜ステップＳ８０６＞
送信部１０６は、ユーザが表示部１０２に対して設定変更完了及び送信の指示を入力したか否かを判断する。この判断の結果、入力した場合には処理はステップＳ８０７に進み、入力していない場合には、処理はステップＳ８０６で待機する。

【0041】

＜ステップＳ８０７＞
送信部１０６は、ステップＳ８０５で設定変更の内容を示す制御信号を生成して、ステップＳ８０４で特定した投射装置に対して送信する。すなわち送信部１０６は、操作対象特定部１０５により特定された投射装置に対して、特定後のユーザ操作に応じた制御信号を出力して投射装置の設定を制御する。

【0042】

＜ステップＳ８０８＞
操作入力部１０３は、ユーザが上記メニュー画面の表示をキャンセルするための操作入力を行ったか否かを判断する。例えば、現在は画像４００ａを調整すべく該画像４００ａを投射している投射装置２００についてメニュー画面で値を設定したところ、次に他の画像（例えば画像４００ｂ）を調整すべく該画像４００ｂを投射している投射装置２０１についてメニュー画面で値を設定したい場合には、現在表示中のメニュー画面の表示をキャンセルする必要がある。

【0043】

操作入力部１０３が、ユーザが上記メニュー画面の表示をキャンセルするための操作入力を検知した場合には、処理はステップＳ８００に進み、検知していない場合には、処理はステップＳ８０９に進む。

【0044】

＜ステップＳ８０９＞
操作入力部１０３は、ユーザが上記メニュー画面を介して処理終了の旨の操作入力を行ったか否かを判断する。例えば、メニュー画面に表示されている「終了」ボタンをタッチした否かを判断する。この判断の結果、ユーザが上記メニュー画面を介して処理終了の旨の操作入力を行った場合には、図３のフローチャートに従った処理は完了し、該操作入力を行っていない場合には、処理はステップＳ８０６に進む。

【0045】

このように、本実施形態によれば、マルチスクリーン表示を構成するそれぞれの投射装置による投射画像の撮像画像上で所望の投射画像を指示することで、該指示された投射画像を投射した投射装置を設定変更対象として指示することができる。これにより、該調整を、視聴を妨げることなく簡便に行うことができる。なお、本実施形態では、投射装置の数を４としたが、他の数であっても構わない。

【0046】

［第２の実施形態］
本実施形態では、ユーザが表示部１０２の表示画面上で指示した位置に対応する投射装置の特定方法が第１の実施形態と異なる。以下では第１の実施形態との差分について重点的に説明し、以下で特に触れない限りは第１の実施形態と同様であるものとして説明する。

【0047】

本実施形態では端末装置１００の代わりに端末装置５００を用いる。端末装置５００の機能構成例について、図５のブロック図を用いて説明する。図５において図２に示した機能部と同じ機能部については同じ参照番号を付しており、該機能部に係る説明は省略する。

【0048】

画像データ取得部５０４は、投射装置２００〜２０３のそれぞれから、投射画像を投射するために用いる「投射画像のオリジナル画像」と、該投射装置の識別子と、をＬＡＮ３００を介して取得する。マルチスクリーン表示を構成する場合、投射装置２００〜２０３のそれぞれから平面に投射される画像の歪みを調整するために、画像に対して台形補正と呼ばれる幾何形状の変形を行うことが多い。ここでは、表示部１０２の表示画面上に表示されている投射画像（上記の歪みのない画像）と比較するために、台形補正した画像ではなく台形補正前の画像、すなわち、オリジナル画像を取得する。なお、本実施形態ではオリジナル画像（投射画像）を取得する場合の例を中心に説明するが、端末装置１００の表示画面のサイズ等に応じて縮小された画像をオリジナル画像として取得するようにしてもよい。また、投射画像のフレームレートと、端末装置１００が取得する画像のフレームレートは必ずしも一致させる必要はない。他の実施形態におけるオリジナル画像についても同様である。

【0049】

操作対象特定部５０５は、操作入力部１０３が検知した表示部１０２の表示画面上におけるユーザの指示位置の近傍領域内（所定範囲内）の画像を比較画像として抽出し、画像データ取得部５０４が取得したそれぞれのオリジナル画像のうち、該比較画像と類似する部分を含むオリジナル画像を特定する。例えば、それぞれのオリジナル画像について、比較画像を該オリジナル画像内でラスタスキャン順に移動させながら、該比較画像とのパターンマッチングを行い、該比較画像と最も類似度の高い画像領域を有するオリジナル画像を特定する。

【0050】

なお、オリジナル画像と、表示部１０２の表示画面上に表示されている画像４００ａ〜４００ｄとでは縮尺が異なるため、当然ながら、これはオリジナル画像と比較画像とでも同様である。然るに、パターンマッチングなどの画像比較の際には、それぞれの縮尺を考慮して適宜変倍しながら画像比較を行う必要がある。

【0051】

また、マルチスクリーン表示全体を撮像した撮像画像から、投射装置２００〜２０３のそれぞれの投射画像を順に探索することで、撮像画像上での投射装置２００〜２０３のそれぞれの投射画像を特定し、比較画像を含む投射画像を特定しても構わない。なお、本実施形態では撮像部１０１が画像４００の全体を撮像する例を中心に説明しているが、撮像部１０１は、マルチスクリーン表示に対応する画像（画像４００）の全体を必ずしも撮像する必要はなく、一部の領域を撮像することも可能である。例えば、ユーザは、マルチスクリーン表示に対応する画像４００のうち、特に設定が気になる部分領域を撮影することが可能である。このようにすれば、特に大画面でマルチスクリーン表示を行う際に、撮像部１０１の画角に画像４００の全体を収めるためにユーザが移動する必要性が小さくなる。

【0052】

そして、操作対象特定部５０５は、特定したオリジナル画像と共に画像データ取得部５０４が取得した識別子に対応する投射装置を、設定変更対象の投射装置として特定する。以降については第１の実施形態と同様である。

【0053】

端末装置５００が行う処理について、図６のフローチャートを用いて説明する。なお、投射装置２００〜２０３のそれぞれが画像４００ａ〜４００ｄを平面上に投射することで該平面上に画像４００を形成している状態で、ユーザが端末装置５００を手に持って撮像部１０１を該画像４００に向けた場合における端末装置５００の動作について説明する。なお、図６に示した処理ステップのうち、図３に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。

【0054】

＜ステップＳ９００＞
画像データ取得部５０４は、投射装置２００〜２０３のそれぞれから、投射画像を投射するために用いる「投射画像のオリジナル画像」と、該投射装置の識別子と、をＬＡＮ３００を介して取得する。上述の通り、オリジナル画像は、投射画像が低解像度に変換された画像であってもよい。また画像データ取得部５０４が取得するオリジナル画像のフレームレートは投射装置２００〜２０３による投射画像のフレームレートよりも低くてもよい。

【0055】

＜ステップＳ９０１＞
操作対象特定部５０５は、操作入力部１０３が検知した表示部１０２の表示画面上におけるユーザの指示位置の近傍領域内の画像を比較画像として抽出し、画像データ取得部５０４が取得したそれぞれのオリジナル画像のうち、該比較画像と類似する部分を含むオリジナル画像を特定する。

【0056】

＜ステップＳ９０２＞
操作対象特定部５０５は、ステップＳ９０１で特定したオリジナル画像と共に画像データ取得部５０４が取得した識別子に対応する投射装置を、設定変更対象の投射装置として特定する。即ち、操作対象特定部５０５は、マルチスクリーン表示に対する撮像画像が表示された表示画面に対するユーザ操作が行われた表示画面上における位置から所定範囲内の画像と、投射装置からの投射画像との比較に基づいて、設定変更対象の投射装置を特定する。

【0057】

ここで、ユーザによる表示部１０２の表示画面上に対する投射画像の指示操作と、該指示操作により表示部１０２の表示画面上に表示されるメニュー画面について、図７，８を用いて説明する。これは、第１の実施形態でも第２の実施形態でも適用することができる。

【0058】

ユーザが表示部１０２の表示画面上で図７（ａ）に示す如く、２つの投射画像を指示した場合、図７（ｂ）に示す如く、一方の投射画像を投射した投射装置に対するメニュー画面１２１及び他方の投射画像を投射した投射装置に対するメニュー画面１２２を表示部１０２の表示画面上に表示する。すなわち、操作対象特定部１０５は、ユーザ操作によっては２台以上の設定変更対象の投射装置を特定する。例えば、ユーザが表示画面上の第１の位置を指定してから、所定時間内に、第２の位置を指定すると、第１の位置に対応する第１の投射装置と、第２の位置に対応する第２の投射装置とが特定される。他の実施形態においても同様である。なお、メニュー画面１２１及び１２２のそれぞれの配置位置は、例えば図７に示す如く、指示した２点の位置関係と同じ位置関係で表示しても構わない。すなわち、右上側の指示位置で指示している投射画像を投射した投射装置に対するメニュー画面としてメニュー画面１２１を配置し、左下側の指示位置で指示している投射画像を投射した投射装置に対するメニュー画面としてメニュー画面１２２を配置する。これによりユーザは、調整したい投射装置に対応する投射画像と、そこを操作するためのメニューとの対応を直感的に理解することができる。

【0059】

また例えば、図８（ａ）に示す如く、ユーザが表示部１０２の表示画面上で複数の投射画像が重なっている領域１３０（斜線で示している領域）を指示した場合、図８（ｂ）に示す如く、重複している投射画像のうち一方の投射画像を投射した投射装置に対するメニュー画面１４０及び他方の投射画像を投射した投射装置に対するメニュー画面１４１を表示部１０２の表示画面上に表示する。なお、投射画像同士が重なる領域については、画面構成情報において範囲ａ〜範囲ｄを規定する情報から、それぞれの範囲が重なっている範囲を求めることができる。なお、投射装置毎のメニュー画面は同じメニュー画面であっても良いし、投射装置毎に専用のメニュー画面を表示しても構わない。

【0060】

なお、ユーザが投射画像を指示するための動作やメニュー画面の提示の仕方については上記で説明したものに限らない。例えば、領域１３０を指示した場合には、該領域１３０で重なっているそれぞれの投射画像に対応する投射装置で共通の１つのメニュー画面を表示し、該メニュー画面で調整した内容を、該領域１３０で重なっているそれぞれの投射画像に対応する投射装置に対して送信しても構わない。

【0061】

［第３の実施形態］
本実施形態では、投射装置２００〜２０３が投射した画像の撮像画像を表示部１０２に表示するのではなく、投射装置２００〜２０３のそれぞれから取得した上記のオリジナル画像を表示部１０２に表示する点が第２の実施形態と異なる。以下では第２の実施形態との差分について重点的に説明し、以下で特に触れない限りは第２の実施形態と同様であるものとして説明する。

【0062】

本実施形態では端末装置５００の代わりに端末装置６００を用いる。端末装置６００の機能構成例について、図９のブロック図を用いて説明する。図９において図５に示した機能部と同じ機能部については同じ参照番号を付しており、該機能部に係る説明は省略する。

【0063】

画像データ取得部６０４は画像データ取得部５０４と同様にして、投射装置２００〜２０３のそれぞれから、投射画像を投射するために用いる「投射画像のオリジナル画像」と、該投射装置の識別子と、をＬＡＮ３００を介して取得する。そして画像データ取得部６０４は、取得したそれぞれのオリジナル画像を表示部１０２に対して送出し、表示部１０２に該それぞれのオリジナル画像を並べて表示する。なお、第２の実施形態と同様に、オリジナル画像は、投射画像と同じ画素数であってもよいが、端末装置１００の表示画面のサイズ等に合わせて、投射画像が縮小された画像であってもよい。また投射画像のフレームレートと、端末装置１００が取得する画像のフレームレートは必ずしも一致させる必要はない。

【0064】

ここで、投射装置から取得したオリジナル画像は、該投射装置の識別子に対して予め関連づけられている表示領域に表示されるように予め設定されている。例えば、投射装置２００の識別子に対応する表示領域は左上、投射装置２０１の識別子に対応する表示領域は右上、投射装置２０２の識別子に対応する表示領域は左下、投射装置２０３の識別子に対応する表示領域は右下、というように、平面上における投射装置２００〜２０３による投射画像の配置順に従って、投射装置２００〜２０３からのオリジナル画像の表示領域を決定しておく。図１１にオリジナル画像の表示例を示す。

【0065】

然るに画像データ取得部６０４は、投射装置２００から取得したオリジナル画像は投射装置２００の識別子に対応する表示領域に表示されるように表示部１０２に対して出力し、投射装置２０１から取得したオリジナル画像は投射装置２０１の識別子に対応する表示領域に表示されるように表示部１０２に対して出力し、投射装置２０２から取得したオリジナル画像は投射装置２０２の識別子に対応する表示領域に表示されるように表示部１０２に対して出力し、投射装置２０３から取得したオリジナル画像は投射装置２０３の識別子に対応する表示領域に表示されるように表示部１０２に対して出力する。なお、表示部１０２にはオリジナル画像だけを表示するのではなく、該オリジナル画像の取得元の投射装置の識別子も合わせて表示しても良い。

【0066】

操作対象特定部６０５は、表示部１０２に表示しているそれぞれのオリジナル画像のうち何れがユーザによって指示されたのかを特定する。これは、操作入力部１０３が検知したユーザの指示位置が、それぞれのオリジナル画像の表示領域のうち何れの表示領域内の位置であるのかを特定すれば良い。そして操作対象特定部６０５は、ユーザの指示位置を含む表示領域に関連づけられている識別子に対応する投射装置を、設定変更対象の投射装置として特定する。以降は第２の実施形態と同様である。

【0067】

端末装置６００が行う処理について、図１０のフローチャートを用いて説明する。なお、図１０に示した処理ステップのうち、図６に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。

【0068】

＜ステップＳ９００＞
画像データ取得部６０４は、投射装置２００〜２０３のそれぞれから、投射画像を投射するために用いる「投射画像のオリジナル画像」と、該投射装置の識別子と、をＬＡＮ３００を介して取得する。

【0069】

＜ステップＳ１０００＞
画像データ取得部６０４は、ステップＳ９００で取得したそれぞれのオリジナル画像を表示部１０２に対して送出し、表示部１０２に該それぞれのオリジナル画像を並べて表示する。

【0070】

＜ステップＳ１０００ａ＞
操作対象特定部６０５は、それぞれのオリジナル画像の表示領域のうち何れかが指示されたのか否かを判断する。そしてこの判断の結果、指示された場合には処理はステップＳ１００１に進み、指示されなかった場合には、ステップＳ１０００ａで待機する。

【0071】

＜ステップＳ１００１＞
ステップＳ１００１では、操作対象特定部６０５は、表示部１０２に表示しているそれぞれのオリジナル画像（投射画像）のうち何れがユーザによって指示されたのかを特定する。そして操作対象特定部６０５は、特定したオリジナル画像（表示領域）に対応する投射装置を、設定変更対象の投射装置として特定する。すなわち、操作対象特定部６０５は、投射画像が表示された表示画面に対するユーザ操作の表示画面上における位置から所定範囲内の画像と、各投射装置から取得した投射画像との比較に基づいて、設定変更対象の投射装置を特定する。

【0072】

［第４の実施形態］
本実施形態では、表示部１０２には撮像画像ではなく、画像４００内における画像４００ａ〜４００ｄのそれぞれの領域を表した枠を表示する点が第１の実施形態と異なる。以下では第１の実施形態との差分について重点的に説明し、以下で特に触れない限りは第１の実施形態と同様であるものとして説明する。

【0073】

本実施形態では端末装置１００の代わりに端末装置７００を用いる。端末装置７００の機能構成例について、図１２のブロック図を用いて説明する。図１２において図２に示した機能部と同じ機能部については同じ参照番号を付しており、該機能部に係る説明は省略する。

【0074】

画像４００内における画像４００ａ〜４００ｄのそれぞれの位置関係は、画面構成取得部１０４が取得する画面構成情報（構成情報）が表す範囲ａ〜範囲ｄから求めることができる。然るに、操作対象特定部７０５は、画面構成情報を参照し、画像４００ａ〜４００ｄのそれぞれの位置関係に応じて、画像４００ａ〜４００ｄのそれぞれに対応する枠を表示部１０２に表示する。例えば、図１４に示す如く、表示部１０２における表示画面の左上に画像４００ａに対応する枠、右上に画像４００ｂに対応する枠、左下に画像４００ｃに対応する枠、右下に画像４００ｄに対応する枠、を表示する。なお、図１４には実線の枠が表示されているが、複数台の投射装置のそれぞれの投射領域を識別可能に表示することができれば、実線の枠に限らない。例えば、点線の枠でも、一点鎖線の枠でも良いし、枠の代わりに色によって識別可能に表示することも可能である。

【0075】

そして操作対象特定部７０５は、表示部１０２に表示しているそれぞれの枠のうち何れがユーザによって指示されたのかを特定する。これは、操作入力部１０３が検知したユーザの指示位置が、それぞれの枠のうち何れの枠内の位置であるのかを特定すれば良い。そして操作対象特定部７０５は、特定した枠に対応する投射装置（特定した枠に対応する画像を投射する投射装置として画面構成情報が規定する投射装置）を、設定変更対象の投射装置として特定する。以降は第１の実施形態と同様である。

【0076】

端末装置７００が行う処理について、図１３のフローチャートを用いて説明する。なお、図１３に示した処理ステップのうち、図３に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。

【0077】

＜ステップＳ１３００＞
操作対象特定部７０５は、画面構成情報を参照し、画像４００ａ〜４００ｄのそれぞれの位置関係に応じて、画像４００ａ〜４００ｄのそれぞれに対応する枠を表示部１０２に表示する。

【0078】

＜ステップＳ１３０１＞
操作入力部１０３が、表示部１０２に表示しているそれぞれの枠のうち何れかの枠内の位置が指示されたのか否かを判断する。この判断の結果、指示された場合には、処理はステップＳ１３０２に進み、指示されていない場合には、処理はステップＳ１３０１で待機する。

【0079】

＜ステップＳ１３０２＞
操作対象特定部７０５は、表示部１０２に表示しているそれぞれの枠のうち何れがユーザによって指示されたのかを特定する。そして操作対象特定部７０５は、特定した枠に対応する投射装置を、設定変更対象の投射装置として特定する。すなわち、操作対象特定部７０５は、構成情報に基づいて複数台の投射装置の投射領域が識別可能に表示された表示画面に対するユーザ操作の表示画面上の位置に応じて、設定変更対象の投射装置を特定する。

【0080】

なお、以上説明した実施形態の一部若しくは全部は適宜組み合わせて用いても構わない。

【0081】

［第５の実施形態］
図２，５，９，１２に示した各機能部のうち撮像部１０１、表示部１０２、操作入力部１０３、送信部１０６、を除く各機能部はハードウェアで構成しても構わないが、ソフトウェア（コンピュータプログラム）で構成しても構わない。この場合、このコンピュータプログラムは、端末装置が有するメモリに格納され、ＣＰＵ等のプロセッサが該コンピュータプログラムを実行することで、対応する機能部の処理が実現されることになる。このような場合における端末装置のハードウェア構成例について、図１５のブロック図を用いて説明する。図１５において、図２に示した機能部と同じ機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。

【0082】

ＣＰＵ１５０１は、ＲＡＭ１５０２やＲＯＭ１５０３に格納されているコンピュータプログラムやデータを用いて処理を実行することで、端末装置全体の動作制御を行うと共に、端末装置が行うものとして上述した各処理を実行する。

【0083】

ＲＡＭ１５０２は、ＲＯＭ１５０３からロードされたコンピュータプログラムやデータを格納するためのエリアや、撮像部１０１や外部（例えば投射装置２００〜２０３）から取得したデータなどを格納するためのエリアを有する。また、ＲＡＭ１５０２は、ＣＰＵ１５０１が各種の処理を実行する際に用いるワークエリアを有する。このように、ＲＡＭ１５０２は各種のエリアを適宜提供することができる。

【0084】

ＲＯＭ１５０３には、端末装置の設定データや起動プログラムが格納されている。更にＲＯＭ１５０３には、図２，５，９，１２に示した各機能部のうち撮像部１０１、表示部１０２、操作入力部１０３、送信部１０６、を除く各機能部が行うものとして上述した各処理をＣＰＵ１５０１に実行させるためのコンピュータプログラムやデータが格納されている。ＲＯＭ１５０３に格納されているコンピュータプログラムやデータは、ＣＰＵ１５０１による制御に従って適宜ＲＡＭ１５０２にロードされ、ＣＰＵ１５０１による処理対象となる。

【0085】

タッチパネル画面１５０４は、表示部１０２及び操作入力部１０３によって構成されるものであり、上記の通り、様々な情報を表示すると共に、ユーザからの指示入力を検知する。

【0086】

ＣＰＵ１５０１、ＲＡＭ１５０２、ＲＯＭ１５０３、撮像部１０１、タッチパネル画面１５０４、送信部１０６、は何れも、共通のバス１５０５に接続されている。なお、端末装置に適用可能なハードウェア構成は、図１５に示した構成に限るものではなく、様々な構成が考え得る。

【0087】

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

【符号の説明】

【0088】

１０１：撮像部 １０２：表示部 １０３：操作入力部 １０４：画面構成取得部 １０５：操作対象特定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】