特許 6244712 画像処理装置、画像処理方法および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6244712

(24)【登録日】2017年11月24日

(45)【発行日】2017年12月13日

(54)【発明の名称】画像処理装置、画像処理方法および画像処理プログラム

(51)【国際特許分類】

   G06F 3/0488 20130101AFI20171204BHJP

   G06F 3/041 20060101ALI20171204BHJP

   G06F 3/0484 20130101ALI20171204BHJP

   H04M 1/00 20060101ALI20171204BHJP

【ＦＩ】

   G06F3/0488

   G06F3/041 530

   G06F3/0484 120

   H04M1/00 R

【請求項の数】14

【全頁数】21

(21)【出願番号】特願2013-153074(P2013-153074)

(22)【出願日】2013年7月23日

(65)【公開番号】特開2015-22730(P2015-22730A)

(43)【公開日】2015年2月2日

【審査請求日】2016年4月5日

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100105142

【弁理士】

【氏名又は名称】下田 憲次

(72)【発明者】

【氏名】原 伸之

(72)【発明者】

【氏名】山口 伸康

【審査官】 ▲高▼橋 徳浩

(56)【参考文献】

【文献】 特開２０１２−２１７１０１（ＪＰ，Ａ）

【文献】 特開平１０−２６９０２２（ＪＰ，Ａ）

【文献】 特開２００６−２３６１４３（ＪＰ，Ａ）

【文献】 特開２０１２−２２６６９１（ＪＰ，Ａ）

【文献】 特開２００９−０４８２４５（ＪＰ，Ａ）

【文献】 特開２０１３−０９２９５２（ＪＰ，Ａ）

【文献】 特開２００９−０３１９１４（ＪＰ，Ａ）

【文献】 特開２００９−１９９６２２（ＪＰ，Ａ）

【文献】 特開２０１１−１７５４５６（ＪＰ，Ａ）

【文献】 特開２０１２−０９００７７（ＪＰ，Ａ）

【文献】 特開２０１３−０２５６３８（ＪＰ，Ａ）

【文献】 特開２０１３−０３７６２８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｈ０４Ｍ １／００

Ｈ０４Ｍ ９９／００

Ｇ０６Ｆ３／０３−Ｇ０６Ｆ３／０４８９

Ｇ０６Ｆ３／１４−Ｇ０６Ｆ３／１５３

Ｈ０４Ｍ１／２４−Ｈ０４Ｍ１／８２

(57)【特許請求の範囲】

【請求項1】

表示情報を表示する表示部と、
前記表示情報と前記表示情報を表示する基準位置を規定するマーカとを含む画像を取得する取得部と、
前記マーカに規定される前記表示情報と前記基準位置を認識する認識部と、
前記基準位置の移動量に基づいて、前記表示情報に対するユーザの選択動作の開始情報を算出する算出部と、
前記開始情報に基づいて、前記表示情報に対するユーザの操作領域を、前記表示情報の表示領域よりも広く制御する制御部と、
を備えることを特徴とする画像処理装置。

【請求項2】

前記表示部に対する接触を検知することにより、前記ユーザの前記表示情報に対する選択動作を検知する検知部を更に備え、
前記制御部は、前記検知部が前記ユーザの前記表示情報に対する選択動作を検知した後に前記表示情報に対する前記ユーザの操作領域を制御することを特徴とする請求項１記載の画像処理装置。

【請求項3】

前記制御部は、前記開始情報と前記画像における前記基準位置の移動量に基づいて前記操作領域を制御することを特徴とする請求項２記載の画像処理装置。

【請求項4】

前記開始情報は、前記移動量に基づいた前記選択動作の開始時刻を含み、
前記算出部は、前記開始時刻から前記選択動作の終了時刻までの選択動作時間を更に算出し、
前記制御部は、前記選択動作時間における前記移動量に基づいて前記操作領域を制御することを特徴とする請求項３記載の画像処理装置。

【請求項5】

前記制御部は、前記操作領域を、前記開始時刻における前記表示領域よりも広く制御することを特徴とする請求項４記載の画像処理装置。

【請求項6】

前記検知部は、前記接触を検知した検知位置と前記操作領域に基づいて、前記ユーザの前記表示情報に対する選択動作を検知することを特徴とする請求項４または請求項５記載の画像処理装置。

【請求項7】

前記開始時刻は、前記表示情報の第１表示位置の変化量が第１閾値範囲未満である状態が第２閾値時間以上継続した後に、前記第１閾値範囲以上となった時刻であり、
前記終了時刻は、前記検知部が前記接触を検知した時刻であることを特徴とする請求項６記載の画像処理装置。

【請求項8】

前記制御部は、前記操作領域の制御として、前記選択動作時間における前記基準位置の最小座標と最大座標で規定される移動範囲に前記表示情報を重畳して表示させることを特徴とする請求項４ないし請求項７の何れか一項に記載の画像処理装置。

【請求項9】

前記制御部は、前記操作領域の制御として、前記選択動作時間における前記基準位置の最小座標と最大座標で規定される移動範囲を前記操作領域と見做して制御することを特徴とする請求項４ないし請求項７の何れか一項に記載の画像処理装置。

【請求項10】

前記制御部は、前記検知位置が前記表示領域以外の場合において、前記操作領域の制御として、前記終了時刻の次フレームにおける前記表示情報の第２表示位置を、前記開始時刻の前記表示情報の第１表示位置に切り替えて、前記表示情報を表示させることを特徴とする請求項６または請求項７記載の画像処理装置。

【請求項11】

前記認識部がマーカを認識しない場合に、前記選択動作時間における前記移動量を所定の近似処理または所定のフィルタ処理を用いて推定する推定部と、を更に備えることを特徴とする請求項４ないし請求項９の何れか一項に記載の画像処理装置。

【請求項12】

前記操作領域は、前記表示情報の表示領域であることを特徴とする請求項１ないし請求項１１の何れか一項に記載の画像処理装置。

【請求項13】

表示情報を表示し、
前記表示情報と前記表示情報を表示する基準位置を規定するマーカとを含む画像を取得し、
前記マーカに規定される前記表示情報と前記基準位置を認識し、
前記基準位置の移動量に基づいて、前記表示情報に対するユーザの選択動作の開始情報を算出し、
前記開始情報に基づいて、前記表示情報に対するユーザの操作領域を、前記表示情報の表示領域よりも広く制御すること、
を含むことを特徴とする画像処理方法。

【請求項14】

コンピュータに、
表示情報を表示し、
前記表示情報と前記表示情報を表示する基準位置を規定するマーカとを含む画像を取得し、
前記マーカに規定される前記表示情報と前記基準位置を認識し、
前記基準位置の移動量に基づいて、前記表示情報に対するユーザの選択動作の開始情報を算出し、
前記開始情報に基づいて、前記表示情報に対するユーザの操作領域を、前記表示情報の表示領域よりも広く制御すること、
を実行させることを特徴とする画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば、画像上の任意の位置に表示情報を表示する画像処理装置、画像処理方法および画像処理プログラムに関する。

【背景技術】

【0002】

近年、情報通信技術の発展に伴い、現実空間（外界）を撮像した画像にコンピュータを用いて視覚的な表示情報を付加して表示する、拡張現実感（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）による画像処理技術の開発が行われている。拡張現実に関する技術におけるインタフェースは、任意の場所に固定されたカメラ、または自由に移動が可能なカメラを用いて、ユーザの眼前の物体に付与されるマーカ（２次元コードと称しても良い）を撮影することにより、マーカを含む画像を取得した後、その物体に関連する付加的な情報であり、かつマーカに対応付けられる表示情報をディスプレイ上に表示する機能を具備している。

【0003】

拡張現実感による画像処理方法は、具体的には、マーカに対応する表示情報を、撮像したマーカの４隅から決定される基準位置と当該基準位置に基づく物理座標系に基づいて、カメラのディスプレイや、カメラが搭載されるＰＣまたは、携帯端末のディスプレイに重畳表示することを特徴としている。当該画像処理方法により、表示情報と物体の表示位置を関連付けることが可能となる。

【0004】

拡張現実技術を利用し、電子機器等の障害発生時における障害箇所の特定、及び、ユーザの障害修復作業等の現場作業を支援する機能が実現されている。例えば、作業対象物となる物体または、当該物体付近に特定の形状特徴を有するマーカを付与し、マーカに含まれる各種情報に基づいて、カメラが撮影する画像上にリアルタイムで表示情報を重畳表示する。例えば、コピー機の紙詰まり障害の修復作業支援において、紙詰まり発生位置に対応付けられたコピー機の内部映像及び操作手順を、作業対象の物体となるコピー機に重畳表示する技術が提案されている。

【0005】

ここで、従来の拡張現実感の画像処理技術を用いない従来の手法による現場作業においては、以下の様な問題が存在し得ることが想定されている。
（１−１）作業対象箇所や手順を記載した大量の紙媒体の作業手順書を作業現場に持って行き、作業者が必要な個所を自分で選択して参照すると共に、作業手順書の記載と現場の状況を見比べながら作業を実施する。この為、必要箇所の選択に時間がかかる、間違った箇所を選択する・見比べる時に見間違いが発生するなどの作業ミスが発生する。
（１−２）作業結果は、紙媒体のチェックシートへ記入して記録する。記録内容を電子化する作業負荷は大きいことから、紙媒体のチェックシートのまま作業結果が保存されることになる為、作業結果の整理や解析が難しくなる。

【0006】

上述の問題点に関して、拡張現実感を用いた画像処理技術を上述の現場作業に対して適用することで、以下の改善効果が期待される。
（２−１）電子化したマニュアルを格納した画像処理装置のカメラを用いて作業対象の物体を撮影するだけで、その作業対象の物体に関する作業箇所や手順を、ディスプレイの画像（カメラプレビュー画像と称しても良い）への表示情報（オブジェクトアイコンと称しても良い）の重畳表示という形でリアルタイムに表示して提示する。これにより、ユーザの作業時間の短縮と作業ミスの低減を図ることが可能となる。
（２−２）作業結果の記録作業は、作業対象の物体に関連付けて表示されている表示情報を、例えば、手指で押下して選択することで、作業結果の入力用画面に切り替えて実施する。作業結果の記録完了時において、既に作業結果は電子化されている為、作業結果のデータの整理や改正が容易になる。
この様に、拡張現実感を用いた画像処理技術においては、作業現場における様々な作業効率化が期待されている。

【先行技術文献】

【非特許文献】

【0007】

「拡張現実感を利用した原子力発電プラントの解体支援手法の提案と評価」、日本バーチャルリアリティ学会論文誌、Ｖｏｌ.１３、Ｎｏ．２、ｐｐ.２８９−３００、２００８

【発明の概要】

【発明が解決しようとする課題】

【0008】

現状のマーカの認識に基づく拡張現実感を用いる画像処理技術における表示情報の表示動作は、例えば、以下に示す処理に基づいて動作する。
（３−１）画像に含まれるマーカの認識に成功している間は、当該画像内のマーカの認識位置や姿勢を基準とし、マーカの基準位置に対する相対位置に基づいて表示情報を表示する。
（３−２）ユーザの動作に応じて発生するマーカに対する撮影位置や方向の変化に追従して、表示情報の表示位置がリアルタイムで変化する。
（３−３）撮影位置の移動や姿勢の変化により、マーカの撮影範囲外に移動した場合や、撮影時のブレの発生等によってマーカの認識に失敗した場合には、直ちに表示情報の表示を停止する。
（３−４）表示情報が表示されている場合において、ユーザが手指による押下で表示情報を選択操作することで、その選択情報に割り当てられた機能を実行する。

【0009】

拡張現実感技術は、上述の（３−１）〜（３−４）の項目において、（３−２）の項目が顕著な技術的な特徴である。具体的には、撮像中の撮影範囲に合わせて表示情報の表示位置が逐次リアルタイムで変化する為、ボタン操作等の特別な動作を行うことなく、画像処理装置の位置を動かすことだけで以下の効果を得ることが出来る。
（４−１）画像処理装置を移動させながらディスプレイを視認するだけで撮影範囲における表示情報の有無を確認出来る（表示情報の一覧性の確保）。
（４−２）作業対象の物体や表示情報の表示位置が作業時に適切な場所や大きさになる様に、撮影位置の調整が容易に出来る。また、作業対象に対する物体の鏡面反射や、ディスプレイへの映り込み等で表示情報を視認し難い場合に、視認し易い位置に表示情報が表示される様にする調整が容易に出来る（表示情報の表示範囲の制御性）。

【0010】

上述の様な表示情報の一覧性や、表示情報の表示範囲の制御性を確保していることからも理解出来る通り、拡張現実感を用いる画像処理においては、ユーザに対する高い利用性（ユーザビリティ）が求められている状態にある。利便性の確保においては、ユーザの表示情報に対する押下精度を確保することも重要となる。これは、後述する通り、ユーザがディスプレイ上の表示情報に対して、一方の手指の接触による押下選択動作を行う為に、手指を表示情報に伸ばしている間に、画像処理装置を保持する他方の手指の位置が安定しなくなり、カメラを搭載する画像処理装置の位置や姿勢が急激に動いてしまうという現象が発生することが、本発明者らの鋭意検証によって明らかになった為である。本発明は、ユーザに対する利用性が向上する画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明が開示する画像処理装置は、表示情報を表示する表示部と、表示情報と表示情報を表示する基準位置を規定するマーカを含む画像を取得する取得部を備える。更に、当該画像処理装置は、マーカに規定される表示情報と基準位置を認識する認識部と、表示情報に対するユーザの操作領域を、表示情報の表示領域よりも広く制御する制御部を備える。

【0012】

なお、本発明の目的及び利点は、例えば、請求項におけるエレメント及び組み合わせにより実現され、かつ達成されるものである。また、上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。

【発明の効果】

【0013】

本明細書に開示される画像処理装置では、ユーザの表示情報に対する押下精度を向上させることが可能となる。

【図面の簡単な説明】

【0014】

【図1】第１の実施形態による画像処理装置１の機能ブロック図である。

【図2】（ａ）は、ユーザによる表示情報の選択動作開始前の概念図である。（ｂ）は、ユーザによる表示情報の選択動作開始後の概念図である。

【図3】選択動作時間における基準位置の移動量を含む第１テーブルの一例である。

【図4】選択動作時間の基準位置の移動範囲における表示情報の重畳表示の概念図である。

【図5】画像処理装置１による画像処理のフローチャートである。

【図6】回転ベクトルと並進ベクトルの定義図である。

【図7】第２の実施形態による画像処理装置１の機能ブロック図である。

【図8】選択動作時間における基準位置の移動量を含む第２テーブルの一例である。

【図9】（ａ）は、ユーザによる表示情報の選択動作開始時刻ｔｓの概念図である。（ｂ）は、ユーザによる表示情報の選択動作終了時刻ｔｐの概念図である。（ｃ）は、ユーザによる表示情報の選択動作終了時刻の次フレーム時刻ｔｐ＋１の概念図である。

【図10】一つの実施形態による画像処理装置１として機能するコンピュータのハードウェア構成図である。

【発明を実施するための形態】

【0015】

上述の表示情報の表示位置がリアルタイムで変動する拡張現実感を用いる画像処理においては、本発明者らの鋭意検証によって、以下の事項が明らかになった。ユーザがディスプレイ上の表示情報に対して、一方の手指の接触による押下選択動作を行う為に、手指を表示情報に伸ばしている間に、画像処理装置を保持する他方の手指の位置が安定しなくなり、カメラを搭載する画像処理装置の位置や姿勢が急激に動いてしまうという現象が発生する。この場合、マーカに対するカメラ撮影位置や方向が変化する為、表示情報の表示位置が変化する。この結果、ユーザの手指がディスプレイに接触する時刻における表示情報の表示位置は、押下選択動作を開始した時刻の表示位置とズレが生じている為、ユーザが表示情報を正確に押下出来ない現象が発生することが明らかになった。また、この現象は、両手で画像処理装置を保持しつつ、表示情報を押下する場合でも発生することが明らかになった。これは、両手で画像処理装置を保持した状態においても、手指を伸ばす動作や、当該動作に伴う画像処理装置の持ち替えにより、画像処理装置の位置や姿勢が変化することに依る為である。

【0016】

画像処理装置の位置や姿勢の変化に伴う表示情報の表示位置の変化に対して、本発明者らは、比較例として以下の手法を検討した。例えば、表示情報をディスプレイの所定位置に固定して表示し、作業対象の物体と、移動する画像上の矢印で結び付ける方法が考えられる。当該方法に依れば、画像処理装置の位置や姿勢が変化しても、表示情報の表示位置が変化しない為、ユーザは的確に表示情報を押下することができる。しかしながら、当該方法は、表示情報と作業対象の物体が、ディスプレイ上で離れてしまい視認性が劣化する課題が生じる。

【0017】

また、他の比較例として、ディスプレイ上に表示される特定の表示情報への押下によって、リアルタイムの画像表示から一時的に静止画像表示に切り替えた上で、当該静止画像上の表示情報に対して、ユーザに押下させることが考えられる。しかしながら、リアルタイムの画像表示から静止画像表示に切り替えるための押下操作自体が、リアルタイムの表示情報における特定の表示情報へ押下が必要となる為、上述の画像処理装置の位置や姿勢が変化する課題が生じる。換言すると、拡張現実感を用いる画像処理装置においては、表示情報の表示位置がリアルタイムで変動することになる。この為、表示情報の表示位置がリアルタイムで変動しても、ユーザの表示情報に対する押下精度を十分に確保させることが必要になる。

【0018】

上述の本発明者らの鋭意検証によって、新たに見出された事項を考慮しつつ、以下に、一つの実施形態による画像処理装置、画像処理方法及び画像処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は、開示の技術を限定するものではない。

【0019】

（実施例１）
図１は、第１の実施形態による画像処理装置１の機能ブロック図である。画像処理装置１は、取得部２、認識部３、検知部４、算出部５、制御部６、ならびに、表示部７を有する。なお、画像処理装置１は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの集積回路で構成しても良い。

【0020】

取得部２は、例えば、ワイヤードロジックによるハードウェア回路である。また、取得部２は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。更に、取得部２は、図示しない通信部を有しており、通信回線を介して様々な外部装置と双方向にデータの送受信を行うことが可能である。取得部２は、後述する表示部７が表示する表示情報と、当該表示情報を表示する基準位置を規定するマーカを含む画像を取得する。ここで、表示情報とは、例えば、作業対象となる物体に対応付けられる作業内容等を含む情報である。取得部２は、当該画像を、例えば、外部装置の一例となる図示しない撮像素子（カメラと称しても良い）から取得する。撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラなどの撮像デバイスである。また、画像処理装置１は、撮像素子を画像処理装置１の構成要素の一部とすることが出来る。取得部２は取得した画像を認識部３に出力する。

【0021】

認識部３は、例えば、ワイヤードロジックによるハードウェア回路である。また、認識部３は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。認識部３は画像を取得部２から受け取り、当該画像に含まれるマーカに対応する表示情報と基準位置を認識する。認識部３は、認識した表示情報と、基準位置を制御部６に出力する。また、認識部３は図示しない記憶部を内部に備えても良い。当該記憶部には、例えば、マーカに対応する表示情報が記憶される。記憶部は、例えば、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、光ディスクなどの記憶装置である。なお、記憶部は、上記の種類の記憶装置に限定されるものではなく、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）であってもよい。認識部３は、認識した基準位置と表示情報を算出部５、制御部６ならびに表示部７に出力する。

【0022】

検知部４は、例えば、ワイヤードロジックによるハードウェア回路である。また、検知部４は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。検知部４は、後述する表示部７へのユーザの手指の接触を検知し、表示部７における検知位置を検知する。なお、検知部４は、接触を検知した時刻を表示情報に対するユーザの選択動作の終了時刻と規定することが出来る。また、検知部４は、接触を検知した検知位置と表示部７が表示する表示情報に対するユーザの操作領域に基づいて、ユーザの表示情報への選択を検知する。なお、操作領域は、例えば、表示情報の表示領域である。検知部４は、検出した選択動作の終了時刻を算出部５に出力する。

【0023】

算出部５は、例えば、ワイヤードロジックによるハードウェア回路である。また、算出部５は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。算出部５は、認識部３から基準位置と表示位置を受け取る。また、算出部５は、選択動作の終了時刻を検知部４から受け取る。算出部５は、後述する表示部７が表示する表示情報に対するユーザの選択動作の開始情報を算出する。ここで、開始情報は、基準位置の移動量に基づいた選択動作の開始時刻を含む。換言すると、開始時刻は、表示情報の第１表示位置が第１閾値範囲未満かつ第２閾値時間以上の閾値を満たした後に、当該第１閾値範囲以上の閾値を満たした時刻である。更に、換言すると、開始時刻は、表示情報の第１表示位置の変化量が、第１閾値範囲未満かつ第２閾値時間以上の閾値を満たした後に、当該第１閾値範囲以上の閾値を満たした時刻である。具体的には、ユーザがマーカに合わせて画像処理装置１を静止させている場合は、表示情報の表示位置（第１表示位置に相当）は、一定時間以上（第２閾値時間以上に相当）に渡って、ほぼ静止した状態（第１閾値範囲未満に相当）となる。なお、第１表示位置の詳細について補足的に説明すると、選択動作の開始時刻における表示情報の表示位置を第１表示位置と換言することが出来る。次に、ユーザの手指が表示情報に向かって動作すると、画像処理装置１は、ユーザの保持状態が変化する為、表示情報の表示位置は、ある範囲以上（第１閾値範囲以上に相当）で変動する。この様な処理方法を用いることで、算出部５は、ユーザの選択動作の開始情報を算出することが可能となる。

【0024】

図２（ａ）は、ユーザによる表示情報の選択動作開始前の概念図である。図２（ｂ）は、ユーザによる表示情報の選択動作開始後の概念図である。図２（ａ）に示す通り、ユーザによる表示情報の選択動作開始前においては、ユーザは表示部７を含む画像処理装置１を両手で保持してマーカに合わせて画像処理装置１を静止させている状態である。この為、表示情報の表示位置（第１表示位置に相当）は、一定時間以上（第２閾値時間以上に相当）に渡って、ほぼ静止した状態（第１閾値範囲未満に相当）となる。なお、画像処理装置１の表示部７には、左端に表示情報、中央に作業対象の物体、右端にマーカが表示されている。図２（ｂ）に示す通り、表示情報の選択動作開始後においては、片手で画像処理装置１を保持する為、画像処理装置１を保持する手指の位置が安定しなくなり、表示情報の表示位置は、ある範囲以上（第１閾値範囲以上に相当）で変動することなる。換言すると、表示情報の表示位置は、選択動作開始前後で異なる位置となる。

【0025】

図１の算出部５は、開始情報に含まれる開始時刻から選択動作の終了時刻までの選択動作時間を算出する。なお、選択動作時間は、単なる時間長の情報ではなく、例えば、選択動作の開始時刻と終了時刻が含まれても良い。算出部５は、算出した選択動作時間を制御部６へ出力する。

【0026】

制御部６は、例えば、ワイヤードロジックによるハードウェア回路である。また、制御部６は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。制御部６は、基準位置と表示情報を認識部３から受け取り、選択動作時間を算出部５から受け取る。なお、実施例１における選択動作時間には、選択動作の開始時刻と終了時刻の情報が含まれているものとする。制御部６は、表示情報に対するユーザの操作領域を、表示情報の表示領域よりも広く制御する。また、制御部６は、開始情報に基づいて表示情報の操作領域を制御する。制御部６は、開始情報と基準位置の移動量に基づいて操作領域を制御する。更に、制御部６は、選択動作時間における移動量に基づいて操作領域を制御する。更に、制御部６は、操作領域を、前記開始時刻における表示領域（初期表示領域と称しても良い）よりも広く制御する。具体的には、制御部６は、操作領域の制御として、例えば、選択動作時間における基準位置の最小座標と最大座標で規定される移動範囲に表示情報を重畳して表示させる。以下に制御部６の制御処理の詳細について説明する。

【0027】

制御部６は、表示情報に対するユーザの選択動作の開始時刻ｔｓから終了時刻ｔｐまでの基準位置の移動量（移動量の単位は例えばピクセルである）を格納したテーブルを、例えば、制御部６の図示しないキャッシュまたはメモリに格納する。図３は、選択動作時間における基準位置の移動量を含む第１テーブルの一例である。図３に示すテーブル３０には、ユーザの選択動作の開始時刻をｔｓ、終了時刻をｔｐとした取得部２が取得する画像のフレーム毎の基準位置が格納される。なお、実施例１においては、マーカは２次元座標で表現出来る矩形形状であり、基準点は４頂点で表現されるものとして説明する。また、基準点は４頂点ではなく、任意の１点としても良い。なお、テーブル３０における２次元座標系は、例えば、表示部７の左上端を原点とし、水平方向をｘ軸、垂直方向をｙ軸と規定した場合の座標系である。また、時刻ｔｐ＋１は、検知部４が接触を検知した時刻の次のフレームの時刻を示している。

【0028】

図３のテーブル３０において、ｘ軸の最小座標は１０であり、ｙ軸の最大座標は３４０である。当該範囲が上述の選択動作時間における基準位置の最小座標と最大座標で規定される移動範囲に該当する。なお、当該移動範囲を上述の移動軌跡と称しても良い。制御部６は、操作領域の制御として、例えば、選択動作時間における基準位置の最小座標と最大座標で規定される移動範囲に表示情報を重畳して表示させる。これにより、ユーザの表示情報に対する押下精度が向上する。図４は、選択動作時間の基準位置の移動範囲における表示情報の重畳表示の概念図である。図４において、ユーザの指先が押下した位置（時刻ｔｐにおける検知位置）は、時刻ｔｓにおける表示位置以外の位置（時刻ｔｐ−１）となっているが、当該押下した位置は選択動作時間における基準位置の最小座標と最大座標で規定される操作領域の移動範囲内である為、検知部４がユーザの表示情報への選択を検知することで、ユーザの表示情報に対する押下精度が向上する。

【0029】

なお、制御部６は、必ずしも表示情報を重畳して表示させる必要はない。例えば、検知部４が接触を検知した検知位置が、制御部６が規定した移動範囲内であれば、検知部４が表示情報への選択が成されたと見做して検知することで、ユーザの表示情報に対する押下精度が向上する。換言すると制御部６は、操作領域の制御として、例えば、選択動作時間における基準位置の最小座標と最大座標で規定される移動範囲の領域自体を、操作範囲と見做した上で、検知部４が表示情報への選択を検知することで、実効的な操作範囲が拡大し、ユーザの表示情報に対する押下精度が向上する。なお、説明の便宜上、制御部６が表示情報の表示位置を制御する為の各種情報を制御情報と称することにする。制御部６は制御情報を表示部７へ出力する。

【0030】

また、制御部６は、異なる２つの時刻の基準位置を用いて、各フレームにおける基準位置の時間変化を算出し、算出した計算上の基準位置の移動範囲に基づいて表示情報を制御しても良い。基準位置の時間変化は、例えば、次式を用いて算出することが出来る。但し、次式において、ｘ、ｙは基準点の座標であり、ｔは任意のフレームの時刻である。
（数１）
ｘ＝５ｔ＋３５
ｙ＝−１５ｔ＋１６５
なお、基準位置の時間変化が曲線状の場合には、制御部６は、近似曲線式を用いて移動軌跡を算出しても良い。また、制御部６は、各フレームにおける基準位置の時間変化を、後述の回転ベクトルと並進ベクトルを考慮した座標に基づいて算出しても良い。

【0031】

図１の表示部７は、例えば、液晶ディスプレイまたは有機エレクトロルミネッセンスディスプレイなどの表示デバイスである。表示部７は、表示情報と基準位置を認識部３から受け取り、表示情報の制御情報を制御部６から受け取る。表示部７は、制御部６から制御情報を受け取っている場合は、当該制御情報に基づいて表示情報を表示し、制御部６から制御情報を受け取っていない場合は、基準位置に基づいて表示情報を表示する。

【0032】

図５は、画像処理装置１による画像処理のフローチャートである。取得部２は、表示部７が表示する表示情報と、当該表示情報を表示する基準位置を規定するマーカを含む画像を取得する（ステップＳ５０１）。取得部２は取得した画像を認識部３に出力する。認識部３は画像を取得部２から受け取り、当該画像に含まれるマーカに規定される表示情報と基準位置を認識する（ステップＳ５０２）。認識部３は、認識した表示情報と、基準位置を制御部６に出力する。

【0033】

検知部４は、表示部７へのユーザの手指の接触を検知し、表示部７における検知位置を検知する（ステップＳ５０３）。なお、検知部４は、接触を検知した時刻を表示情報に対するユーザの選択動作の終了時刻と規定することが出来る。また、検知部４は、接触を検知した検知位置と表示部７が表示する表示情報に対するユーザの操作領域に基づいて、ユーザの表示情報への選択を検知する。なお、操作領域は、例えば、表示情報の表示領域である。検知部４は、検出した選択動作の終了時刻を算出部５に出力する。

【0034】

算出部５は、認識部３から基準位置と表示位置を受け取る。また、算出部５は、選択動作の終了時刻を検知部４から受け取る。算出部５は、表示部７が表示する表示情報に対するユーザの選択動作の開始情報を算出する（ステップＳ５０４）。ここで、開始情報は、基準位置の移動量に基づいた選択動作の開始時刻を含む。換言すると、開始時刻は、表示情報の第１表示位置が第１閾値範囲未満かつ第２閾値時間以上の閾値を満たした後に、当該第１閾値範囲以上の閾値を満たした時刻である。

【0035】

算出部５は、開始情報に含まれる開始時刻から選択動作の終了時刻までの選択動作時間を算出する（ステップＳ５０５）。なお、選択動作時間は、単なる時間長の情報ではなく、例えば、選択動作の開始時刻と終了時刻が含まれても良い。算出部５は、算出した選択動作時間を制御部６へ出力する。算出部５は、算出した選択動作時間を制御部６へ出力する。

【0036】

制御部６は、基準位置と表示情報を認識部３から受け取り、選択動作時間を算出部５から受け取る。なお、選択動作時間には、選択動作の開始時刻と終了時刻の情報が含まれているものとする。制御部６は、表示情報の表示領域を選択時間動作に基づいて制御する（ステップＳ５０６）例えば、制御部６は、ステップＳ５０６において、表示情報に対するユーザの操作領域を、表示情報の表示領域よりも広く制御する。また、制御部６は、開始情報に基づいて表示情報の操作領域を制御する。また、制御部６は、開始情報と基準位置の移動量に基づいて操作領域を制御する。更に、制御部６は、選択動作時間における移動量に基づいて操作領域を制御する。具体的には、制御部６は、操作領域の制御として、例えば、選択動作時間における基準位置の最小座標と最大座標で規定される移動範囲に表示情報を重畳して表示させる。

【0037】

なお、ステップＳ５０６において、制御部６は、必ずしも表示情報を重畳して表示させる必要はない。例えば、検知部４が接触を検知した検知位置が、制御部６が規定した移動範囲内であれば、検知部４が表示情報への選択が成されたと見做して検知することで、ユーザの表示情報に対する押下精度が向上する。換言すると、制御部６は、操作領域の制御として、例えば、選択動作時間における基準位置の最小座標と最大座標で規定される移動範囲の領域自体を、操作範囲と見做した上で、検知部４が表示情報への選択を検知することで、実効的な操作範囲が拡大し、ユーザの表示情報に対する押下精度が向上する。
なお、説明の便宜上、制御部６が表示情報の表示位置を制御する為の各種情報を制御情報と称することにする。制御部６は制御情報を表示部７へ出力する。

【0038】

表示部７は、表示情報と基準位置を認識部３から受け取り、表示情報の制御情報を制御部６から受け取る。表示部７は表示情報を表示する（ステップＳ５０７）。例えば、表示部７は、ステップＳ５０７において、制御部６から制御情報を受け取っている場合は、当該制御情報に基づいて表示情報を表示し、制御部６から制御情報を受け取っていない場合は、基準位置に基づいて表示情報を表示することで、画像処理装置１は、図５のフローチャートに示す画像処理を終了する。なお、ステップＳ５０７の処理終了時において、取得部２が、画像を受け取っている場合には、画像処理装置はステップＳ５０１〜Ｓ５０７の処理を繰り返し実行しても良い。

【0039】

実施例１による画像処理装置１においては、ユーザに対する利用性を向上させることが可能となる。また、実施例１による画像処理装置１においては、ユーザの表示情報に対する押下精度を向上させることが可能になる。例えば、画像処理装置１の移動に伴い表示情報の表示位置が移動してしまう場合でも、ユーザが動作の狙いを定めた時刻の表示位置に対して時間的に近いものが表示または選択されることにより、ユーザの表示情報に対する押下精度を向上させることが可能になる。

【0040】

（実施例２）
実施例２においては、算出部５による回転ベクトルと並進ベクトルを用いた選択動作時間の算出方法について開示する。実施例２における算出部５が含まれる画像処理装置１の機能ブロック図は実施例１と同様である為、詳細な説明は省略する。

【0041】

図６は、回転ベクトルと並進ベクトルの定義図である。図６に示される通り、任意の位置の原点０から画像処理装置１の表示部７に対して垂直に並進ベクトルＴｚが規定され、並進ベクトルＴｚに対応する並進ベクトルＴｘ、Ｔｙがそれぞれ規定される。また、並進ベクトルＴｘ、Ｔｙ、Ｔｚの回転方向に対して、回転ベクトルＲｘ、Ｒｙ、Ｒｚがそれぞれ規定される。算出部５は、例えば、図３のテーブル３０に示す様な４頂点で表現される基準点から、回転ベクトルＲ＝（Ｒｘ、Ｒｙ、Ｒｚ）と並進ベクトルＴ＝（Ｔｘ,Ｔｙ,Ｔｚ）を公知の手法を用いて算出する。

【0042】

算出部５は、時刻ｔｎ（例えば、図３のテーブル３０の時刻ｔｓ+２）の並進ベクトルＴｎ＝（Ｔｘｎ、Ｔｙｎ、Ｔｚｎ）と、１フレーム前の時刻ｔｎ−１（例えば、図３のテーブル３０の時刻ｔｓ+１）の並進ベクトルＴｎ−１＝（Ｔｘｎ−１、Ｔｙｎ−１、Ｔｚｎ−１）から、時刻ｔｎ−１から時刻ｔｎ間における移動量を表す並進ベクトル量ΔＴｎを、次式を用いて算出する。
（数２）

【0043】

算出部５は、並進ベクトルと同様に、時刻ｔｎ−１から時刻ｔｎ間における移動量を表す回転ベクトル量ΔＲｎを、次式を用いて算出する。
（数３）

【0044】

算出部５は、並進ベクトル量ΔＴｎが所定値ΔＴα未満、かつ回転ベクトル量ΔＲｎが所定値ΔＲα未満である場合、画像処理装置１が静止状態と判断する。次に、算出部５は、静止状態の継続時間ｔ１を算出する。継続時間ｔ１が所定時間ｔβ未満の場合は、算出部５は、継続時間を０にリセットした上で、上述の並進ベクトル量ΔＴｎと回転ベクトル量ΔＲｎの算出を繰り返し実行する。継続時間ｔ１が所定時間ｔβを以上の場合は、算出部５は、以下の処理を実行する。

【0045】

算出部５は、並進ベクトル量ΔＴｎと所定値ΔＴαの比較を行うと共に、回転ベクトル量ΔＲｎと所定値ΔＲαの比較を行う。算出部５は、ΔＴｎ＜＝ΔＴα、かつ、ΔＲｎ＜＝ΔＲαの場合、画像処理装置１は静止状態を継続していると判断する。算出部５は、
ΔＴｎ>ΔＴαまたはΔＲｎ>ΔＲαと変化した場合は、画像処理装置１の位置が変動したと判断し、上述の条件を満たした時刻を選択動作の開始時刻ｔｓと規定することが出来る。

【0046】

実施例２における画像処理装置１においては、３軸方向の並進ベクトルと３軸方向の回転ベクトルの６個の測定値の変化量と複数の閾値判定を用いることにより、高い精度で選択動作の開始時刻ｔｓと規定することが出来る。この為、実施例２による画像処理装置１においては、ユーザに対する利用性を向上させることが可能となる。また、実施例２による画像処理装置１においては、ユーザの表示情報に対する押下精度を向上させることが可能になる。

【0047】

（実施例３）
ユーザによる画像処理装置１の使用状況においては、ブレ等の発生により認識部３がマーカの認識を出来ない場合がある。認識部３がマーカを認識しない場合は、基準位置の消失により、表示情報が表示部７に表示されない場合がある。この場合は、ユーザは表示情報を手指等により押下出来なくなり、可用性が低下する場合も考えられる。実施例３における画像処理装置１においては、マーカの認識が出来ない場合においても、可用性が低下しないことが可能となる画像処理装置１について説明する。

【0048】

図７は、第２の実施形態による画像処理装置１の機能ブロック図である。画像処理装置１は、取得部２、認識部３、検知部４、算出部５、制御部６、表示部７、ならびに、推定部８を有する。なお、画像処理装置１は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの集積回路で構成しても良い。また、推定部８以外の各機能は、図１に示す各機能と同様の機能を有する為、詳細な説明は省略する。

【0049】

推定部８は、例えば、ワイヤードロジックによるハードウェア回路である。また、推定部８は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。推定部８は、算出部５が認識部３から基準位置を受け取っていない場合、以下の推定処理を実行する。

【0050】

図８は、選択動作時間における基準位置の移動量を含む第２テーブルの一例である。テーブル８０における座標系等の各種規定は図３のテーブル３０と同様である為、詳細な説明は省略する。図８に示すテーブル８０には、ユーザの選択動作の開始時刻をｔｓ、終了時刻をｔｐとした取得部２が取得する画像のフレーム毎の基準位置が格納される。テーブル８０には、マーカ認識結果が格納されている。マーカの認識結果は、例えば、認識部３がマーカを認識出来たか否かに基づいて格納されれば良い。テーブル８０においては、時刻ｔｓ〜時刻ｔｍ−１の時刻ではマーカの認識に成功しており、時刻ｔｍ〜時刻ｔｐ＋１の時刻ではマーカの認識に失敗していることを示している。推定部８は、時刻ｔｓから、マーカ認識失敗時刻前ｔｍ−１までの基準位置の変化を用いて、マーカ認識失敗時刻ｔｍから接触が検知される時刻ｔｐまでの基準位置の移動量（移動軌跡と称しても良い）を推定する。

【0051】

推定部８は、マーカ認識失敗時刻ｔｍから接触が検知される時刻ｔｐまでの基準位置の移動量の推定として様々な公知の手法を用いることが出来る。例えば、時刻ｔｓ〜時刻ｔｍ−１の時刻における基準位置から算出することが可能な時間変化に基づく直線近似方法や、「コンピュータビジョン、 Ｄａｖｉｄ Ａ. Ｆｏｒｓｙｔｈ、 Ｊｅａｎ Ｐｏｎｃｅ （著）、大北剛（訳)、共立出版（２００７）」に開示されるカルマンフィルタ、または、「パーティクルフィルタとその実装法（チュートリアル）、情報処理学会研究報告、ＣＶＩＭ、 ２００７（１）、１６１−１６８、２００７−０１−１１」に開示されるパーティクルフィルタ等の様々なフィルタ処理を用いることができる。実施例３においては、時間変化に基づく直線近似を例示として説明する。テーブル８０において、例えば、時刻ｔｍ−３〜時刻ｔｍ−１の基準位置の時間変化は、例えば、次式で表現することが出来る。但し、次式において、ｘ、ｙは基準点の座標であり、ｔは任意のフレームの時刻である。
（数４）
ｘ＝５ｔ＋３５
ｙ＝−１５ｔ＋１６５

【0052】

推定部８は、上述の（数４）を用いて時刻ｔｍ〜時刻ｔｐまでの移動量を推定することが出来る。なお、推定された基準位置の座標はテーブル８０に示される座標となる。図７の制御部６は、テーブル８０を参照し、実施例１または実施例２に開示した制御処理を適宜実行する。

【0053】

実施例３による画像処理装置１によれば、ユーザの選択動作中に表示情報が正確に表示されなくなった場合においても、表示情報の位置を推定して表示することが出来る。この為、実施例３による画像処理装置１においては、ユーザに対する利用性を向上させることが可能となる。また、実施例３による画像処理装置１によれば、ユーザの表示情報に対する押下精度を向上させることが可能になる。

【0054】

（実施例４）
実施例１ないし実施例３に開示する画像処理装置１における制御部６は、表示情報の操作領域の制御として、選択動作時間の終了時刻の次フレームにおける表示情報の第２表示位置を、選択動作時間の開始時刻の表示情報の第１表示位置に切り替えて、表示情報を表示させても良い。なお、第２表示位置を補足的に説明すると、選択動作時間の終了時刻の次フレームにおける表示情報の表示位置を第２表示位置とする。特に、実施例４においては、検知部４が接触を検知した検知位置が表示領域以外だった場合に当該処理を実施することがより好ましい。実施例４における制御部６が含まれる画像処理装置１の機能ブロック図は実施例１ないし実施例３と同様である為、詳細な説明は省略する。

【0055】

図９（ａ）は、ユーザによる表示情報の選択動作開始時刻ｔｓの概念図である。図９（ｂ）は、ユーザによる表示情報の選択動作終了時刻ｔｐの概念図である。図９（ｃ）は、ユーザによる表示情報の選択動作終了時刻の次フレーム時刻ｔｐ＋１の概念図である。図９（ａ）の選択動作開始時刻ｔｓから選択動作終了時刻ｔｐにおいては、画像処理装置１の移動に伴い表示情報の表示位置が移動している。この場合において、制御部６は、選択動作開始時刻ｔｓにおいて、選択動作開始時刻ｔｓの基準位置を記憶する。次に、制御部６は、図９（ｃ）に示す様に、表示情報の選択動作終了時刻ｔｐの次のフレームとなる時刻ｔｐ＋１において、記憶した選択動作開始時刻ｔｓの基準位置に基づいて、表示情報を表示する様に制御する。換言すると、時刻ｔｓと時刻ｔｐ＋１の表示情報の表示位置は同じ位置となる。なお、当該処理は、検知部４が接触を検知した検知位置が表示領域以外かつ操作領域範囲内だった場合に当該処理を実施することがより好ましい。実施例４による画像処理装置１においては、ユーザに対する利用性（視認性）を向上させることが可能となる。

【0056】

また、図９（ａ）ないし図９（ｃ）において、制御部６は、ユーザによる表示情報の選択動作終了時刻ｔｐの検知位置が、選択動作開始時刻ｔｓの基準位置と選択動作終了時刻ｔｐの基準位置のどちらが近いかを判断し、近い位置の基準位置に基づいて表示情報を表示する様に制御しても良い。換言すると、時刻ｔｐ+１の表示情報の表示位置は、時刻ｔｓまたは時刻ｔｐの何れかの表示位置となる。当該動作により、ユーザが動作の狙いを定めた時刻の表示位置に対して時間的に近いものが表示または選択されることにより、ユーザに対する利用性（視認性）を向上させることが可能となる。

【0057】

更に、図９（ａ）ないし図９（ｃ）において、制御部６は、ユーザによる表示情報の選択動作終了時刻ｔｐの検知位置が、表示領域以外である場合においても、図３のテーブル３０または図８のテーブル８０に基づいて制御部６が規定した移動範囲内であれば、時刻ｔｐ+１の表示情報の表示位置を、選択動作終了時刻ｔｐの検知位置に重畳させても良い。当該動作により、ユーザに対する利用性（視認性）を向上させることが可能となる。

【0058】

（実施例５）
実施例５における制御部６が含まれる画像処理装置１の機能ブロック図は実施例１ないし実施例４と同様である為、詳細な説明は省略する。図９（ａ）ないし図９（ｃ）において、制御部６は、選択動作開始時刻ｔｓを起点として、選択動作終了時刻ｔｐまで表示情報の表示位置を固定することも可能である。当該動作においては、ユーザが動作の狙いを定めた時刻の表示位置そのものが表示し続けられる為、ユーザの表示情報に対する押下精度を向上させることが可能になる。実施例５による画像処理装置１においては、ユーザに対する利用性を向上させることが可能となる。また、実施例５による画像処理装置１によれば、ユーザの表示情報に対する押下精度を向上させることが可能になる。

【0059】

上述した各実施例において、画像処理装置１は、ユーザの音声信号を取得するマイクを更に備えることも可能である。なお、マイクは、例えば、算出部５に接続されれば良い。また、音声信号は、例えば、音声認識が可能な特定の言葉を含む信号を用いることが出来る。算出部５は、音声信号を上述の開始情報として算出しても良い。

【0060】

また、画像処理装置１は、ユーザの動作信号を取得する加速度センサ、角速度センサ、または接触スイッチを更に備えることが可能である。加速度センサ、角速度センサ、または接触スイッチは、例えば、算出部５に接続されれば良い。なお、動作信号は所定の閾値で設定される動作量、または、スイッチによる電気的な接触信号を用いることが出来る。算出部５は、動作信号を上述の開始情報として算出しても良い。

【0061】

また、画像処理装置１は、選択動作を含む選択動作画像を撮像するカメラを更に備えることが可能である。カメラは、例えば、算出部５に接続されれば良い。また、カメラは、例えば、ユーザの手指を撮像する。算出部５は、選択動作画像をテンプレートマッチング等の処理結果に基づいて開始情報を算出することが出来る。

【0062】

また、画像処理装置１の制御部６は、開始情報に基づいて、表示情報の表示領域を単純に拡大して表示させても良い。当該処理によっても、ユーザによる押下精度を向上させることが可能となる。更に、制御部６は、認識部３がマーカを認識した場合に、表示情報の表示領域を拡大して表示させても良い。 具体的には、画像処理装置１の制御部６は、表示部７が表示情報を表示する前に、操作領域を、認識部３が認識する表示情報の表示領域よりも広く制御しても良い。例えば、制御部６は、認識部３がマーカを認識した時点で、当該マーカに対応付けられている表示情報の表示領域を単純に拡大して表示させても良い。当該処理によっても、ユーザによる押下精度を向上させることが可能となる。また、表示情報の一部の領域をユーザに押下させる様な表示形態である場合は、当該一部の領域のみを拡大して表示しても良い。当該処理によっても、ユーザによる押下精度を向上させることが可能となる。また、表示情報は、表示情報に関連付けられる付帯情報を含み、制御部６は、検知部４が表示情報への選択を検知した場合に、付帯情報を表示させることが可能である。

【0063】

（実施例６）
図１０は、一つの実施形態による画像処理装置１として機能するコンピュータのハードウェア構成図である。図１０に示す通り、画像処理装置１は、コンピュータ１００、およびコンピュータ１００に接続する入出力装置（周辺機器）を含んで構成される。

【0064】

コンピュータ１００は、プロセッサ１０１によって装置全体が制御されている。プロセッサ１０１には、バス１０９を介してＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２と複数の周辺機器が接続されている。なお、プロセッサ１０１は、マルチプロセッサであってもよい。また、プロセッサ１０１は、例えば、ＣＰＵ、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、またはＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）である。更に、プロセッサ１０１は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。

【0065】

ＲＡＭ１０２は、コンピュータ１００の主記憶装置として使用される。ＲＡＭ１０２には、プロセッサ１０１に実行させるＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、プロセッサ１０１による処理に必要な各種データが格納される。

【0066】

バス１０９に接続されている周辺機器としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０３、グラフィック処理装置１０４、入力インタフェース１０５、光学ドライブ装置１０６、機器接続インタフェース１０７およびネットワークインタフェース１０８がある。

【0067】

ＨＤＤ１０３は、内蔵したディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。ＨＤＤ１０３は、例えば、コンピュータ１００の補助記憶装置として使用される。ＨＤＤ１０３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、フラッシュメモリなどの半導体記憶装置を使用することも出来る。

【0068】

グラフィック処理装置１０４には、モニタ１１０が接続されている。グラフィック処理装置１０４は、プロセッサ１０１からの命令にしたがって、各種画像をモニタ１１０の画面に表示させる。モニタ１１０としては、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）を用いた表示装置や液晶表示装置などがある。

【0069】

入力インタフェース１０５には、キーボード１１１とマウス１１２とが接続されている。入力インタフェース１０５は、キーボード１１１やマウス１１２から送られてくる信号をプロセッサ１０１に送信する。なお、マウス１１２は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。

【0070】

光学ドライブ装置１０６は、レーザ光などを利用して、光ディスク１１３に記録されたデータの読み取りを行う。光ディスク１１３は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク１１３には、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ（Ｒｅｃｏｒｄａｂｌｅ）／ＲＷ（ＲｅＷｒｉｔａｂｌｅ）などがある。可搬型の記録媒体となる光ディスク１１３に格納されたプログラムは光学ドライブ装置１０６を介して画像処理装置１にインストールされる。インストールされた所定のプログラムは、画像処理装置１より実行可能となる。

【0071】

機器接続インタフェース１０７は、コンピュータ１００に周辺機器を接続するための通信インタフェースである。例えば、機器接続インタフェース１０７には、メモリ装置１１４やメモリリーダライタ１１５を接続することが出来る。メモリ装置１１４は、機器接続インタフェース１０７との通信機能を搭載した記録媒体である。メモリリーダライタ１１５は、メモリカード１１６へのデータの書き込み、またはメモリカード１１６からのデータの読み出しを行う装置である。メモリカード１１６は、カード型の記録媒体である。

【0072】

ネットワークインタフェース１０８は、ネットワーク１１に接続されている。ネットワークインタフェース１０８は、ネットワーク１１を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。

【0073】

コンピュータ１００は、たとえば、コンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、上述した画像処理機能を実現する。コンピュータ１００に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことが出来る。上記プログラムは、１つのまたは複数の機能モジュールから構成することが出来る。例えば、図１または図８に記載の取得部２、認識部３、検知部４、算出部５、制御部６、推定部８の処理を実現させた機能モジュールからプログラムを構成することが出来る。なお、コンピュータ１００に実行させるプログラムをＨＤＤ１０３に格納しておくことができる。プロセッサ１０１は、ＨＤＤ１０３内のプログラムの少なくとも一部をＲＡＭ１０２にロードし、プログラムを実行する。また、コンピュータ１００に実行させるプログラムを、光ディスク１１３、メモリ装置１１４、メモリカード１１６などの可搬型記録媒体に記録しておくことも出来る。可搬型記録媒体に格納されたプログラムは、例えば、プロセッサ１０１からの制御により、ＨＤＤ１０３にインストールされた後、実行可能となる。またプロセッサ１０１が、可搬型記録媒体から直接プログラムを読み出して実行することも出来る。

【0074】

また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することが出来る。

【0075】

以上、説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
表示情報を表示する表示部と、
前記表示情報と前記表示情報を表示する基準位置を規定するマーカを含む画像を取得する取得部と、
前記マーカに規定される前記表示情報と前記基準位置を認識する認識部と、
前記表示情報に対するユーザの操作領域を、前記表示情報の表示領域よりも広く制御する制御部と、
を備えることを特徴とする画像処理装置。
（付記２）
前記表示情報に対するユーザの選択動作の開始情報を算出する算出部を更に有し、
前記制御部は、前記開始情報に基づいて前記表示情報の操作領域を制御することを特徴とする付記１記載の画像処理装置。
（付記３）
前記制御部は、前記開始情報と前記画像における前記基準位置の移動量に基づいて前記操作領域を制御することを特徴とする付記２記載の画像処理装置。
（付記４）
前記開始情報は、前記移動量に基づいた前記選択動作の開始時刻を含み、
前記算出部は、前記開始時刻から前記選択動作の終了時刻までの選択動作時間を更に算出し、
前記制御部は、前記選択動作時間における前記移動量に基づいて前記操作領域を制御することを特徴とする付記３記載の画像処理装置。
（付記５）
前記制御部は、前記操作領域を、前記開始時刻における前記表示領域よりも広く制御することを特徴とする付記４記載の画像処理装置。
（付記６）
前記表示部に対する接触を検知する検知部を更に備え、
前記検知部は、前記接触を検知した検知位置と前記操作領域に基づいて、前記ユーザの前記表示情報への選択を検知することを特徴とする付記１ないし付記５の何れか一つに記載の画像処理装置。
（付記７）
前記開始時刻は、前記表示情報の第１表示位置が第１閾値範囲未満かつ第２閾値時間以上継続する閾値を満たした後に、前記第１閾値範囲以上の閾値を満たした時刻であり、
前記終了時刻は、前記検知部が前記接触を検知した時刻であることを特徴とする付記４ないし付記６の何れか一つに記載の画像処理装置。
（付記８）
前記制御部は、前記操作領域の制御として、前記選択動作時間における前記基準位置の最小座標と最大座標で規定される移動範囲に前記表示画像を重畳して表示させることを特徴とする付記４ないし付記７の何れか一つに記載の画像処理装置。
（付記９）
前記制御部は、前記操作領域の制御として、前記選択動作時間における前記基準位置の最小座標と最大座標で規定される移動範囲を前記操作領域と見做して制御することを特徴とする付記４ないし付記７の何れか一つに記載の画像処理装置。
（付記１０）
前記制御部は、前記検知位置が前記表示領域以外の場合において、前記操作領域の制御として、前記終了時刻の次フレームにおける前記表示情報の第２表示位置を、前記開始時刻の前記表示画像の第１表示位置に切り替えて、前記表示情報を表示させることを特徴とする付記７ないし付記８の何れか一つに記載の画像処理装置。
（付記１１）
前記認識部がマーカを認識しない場合に、前記選択動作時間における前記移動量を所定の近似処理または所定のフィルタ処理を用いて推定する推定部と、を更に備えることを特徴とする付記４ないし付記９の何れか一つに記載の画像処理装置。
（付記１２）
前記操作領域は、前記表示情報の表示領域であることを特徴とする付記１ないし付記１１の何れか一つに記載の画像処理装置。
（付記１３）
前記ユーザの音声信号を取得するマイクを更に備え、
前記算出部は、前記音声信号を前記開始情報として算出することを特徴とする付記２記載の画像処理装置。
（付記１４）
前記ユーザの動作信号を取得する加速度センサ、角速度センサ、または接触スイッチを更に備え、
前記算出部は、前記動作信号を前記開始情報として算出することを特徴とする付記２記載の画像処理装置。
（付記１５）
前記選択動作を含む選択動作画像を撮像するカメラを更に備え、
前記算出部は、前記選択動作画像の処理結果に基づいて前記開始情報を算出することを特徴とする付記４記載の画像処理装置。
（付記１６）
前記制御部は、前記開始情報に基づいて、前記表示情報の表示領域を拡大して表示させることを特徴とする付記２記載の画像処理装置。
（付記１７）
前記制御部は、前記操作領域を、前記開始時刻における前記表示領域に固定する制御を行うことを特徴とする付記４記載の画像処理装置。
（付記１８）
前記制御部は、前記終了時刻の検知位置が、前記開始時刻の前記基準位置と前記終了時刻の前記基準位置の何れが近い位置かを判断し、当該近い位置の基準位置に基づいて前記表示情報を表示することを特徴とする付記６に記載の画像処理装置。
（付記１９）
前記制御部は、前記検知位置が前記表示領域以外かつ前記操作領域内の場合において、前記終了時刻の次フレームにおける前記表示情報の第２表示位置を、前記終了時刻の前記表示画像の表示位置に切り替えて、前記表示情報を表示させることを特徴とする付記６に記載の画像処理装置。
（付記２０）
前記表示情報は、前記表示情報に関連付けられる付帯情報を含み、
前記制御部は、前記検知部が前記表示情報への選択を検知した場合に、前記付帯情報を表示させることを特徴とする付記６記載の画像処理装置。
（付記２１）
表示情報を表示し、
前記表示情報と前記表示情報を表示する基準位置を規定するマーカを含む画像を取得し、
前記マーカに規定される前記表示情報と前記基準位置を認識し、
前記表示情報に対するユーザの操作領域を、前記表示情報の表示領域よりも広く制御すること、
を含むことを特徴とする画像処理方法。
（付記２２）
コンピュータに、
表示情報を表示し、
前記表示情報と前記表示情報を表示する基準位置を規定するマーカを含む画像を取得し、
前記マーカに規定される前記表示情報と前記基準位置を認識し、
前記表示情報に対するユーザの操作領域を、前記表示情報の表示領域よりも広く制御すること、
を実行させることを特徴とする画像処理プログラム。

【符号の説明】

【0076】

１ 画像処理装置
２ 取得部
３ 認識部
４ 検知部
５ 算出部
６ 制御部
７ 表示部
８ 推定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】