特開 2024-141271 情報処理装置、及びキャリブレーション方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024141271

(43)【公開日】2024-10-10

(54)【発明の名称】情報処理装置、及びキャリブレーション方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20241003BHJP

   G06F 3/0346 20130101ALI20241003BHJP

【ＦＩ】

G06F3/01 570

G06F3/0346 421

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023052817

(22)【出願日】2023-03-29

(71)【出願人】

【識別番号】322003857

【氏名又は名称】パナソニックオートモーティブシステムズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】秦野 峻

【テーマコード（参考）】

5B087

5E555

【Ｆターム（参考）】

5B087AA07

5B087AB09

5B087AD01

5B087BC32

5E555AA15

5E555BA02

5E555BB02

5E555BC04

5E555CA41

5E555CA42

5E555CB66

5E555CC05

5E555FA00

(57)【要約】

【課題】動作が行われた位置と、操作対象の位置との位置関係を設定することができる情報処理装置、及びキャリブレーション方法を提供する。
【解決手段】本開示に係る情報処理装置は、操作者による動作に基づいて表示部に対する操作を受け付ける情報処理装置であって、抽出部と、設定部と、を備える。前記抽出部は、センサにより検出された前記操作者の動作に基づいて、前記操作者から前記表示部までの空間から複数の座標を抽出する。前記設定部は、前記抽出部により抽出された複数の座標に基づいて、前記操作に応じた前記表示部上の座標を特定するためのキャリブレーションを実行する。
【選択図】図４

【特許請求の範囲】

【請求項1】

操作者による動作に基づいて表示部に対する操作を受け付ける情報処理装置であって、
センサにより検出された前記操作者の動作に基づいて、前記操作者から前記表示部までの空間から複数の座標を抽出する抽出部と、
前記抽出部により抽出された複数の座標に基づいて、前記操作に応じた前記表示部上の座標を特定するためのキャリブレーションを実行する設定部と、
を備える情報処理装置。

【請求項2】

前記抽出部は、前記表示部の特徴点を指し示す複数の動作に基づいて、前記特徴点ごとに、前記表示部の表示面に対して略垂直な方向に、距離が異なる複数の前記座標を抽出し、
前記設定部は、前記特徴点と当該特徴点に対応する複数の座標とを通過するベクトルであって、前記特徴点ごとに算出した前記ベクトルが近接する点を、前記操作者の目の位置として設定する、
請求項１に記載の情報処理装置。

【請求項3】

前記抽出部は、前記表示部の特徴点を指し示す複数の動作に基づいて、前記特徴点ごとに、前記表示部の表示面と略平行な方向に、距離が異なる複数の前記座標を抽出し、
前記設定部は、前記座標と、前記操作者の目とを通過するベクトルであって、前記特徴点ごとに算出した前記ベクトルが近接する点により特定される前記表示部の位置を設定する、
請求項１に記載の情報処理装置。

【請求項4】

前記表示部の位置と、前記操作者の目と、前記動作により抽出される座標とに基づいて、前記操作に応じた前記表示部上の座標を特定する特定部を更に備える、
請求項３に記載の情報処理装置。

【請求項5】

前記抽出部は、第１の四角形と、前記第１の四角形よりも操作者側に前記第１の四角形よりも小さい第２の四角形と、のそれぞれの頂点を指定する前記動作に基づいて、複数の前記座標を抽出し、
前記設定部は、前記第１の四角形の頂点と、当該頂点に対応する前記第２の四角形の頂点とを通過するベクトルにより形成される四角錐内に、前記動作に応じた操作を受け付ける入力領域を設定する、
請求項１に記載の情報処理装置。

【請求項6】

前記抽出部は、前記表示部の表示面と略平行な四角形の頂点を指定する前記動作に基づいて、複数の前記座標を抽出し、
前記設定部は、前記表示部の表示面から前記頂点を通過するベクトルにより形成される四角柱内に、前記動作に応じた操作を受け付ける入力領域を設定する、
請求項１に記載の情報処理装置。

【請求項7】

前記センサにより検出された前記操作者の動作に基づいて、前記操作者から前記表示部までの空間から座標を算出する第１算出部と、
前記設定部により設定された情報と、前記第１算出部により算出された座標とに基づいて、前記操作に応じた前記表示部上の座標を算出する第２算出部と、
前記第２算出部により算出された前記表示部上の座標に対して操作を実行する実行部と、
前記実行部により実行された操作内容に応じた画像を前記表示部に表示する表示制御部と、を更に備える、
請求項１から請求項６の何れか一項に記載の情報処理装置。

【請求項8】

操作者による動作に基づいて表示部に対する操作を受け付ける情報処理装置のキャリブレーション方法であって、
センサにより検出された前記操作者の動作に基づいて、前記操作者から前記表示部までの空間から複数の座標を抽出し、
抽出した複数の座標に基づいて、前記操作に応じた前記表示部上の座標を特定するためのキャリブレーションを実行する、
ことを含むキャリブレーション方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、及びキャリブレーション方法に関する。

【背景技術】

【0002】

従来、センサにより操作者の動作を検出することで、操作者が操作対象に手を触れることなく、操作を受け付ける情報処理装置が知られている。情報処理装置は、動作が行われた位置と、操作対象の位置との位置関係に基づいて、操作対象上の何れの座標に対する操作であるのかを特定する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２０１７－５３９０３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、動作が行われた位置と、操作対象の位置との位置関係が正確でない場合、情報処理装置は、操作者が意図した位置に対する操作を受け付けることができない。

【0005】

本開示は、動作が行われた位置と、操作対象の位置との位置関係を設定可能な情報処理装置、及びキャリブレーション方法を提供する。

【課題を解決するための手段】

【0006】

本開示に係る情報処理装置は、操作者による動作に基づいて表示部に対する操作を受け付ける情報処理装置であって、抽出部と、設定部と、を備える。前記抽出部は、センサにより検出された前記操作者の動作に基づいて、前記操作者から前記表示部までの空間から複数の座標を抽出する。前記設定部は、前記抽出部により抽出された複数の座標に基づいて、前記操作に応じた前記表示部上の座標を特定するためのキャリブレーションを実行する。

【発明の効果】

【0007】

本開示に係る情報処理装置、及びキャリブレーション方法によれば、動作が行われた位置と、操作対象の位置との位置関係を設定することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、第１の実施形態に係る情報処理装置の一例を示す図である。

【図2】図２は、従来の情報処理装置の一例を示す図である。

【図3】図３は、第１の実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。

【図4】図４は、第１の実施形態に係る情報処理装置の機能構成の一例を示す図である。

【図5】図５は、操作者の目の位置を特定する特定方法の一例を示す図である。

【図6】図６は、第１の実施形態に係る情報処理装置が実行するキャリブレーション処理の一例を示すフローチャートである。

【図7】図７は、従来の情報処理装置の一例を示す図である。

【図8】図８は、第２の実施形態に係る情報処理装置の機能構成の一例を示す図である。

【図9】図９は、表示部の位置を特定する特定方法の一例を示す図である。

【図10】図１０は、座標を補正する前の状態の一例を示す図である。

【図11】図１１は、座標を補正した後の状態の一例を示す図である。

【図12】図１２は、第２の実施形態に係る情報処理装置が実行するキャリブレーション処理の一例を示すフローチャートである。

【図13】図１３は、第２の実施形態に係る情報処理装置が実行する補正処理の一例を示すフローチャートである。

【図14】図１４は、第３の実施形態に係る情報処理装置の一例を示す図である。

【図15】図１５は、従来の情報処理装置の一例を示す図である。

【図16】図１６は、第３の実施形態に係る情報処理装置の機能構成の一例を示す図である。

【図17】図１７は、入力領域を特定する特定方法の一例を示す図である。

【図18】図１８は、第３の実施形態に係る情報処理装置が実行するキャリブレーション処理の一例を示すフローチャートである。

【図19】図１９は、第３の実施形態に係る情報処理装置が実行する補正処理の一例を示すフローチャートである。

【図20】図２０は、入力領域を特定する特定方法の一例を示す図である。

【図21】図２１は、第４の実施形態に係る情報処理装置の一例を示す図である。

【図22】図２２は、第３の実施形態に係る情報処理装置の機能構成の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら、本開示に係る情報処理装置、及びキャリブレーション方法の実施形態について説明する。

【0010】

（第１の実施形態）
図１は、第１の実施形態に係る情報処理装置１の一例を示す図である。情報処理装置１は、操作者による動作に基づいて操作対象に対する操作を受け付ける装置である。情報処理装置１は、制御装置１０（図３参照）、センサ２０、及び表示部３０を備える。

【0011】

制御装置１０は、情報処理装置１を制御する装置である。表示部３０は、操作者の操作対象となる操作対象装置である。例えば、表示部３０は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）などの表示装置である。

【0012】

センサ２０は、操作者の動作を検出する装置である。例えば、センサ２０は、可視光により撮像するカメラや、赤外光の反射時間により被写体までの距離を示す距離画像を撮像するＴｏＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサなどの撮像装置である。センサ２０は、表示部３０の前方の領域を撮像するように設置される。センサ２０は、表示部３０の前方の領域を撮像した画像を制御装置１０に出力する。センサ２０は、カメラやＴｏＦセンサに限らず、他の方法により操作者の動作を検出するものであってもよい。

【0013】

本実施形態では、鉛直方向であって表示部３０の高さ方向をＹ軸方向と定義する。また、Ｙ軸方向と直交する方向であって表示部３０の幅方向をＸ軸方向と定義する。また、Ｙ軸方向及びＸ軸方向と直行する方向であって表示部３０の表示面に対して垂直な方向をＺ軸方向と定義する。

【0014】

次に、情報処理装置１が操作を受け付ける手順の概要を説明する。

【0015】

例えば、センサ２０は、表示部３０の前方の空間で、操作者が行った指差し操作の指先位置Ｆを検出する。ここで、指先位置Ｆとは、指差し操作を行った時の操作者の指先の位置である。制御装置１０は、センサ２０による検出結果に基づいて、表示部３０の前方の空間における指差し操作の指先位置Ｆの３Ｄ座標を特定する。また、制御装置１０は、指差し操作の指先位置Ｆの位置と、表示部３０の位置との位置関係に基づいて、指先位置Ｆに対応する表示部３０上の操作位置Ｃ１を特定する。操作位置Ｃ１とは、表示部３０上において、タッチ、フリック、ドラッグなどの操作が受け付けられた位置である。そして、制御装置１０は、操作位置Ｃ１における指差し操作に対応する処理を実行する。

【0016】

ここで、図２は、従来の情報処理装置１０００の一例を示す図である。従来の情報処理装置１０００は、センサ２０００と表示部３０００とを備える。図２に示すように、センサ２０００は、表示部３０００の前方の領域を撮像範囲Ｐ１に含めるように設置される。センサ２０００は、操作者の目と、指差し操作の指先位置Ｆとを検出する。従来の情報処理装置１０００は、操作者の目と、指先位置Ｆとを繋ぐベクトルを算出する。そして、従来の情報処理装置１０００は、ベクトルと表示部３０００との交点を操作位置Ｃ１に特定する。

【0017】

しかしながら、センサ２０００は、操作者の目を検出できない場合がある。例えば、操作者の腕は撮像範囲Ｐ１の内側に存在するが、操作者の目は、撮像範囲Ｐ１の外側に存在する場合、センサ２０００は、指先位置Ｆを検出することはできるが、操作者の目を検出できない。この場合、従来の情報処理装置１０００は、ベクトルを算出することができないため、操作位置Ｃ１を特定することができない。

【0018】

第１の実施形態に係る情報処理装置１は、キャリブレーションを実行することで、操作者の目を検出できない場合であっても操作位置Ｃ１を特定することができる。以下にて、より詳細に説明する。

【0019】

図３は、第１の実施形態に係る情報処理装置１のハードウェア構成の一例を示す図である。制御装置１０は、制御部１１、記憶部１２、第１接続インタフェース１３、及び第２接続インタフェース１４を備える。

【0020】

制御部１１は、コンピュータ等で構成され、ハードウェアとソフトウェアが協働することにより、各種処理を制御する。例えば、制御部１１は、プロセッサ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、及びメモリを備える。

【0021】

プロセッサは、例えば、コンピュータプログラムを実行可能なＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。なお、プロセッサは、ＣＰＵに限定されない。例えば、プロセッサは、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）であってもよいし、他のプロセッサであってもよい。

【0022】

ＲＡＭは、キャッシュまたはバッファなどとして使用される揮発性メモリである。メモリは、例えば、コンピュータプログラムを含む各種情報を記憶する不揮発性メモリである。プロセッサは、特定のコンピュータプログラムをメモリや記憶部１２から読み出してＲＡＭに展開することによって、各種機能を実現する。

【0023】

記憶部１２は、フラッシュメモリや、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの記憶装置である。例えば、記憶部１２は、プログラムや、各種設定や、各種情報を記憶する。

【0024】

第１接続インタフェース１３は、センサ２０と接続するためのインタフェースである。

【0025】

第２接続インタフェース１４は、表示部３０と接続するためのインタフェースである。

【0026】

次に、情報処理装置１が有している機能について説明する。

【0027】

図４は、第１の実施形態に係る情報処理装置１の機能構成の一例を示す図である。制御装置１０の制御部１１は、特定のコンピュータプログラムを実行することによって、各種機能を実現する。更に詳しくは、制御部１１は、画像取得部１１０、３Ｄ座標演算部１１１、キャリブレーション補正値設定部１１２、タッチ判定面設定部１１３、２Ｄ座標変換部１１４、判定部１１５、機能実行部１１６、及び表示出力部１１７を備える。

【0028】

画像取得部１１０は、センサ２０により検出された情報を取得する。すなわち、画像取得部１１０は、センサ２０により撮像された画像を取得する。

【0029】

３Ｄ座標演算部１１１は、基準座標情報１２１に基づいて、画像取得部１１０により取得された画像からランドマークの３Ｄ座標を抽出する。ランドマークとは、操作者による動作に基づいた操作における特徴的な物体である。例えば、ランドマークは、目や指先である。また、目は、右目であってもよいし、左目であってもよいし、右目と左目と間であってもよいし、予め設定された利き目であってもよい。すなわち、３Ｄ座標演算部１１１は、センサ２０により検出された操作者の動作に基づいて、操作者から表示部３０までの空間から複数の３Ｄ座標を抽出する。３Ｄ座標演算部１１１は、抽出部及び第１算出部の一例である。

【0030】

さらに詳しくは、３Ｄ座標演算部１１１は、基準座標情報１２１に基づいて、画像取得部１１０により取得された画像から操作者の目や指先の３Ｄ座標を抽出する。基準座標情報１２１とは、センサ２０が設置された位置を示す３Ｄ座標、及びセンサ２０の取り付け角度を示す情報などである。

【0031】

例えば、３Ｄ座標演算部１１１は、操作に応じた表示部３０上の座標を特定するためのキャリブレーションとして、表示部３０の特徴点を指し示す複数の動作に基づいて、特徴点ごとに、表示部３０の表示面に対して略垂直な方向に、距離が異なる複数の３Ｄ座標を抽出する。ここで、特徴点とは、表示部３０の特徴的な点である。例えば、特徴点とは、表示部３０の四隅の何れかの隅である。なお、特徴点は、表示部３０の隅に限らず、他の点であってもよい。

【0032】

キャリブレーション補正値設定部１１２は、操作者の操作により指定された表示部３０上の座標を特定するためのキャリブレーションを実行する。キャリブレーション補正値設定部１１２は、設定部の一例である。キャリブレーション補正値設定部１１２は、キャリブレーションを実行することにより、操作者の操作により指定された表示部３０上の座標を特定するための基準を取得する。そして、キャリブレーション補正値設定部１１２は、キャリブレーションにより取得した基準を設定する。

【0033】

さらに詳しくは、キャリブレーション補正値設定部１１２は、操作者の操作により指定された表示部３０上の２Ｄ座標を特定するための基準として、操作者の目の位置を示す３Ｄ座標を設定する。このように、キャリブレーション補正値設定部１１２は、操作者の目の位置を示す３Ｄ座標を設定することで、画像取得部１１０により取得された画像に操作者の目が含まれていなくても、操作位置Ｃ１を特定することができる。

【0034】

図５は、操作者の目の位置を特定する特定方法の一例を示す図である。操作者は、表示部３０の四隅のうちの一つの隅を指し示す指差し操作を少なくとも２回行う。この時、操作者は、１回目と２回目とでは、表示部３０の表示面と垂直なＺ軸方向の異なる位置で指差し操作を行う。これにより、情報処理装置１は、表示部３０の四隅のうちの一つの隅を指し示す指先位置Ｆの３Ｄ座標を少なくとも２つ取得する。

【0035】

例えば、操作者は、表示部３０の左上の隅を指し示す場合に、第１指先位置Ｆ１と第２指先位置Ｆ２とで指差し操作を行う。また、操作者は、表示部３０の左下の隅を指し示す場合に、第３指先位置Ｆ３と第４指先位置Ｆ４とで指差し操作を行う。また、操作者は、表示部３０の右上の隅を指し示す場合に、第５指先位置Ｆ５と第６指先位置Ｆ６とで指差し操作を行う。また、操作者は、表示部３０の右下の隅を指し示す場合に、第７指先位置Ｆ７と第８指先位置Ｆ８とで指差し操作を行う。

【0036】

キャリブレーション補正値設定部１１２は、表示部３０の隅ごとに、それぞれの指先位置Ｆの３Ｄ座標を関連付ける。すなわち、キャリブレーション補正値設定部１１２は、第１指先位置Ｆ１と第２指先位置Ｆ２とを関連付ける。また、キャリブレーション補正値設定部１１２は、第３指先位置Ｆ３と第４指先位置Ｆ４とを関連付ける。また、キャリブレーション補正値設定部１１２は、第５指先位置Ｆ５と第６指先位置Ｆ６とを関連付ける。また、キャリブレーション補正値設定部１１２は、第７指先位置Ｆ７と第８指先位置Ｆ８とを関連付ける。

【0037】

キャリブレーション補正値設定部１１２は、表示部３０の隅ごとに、それぞれの指先位置Ｆを通過するベクトルを算出する。すなわち、キャリブレーション補正値設定部１１２は、第１指先位置Ｆ１と第２指先位置Ｆ２とを通過する第１ベクトルＶ１を算出する。また、キャリブレーション補正値設定部１１２は、第３指先位置Ｆ３と第４指先位置Ｆ４とを通過する第２ベクトルＶ２を算出する。また、キャリブレーション補正値設定部１１２は、第５指先位置Ｆ５と第６指先位置Ｆ６とを通過する第３ベクトルＶ３を算出する。また、キャリブレーション補正値設定部１１２は、第７指先位置Ｆ７と第８指先位置Ｆ８とを通過する第４ベクトルＶ４を算出する。

【0038】

また、キャリブレーション補正値設定部１１２は、第１ベクトルＶ１と、第２ベクトルＶ２と、第３ベクトルＶ３と、第４ベクトルＶ４とが近接する点に操作者の目があると判定する。例えば、キャリブレーション補正値設定部１１２は、第１ベクトルＶ１と、第２ベクトルＶ２と、第３ベクトルＶ３と、第４ベクトルＶ４との交点に操作者の目があると判定する。また、キャリブレーション補正値設定部１１２は、第１ベクトルＶ１と、第２ベクトルＶ２と、第３ベクトルＶ３と、第４ベクトルＶ４とが交差しない場合には、それぞれのベクトルに最も近くなる点に操作者の目があると判定する。

【0039】

このように、キャリブレーション補正値設定部１１２は、表示部３０の隅とこの隅に対応する複数の３Ｄ座標とを通過するベクトルであって、表示部３０の隅ごとに算出したベクトルが近接する点を、操作者の目の位置として設定する。そして、キャリブレーション補正値設定部１１２は、操作者の目があると判定した点の３Ｄ座標をキャリブレーション補正値情報１２０として記憶部１２に記憶する。なお、キャリブレーション補正値設定部１１２は、ベクトルが交差する点を操作者の目の３Ｄ座標に設定するため、少なくとも２つベクトルを算出すればよい。

【0040】

タッチ判定面設定部１１３は、タッチ操作を受け付ける場合に、タッチされたか否かを判定するためのタッチ判定平面を、表示部３０の前方の空間上に設定する。タッチ判定面設定部１１３は、タッチ判定平面の設定された位置を示す３Ｄ座標を示すタッチ判定面情報１２２を記憶部１２に記憶する。

【0041】

キャリブレーション後において、２Ｄ座標変換部１１４は、キャリブレーション補正値情報１２０に基づいて、３Ｄ座標演算部１１１により抽出されたランドマークの３Ｄ座標に対応する、表示部３０上の２Ｄ座標に変換する。言い換えると、２Ｄ座標変換部１１４は、キャリブレーション補正値設定部１１２により設定されたキャリブレーション補正値情報１２０と、３Ｄ座標演算部１１１により算出されたランドマークの３Ｄ座標とに基づいて、操作に応じた表示部３０上の座標を算出する。２Ｄ座標変換部１１４は、第２算出部の一例である。

【0042】

さらに詳しくは、２Ｄ座標変換部１１４は、キャリブレーション補正値設定部１１２により特定された操作者の目の３Ｄ座標と、３Ｄ座標演算部１１１により抽出された操作者の指先位置Ｆの３Ｄ座標とを通過するベクトルを算出する。また、２Ｄ座標変換部１１４は、ベクトルと表示部３０の表示面との交点を算出する。すなわち、２Ｄ座標変換部１１４は、ベクトルと表示部３０との交点におけるＸ軸方向及びＹ軸方向の座標を抽出する。これにより、２Ｄ座標変換部１１４は、表示部３０に対して入力された操作の２Ｄ座標を取得する。なお、２Ｄ座標変換部１１４は、キャリブレーション補正値設定部１１２により特定された操作者の目の３Ｄ座標と、３Ｄ座標演算部１１１により抽出された操作者の指先位置Ｆの３Ｄ座標とを通過するベクトルが表示部３０の外側に通過する場合、表示部３０に最も近くなる点を算出してもよい。

【0043】

判定部１１５は、操作者により入力された操作内容を判定する。例えば、操作内容とは、表示部３０に表示された画像に触れるタッチ操作、画像をはじくフリック操作、画像を移動させるドラッグ操作などの操作の内容である。例えば、判定部１１５は、３Ｄ座標演算部１１１により検出された操作者の指先位置Ｆの３Ｄ座標に経時的変化に基づいて、何れの操作内容が入力されたのかを判定する。

【0044】

機能実行部１１６は、判定部１１５により判定された操作内容を実行する。言い換えると、機能実行部１１６は、２Ｄ座標変換部１１４により算出された表示部３０上の２Ｄ座標に対して、判定部１１５により判定された操作内容の操作を実行する。機能実行部１１６は、実行部の一例である。

【0045】

なお、判定部１１５及び機能実行部１１６は、表示部３０の外側に対する操作が行われた場合に、如何なる処理を実行してもよい。例えば、表示部３０の外側に対する操作とは、表示部３０が表示している物体を表示部３０の表示領域の外側に移動させる操作や、操作位置Ｃ１が表示部３０の表示領域の外側となる操作や、表示部３０の表示領域の外側の物体を指し示す操作などである。

【0046】

例えば、判定部１１５及び機能実行部１１６は、ドラッグされた物体を表示部３０の外側に移動させる操作を受け付けた場合に、表示部３０の表示領域の枠よりも外側には物体を移動させない。または、判定部１１５及び機能実行部１１６は、ドラッグされた物体を表示部３０の外側に移動させる操作を受け付けた場合に、表示部３０の表示領域の外側に物体を移動させてもよい。

【0047】

例えば、判定部１１５及び機能実行部１１６は、表示部３０の外側に物体を移動させる操作を受け付けた場合に、表示部３０の表示領域の枠においてドラッグしている物体をリリースさせる。

【0048】

例えば、判定部１１５及び機能実行部１１６は、表示部３０の外側を指し示す操作を受け付けた場合に、表示部３０の外側を指し示す操作に対応付けられた処理を実行してもよい。例えば、表示部３０の外側を指し示す操作と、メニュー画像を表示させる処理とは対応付けられる。このような状態において、情報処理装置１は、表示部３０の外側を指し示す操作を受け付けた場合に、メニュー画像を表示してもよい。

【0049】

表示出力部１１７は、機能実行部１１６により実行された操作内容に応じた画像を表示部３０に出力する。表示出力部１１７は、表示制御部の一例である。すなわち、表示出力部１１７は、画像を表示部３０に表示する。

【0050】

次に、情報処理装置１が実行するキャリブレーション処理について説明する。

【0051】

図６は、第１の実施形態に係る情報処理装置１が実行するキャリブレーション処理の一例を示すフローチャートである。

【0052】

制御部１１は、キャリブレーションを実行するキャリブレーションモードであるか否かを判定する（ステップＳ１）。キャリブレーションモードとは、操作に応じた表示部３０上の座標を特定するためのキャリブレーションを実行するモードである。

【0053】

３Ｄ座標演算部１１１は、画像取得部１１０により取得された画像から、表示部３０の四隅のうちの一つの隅を指し示す指差し操作における指先位置Ｆの３Ｄ座標を取得したか否かを判定する（ステップＳ２）。指先位置Ｆの３Ｄ座標を取得しない場合に（ステップＳ２；Ｎｏ）、３Ｄ座標演算部１１１は、ステップＳ２で待機する。

【0054】

指先位置Ｆの３Ｄ座標を取得した場合に（ステップＳ２；Ｙｅｓ）、３Ｄ座標演算部１１１は、指先位置Ｆの３Ｄ座標を登録する（ステップＳ３）。

【0055】

制御部１１は、キャリブレーションが終了したか否かを判定する（ステップＳ４）。さらに詳しくは、制御部１１は、予め定められた３Ｄ座標が登録された場合に、キャリブレーションを終了すると判定する。例えば、制御部１１は、２箇所の３Ｄ座標を通過するベクトルが少なくとも２つ算出された場合に、キャリブレーションを終了すると判定する。

【0056】

キャリブレーションが終了していない場合に（ステップＳ４；Ｎｏ）、制御部１１は、ステップＳ２に移行する。一方、キャリブレーションが終了した場合に（ステップＳ４；Ｙｅｓ）、キャリブレーション補正値設定部１１２は、少なくとも２つのベクトルにより操作者の目の位置を特定する（ステップＳ５）。すなわち、キャリブレーション補正値設定部１１２は、操作者の目の位置を示すキャリブレーション補正値情報１２０を記憶部１２に記憶する。

【0057】

以上により、情報処理装置１は、キャリブレーション処理を終了する。

【0058】

以上のように、第１の実施形態に係る情報処理装置１は、表示部３０の四隅の何れか一つの隅を指し示す指差し操作により、指先位置Ｆの３Ｄ座標を取得する。表示部３０の隅を指し示す指差し操作を、情報処理装置１は、表示部３０の表示面に対して略垂直な方向において異なる位置に少なくとも２箇所の３Ｄ座標を取得する。情報処理装置１は、１回目の３Ｄ座標と、２回目の３Ｄ座標とを通過するベクトルを算出する。

【0059】

さらに、情報処理装置１は、ベクトルの算出を少なくとも２つの隅に対して行う。ここで、操作者は、表示部３０の隅を指し示している。すなわち、操作者の目は、１つ目のベクトル上であって、且つ２つ目のベクトル上に存在しているものと考えられる。よって、情報処理装置１は、各ベクトルの交点または各ベクトルに最も接近する点に、操作者の目が存在していると特定することができる。

【0060】

したがって、情報処理装置１は、センサ２０により取得された画像から操作者の目を検出することができなくても、キャリブレーションにより特定した操作者の目の３Ｄ座標と、指先位置Ｆとに基づいて操作位置Ｃ１を特定することができる。すなわち、情報処理装置１は、動作が行われた位置と、操作対象の位置との位置関係を設定することができる。

【0061】

（第２の実施形態）
図７は、従来の情報処理装置１０００の一例を示す図である。センサ２０００と表示部３０００との位置関係が変化し得る場合、情報処理装置１０００は、指差し操作の指先位置Ｆに対する操作位置Ｃ１を正確に特定することができない場合がある。

【0062】

ここで、情報処理装置１０００には、表示部３０００は鉛直に設置されていると設定されているが、実際には傾いている場合を想定する。操作者は、傾いている表示部３０００に対して指差し操作などを行う。情報処理装置１０００は、操作者の指差し操作に対して、表示部３０００が鉛直に設置されていることを前提に、操作位置Ｃ１を特定する。このような差異が発生する場合に、情報処理装置１０００は、正確な操作位置Ｃ１を特定することができない。

【0063】

第２の実施形態に係る情報処理装置１ａは、表示部３０の位置及び姿勢を特定する。これにより、情報処理装置１ａは、センサ２０と表示部３０との位置関係が変化し得るとしても、正確な操作位置Ｃ１を特定することができる。

【0064】

図８は、第２の実施形態に係る情報処理装置１ａの機能構成の一例を示す図である。制御部１１ａは、画像取得部１１０、３Ｄ座標演算部１１１、キャリブレーション補正値設定部１１２ａ、タッチ判定面設定部１１３、２Ｄ座標変換部１１４ａ、判定部１１５、機能実行部１１６及び、表示出力部１１７を備える。

【0065】

３Ｄ座標演算部１１１は、表示部３０の隅を指し示す複数の動作に基づいて、表示部３０の隅ごとに、表示部３０の表示面と略平行な方向に、距離が異なる複数の座標を抽出する。

【0066】

キャリブレーション補正値設定部１１２ａは、操作者の操作により指定された表示部３０上の２Ｄ座標を特定するための基準として、表示部３０の四隅のそれぞれの３Ｄ座標を設定する。すなわち、キャリブレーション補正値設定部１１２ａは、表示部３０の四隅のそれぞれの３Ｄ座標を示すキャリブレーション補正値情報１２０ａを記憶部１２に記憶する。これにより、キャリブレーション補正値設定部１１２ａは、表示部３０の位置及び姿勢を特定する。

【0067】

図９は、表示部３０の位置を特定する特定方法の一例を示す図である。操作者は、第１の頭部位置において、表示部３０の四隅のうちの一つの隅を指し示す指差し操作を行う。キャリブレーション補正値設定部１１２ａは、指差し操作が行われた第１指先位置Ｆ１１の３Ｄ座標と、指差し操作が行われた時の操作者の目の３Ｄ座標とを取得する。そして、キャリブレーション補正値設定部１１２ａは、第１指先位置Ｆ１１の３Ｄ座標と、操作者の目の３Ｄ座標とを通過する第１ベクトルＶ１１を算出する。

【0068】

なお、キャリブレーション補正値設定部１１２ａは、第１の実施形態と同様に少なくとも２つの異なる指先位置Ｆに基づいて、第１ベクトルＶ１１又は第２ベクトルＶ１２を算出してもよい。この場合、キャリブレーション補正値設定部１１２ａは、操作者の目の３Ｄ座標を取得することができない場合であっても、第１ベクトルＶ１１や第２ベクトルＶ１２などのベクトルを算出することができる。

【0069】

次に、操作者は、第１の頭部位置から、表示部３０の表示面と略平行なＸ軸方向に離れた第２の頭部位置に頭部を移動する。操作者は、第２の頭部位置において、第１の頭部位置と同じ、表示部３０の隅を指し示す指差し操作を行う。キャリブレーション補正値設定部１１２ａは、指差し操作が行われた第２指先位置Ｆ１２の３Ｄ座標と、指差し操作が行われた時の操作者の目の３Ｄ座標とを取得する。そして、キャリブレーション補正値設定部１１２ａは、第２指先位置Ｆ１２の３Ｄ座標と、操作者の目の３Ｄ座標とを通過する第２ベクトルＶ１２を算出する。

【0070】

キャリブレーション補正値設定部１１２ａは、第１ベクトルＶ１１と、第２ベクトルＶ１２とが最も近接する点に表示部３０の隅があると判定する。例えば、キャリブレーション補正値設定部１１２ａは、第１ベクトルＶ１１と、第２ベクトルＶ１２との交点に表示部３０の隅があると判定する。なお、キャリブレーション補正値設定部１１２ａは、第１ベクトルＶ１１と、第２ベクトルＶ１２とが交差しない場合、それぞれのベクトルに最も近くなる点に表示部３０の隅があると判定する。このように、キャリブレーション補正値設定部１１２ａは、指差し操作が行われた指先位置Ｆの３Ｄ座標と、操作者の目の３Ｄ座標とを通過するベクトルであって、表示部３０の隅ごとに算出したベクトルが近接する点により特定される表示部３０の位置を設定する。

【0071】

キャリブレーション補正値設定部１１２ａは、上述した処理を表示部３０の全ての隅に対して実行する。これにより、キャリブレーション補正値設定部１１２ａは、表示部３０の４隅の位置を特定することができる。したがって、キャリブレーション補正値設定部１１２ａは、表示部３０の位置及び姿勢を特定することができる。そして、キャリブレーション補正値設定部１１２ａは、表示部３０の４隅のそれぞれの３Ｄ座標を示すキャリブレーション補正値情報１２０ａを記憶部１２に記憶する。

【0072】

２Ｄ座標変換部１１４ａは、キャリブレーション補正値設定部１１２ａに基づいて、３Ｄ座標演算部１１１により抽出されたランドマークの３Ｄ座標に対応する、表示部３０上の２Ｄ座標を特定する。

【0073】

ここで、キャリブレーション補正値設定部１１２ａは、表示部３０の四隅の３Ｄ座標を示している。したがって、キャリブレーション補正値設定部１１２ａは、表示部３０の四隅を示す３Ｄ座標が繋げられた場合、表示部３０の同様の四角形になるはずである。

【0074】

しかしながら、キャリブレーション補正値設定部１１２ａは、歪んだ四角形を示してしまう可能性が高い。例えば、センサ２０の真正面で指差し操作が行われていない場合、センサ２０は、表示部３０の隅を指し示す位置から僅かにずれた位置を検出してしまう。また、センサ２０から指先の位置までの距離によって、キャリブレーション補正値設定部１１２ａが示す四角形の大きさの比率は異なる。

【0075】

図１０は、座標を補正する前の状態の一例を示す図である。図１０に示すように、キャリブレーション補正値設定部１１２ａは、歪んだ四角形を示してしまう。表示部３０の四隅を指し示す指先位置Ｆの３Ｄ座標を繋げた四角形が歪んでいる場合、２Ｄ座標変換部１１４ａは、操作位置Ｃ１を正確に特定することができない。２Ｄ座標変換部１１４ａは、表示部３０の四隅を指し示す指先位置Ｆの３Ｄ座標を繋げた四角形における操作位置Ｃ１が、歪みを正した四角形の何れの位置に相当するのかを特定する。

【0076】

図１１は、座標を補正した後の状態の一例を示す図である。図１１に示すように、２Ｄ座標変換部１１４ａは、指先位置Ｆの３Ｄ座標を表示部３０の２Ｄ座標に変換する際に、歪みを正した２Ｄ座標となるように補正する。例えば、２Ｄ座標変換部１１４ａは、射影変換により操作位置Ｃ１を特定する。さらに詳しくは、２Ｄ座標変換部１１４ａは、射影変換の下記数式（１）及び数式（２）により操作位置Ｃ１を算出する。

【0077】

【数1】

【数2】

【0078】

数式（１）及び数式（２）のａ０、ｂ0、ａ1、ｂ1、ｃ1、ａ２、ｂ２、ｃ２は、パラメータを示す。

【0079】

このように、表示部３０の四隅の位置を特定することにより、制御部１１ａは、自動的にキャリブレーションを実行することができる。さらに詳しくは、２Ｄ座標変換部１１４ａは、表示部３０の位置と、操作者の目と、指差し操作により抽出される３Ｄ座標とに基づいて、操作に応じた表示部３０上の座標を特定する。２Ｄ座標変換部１１４ａは、特定部の一例である。このように、表示部３０の四隅の位置は特定済みのため、制御部１１ａは、操作者の指差し操作の指先位置Ｆ及び操作者の目の位置を通過するベクトルを算出することで、操作位置Ｃ１を特定することができる。

【0080】

次に、第２の実施形態に係る情報処理装置１ａが実行するキャリブレーション処理について説明する。

【0081】

図１２は、第２の実施形態に係る情報処理装置１ａが実行するキャリブレーション処理の一例を示すフローチャートである。

【0082】

制御部１１ａは、キャリブレーションを実行するキャリブレーションモードであるか否かを判定する（ステップＳ１１）。

【0083】

キャリブレーションモードの場合に（ステップＳ１１；Ｙｅｓ）、３Ｄ座標演算部１１１は、画像取得部１１０により取得された画像から、表示部３０の四隅のうちの一つの隅を指し示す指差し操作における指先位置Ｆの３Ｄ座標を取得したか否かを判定する（ステップＳ１２）。指先位置Ｆの３Ｄ座標を取得しない場合に（ステップＳ１２；Ｎｏ）、３Ｄ座標演算部１１１は、ステップＳ１２で待機する。

【0084】

指先位置Ｆの３Ｄ座標を取得した場合に（ステップＳ１２；Ｙｅｓ）、３Ｄ座標演算部１１１は、指先位置Ｆの３Ｄ座標を登録する（ステップＳ１３）。

【0085】

３Ｄ座標演算部１１１は、表示部３０の一つの隅のキャリブレーションが終了したか否かを判定する（ステップＳ１４）。言い換えると、３Ｄ座標演算部１１１は、第１の頭部位置と第２の頭部位置とのそれぞれにおいて指先位置Ｆの３Ｄ座標を登録したか否かを判定する。表示部３０の一つの隅のキャリブレーションが終了していない場合に（ステップＳ１４；Ｎｏ）、３Ｄ座標演算部１１１は、ステップＳ１２に移行する。

【0086】

表示部３０の一つの隅のキャリブレーションが終了した場合に（ステップＳ１４；Ｙｅｓ）、３Ｄ座標演算部１１１は、ステップＳ１２に移行する。キャリブレーションが終了したか否かを判定する（ステップＳ１５）。さらに詳しくは、３Ｄ座標演算部１１１は、表示部３０の四隅の位置の登録が終了した場合に、キャリブレーションを終了すると判定する。

【0087】

キャリブレーションが終了していない場合に（ステップＳ１５；Ｎｏ）、制御部１１ａは、ステップＳ１２に移行する。一方、キャリブレーションが終了した場合に（ステップＳ１５；Ｙｅｓ）、キャリブレーション補正値設定部１１２ａは、表示部３０の四隅の位置を特定する（ステップＳ１６）。

【0088】

キャリブレーションモードではない場合に（ステップＳ１１；Ｎｏ）、制御部１１ａは、操作者の目を追従して自動的にキャリブレーションを実行することができる（ステップＳ１７）。言い換えると、制御部１１ａは、表示部３０の四隅の位置と、操作者の目の位置と、操作者の指先位置Ｆとに基づいて、操作位置Ｃ１を特定することができる（ステップＳ１７）。

【0089】

以上により、情報処理装置１ａは、キャリブレーション処理を終了する。

【0090】

次に、第２の実施形態に係る情報処理装置１ａが実行する補正処理について説明する。

【0091】

図１３は、第２の実施形態に係る情報処理装置１ａが実行する補正処理の一例を示すフローチャートである。補正処理は、キャリブレーション処理による検出した表示部３０の四隅の３Ｄ座標の誤差を射影変換により補正する処理である。

【0092】

制御部１１ａは、表示部３０の四隅の３Ｄ座標を特定済みであるか否かを判定する（ステップＳ２１）。表示部３０の四隅の３Ｄ座標を特定していない場合に（ステップＳ２１；Ｎｏ）、制御部１１ａは、図１２に示すキャリブレーション処理を実行する（ステップＳ２２）。

【0093】

表示部３０の四隅の３Ｄ座標が特定済みの場合に（ステップＳ２１；Ｙｅｓ）、３Ｄ座標演算部１１１は、操作者の指先位置Ｆの３Ｄ座標と、操作者の目の３Ｄ座標とを取得したか否かを判定する（ステップＳ２３）。

【0094】

操作者の指先位置Ｆの３Ｄ座標と、操作者の目の３Ｄ座標とを取得していない場合に（ステップＳ２３；Ｎｏ）、３Ｄ座標演算部１１１は、操作者の指先位置Ｆの３Ｄ座標と、操作者の目の３Ｄ座標とを取得するまでステップＳ２３を繰り返す。

【0095】

操作者の指先位置Ｆの３Ｄ座標と、操作者の目の３Ｄ座標とを取得した場合に（ステップＳ２３；Ｙｅｓ）、２Ｄ座標変換部１１４ａは、操作者の指先位置Ｆの３Ｄ座標と、操作者の目の３Ｄ座標とを通過するベクトルを算出する（ステップＳ２４）。

【0096】

２Ｄ座標変換部１１４ａは、算出したベクトルと、表示部３０の表示面との交点を算出する（ステップＳ２５）。算出したベクトルと、表示部３０の表示面とが交差しない場合、２Ｄ座標変換部１１４ａは、算出したベクトルと、表示部３０の表示面とが最も接近する点を算出する。

【0097】

２Ｄ座標変換部１１４ａは、算出したベクトルと、表示部３０の表示面との交点を示す２Ｄ座標を射影変換により補正する（ステップＳ２６）。

【0098】

以上により、情報処理装置１ａは、補正処理を終了する。

【0099】

以上のように、第２の実施形態に係る情報処理装置１ａは、表示部３０の隅を指し示す指差し操作の指先位置Ｆを取得する。また、情報処理装置１ａは、指先位置Ｆと、指差し操作を行った時の操作者の目の３Ｄ座標とを通過するベクトルを算出する。操作者は、表示部３０の隅を指し示す指差し操作を行っている。そのため、表示部３０の隅は、指先位置Ｆと、指差し操作を行った時の操作者の目の３Ｄ座標とを通過するベクトル上に存在していると考えられる。

【0100】

また、情報処理装置１ａは、先ほどと同一の隅について、表示部３０の表示面と略平行なＸ軸方向に異なる位置で、表示部３０の隅を指し示す指差し操作の指先位置Ｆを取得する。また、情報処理装置１ａは、指先位置Ｆと、指差し操作を行った時の操作者の目の３Ｄ座標とを通過するベクトルを算出する。

【0101】

１回目と２回目とでは同一の隅を指し示しているため、操作者が指し示している表示部３０の隅は、１つ目のベクトル上であって、且つ２つ目のベクトル上に存在しているものと考えられる。よって、情報処理装置１ａは、各ベクトルの交点または各ベクトルに最も接近する点に、表示部３０の隅が存在していると特定することができる。

【0102】

情報処理装置１ａは、表示部３０の四隅ごとに、上述の処理を実行する。これにより、情報処理装置１ａは、表示部３０の位置及び姿勢を特定することができる。すなわち、情報処理装置１ａは、動作が行われた位置と、操作対象の位置との位置関係を設定することができる。

【0103】

（第３の実施形態）
図１４は、第３の実施形態に係る情報処理装置１ｂの一例を示す図である。情報処理装置１ｂは、表示部３０の前方に入力領域Ｏ１を形成する。入力領域Ｏ１は、表示部３０に対して操作を入力する仮想的なタッチパッドである。

【0104】

情報処理装置１ｂは、入力領域Ｏ１がタッチされた場合に、入力領域Ｏ１のタッチされた２Ｄ座標に対応する表示部３０の２Ｄ座標に対して、タッチする操作が入力されたものとして処理を実行する。

【0105】

図１５は、従来の情報処理装置１０００の一例を示す図である。センサ２０００と表示部３０との位置関係が変化し得る場合、センサ２０００は、撮像方向の傾きが変化することがある。この場合、センサ２０００が撮像する画像も傾くため、入力領域Ｏ１は、傾いてしまったり、形成されている位置が変化してしまったりすることがある。そして、入力領域Ｏ１が傾いていたり、形成されている位置が変化していたりすると、操作者は、操作を入力することが困難になる。

【0106】

第３の実施形態に係る情報処理装置１ｂは、操作者に入力領域Ｏ１を形成させる空間を指定させる。この場合、操作者は、入力領域Ｏ１が形成されている空間を把握できているため、容易に操作を入力することができる。

【0107】

図１６は、第３の実施形態に係る情報処理装置１ｂの機能構成の一例を示す図である。制御部１１ｂは、画像取得部１１０、３Ｄ座標演算部１１１、キャリブレーション補正値設定部１１２ｂ、タッチ判定面設定部１１３、２Ｄ座標変換部１１４ｂ、判定部１１５、機能実行部１１６、及び表示出力部１１７を備える。

【0108】

３Ｄ座標演算部１１１は、第１の四角形と、第１の四角形よりも操作者側に近く第１の四角形よりも小さい第２の四角形と、のそれぞれの頂点を指定する動作に基づいて、複数の座標を抽出する。

【0109】

キャリブレーション補正値設定部１１２ｂは、操作者の操作により指定された表示部３０上の２Ｄ座標を特定するための基準として、入力領域Ｏ１を設定する。

【0110】

図１７は、入力領域Ｏ１を特定する特定方法の一例を示す図である。図１７に示すように、操作者は、入力領域Ｏ１を設定するために、前後の２つの四角形が形成されるように指差し操作を８回行う。この時、操作者は、表示部３０側である前方の四角形が、操作者側である後方の四角形よりも大きくなるように指差し操作を行う。

【0111】

キャリブレーション補正値設定部１１２ｂは、指差し操作において、それぞれの指先位置Ｆを検出する。すなわち、キャリブレーション補正値設定部１１２ｂは、図１７に示す第１指先位置Ｆ２１、第２指先位置Ｆ２２、第３指先位置Ｆ２３、第４指先位置Ｆ２４、第５指先位置Ｆ２５、第６指先位置Ｆ２６、第７指先位置Ｆ２７、及び第８指先位置Ｆ２８を検出する。

【0112】

情報処理装置１ｂは、前方の四角形の頂点と、この頂点に対応する後方の四角形の頂点と、を通過するベクトルを算出する。すなわち、キャリブレーション補正値設定部１１２ｂは、第１指先位置Ｆ２１と、第２指先位置Ｆ２２とを通過する第１ベクトルＶ２１を算出する。また、キャリブレーション補正値設定部１１２ｂは、第３指先位置Ｆ２３と、第４指先位置Ｆ２４とを通過する第２ベクトルＶ２２を算出する。また、キャリブレーション補正値設定部１１２ｂは、第５指先位置Ｆ２５と、第６指先位置Ｆ２６とを通過する第３ベクトルＶ２３を算出する。また、キャリブレーション補正値設定部１１２ｂは、第７指先位置Ｆ２７と、第８指先位置Ｆ２８とを通過する第４ベクトルＶ２４を算出する。

【0113】

キャリブレーション補正値設定部１１２ｂは、第１ベクトルＶ２１、第２ベクトルＶ２２、第３ベクトルＶ２３、及び第４ベクトルＶ２４の交点を算出する。これにより、キャリブレーション補正値設定部１１２ｂは、第１ベクトルＶ２１、第２ベクトルＶ２２、第３ベクトルＶ２３、及び第４ベクトルＶ２４の交点を原点Ｇ１にし、表示部３０側を底面にした四角錐を形成する。なお、キャリブレーション補正値設定部１１２ｂは、第１ベクトルＶ２１、第２ベクトルＶ２２、第３ベクトルＶ２３、及び第４ベクトルＶ２４が交差しない場合には、各ベクトルが最も近接する点を原点Ｇ１にする。

【0114】

キャリブレーション補正値設定部１１２ｂは、四角錐内に入力領域Ｏ１を形成する。例えば、キャリブレーション補正値設定部１１２ｂは、第１指先位置Ｆ２１、第３指先位置Ｆ２３、第５指先位置Ｆ２５、及び第７指先位置Ｆ２７により形成される四角形と、第２指先位置Ｆ２２、第４指先位置Ｆ２４、第６指先位置Ｆ２６、及び第８指先位置Ｆ２８により形成される四角形と、の間に入力領域Ｏ１を形成する。このように、キャリブレーション補正値設定部１１２ｂは、第１の四角形の頂点と、この頂点に対応する第２の四角形の頂点とを通過するベクトルにより形成される四角錐内に、操作者の動作に応じた操作を受け付ける入力領域Ｏ１を設定する。なお、キャリブレーション補正値設定部１１２ｂは、２つの四角形の間に限らず、２つの四角形よりも表示部３０側に入力領域Ｏ１を設定してもよいし、２つの四角形よりも操作者側に入力領域Ｏ１を設定してもよいし、任意の位置に入力領域Ｏ１を形成してもよい。

【0115】

２Ｄ座標変換部１１４ｂは、キャリブレーション補正値情報１２０ｂに基づいて、入力領域Ｏ１における指先位置Ｆの３Ｄ座標に対応する、表示部３０上の２Ｄ座標を特定する。

【0116】

ここで、キャリブレーション補正値情報１２０ｂが示す入力領域Ｏ１は、第２の実施形態と同様の理由により歪んだ四角形を示してしまうことがある。そして、入力領域Ｏ１が歪んでいる場合、２Ｄ座標変換部１１４ｂは、操作位置Ｃ１を正確に特定することができない。そこで、２Ｄ座標変換部１１４ｂは、射影変換により入力領域Ｏ１の歪みを補正した上で操作位置Ｃ１を特定する。

【0117】

次に、第３の実施形態に係る情報処理装置１ｂが実行するキャリブレーション処理について説明する。

【0118】

図１８は、第３の実施形態に係る情報処理装置１ｂが実行するキャリブレーション処理の一例を示すフローチャートである。

【0119】

制御部１１ｂは、キャリブレーションを実行するキャリブレーションモードであるか否かを判定する（ステップＳ３１）。

【0120】

キャリブレーションモードの場合に（ステップＳ３１；Ｙｅｓ）、３Ｄ座標演算部１１１は、入力領域Ｏ１を設定するための指差し操作における指先位置Ｆの３Ｄ座標を取得したか否かを判定する（ステップＳ３２）。指先位置Ｆの３Ｄ座標を取得しない場合に（ステップＳ３２；Ｎｏ）、３Ｄ座標演算部１１１は、ステップＳ３２で待機する。

【0121】

指先位置Ｆの３Ｄ座標を取得した場合に（ステップＳ３２；Ｙｅｓ）、３Ｄ座標演算部１１１は、指差し操作における指先位置Ｆの３Ｄ座標を登録する（ステップＳ３３）。

【0122】

３Ｄ座標演算部１１１は、キャリブレーションが終了したか否かを判定する（ステップＳ３４）。言い換えると、３Ｄ座標演算部１１１は、８つの指先位置Ｆの３Ｄ座標を登録したか否かを判定する。キャリブレーションが終了していない場合に（ステップＳ３４；Ｎｏ）、３Ｄ座標演算部１１１は、ステップＳ３２に移行する。

【0123】

キャリブレーションが終了した場合に（ステップＳ３４；Ｙｅｓ）、キャリブレーション補正値設定部１１２ｂは、８つの指先位置Ｆにより形成される四角錐内に入力領域Ｏ１を特定する（ステップＳ３５）。

【0124】

以上により、情報処理装置１ｂは、キャリブレーション処理を終了する。

【0125】

次に、第３の実施形態に係る情報処理装置１ｂが実行する補正処理について説明する。

【0126】

図１９は、第３の実施形態に係る情報処理装置１ｂが実行する補正処理の一例を示すフローチャートである。補正処理は、キャリブレーション処理による検出した表示部３０の四隅の３Ｄ座標の誤差を射影変換により補正する処理である。

【0127】

制御部１１ｂは、表示部３０の四隅の３Ｄ座標を特定済みであるか否かを判定する（ステップＳ４１）。表示部３０の四隅の３Ｄ座標を特定していない場合に（ステップＳ４１；Ｎｏ）、制御部１１ｂは、図１８に示すキャリブレーション処理を実行する（ステップＳ４２）。

【0128】

表示部３０の四隅の３Ｄ座標が特定済みの場合に（ステップＳ４１；Ｙｅｓ）、３Ｄ座標演算部１１１は、入力領域Ｏ１において操作者の指先位置Ｆの３Ｄ座標を取得したか否かを判定する（ステップＳ４３）。操作者の指先位置Ｆの３Ｄ座標を取得していない場合に（ステップＳ４３；Ｎｏ）、３Ｄ座標演算部１１１は、ステップＳ４３において操作者の指先位置Ｆの３Ｄ座標の取得を継続する。

【0129】

操作者の指先位置Ｆの３Ｄ座標を取得した場合に（ステップＳ４３；Ｙｅｓ）、２Ｄ座標変換部１１４ｂは、操作者の指先位置Ｆの３Ｄ座標に対応する操作位置Ｃ１の２Ｄ座標であって、射影変換により補正した２Ｄ座標を算出する（ステップＳ４４）。

【0130】

以上により、情報処理装置１ｂは、補正処理を終了する。

【0131】

以上のように、第３の実施形態に係る情報処理装置１ｂは、表示部３０の表示面に向けて、四角形の頂点を示す４箇所の指先位置Ｆと、この四角形よりも操作者側にこの四角形よりも小さい四角形の頂点を示す４箇所の指先位置Ｆと、を抽出する。そして、情報処理装置１ｂは、この２つの四角形の間に入力領域Ｏ１を形成する。これにより、情報処理装置１ｂは、操作者が認識可能な入力領域Ｏ１を形成することができる。すなわち、情報処理装置１ｂは、動作が行われた位置と、操作対象の位置との位置関係を設定することができる。

【0132】

なお、第３の実施形態に係る情報処理装置１ｂは、入力領域Ｏ１を含む四角錐を任意の位置に形成することができる。図２０は、入力領域Ｏ１を特定する特定方法の一例を示す図である。例えば、図に示すように、情報処理装置１ｃは、操作者の目を原点Ｇ１にするように、四角錐を形成してもよい。さらに、四角錐は、任意の大きさに形成してもよい。

【0133】

（第４の実施形態）
図２１は、第４の実施形態に係る情報処理装置１ｄの一例を示す図である。図２１に示すように、情報処理装置１ｄは、４つの指先位置Ｆにより定められる四角柱内に入力領域Ｏ１を形成する。

【0134】

図２２は、第３の実施形態に係る情報処理装置１ｄの機能構成の一例を示す図である。制御部１１ｄは、画像取得部１１０、３Ｄ座標演算部１１１、キャリブレーション補正値設定部１１２ｄ、タッチ判定面設定部１１３、２Ｄ座標変換部１１４ｄ、判定部１１５、機能実行部１１６、及び表示出力部１１７を備える。

【0135】

３Ｄ座標演算部１１１は、表示部３０の表示面と略平行な四角形の頂点を指定する動作に基づいて、複数の座標を抽出する。例えば、３Ｄ座標演算部１１１は、図２１の第１指先位置Ｆ３１、第２指先位置Ｆ３２、第３指先位置Ｆ３３、及び第４指先位置Ｆ３４を抽出する。

【0136】

キャリブレーション補正値設定部１１２ｄは、操作者による指差し操作の指先位置Ｆを４箇所取得する。さらに、キャリブレーション補正値設定部１１２ｄは、指先位置Ｆごとに、指先位置Ｆから表示部３０の表示面と垂直に交差するベクトルを算出する。キャリブレーション補正値設定部１１２ｄは、４つのベクトルにより形成される四角柱内に、表示部３０の表示面と略平行な入力領域Ｏ１を無数に形成する。すなわち、キャリブレーション補正値設定部１１２ｄは、表示部３０の表示面から四角形の頂点を通過するベクトルにより形成される四角柱内に、動作に応じた操作を受け付ける入力領域Ｏ１を設定する。このように、４つのベクトルにより形成される四角柱内に、無数の入力領域Ｏ１を形成することで、操作者は、任意の位置で操作を行うことができる。

【0137】

２Ｄ座標変換部１１４ｄは、キャリブレーション補正値情報１２０ｄに基づいて、入力領域Ｏ１における指先位置Ｆの３Ｄ座標に対応する、表示部３０上の２Ｄ座標を特定する。

【0138】

ここで、キャリブレーション補正値情報１２０ｄが示す入力領域Ｏ１は、第２の実施形態と同様の理由により歪んだ四角形を示してしまうことがある。そして、入力領域Ｏ１が歪んでいる場合、２Ｄ座標変換部１１４ｄは、操作位置Ｃ１を正確に特定することができない。そこで、２Ｄ座標変換部１１４ｄは、射影変換により入力領域Ｏ１の歪みを補正した上で操作位置Ｃ１を特定する。

【0139】

以上のように、第４の実施形態に係る情報処理装置１ｄは、表示部３０の表示面に向けて、四角形の頂点を示す４箇所の指先位置Ｆを抽出する。そして、情報処理装置１ｄは、４箇所の指先位置Ｆにより形成される四角柱に無数の入力領域Ｏ１を形成する。これにより、情報処理装置１ｄは、操作者が認識可能な入力領域Ｏ１を形成することができる。すなわち、情報処理装置１ｄは、動作が行われた位置と、操作対象の位置との位置関係を設定することができる。

【0140】

（変形例１）
第１の実施形態、第２の実施形態、第３の実施形態、及び第４の実施形態において、操作に応じた表示部３０上の座標を特定するための基準を設定する処理を説明した。情報処理装置１、１ａ、１ｂ、１ｃ、１ｄは、操作者ごとに基準を記憶してもよい。さらに、情報処理装置１、１ａ、１ｂ、１ｃ、１ｄは、操作者を認証した場合に、認証した操作者の基準を設定してもよい。これにより、情報処理装置１、１ａ、１ｂ、１ｃ、１ｄは、基準を設定するキャリブレーションを実行することなく、操作者に応じた基準を設定することができる。また、情報処理装置１、１ａ、１ｂ、１ｃ、１ｄは、操作者を如何なる方法により認証してもよい。例えば、情報処理装置１、１ａ、１ｂ、１ｃ、１ｄは、顔画像などの生体認証により認証してもよいし、パスワードにより認証してもよいし、他の方法により認証してもよい。

【0141】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【0142】

（付記）
（項目１）
操作者による動作に基づいて表示部に対する操作を受け付ける情報処理装置であって、
センサにより検出された前記操作者の動作に基づいて、前記操作者から前記表示部までの空間から複数の座標を抽出する抽出部と、
前記抽出部により抽出された複数の座標に基づいて、前記操作に応じた前記表示部上の座標を特定するためのキャリブレーションを実行する設定部と、
を備える情報処理装置。
（項目２）
前記抽出部は、前記表示部の特徴点を指し示す複数の動作に基づいて、前記特徴点ごとに、前記表示部の表示面に対して略垂直な方向に、距離が異なる複数の前記座標を抽出し、
前記設定部は、前記特徴点と当該特徴点に対応する複数の座標とを通過するベクトルであって、前記特徴点ごとに算出した前記ベクトルが近接する点を、前記操作者の目の位置として設定する、
項目１に記載の情報処理装置。
（項目３）
前記抽出部は、前記表示部の特徴点を指し示す複数の動作に基づいて、前記特徴点ごとに、前記表示部の表示面と略平行な方向に、距離が異なる複数の前記座標を抽出し、
前記設定部は、前記座標と、前記操作者の目とを通過するベクトルであって、前記特徴点ごとに算出した前記ベクトルが近接する点により特定される前記表示部の位置を設定する、
項目１又は項目２に記載の情報処理装置。
（項目４）
前記表示部の位置と、前記操作者の目と、前記動作により抽出される座標とに基づいて、前記操作に応じた前記表示部上の座標を特定する特定部を更に備える、
項目２又は項目３に記載の情報処理装置。
（項目５）
前記抽出部は、第１の四角形と、前記第１の四角形よりも操作者側に前記第１の四角形よりも小さい第２の四角形と、のそれぞれの頂点を指定する前記動作に基づいて、複数の前記座標を抽出し、
前記設定部は、前記第１の四角形の頂点と、当該頂点に対応する前記第２の四角形の頂点とを通過するベクトルにより形成される四角錐内に、前記動作に応じた操作を受け付ける入力領域を設定する、
項目１に記載の情報処理装置。
（項目６）
前記抽出部は、前記表示部の表示面と略平行な四角形の頂点を指定する前記動作に基づいて、複数の前記座標を抽出し、
前記設定部は、前記表示部の表示面から前記頂点を通過するベクトルにより形成される四角柱内に、前記動作に応じた操作を受け付ける入力領域を設定する、
項目１又は項目５に記載の情報処理装置。
（項目７）
前記センサにより検出された前記操作者の動作に基づいて、前記操作者から前記表示部までの空間から座標を算出する第１算出部と、
前記設定部により設定された情報と、前記第１算出部により算出された座標とに基づいて、前記操作に応じた前記表示部上の座標を算出する第２算出部と、
前記第２算出部により算出された前記表示部上の座標に対して操作を実行する実行部と、
前記実行部により実行された操作内容に応じた画像を前記表示部に表示する表示制御部と、を更に備える、
項目１から項目６の何れか一項に記載の情報処理装置。
（項目８）
操作者による動作に基づいて表示部に対する操作を受け付ける情報処理装置のキャリブレーション方法であって、
センサにより検出された前記操作者の動作に基づいて、前記操作者から前記表示部までの空間から複数の座標を抽出し、
抽出した複数の座標に基づいて、前記操作に応じた前記表示部上の座標を特定するためのキャリブレーションを実行する、
ことを含むキャリブレーション方法。

【符号の説明】

【0143】

１、１ａ、１ｂ、１ｃ、１ｄ 情報処理装置
１０ 制御装置
２０ センサ
３０ 表示部
１１０ 画像取得部
１１１ ３Ｄ座標演算部
１１２、１１２ａ、１１２ｂ、１１２ｄ キャリブレーション補正値設定部
１１３ タッチ判定面設定部
１１４、１１４ａ、１１４ｂ、１１４ｄ ２Ｄ座標変換部
１１５ 判定部
１１６ 機能実行部
１１７ 表示出力部
１２０、１２０ａ、１２０ｂ、１２０ｄ キャリブレーション補正値情報
１２１ 基準座標情報
１２２ タッチ判定面情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】