知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-05
(45)【発行日】2024-02-14
(54)【発明の名称】基準位置設定方法及び操作検出装置
(51)【国際特許分類】
G06F 3/0346 20130101AFI20240206BHJP
G06F 3/041 20060101ALI20240206BHJP
【ＦＩ】
G06F3/0346 421
G06F3/041 520
G06F3/041 532
【請求項の数】
4
(21)【出願番号】P 2021513514
(86)(22)【出願日】2020-03-02
(86)【国際出願番号】 JP2020008769
(87)【国際公開番号】W WO2020208974
(87)【国際公開日】2020-10-15
【審査請求日】2022-11-25
(31)【優先権主張番号】P 2019074783
(32)【優先日】2019-04-10
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000148689
【氏名又は名称】株式会社村上開明堂
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100182006
【弁理士】
【氏名又は名称】湯本 譲司
(72)【発明者】
【氏名】望月 隆義
【審査官】星野 裕
(56)【参考文献】
【文献】特開２０１１－２５３２５５（ＪＰ，Ａ）
【文献】特開２０１４－１７０５１１（ＪＰ，Ａ）
【文献】特開２０１８－１７３９８７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０３４６
Ｇ０６Ｆ ３／０４１
(57)【特許請求の範囲】
【請求項1】
虚像として表示された操作面における操作を検出するための基準位置を設定する基準位置設定方法であって、３個のマーカーが三角形の頂点を成すように前記３個のマーカーを表示する前記操作面を、表示部の画面を通して空中に表示する工程と、
各前記マーカーに接近する対象物をセンサが検出することによって、前記センサから前記操作面に向かって延びる第１Ｚ軸、並びに前記第１Ｚ軸と交差する第１Ｘ軸及び第１Ｙ軸を有するセンサ座標系における各前記マーカーの座標値を取得する工程と、
前記取得する工程において取得した各前記座標値を、前記操作面に平行な面において互いに交差する第２Ｘ軸及び第２Ｙ軸を有する仮座標系における各座標値に変換する工程と、
前記変換する工程において変換した各前記座標値を、前記操作面において前記第２Ｘ軸及び第２Ｙ軸とそれぞれ平行な方向に延びる第３Ｘ軸及び第３Ｙ軸を有するスクリーン座標系における各座標値に変換する工程と、
を備え、
前記仮座標系における各座標値に変換する工程では、
前記センサ座標系に対して平行移動及び回転の少なくとも一方を行うことによって、前記センサ座標系を前記仮座標系に変換し、
前記スクリーン座標系における各座標値に変換する工程では、
前記仮座標系に対して、前記第２Ｘ軸及び第２Ｙ軸を含む平面に平行な方向への移動、並びに前記仮座標系の拡大又は縮小を行うことによって、前記仮座標系を前記スクリーン座標系に変換し、前記表示部の画面に対して前記操作面が傾いた状態で、前記３個のマーカーを用いて前記スクリーン座標系における各座標値を取得する、基準位置設定方法。
【請求項2】
前記仮座標系における各座標値に変換する工程では、前記３個のマーカーのうち１個のマーカーの前記センサ座標系における座標値を前記仮座標系の原点とする、請求項１に記載の基準位置設定方法。
【請求項3】
前記仮座標系における各座標値に変換する工程では、前記３個のマーカーのうち１個のマーカーの前記センサ座標系における座標値を前記仮座標系の前記第２Ｘ軸上の座標値とすると共に、前記３個のマーカーのうち他の１個のマーカーの前記センサ座標系における座標値を前記仮座標系の前記第２Ｙ軸上の座標値とする、請求項１又は２に記載の基準位置設定方法。
【請求項4】
虚像として表示された操作面における操作を検出するための基準位置を設定する操作検出装置であって、３個のマーカーが三角形の頂点を成すように前記３個のマーカーを表示する前記操作面を、画面を通して空中に表示する表示部と、
各前記マーカーに接近する対象物を検出することによって、前記操作面に向かって延びる第１Ｚ軸、並びに前記第１Ｚ軸と交差する第１Ｘ軸及び第１Ｙ軸を有するセンサ座標系における各前記マーカーの座標値を取得するセンサと、
前記センサ座標系における各前記マーカーの座標値を、前記操作面に平行な面において互いに交差する第２Ｘ軸及び第２Ｙ軸を有する仮座標系における各座標値に変換する第１座標変換部と、
前記仮座標系における各前記マーカーの座標値を、前記操作面において前記第２Ｘ軸及び第２Ｙ軸とそれぞれ平行な方向に延びる第３Ｘ軸及び第３Ｙ軸を有するスクリーン座標系における各座標値に変換する第２座標変換部と、
を備え、
前記第１座標変換部は、
前記センサ座標系に対して平行移動及び回転の少なくとも一方を行うことによって、前記センサ座標系を前記仮座標系に変換し、
前記第２座標変換部は、
前記仮座標系に対して、前記第２Ｘ軸及び第２Ｙ軸を含む平面に平行な方向への移動、並びに前記仮座標系の拡大又は縮小を行うことによって、前記仮座標系を前記スクリーン座標系に変換し、前記表示部の画面に対して前記操作面が傾いた状態で、前記３個のマーカーを用いて前記スクリーン座標系における各座標値を取得する、操作検出装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、操作を検出するための基準位置を設定する基準位置設定方法及び操作検出装置に関する。
【背景技術】
【0002】
特許文献１は、仮想物体が表示される実空間内の座標を入力するための空間座標入力装置を開示する。この空間座標入力装置では、仮想物体を立体表示するための画像を投影するスクリーンがオペレータの前方に設けられ、磁界を発生する磁界発生装置がオペレータの後方に設けられ、当該磁界を検出する先端部を有する位置入力装置がオペレータによって所持される。位置入力装置は、先端部において磁界を検出した空間座標を制御装置に入力する装置である。オペレータの周囲には、３台のＴＶカメラを備える光学測定装置が設けられている。
【0003】
前述した空間座標入力装置では、位置入力装置が制御装置に入力した空間座標と、実空間内の実座標との対応関係について、光学測定装置を用いた光学的な計測を行うことによって補正している。具体的には、透明板に一定間隔の目盛りが付与された格子プレートが実空間内に設置される。そして、画像検出のためのマークを有するポインタが格子プレート上における複数の点を指示し、そのポインタのマークに位置入力装置の先端部が配置される。その後、光学測定装置の３台のＴＶカメラがポインタを撮像することにより、ポインタのマークの位置を示す空間座標値（すなわち、光学座標値）が求められる。更に、位置入力装置の先端部が磁界を検出することにより、ポインタのマークの位置を示す空間座標値（すなわち、磁気座標値）が制御装置に入力される。その後、空間座標入力装置は、磁気座標値を光学座標値に変換する４×４行列を求め、求めた行列を用いて磁気座標値を光学座標値に変換する。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０００－３３０７０９号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
前述した空間座標入力装置では、位置入力装置が制御装置に入力した空間座標と実空間内の実座標との対応関係を補正するための操作として、光学測定装置を用いたキャリブレーションを行っている。しかしながら、この空間座標入力装置では、キャリブレーションを行うために、実空間内に設置される格子プレートと、格子プレート上を指示するポインタのマークを検出するための３台のＴＶカメラを有する光学測定装置と、を含む大掛かりな器具が必要となる。
【0006】
本開示は、キャリブレーションを行うための大掛かりな器具が不要となり、装置の構成を簡易化できる基準位置設定方法及び操作検出装置を提供する。
【課題を解決するための手段】
【0007】
本開示に係る基準位置設定方法は、虚像として表示された操作面における操作を検出するための基準位置を設定する基準位置設定方法である。この基準位置設定方法は、３個のマーカーが三角形の頂点を成すように３個のマーカーを表示する操作面を、表示部の画面を通して空中に表示する工程と、各マーカーに接近する対象物をセンサが検出することによって、センサから操作面に向かって延びる第１Ｚ軸、並びに第１Ｚ軸と交差する第１Ｘ軸及び第１Ｙ軸を有するセンサ座標系における各マーカーの座標値を取得する工程と、取得する工程において取得した各座標値を、操作面に平行な面において互いに交差する第２Ｘ軸及び第２Ｙ軸を有する仮座標系における各座標値に変換する工程と、変換する工程において変換した各座標値を、操作面において第２Ｘ軸及び第２Ｙ軸とそれぞれ平行な方向に延びる第３Ｘ軸及び第３Ｙ軸を有するスクリーン座標系における各座標値に変換する工程と、を備える。仮座標系における各座標値に変換する工程では、センサ座標系に対して平行移動及び回転の少なくとも一方を行うことによって、センサ座標系を仮座標系に変換する。スクリーン座標系における各座標値に変換する工程では、仮座標系に対して、第２Ｘ軸及び第２Ｙ軸を含む平面に平行な方向への移動、並びに仮座標系の拡大又は縮小を行うことによって、仮座標系をスクリーン座標系に変換し、表示部の画面に対して操作面が傾いた状態で、３個のマーカーを用いてスクリーン座標系における各座標値を取得する。
【0008】
本開示に係る操作検出装置は、虚像として表示された操作面における操作を検出するための基準位置を設定する操作検出装置である。この操作検出装置は、３個のマーカーが三角形の頂点を成すように３個のマーカーを表示する操作面を、表示部の画面を通して空中に表示する表示部と、各マーカーに接近する対象物を検出することによって、操作面に向かって延びる第１Ｚ軸、並びに第１Ｚ軸と交差する第１Ｘ軸及び第１Ｙ軸を有するセンサ座標系における各マーカーの座標値を取得するセンサと、センサ座標系における各マーカーの座標値を、操作面に平行な面において互いに交差する第２Ｘ軸及び第２Ｙ軸を有する仮座標系における各座標値に変換する第１座標変換部と、仮座標系における各マーカーの座標値を、操作面において第２Ｘ軸及び第２Ｙ軸とそれぞれ平行な方向に延びる第３Ｘ軸及び第３Ｙ軸を有するスクリーン座標系における各座標値に変換する第２座標変換部と、を備える。第１座標変換部は、センサ座標系に対して平行移動及び回転の少なくとも一方を行うことによって、センサ座標系を仮座標系に変換する。第２座標変換部は、仮座標系に対して、第２Ｘ軸及び第２Ｙ軸を含む平面に平行な方向への移動、並びに仮座標系の拡大又は縮小を行うことによって、仮座標系をスクリーン座標系に変換し、表示部の画面に対して操作面が傾いた状態で、３個のマーカーを用いてスクリーン座標系における各座標値を取得する。
【0009】
前述した基準位置設定方法及び操作検出装置では、基準位置を設定するための少なくとも３個のマーカーが虚像として操作面に表示される。センサは、操作面に表示された各マーカーに接近する対象物を検出することによって、センサ座標系における各マーカーの座標値を取得する。センサ座標系における各座標値は、仮座標系における各座標値に変換された後、操作面に位置する第３Ｘ軸及び第３Ｙ軸を有するスクリーン座標系における各座標値に変換される。ここで、操作面に表示された各マーカーのセンサ座標系における座標値をスクリーン座標系における各座標値に直接変換しようとしても、座標系の変換に必要な変換係数行列を求めるための条件が不足するので、センサ座標系をスクリーン座標系に直接変換することはできない。前述した基準位置設定方法及び操作検出装置では、センサ座標系に対して平行移動及び回転の少なくとも一方を行うことによって、センサ座標系を仮座標系に変換している。更に、仮座標系に対して、第２Ｘ軸及び第２Ｙ軸を含む平面に平行な方向への移動、並びに仮座標系の拡大又は縮小を行うことによって、仮座標系をスクリーン座標系に変換している。このように、センサ座標系を仮座標系に変換する工程、及び仮座標系をスクリーン座標系に変換する工程の各工程において、座標系の回転を行う処理と、座標系の拡大又は縮小を行う処理とを別々に行っている。これにより、座標系の変換に必要な変換係数行列を求めるための条件を満足することができ、センサ座標系から仮座標系への変換、及び仮座標系からスクリーン座標系への変換をそれぞれ行うことが可能となる。その結果、スクリーン座標系における各マーカーの座標値は、センサ座標系における各マーカーの座標値から得られるので、基準位置を設定するキャリブレーションを行うときに、スクリーン座標系における各マーカーの座標値を実測するための他の計測器具が不要となる。これにより、装置の構成を簡易化することができる。仮に、他の測定器具を用いてスクリーン座標系における各座標値を実測した場合、当該測定器具の測定誤差等により、座標系の変換前後において各マーカーの位置関係が崩れることがある。前述した基準位置設定方法及び操作検出装置によれば、センサ座標系における各マーカーの座標値からスクリーン座標系における各マーカーの座標値が得られるので、座標系の変換の前後において各マーカーの位置関係が崩れることが無い。すなわち、座標系の変換に必要な変換係数行列を精度良く求めることができる。よって、センサ座標系における各マーカーの座標値をスクリーン座標系における各座標値に精度良く変換することができ、キャリブレーションを精度良く行うことができる。
【0010】
仮座標系における各座標値に変換する工程では、３個のマーカーのうち１個のマーカーのセンサ座標系における座標値を仮座標系の原点としてもよい。この場合、仮座標系における当該１個のマーカーの座標値の成分がゼロとなる。これにより、センサ座標系から仮座標系への変換に伴う処理負荷、及び仮座標系からスクリーン座標系への変換に伴う処理負荷をそれぞれ軽減することができる。
【0011】
仮座標系における各座標値に変換する工程では、３個のマーカーのうち１個のマーカーのセンサ座標系における座標値を仮座標系の第２Ｘ軸上の座標値とすると共に、３個のマーカーのうち他の１個のマーカーのセンサ座標系における座標値を仮座標系の第２Ｙ軸上の座標値としてもよい。この場合、仮座標系における当該１個のマーカーの座標値の第２Ｙ軸の成分がゼロとなる。更に、仮座標系における当該他の１個のマーカーの座標値の第２Ｘ軸の成分がゼロとなる。これにより、センサ座標系から仮座標系への変換に伴う処理負荷、及び仮座標系からスクリーン座標系への変換に伴う処理負荷をそれぞれ軽減することができる。
【発明の効果】
【0012】
本開示によれば、キャリブレーションを実行するための大掛かりな器具が不要となり、装置の構成を簡易化できる。
【図面の簡単な説明】
【0013】
【発明を実施するための形態】
【0014】
以下では、本開示に係る基準位置設定方法及び操作検出装置の実施形態について図面を参照しながら説明する。図面の説明において、同一又は相当する要素には同一の符号を付し、重複する説明を適宜省略する。図面は、理解を容易にするため、一部を簡略化又は誇張して描いており、寸法比率等は図面に記載のものに限定されない。
【0015】
本実施形態において、「対象物」は、センサによって検出される対象物であって且つ操作面を操作して機器を動作させるものである。「対象物」は、例えばユーザの指等の棒状物である。「操作面」は、機器を動作させることが可能な面を示している。「操作面」は、例えばスイッチ等のボタンが虚像として表示される平面である。「センサ」は、操作部が対象物によって操作されたことを検出するセンサである。「基準位置」は、操作面が操作されたかどうかを認識するための基準となる位置である。「基準位置」は、例えば、虚像として表示された操作面に対する所定の位置である。当該所定の位置は、虚像として表示された操作面そのものの位置であってもよいし、操作面から所定距離だけ離間した位置であってもよい。
【0016】
図１は、本実施形態に係る操作検出装置２を備える表示装置１を示す斜視図である。表示装置１は、車両と車両の乗員との間においてＨＭＩ（Human Machine Interface）を構築する。表示装置１は、例えば、車両の左右方向における中央部に設けられる。図１に示されるように、表示装置１は、車両の前後方向において表示装置１の後側に設けられる操作検出装置２と、車両の前後方向において表示装置１の前側に設けられる画像表示装置３とを備える。操作検出装置２は、例えば、表示装置１の平坦部１ａに設けられており、画像表示装置３は、表示装置１の傾斜部１ｂに設けられている。平坦部１ａは、表示装置１において車両の前後方向及び左右方向の双方に延在する部位である。傾斜部１ｂは、平坦部１ａの前側から斜め上方に延在する部位である。
【0017】
操作検出装置２は、例えば、車両に搭載された各機器（例えば車載用バックカメラ又はエアコン）を動作させる操作面５を虚像Ｋとして表示する。操作検出装置２は、操作面５に接近する対象物Ｆ（図２参照）を検出するセンサ２０を備える。操作面５は、例えば、車載用バックカメラを操作可能な複数のボタン５ａを含む長方形状の操作平面である。「操作平面」とは、機器を操作することが可能な平面状のユーザインタフェースを示している。操作検出装置２は、センサ２０が対象物Ｆを検出すると、センサ２０が検出した対象物Ｆの位置に基づいて対象物Ｆによる操作面５の操作を検出する。操作検出装置２は、検出した操作に基づいて各機器を動作させる。操作検出装置２によれば、虚像Ｋとして表示された操作面５への対象物Ｆの接近によって各機器の動作が可能となるため、物理的なボタン等が不要となる。
【0018】
本実施形態において、「接近」するとは、ある物が他の物に接触する場合、及び、ある物が他の物に所定距離まで近づいた場合の両方を含む。操作の例としては、対象物Ｆによる操作面５の押下操作、タップ操作又はスライド操作等が挙げられるが、操作の種類については特に限定されない。本実施形態では、操作面５の操作としてボタン５ａに対する押下操作を例示する。押下操作は、操作面５のボタン５ａを押し下げる操作、及び操作面５のボタン５ａを押し上げる操作の両方の操作を含む。
【0019】
画像表示装置３は、例えば、車両情報、道路情報及び危険度情報の少なくともいずれかを表示するディスプレイ３ａを有する。操作検出装置２及び画像表示装置３が表示する情報は、表示装置１に設けられる音声出力部（不図示）の音声出力によって読み上げられてもよい。音声出力部の音声出力が操作検出装置２及び画像表示装置３の表示に連動することにより、視覚及び聴覚による一層確実な情報の提供が可能となる。
【0020】
図２は、操作検出装置２を示す概略構成図である。図２に示されるように、操作検出装置２は、表示部１０とセンサ２０と制御部３０とを備える。表示部１０は、操作面５を虚像Ｋとして空中に表示する。表示部１０は、空中結像素子であるＡＩ（Aerial Imaging）プレート（登録商標）１１と、液晶パネル１２とを備えている。ＡＩプレート１１は、例えば、特許第４８６５０８８号に記載された技術を用いて作製されている。
【0021】
液晶パネル１２は、例えば、ＰＣ（パーソナルコンピュータ）、タブレット端末、又は携帯電話等の携帯端末のディスプレイである。液晶パネル１２は、制御部３０から出力される信号に基づいて画像を表示する。ＡＩプレート１１は、液晶パネル１２に対して斜めに傾斜している。液晶パネル１２が表示する画像は、ＡＩプレート１１によって、ＡＩプレート１１及び液晶パネル１２に対して、ユーザ（対象物Ｆ）側の位置に虚像Ｋとして表示される。液晶パネル１２に対するＡＩプレート１１の傾斜角度は、可変とされていてもよい。
【0022】
センサ２０は、例えば深度センサであり、操作面５を挟んで対象物Ｆとは反対側に設けられている。例えば、センサ２０は、操作面５と対象物Ｆとを結ぶ仮想直線上、すなわち、虚像Ｋである操作面５に対して正面位置に設けられている。センサ２０は、当該仮想直線に対して垂直な面における対象物Ｆの位置（すなわち、２次元位置）の情報と、対象物Ｆからセンサ２０までの距離Ｄの情報とを含む位置データを取得する。センサ２０は、取得した位置データを所定の周期（例えば１／３０秒）で制御部３０に出力する。
【0023】
センサ２０は、例えば、対象物Ｆを含む撮影領域内に存在する物体上の各点とセンサ２０との距離を、ＴＯＦ（Time Of Flight）方式によって測定する。ＴＯＦ方式では、センサ２０は、光線が物体上の各点で反射してセンサ２０に到達するまでの光線の飛行時間（すなわち、遅れ時間）を算出する。そして、センサ２０は、算出した飛行時間と光の速度とから、センサ２０と物体上の各点との距離を測定する。
【0024】
制御部３０は、液晶パネル１２及びセンサ２０に通信可能とされている。制御部３０は、例えば、プログラムを実行するＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等の記憶部と、入出力部と、ドライバとを備える。制御部３０の各機能は、ＣＰＵの制御の下で入出力部が動作され、記憶部におけるデータの読み出し及び書き込みが行われることによって、実現される。制御部３０の形態及び配置場所については特に限定されない。
【0025】
制御部３０は、例えば、操作面５が操作されたか否かを判定する判定部３０ａを含んでいる。判定部３０ａは、センサ２０によって検出された対象物Ｆの位置に基づいて判定を行う。判定部３０ａは、センサ２０から入力された位置データに基づき、対象物Ｆによって操作面５の操作がなされたか否かを判定する。判定部３０ａは、対象物Ｆとセンサ２０との距離Ｄが閾値Ｔ以下であるか否かを判定する。判定部３０ａは、距離Ｄが閾値Ｔ以下であると判定したときに、対象物Ｆが仮想の判定面６に到達し、操作面５が操作されたと判定する。
【0026】
操作面５が操作されたと判定部３０ａが判定すると、例えば、前述した車載用バックカメラが動作する。判定面６は、センサ２０からの距離が一定である部位に形成された仮想の平面であり、操作面５の近接位置に設けられる。本実施形態では、判定面６の位置は操作面５の位置と一致している。すなわち、判定面６は操作面５に重なっている。しかし、判定面６の位置は、操作面５から所定距離だけ離間した位置であってもよい。
【0027】
以上のように構成された操作検出装置２は、対象物Ｆによる操作面５の操作を検出するための基準となる基準位置を設定する。この基準位置の設定は、例えば、操作検出装置２の初期動作時、又は操作検出装置２のメンテナンス時に実行される。操作検出装置２は、表示部１０によって表示される操作面５に対象物Ｆを接近させることによって基準位置を設定する。以下では、この基準位置の設定をキャリブレーションと称することがある。このキャリブレーションの実行手順について、図３、図４、図５、及び図６を参照しながら具体的に説明する。
【0028】
図３は、操作検出装置２が基準位置を設定する処理を説明するための図である。まず、図３に示されるように、表示部１０は、虚像Ｋとして３個のマーカーＭ１，Ｍ２及びＭ３を操作面５に表示する。そして、ユーザは、操作面５に表示された３個のマーカーＭ１，Ｍ２及びＭ３のそれぞれに対象物Ｆを接近させる。各マーカーＭ１，Ｍ２及びＭ３は、キャリブレーションを行うための基準点であり、例えば円形状を呈している。本実施形態において、各マーカーＭ１，Ｍ２及びＭ３の位置は、各マーカーＭ１，Ｍ２及びＭ３の中心点を示している。
【0029】
各マーカーＭ１，Ｍ２及びＭ３は、操作面５において同一直線上に並ばない位置に表示される。すなわち、各マーカーＭ１，Ｍ２及びＭ３は、操作面５において三角形の頂点を成すように表示される。本実施形態では、各マーカーＭ１，Ｍ２及びＭ３は、操作面５において直角三角形の頂点を成すように表示される。マーカーＭ１は、操作面５において直角三角形の直角を成す２辺を繋ぐ頂点に位置する。マーカーＭ１及びＭ２を結ぶ直線と、マーカーＭ１及びＭ３を結ぶ直線とは、互いに直交する。以下では、説明を容易にするため、「マーカーＭ１，Ｍ２及びＭ３のそれぞれ」をまとめて「マーカーＭ」と称することがある。
【0030】
マーカーＭに対象物Ｆが接近すると、センサ２０は、マーカーＭに接近した対象物Ｆの位置を検出することによって、センサ座標系Ｃ１における座標値としてマーカーＭの位置を取得する。センサ座標系Ｃ１は、センサ２０の位置を基準としたＸＹＺ直交座標系である。センサ座標系Ｃ１は、センサ２０の位置に原点Ｓ１を有しており、互いに直交するＸ１軸（第１Ｘ軸）、Ｙ１軸（第１Ｙ軸）及びＺ１軸（第１Ｚ軸）を有している。Ｚ１軸は、原点Ｓ１から操作面５に向かって延びている。Ｚ１軸が延びる方向は、例えば、操作面５に垂直な方向である。Ｘ１軸及びＹ１軸のそれぞれが延びる方向は、例えば、操作面５と平行な面に沿った方向である。Ｘ１軸、Ｙ１軸及びＺ１軸のそれぞれの単位は、例えばｍ（メートル）である。
【0031】
センサ座標系Ｃ１におけるマーカーＭの座標値は、仮座標系Ｃ２におけるマーカーＭの座標値に変換された後、スクリーン座標系Ｃ３におけるマーカーＭの座標値に変換される。仮座標系Ｃ２は、センサ座標系Ｃ１におけるマーカーＭの座標値をスクリーン座標系Ｃ３におけるマーカーＭの座標値に変換する過程で用いる仮のＸＹＺ直交座標系である。仮座標系Ｃ２は、操作面５上に原点Ｓ２を有しており、互いに直交するＸ２軸（第２Ｘ軸）、Ｙ２軸（第２Ｙ軸）及びＺ２軸を有している。原点Ｓ２の位置は、例えば、操作面５に表示される３個のマーカーＭ１，Ｍ２及びＭ３のうちの１個の位置である。本実施形態では、仮座標系Ｃ２の原点Ｓ２の位置は、マーカーＭ１の位置である。
【0032】
仮座標系Ｃ２のＺ２軸は、原点Ｓ２からセンサ２０の反対側に延びている。Ｚ２軸が延びる方向は、例えば、操作面５に垂直な方向であり、センサ座標系Ｃ１のＺ１軸が延びる方向と一致している。Ｘ２軸及びＹ２軸は、操作面５に平行な面上に位置している。本実施形態では、この平行な面の位置は、操作面５と重なる位置である。Ｘ２軸は、操作面５上においてスクリーン座標系Ｃ３のＸ３軸に平行であり、操作面５上においてＸ３軸からＸ３軸と直交する方向に所定距離ずれている。
【0033】
仮座標系Ｃ２のＸ２軸は、操作面５上においてマーカーＭ１及びＭ２を通っている。すなわち、Ｘ２軸は、マーカーＭ１及びＭ２を結ぶ直線上に位置している。仮座標系Ｃ２のＹ２軸は、操作面５上においてスクリーン座標系Ｃ３のＹ３軸に平行であり、操作面５上においてＹ３軸からＹ３軸と直交する方向に所定距離ずれている。Ｙ２軸は、操作面５上においてマーカーＭ１及びＭ３を通っている。すなわち、Ｙ２軸は、マーカーＭ１及びＭ３を結ぶ直線上に位置している。
【0034】
スクリーン座標系Ｃ３は、操作面５上に原点Ｓ３を有しており、互いに直交するＸ３軸（第３Ｘ軸）、Ｙ３軸（第３Ｙ軸）及びＺ３軸を有している。スクリーン座標系Ｃ３の原点Ｓ３は、例えば、長方形状の操作面５の４個の頂点のうち、マーカーＭ３の近傍に表示される頂点（図３では操作面５の左上の頂点）に位置している。当該頂点は、操作面５の長辺５ｂ及び短辺５ｃを繋ぐ頂点である。Ｚ３軸は、原点Ｓ３からセンサ２０の反対側に延びている。Ｚ３軸が延びる方向は、例えば、操作面５に垂直な方向であり、センサ座標系Ｃ１のＺ１軸が延びる方向、及び仮座標系Ｃ２のＺ２軸が延びる方向のそれぞれと一致している。Ｘ３軸は、操作面５の長辺５ｂに重なっており、Ｙ３軸は、操作面５の短辺５ｃに重なっている。
【0035】
センサ座標系Ｃ１におけるマーカーＭの座標値から仮座標系Ｃ２におけるマーカーＭの座標値への変換、及び、仮座標系Ｃ２におけるマーカーＭの座標値からスクリーン座標系Ｃ３におけるマーカーＭの座標値への変換は、制御部３０によって行われる。図４は、制御部３０の機能的構成を示すブロック図である。図４に示されるように、制御部３０は、第１座標変換部３１と第２座標変換部３２とを含んでいる。第１座標変換部３１は、センサ２０からセンサ座標系Ｃ１におけるマーカーＭの座標値を受信すると、センサ座標系Ｃ１におけるマーカーＭの座標値を、仮座標系Ｃ２におけるマーカーＭの座標値に変換する。第２座標変換部３２は、仮座標系Ｃ２におけるマーカーＭの座標値を、スクリーン座標系Ｃ３におけるマーカーＭの座標値に変換する。
【0036】
図５は、センサ座標系Ｃ１におけるマーカーＭの座標値を仮座標系Ｃ２におけるマーカーＭの座標値に変換する処理を説明するための図である。センサ座標系Ｃ１におけるマーカーＭの座標値から仮座標系Ｃ２におけるマーカーＭの座標値への変換は、合同アフィン変換によって行われる。ところで、アフィン変換は、座標系に対して、回転、平行移動、スケーリング、及びスキュー（すなわち、せん断）を含む処理を行う変換である。アフィン変換の前後において線形性は保たれる。つまり、アフィン変換前における座標系で規定される直線は、アフィン変換後における座標系においても曲がらずに直線のまま保たれる。合同アフィン変換は、座標系に対して、前述した処理のうちスケーリング及びスキューを除いた回転及び平行移動のみを行う変換である。上記の「スケーリング」は、座標系の縮尺を拡大又は縮小することを意味する。
【0037】
第１座標変換部３１は、センサ座標系Ｃ１に対して、例えば、回転及び平行移動のみを行う合同アフィン変換を行うことによって、センサ座標系Ｃ１を仮座標系Ｃ２に変換する。具体的には、第１座標変換部３１は、センサ座標系Ｃ１に対して平行移動及び回転の少なくとも一方を行うことによって、センサ座標系Ｃ１を仮座標系Ｃ２に変換している。上記の平行移動は、例えば、センサ座標系Ｃ１の原点Ｓ１から仮座標系Ｃ２の原点Ｓ２への移動を意味する。上記の回転は、例えば、平行移動前又は平行移動後のセンサ座標系Ｃ１の原点Ｓ１を中心とする回転を意味する。センサ座標系Ｃ１に対して上記の平行移動及び回転の少なくとも一方を行うことにより、センサ座標系Ｃ１は、操作面５と平行な面（本実施形態では操作面５に重なる面）上に位置するＸ２軸及びＹ２軸を有する仮座標系Ｃ２に変換される。
【0038】
センサ座標系Ｃ１から仮座標系Ｃ２への合同アフィン変換についてより具体的に説明する。図３に示されるように、センサ座標系Ｃ１における各マーカーＭ１，Ｍ２及びＭ３の座標値をＰ１，Ｐ２及びＰ３とし、仮座標系Ｃ２における各マーカーＭ１，Ｍ２及びＭ３の座標値をＱ１，Ｑ２及びＱ３とする。センサ座標系Ｃ１における各座標値Ｐ１，Ｐ２及びＰ３の成分は、センサ２０が対象物Ｆを検出することにより取得される。仮座標系Ｃ２における各座標値Ｑ１，Ｑ２及びＱ３の成分は、各座標値Ｐ１，Ｐ２及びＰ３の成分から求められる。
【0039】
本実施形態では、仮座標系Ｃ２の原点Ｓ２はマーカーＭ１に位置しているので、マーカーＭ１に対応する座標値Ｑ１の成分は（０，０，０）と表される。仮座標系Ｃ２のＸ２軸はマーカーＭ２を通っているので、マーカーＭ２に対応する座標値Ｑ２のＸ２軸の成分をＸ２ｑとすると、座標値Ｑ２の成分は（Ｘ２ｑ，０，０）と表される。仮座標系Ｃ２のＹ２軸はマーカーＭ３を通っているので、マーカーＭ３に対応する座標値Ｑ３のＹ２軸の成分をＹ２ｑとすると、座標値Ｑ３の成分は（０，Ｙ２ｑ，０）と表される。
【0040】
第１座標変換部３１は、未知数であるＸ２ｑ及びＹ２ｑを、センサ座標系Ｃ１における各座標値Ｐ１，Ｐ２及びＰ３の位置関係から求める。具体的には、第１座標変換部３１は、次の式（１）を用いてＸ２ｑを求め、式（２）を用いてＹ２ｑを求める。
第１座標変換部３１は、Ｘ２ｑ及びＹ２ｑを求めることにより、仮座標系Ｃ２における各座標値Ｑ２及びＱ３の成分を得る。変換前のセンサ座標系Ｃ１における各座標値Ｐ１，Ｐ２及びＰ３と、変換後の仮座標系Ｃ２における各座標値Ｑ１，Ｑ２及びＱ３とが求まれば、センサ座標系Ｃ１から仮座標系Ｃ２への合同アフィン変換を行うための変換係数行列（後に詳述）を求めることができる。第１座標変換部３１は、この変換係数行列を求めることによって、センサ座標系Ｃ１における各座標値Ｐ１，Ｐ２及びＰ３を、仮座標系Ｃ２における各座標値Ｑ１，Ｑ２及びＱ３に変換する。
【数1】
【数2】
【0041】
図６は、仮座標系Ｃ２における各マーカーＭ１，Ｍ２及びＭ３の座標値Ｑ１，Ｑ２及びＱ３を、スクリーン座標系Ｃ３における各マーカーＭ１，Ｍ２及びＭ３の座標値Ｒ１，Ｒ２及びＲ３に変換する処理を説明するための図である。第１座標変換部３１による合同アフィン変換によって、センサ座標系Ｃ１は、操作面５上に位置するＸ２軸及びＹ２軸を有する仮座標系Ｃ２に変換される。その結果、仮座標系Ｃ２の原点Ｓ２、及びスクリーン座標系Ｃ３の原点Ｓ３は共に、操作面５上に位置する。よって、仮座標系Ｃ２をスクリーン座標系Ｃ３に変換するために、仮座標系Ｃ２に対してＺ２軸が延びる方向に平行移動を行う必要は無く、Ｚ２軸をスケーリングする必要も無い。
【0042】
しかし、仮座標系Ｃ２のＸ２軸及びＹ２軸は、操作面５上においてスクリーン座標系Ｃ３のＸ３軸及びＹ３軸からそれぞれずれている。よって、仮座標系Ｃ２をスクリーン座標系Ｃ３に変換するためには、Ｘ２軸の位置及びＹ２軸の位置を、スクリーン座標系Ｃ３におけるＸ３軸の位置及びＹ３軸の位置にそれぞれ一致させる必要がある。更に、Ｘ２軸の縮尺及びＹ２軸の縮尺をＸ３軸の縮尺及びＹ３軸の縮尺にそれぞれ一致させるために、Ｘ２軸及びＹ２軸のそれぞれをスケーリングする必要がある。
【0043】
そこで、第２座標変換部３２は、仮座標系Ｃ２に対して、Ｘ２軸及びＹ２軸を含む平面に平行な方向への移動、及び仮座標系Ｃ２のスケーリングを行うことによって、仮座標系Ｃ２をスクリーン座標系Ｃ３に変換する。例えば、座標値Ｒ１の成分が（１００，３００，０）であり、座標値Ｒ２の成分が（７００，３００，０）である場合、仮座標系Ｃ２のＸ２軸上の値をＸ２とし、スクリーン座標系Ｃ３のＸ３軸上の値をＸ３とすると、座標値Ｑ２の成分（Ｘ２ｑ，０，０）を含むＸ２から、Ｘ３への変換は、次の式（３）を用いることにより行われる。
仮座標系Ｃ２のＹ２軸からスクリーン座標系Ｃ３のＹ３軸への変換についても、同様に行われる。このようにして、第２座標変換部３２は、仮座標系Ｃ２における各座標値Ｑ１，Ｑ２及びＱ３をスクリーン座標系Ｃ３における各座標値Ｒ１，Ｒ２及びＲ３に変換する。
【数3】
【0044】
次に、図７を更に参照しながら、本実施形態に係る基準位置設定方法について説明する。図７は、本実施形態に係る基準位置設定方法の一例を示すフローチャートである。この基準位置設定方法は、操作検出装置２を用いて行われる。まず、表示部１０は、操作面５に３個のマーカーＭ１，Ｍ２及びＭ３を表示する（工程Ｗ１）。このとき、表示部１０は、３個のマーカーＭ１，Ｍ２及びＭ３を、三角形の頂点を成すように操作面５に表示する（図３参照）。そして、ユーザは、３個のマーカーＭ１，Ｍ２及びＭ３のそれぞれに指等の対象物Ｆを接近させる。
【0045】
対象物ＦがマーカーＭに接近すると、センサ２０が対象物Ｆを検出する（工程Ｗ２）。具体的には、センサ２０が、センサ２０と対象物Ｆとの距離Ｄを含む位置データを検出し、当該位置データを制御部３０に出力する（図２参照）。制御部３０がセンサ２０から出力された位置データを受信すると、判定部３０ａは距離Ｄが閾値Ｔ以下であるか否かを判定する。そして、判定部３０ａは、距離Ｄが閾値Ｔ以下であると判定したときに対象物ＦのマーカーＭへの接近を認識する。対象物ＦのマーカーＭへの接近を判定部３０ａが認識することにより、センサ２０による対象物Ｆの検出が行われる。センサ２０が対象物Ｆを検出すると、制御部３０は、センサ２０から出力された位置データに含まれる、センサ座標系Ｃ１における各マーカーＭ１，Ｍ２及びＭ３の座標値Ｐ１，Ｐ２及びＰ３を取得する。
【0046】
制御部３０がセンサ座標系Ｃ１における各座標値Ｐ１，Ｐ２及びＰ３を取得すると、第１座標変換部３１は、センサ座標系Ｃ１における各座標値Ｐ１，Ｐ２及びＰ３を、仮座標系Ｃ２における各座標値Ｑ１，Ｑ２及びＱ３に変換する（工程Ｗ３）。具体的には、第１座標変換部３１は、センサ座標系Ｃ１に対して回転及び平行移動のみを行う合同アフィン変換を行うことによって、センサ座標系Ｃ１における各座標値Ｐ１，Ｐ２及びＰ３を、仮座標系Ｃ２における各座標値Ｑ１，Ｑ２及びＱ３に変換する。
【0047】
本実施形態では、図５に示されるように、第１座標変換部３１は、センサ座標系Ｃ１に対して平行移動と回転とを行う。第１座標変換部３１が上記の平行移動及び回転を行うことにより、センサ座標系Ｃ１は、操作面５と平行な面（本実施形態では操作面５に重なる面）に位置するＸ２軸及びＹ２軸を有する仮座標系Ｃ２に変換される。
【0048】
次に、第２座標変換部３２は、仮座標系Ｃ２における各座標値Ｑ１，Ｑ２及びＱ３をスクリーン座標系Ｃ３における各座標値Ｒ１，Ｒ２及びＲ３に変換する（工程Ｗ４）。具体的には、第２座標変換部３２は、仮座標系Ｃ２に対して、Ｘ２軸及びＹ２軸を含む平面に平行な方向への移動、並びに仮座標系Ｃ２のスケーリングを行うことによって、仮座標系Ｃ２における各座標値Ｑ１，Ｑ２及びＱ３をスクリーン座標系Ｃ３における各座標値Ｒ１，Ｒ２及びＲ３に変換する。
【0049】
以上のように、第１座標変換部３１が、センサ座標系Ｃ１における各座標値Ｐ１，Ｐ２及びＰ３を仮座標系Ｃ２における各座標値Ｑ１，Ｑ２及びＱ３に変換し、第２座標変換部３２が、仮座標系Ｃ２における各座標値Ｑ１，Ｑ２及びＱ３をスクリーン座標系Ｃ３における各座標値Ｒ１，Ｒ２及びＲ３に変換する。その結果、センサ座標系Ｃ１における各座標値Ｐ１，Ｐ２及びＰ３と、スクリーン座標系Ｃ３における各座標値Ｒ１，Ｒ２及びＲ３との対応付けが行われ、操作面５上における各位置の座標値を定めるための基準位置が設定される（工程Ｗ５）。そして、一連の工程が完了し、キャリブレーションが完了する。キャリブレーションが完了することにより、各機器を動作させるために操作検出装置２を使用することが可能となる。
【0050】
続いて、本実施形態に係る基準位置設定方法及び操作検出装置２の作用効果について、アフィン変換の問題と共に説明する。或るＸＹＺ直交座標系に対してアフィン変換を行う場合において、アフィン変換前の座標値Ｐの成分を（Ｘｐ，Ｙｐ，Ｚｐ）とし、アフィン変換後の座標値Ｑの成分を（Ｘｑ，Ｙｑ，Ｚｑ）とすると、座標値Ｐから座標値Ｑへのアフィン変換は、次の式（４）によって表される。
式（４）において、ｂは、ＸＹＺ直交座標系の平行移動を示す変換係数行列であり、Ａは、ＸＹＺ直交座標系の回転、スケーリング及びスキューを示す変換係数行列である。座標値Ｐから座標値Ｑへのアフィン変換を行うためには、変換係数行列Ａの各係数（ａ１１，ａ１２，ａ１３，ａ２１，ａ２２，ａ２３，ａ３１，ａ３２，ａ３３）、及び変換係数行列ｂの各係数（ｂ１，ｂ２，ｂ３）を求める必要がある。
【数4】
【0051】
ＸＹＺ直交座標系のＸ軸、Ｙ軸及びＺ軸のそれぞれに関して、未知数は４個（すなわち、変換係数行列Ａの係数３個、及び変換係数行列ｂの係数１個）ずつ存在する。従って、座標値Ｐと座標値Ｑとの組み合わせが４組あれば、Ｘ軸、Ｙ軸及びＺ軸のそれぞれに関して未知数を全て求めることができる。つまり、アフィン変換前における４個の座標値Ｐと、アフィン変換後における４個の座標値Ｑとをそれぞれ取得すれば、変換係数行列Ａ及びｂを求めることができる。このアフィン変換を利用して、キャリブレーションを行うことが考えられる。例えば、基準となる４個のマーカーを同一平面上に表示し、或る座標系における各マーカーの位置を示す各座標値Ｐを、別の座標系における各マーカーの位置を示す各座標値Ｑにアフィン変換することによって、各座標値Ｐと各座標値Ｑとの対応付けを行うことが考えられる。
【0052】
しかし、同一平面（例えば或る座標系のＸ軸及びＹ軸を含む平面）上に位置する４個の座標値Ｐから４個の座標値Ｑへのアフィン変換を行おうとしても、Ｚ軸の成分が互いに同一となるため、Ｘ軸、Ｙ軸及びＺ軸のそれぞれに関して未知数を求めるための条件が不足する。よって、変換係数行列Ａ及びｂを求めることができない。従って、前述したように、センサ座標系Ｃ１からスクリーン座標系Ｃ３に直接アフィン変換を行おうとしても、変換係数行列Ａ及びｂを求めることができないため、センサ座標系Ｃ１をスクリーン座標系Ｃ３に直接変換することはできない。
【0053】
これに対し、本実施形態に係る基準位置設定方法及び操作検出装置２では、センサ座標系Ｃ１に対して平行移動及び回転の少なくとも一方を行うことによって、センサ座標系Ｃ１から仮座標系Ｃ２への合同アフィン変換を行っている。更に、仮座標系Ｃ２に対して、Ｘ２軸及びＹ２軸を含む平面に平行な方向への移動、並びに仮座標系Ｃ２のスケーリングを行うことによって、仮座標系Ｃ２をスクリーン座標系Ｃ３に変換している。すなわち、センサ座標系Ｃ１を仮座標系Ｃ２に変換する工程Ｗ３、及び仮座標系Ｃ２をスクリーン座標系Ｃ３に変換する工程Ｗ４のそれぞれにおいて、座標系の回転を行う処理と、座標系のスケーリングを行う処理とが別々に行われる。
【0054】
このように、合同アフィン変換によってセンサ座標系Ｃ１から仮座標系Ｃ２への変換を行った後、前述の式（３）を用いてスケーリング等を行うことにより、仮座標系Ｃ２からスクリーン座標系Ｃ３への変換が可能となる。つまり、センサ座標系Ｃ１から仮座標系Ｃ２への変換、及び仮座標系Ｃ２からスクリーン座標系Ｃ３への変換という二段階の変換を行うことによって、操作面５の操作の基準となるスクリーン座標系Ｃ３への変換が可能となる。
【0055】
以上のように、スクリーン座標系Ｃ３における各座標値Ｒ１，Ｒ２及びＲ３は、センサ座標系Ｃ１における各座標値Ｐ１，Ｐ２及びＰ３から得られるので、キャリブレーションを行うときに、スクリーン座標系Ｃ３における各座標値Ｒ１，Ｒ２及びＲ３を実測するための他の計測器具が不要となる。つまり、本実施形態では、キャリブレーションを行うための計測器具がセンサ２０のみで済む。このため、装置の構成を簡易化することができる。
【0056】
他の測定器具を用いる場合の例として、定規を用いてスクリーン座標系Ｃ３における各座標値Ｒ１，Ｒ２及びＲ３を実測し、各座標値Ｒ１，Ｒ２及びＲ３を定数としてプログラムに書き込む方法が考えられる。しかし、スクリーン座標系Ｃ３における各座標値Ｒ１，Ｒ２及びＲ３を実測する定規の測定誤差等により、座標系の変換前後において各マーカーＭ１，Ｍ２及びＭ３の位置関係が崩れることがある。
【0057】
各マーカーＭ１，Ｍ２及びＭ３の位置関係が崩れる他の要因として、センサ座標系Ｃ１のＸ１軸における長さとＹ１軸における長さとの間に生じる精度差が考えられる。各マーカーＭ１，Ｍ２及びＭ３が表示される操作面５はＡＩプレート１１によって表示される。ＡＩプレート１１が操作面５を表示するときに、スケーリング及びスキューによるベクトル変換が操作面５に対して行われることもある。
【0058】
このような条件下であっても、本実施形態に係る基準位置設定方法及び操作検出装置２によれば、センサ座標系Ｃ１における各座標値Ｐ１，Ｐ２及びＰ３からスクリーン座標系Ｃ３における各座標値Ｒ１，Ｒ２及びＲ３が得られるので、座標系の変換の前後において各マーカーＭ１，Ｍ２及びＭ３の位置関係が崩れることが無い。すなわち、座標系の変換に用いる変換係数行列Ａ及びｂを精度良く求めることができる。よって、センサ座標系Ｃ１における各座標値Ｐ１，Ｐ２及びＰ３をスクリーン座標系Ｃ３における各座標値Ｒ１，Ｒ２及びＲ３に精度良く変換することができ、キャリブレーションを精度良く行うことができる。
【0059】
操作面５の長手方向（すなわち、スクリーン座標系Ｃ３のＸ３軸が延びる方向）の解像度と、短手方向（すなわち、スクリーン座標系Ｃ３のＹ３軸が延びる方向）の解像度とが互いに異なっている場合も考えられる。しかし、本実施形態に係る基準位置設定方法及び操作検出装置２によれば、前述した解像度の相違が存在する場合であっても、各マーカーＭ１，Ｍ２及びＭ３の位置関係が崩れることは無い。
【0060】
本実施形態では、センサ座標系Ｃ１におけるマーカーＭ１の座標値Ｐ１を仮座標系Ｃ２の原点Ｓ２としている。よって、仮座標系Ｃ２におけるマーカーＭ１の座標値Ｐ１の成分がゼロとなる。これにより、センサ座標系Ｃ１から仮座標系Ｃ２への変換に伴う処理負荷、及び仮座標系Ｃ２からスクリーン座標系Ｃ３への変換に伴う処理負荷をそれぞれ軽減することができる。
【0061】
本実施形態では、センサ座標系Ｃ１におけるマーカーＭ２の座標値Ｐ２を仮座標系Ｃ２のＸ２軸上の座標値Ｑ２とすると共に、センサ座標系Ｃ１におけるマーカーＭ３の座標値Ｐ３を仮座標系Ｃ２のＹ２軸上の座標値Ｑ３としている。よって、仮座標系Ｃ２における座標値Ｑ２のＹ２軸及びＺ２軸のそれぞれの成分がゼロとなる。そして、仮座標系Ｃ２における座標値Ｑ３のＸ２軸及びＺ２軸のそれぞれの成分がゼロとなる。これにより、センサ座標系Ｃ１から仮座標系Ｃ２への変換に伴う処理負荷、及び仮座標系Ｃ２からスクリーン座標系Ｃ３への変換に伴う処理負荷をそれぞれ軽減することができる。
【0062】
以上、本開示に係る基準位置設定方法及び操作検出装置の実施形態について説明した。しかし、本開示は、前述の実施形態に限定されるものではなく、各請求項に記載した要旨を変更しない範囲において変形し、又は他のものに適用したものであってもよい。例えば、基準位置設定方法の各工程の内容及び順序、並びに、操作検出装置の各部の構成は、各請求項の要旨を変更しない範囲において適宜変更可能である。
【0063】
例えば、前述の実施形態では、円形状を呈する３個のマーカーＭ１，Ｍ２及びＭ３が表示される例について説明した。しかし、マーカーの数は、３個より多くてもよい。マーカーの形状は特に限定されない。例えば、マーカーの形状は、三角形状、四角形状、六角形状若しくは八角形状等の多角形状、又は、楕円形状等の長円形状であってもよい。
【0064】
前述の実施形態では、センサ座標系Ｃ１、仮座標系Ｃ２及びスクリーン座標系Ｃ３がそれぞれ直交座標系である例について説明した。しかし、センサ座標系Ｃ１のＸ１軸、Ｙ１軸及びＺ１軸は必ずしも直交している必要はなく、互いに交差していればよい。同様に、仮座標系Ｃ２のＸ２軸、Ｙ２軸及びＺ２軸は互いに交差していればよく、スクリーン座標系Ｃ３のＸ３軸、Ｙ３軸及びＺ３軸は互いに交差していればよい。前述の実施形態では、センサ座標系Ｃ１のＺ１軸が延びる方向は、操作面５に垂直な方向である例について説明した。しかし、Ｚ１軸が延びる方向は、操作面５に垂直な方向に対して傾斜した方向であってもよい。センサ座標系Ｃ１のＸ１軸及びＹ１軸のそれぞれが延びる方向は、操作面５と交差する方向であってもよい。
【0065】
前述の実施形態では、仮座標系Ｃ２の原点Ｓ２の位置がマーカーＭ１の位置である例について説明した。しかし、原点Ｓ２の位置は、操作面５上におけるマーカーＭ１以外の位置であってもよく、操作面５以外の位置であってもよい。前述の実施形態では、仮座標系Ｃ２のＺ２軸が延びる方向が、操作面５に垂直な方向であり、センサ座標系Ｃ１のＺ１軸が延びる方向と一致している例について説明した。しかし、仮座標系Ｃ２のＺ２軸が延びる方向は、操作面５に垂直な方向に対して傾斜した方向であってもよい。
【0066】
前述の実施形態では、仮座標系Ｃ２のＸ２軸及びＹ２軸が操作面５に平行な面上に位置しており、当該平行な面の位置が操作面５と重なる位置である例について説明した。しかし、当該平行な面の位置は、操作面５からずれた位置であってもよい。つまり、Ｘ２軸及びＹ２軸は、操作面５上に位置している必要は無く、操作面５からＺ２軸が延びる方向にずれていてもよい。
【0067】
前述の実施形態では、仮座標系Ｃ２のＸ２軸は、操作面５上においてスクリーン座標系Ｃ３のＸ３軸から、Ｘ３軸と直交する方向に所定距離ずれている例について説明した。しかし、Ｘ２軸は、Ｘ３軸と重なっていてもよく、操作面５上においてマーカーＭ１及びＭ２以外の位置を通っていてもよい。同様に、仮座標系Ｃ２のＹ２軸はスクリーン座標系Ｃ３のＹ３軸と重なっていてもよく、操作面５上においてマーカーＭ１及びＭ３以外の位置を通っていてもよい。
【0068】
前述の実施形態では、スクリーン座標系Ｃ３のＺ３軸が延びる方向は、例えば、操作面５に垂直な方向であり、センサ座標系Ｃ１のＺ１軸が延びる方向、及び仮座標系Ｃ２のＺ２軸が延びる方向とそれぞれ一致している例について説明した。しかし、Ｚ３軸が延びる方向は、操作面５に垂直な方向に対して傾斜した方向であってもよい。
【0069】
前述の実施形態では、空中結像素子が像を空中に結像させるＡＩプレート１１である例について説明した。しかし、空中結像素子は、例えば、ホログラム等、ユーザから見て手前側に立体的な虚像を結像する立体結像素子であってもよく、ＡＩプレート以外の素子であってもよい。
【0070】
前述の実施形態では、表示部１０、センサ２０及び制御部３０を備える操作検出装置２について説明した。しかし、表示部、センサ及び制御部の種類、形状、大きさ、数、材料及び配置態様は、適宜変更可能である。例えば、前述の実施形態では、対象物Ｆとの距離Ｄを検出する深度センサであるセンサ２０について説明した。しかし、操作検出装置は、深度センサ以外のセンサを備えていてもよい。すなわち、操作検出装置は、センサに代えて、赤外線センサ又は超音波センサ等を備えていてもよく、センサの種類は適宜変更可能である。
【0071】
前述の実施形態では、センサ２０が、センサ２０と物体上の各点との距離をＴＯＦ方式によって測定する例について説明した。しかし、センサと物体上の各点との距離を測定する方式は、ＴＯＦ方式に限定されない。例えば、センサは、センサと物体上の各点との距離を、Ｌｉｇｈｔ Ｃｏｄｉｎｇ方式によって測定してもよい。Ｌｉｇｈｔ Ｃｏｄｉｎｇ方式では、センサは、対象物を含む撮影領域内に存在する物体上の各点にランダムドットパターンで光線を照射する。そして、センサは、物体上の各点から反射した光線を受光し、反射した光線のパターンの歪みを検出することによって、センサと物体上の各点との距離を測定する。
【0072】
操作検出装置は、車両以外の装置に搭載されていてもよい。更に、操作検出装置は、車両以外の各機器を動作させる操作面を虚像として表示する装置であってもよい。基準位置設定方法及び操作検出装置は、車両以外の種々の機器にも適用させることが可能である。基準位置設定方法は、操作検出装置以外の装置を用いて行われてもよい。
【符号の説明】
【0073】
１…表示装置、２…操作検出装置、３…画像表示装置、５…操作面、１０…表示部、２０…センサ、３０…制御部、３１…第１座標変換部、３２…第２座標変換部、Ｃ１…センサ座標系、Ｃ２…仮座標系、Ｃ３…スクリーン座標系、Ｆ…対象物、Ｋ…虚像、Ｍ１，Ｍ２，Ｍ３…マーカー、Ｐ１，Ｐ２，Ｐ３，Ｑ１，Ｑ２，Ｑ３，Ｒ１，Ｒ２，Ｒ３…座標値、Ｓ１，Ｓ２，Ｓ３…原点、Ｘ１軸…第１Ｘ軸、Ｘ２軸…第２Ｘ軸、Ｘ３軸…第３Ｘ軸、Ｙ１軸…第１Ｙ軸、Ｙ２軸…第２Ｙ軸、Ｙ３軸…第３Ｙ軸、Ｚ１軸…第１Ｚ軸。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】