特許 7452917 操作入力装置、操作入力方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-11

(45)【発行日】2024-03-19

(54)【発明の名称】操作入力装置、操作入力方法及びプログラム

(51)【国際特許分類】

   G06F 3/0346 20130101AFI20240312BHJP

   G06F 3/042 20060101ALI20240312BHJP

   G06F 3/041 20060101ALI20240312BHJP

【ＦＩ】

G06F3/0346 422

G06F3/042 473

G06F3/041 580

【請求項の数】 13

(21)【出願番号】P 2023505628

(86)(22)【出願日】2022-03-10

(86)【国際出願番号】 JP2022010548

(87)【国際公開番号】W WO2022191276

(87)【国際公開日】2022-09-15

【審査請求日】2023-09-04

(31)【優先権主張番号】P 2021038462

(32)【優先日】2021-03-10

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】505288686

【氏名又は名称】株式会社ネクステッジテクノロジー

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(74)【代理人】

【識別番号】100169753

【弁理士】

【氏名又は名称】竹内 幸子

(74)【代理人】

【識別番号】100174067

【弁理士】

【氏名又は名称】湯浅 夏樹

(74)【代理人】

【識別番号】100132883

【弁理士】

【氏名又は名称】森川 泰司

(72)【発明者】

【氏名】坂本 堪亮

【審査官】星野 裕

(56)【参考文献】

【文献】特開２０１１－１７５６２３（ＪＰ，Ａ）

【文献】特開２００６－２０９３５９（ＪＰ，Ａ）

【文献】特開２０１２－１３７９８９（ＪＰ，Ａ）

【文献】特開２０１９－２１９８２０（ＪＰ，Ａ）

【文献】特開２０１６－１３４０２２（ＪＰ，Ａ）

【文献】国際公開第２０１４／０３４０３１（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０３４６

Ｇ０６Ｆ ３／０４２

Ｇ０６Ｆ ３／０４１

(57)【特許請求の範囲】

【請求項1】

表示手段の表示面に垂直の方向に対して、視線方向が傾斜した実カメラの出力データに基づいて、３次元データを生成する３次元データ生成部と、
前記実カメラの前記視線方向に延びた第１直線上の点であって、前記実カメラから予め定めた第１距離にある特定点を中心として、前記第１直線を予め定めた角度だけ回転した第２直線の方向を視線方向とする仮想カメラを想定して、前記実カメラによる座標空間の前記３次元データを、前記仮想カメラによる座標空間の仮想３次元データに変換する座標変換部と、
前記仮想カメラによる座標空間において予め特定した指示有効領域の内側の前記仮想３次元データに基づいて、指示体を検出する指示体検出部と、
前記仮想カメラから前記第２直線に平行な方向に予め定めた第２距離だけ離れた面を仮想タッチパネルとしたとき、前記第２直線に平行な方向における前記仮想カメラから前記指示体検出部が検出した前記指示体までの最短距離である第３距離と、前記仮想カメラから前記仮想タッチパネルまでの前記第２距離と、を比較し、前記第３距離が前記第２距離以下であるときに、前記仮想タッチパネルに前記指示体が接触したことを判定する接触判定部と、
前記接触判定部により前記指示体が接触したと判定されたときに、前記仮想３次元データに基づく操作入力信号を生成する操作入力信号生成部と、を備え、
前記指示有効領域は、前記仮想カメラによる座標空間において、前記指示体の位置に依らずに予め特定した領域である、
操作入力装置。

【請求項2】

前記第１直線から前記第２直線までの回転の角度と、前記実カメラから前記特定点までの前記第１距離と、前記仮想カメラから前記仮想タッチパネルまでの前記第２距離と、を含むパラメータを取得するパラメータ取得部を、更に備え、
前記座標変換部は、前記パラメータを用いて、前記実カメラから前記仮想カメラまでの、前記特定点を中心とする回転で表される座標変換を行う、
請求項１に記載の操作入力装置。

【請求項3】

前記仮想カメラによる座標空間において、前記指示体の位置に依らずに、前記指示有効領域を特定するパラメータを予め取得するパラメータ取得部を、更に備え、
前記指示体検出部は、前記パラメータにより特定される前記指示有効領域の内側の前記仮想３次元データに基づいて、前記指示体を検出する、
請求項１に記載の操作入力装置。

【請求項4】

前記実カメラの基準点を通り、前記仮想タッチパネルの延在方向に平行な面を基準面としたとき、前記仮想カメラの基準点は、前記基準面上にあり、
前記第１距離は前記実カメラの基準点から前記特定点までの距離であり、前記第２距離は前記基準面から前記仮想タッチパネルまでの距離であり、前記第３距離は前記基準面から前記指示体までの最短距離であって、
前記座標変換部は、前記実カメラから前記仮想カメラまでの、前記特定点を中心とする回転、及び、当該回転後の位置から前記基準点までの前記第２直線に沿った平行移動で表される座標変換を行う、
請求項１から３のいずれか１項に記載の操作入力装置。

【請求項5】

前記実カメラから前記仮想カメラまでの前記特定点を中心とする回転は、前記特定点を通り前記仮想タッチパネルの延在方向に平行な直線を軸とする回転である、
請求項２又は４に記載の操作入力装置。

【請求項6】

前記仮想タッチパネルは、前記第２直線に垂直な方向に延在した形状を有し、前記第２直線が前記仮想タッチパネルの中心を通る、
請求項１から５のいずれか１項に記載の操作入力装置。

【請求項7】

前記接触判定部は、前記仮想タッチパネルに対して前記表示手段と反対の方向に離隔して配置した、前記仮想タッチパネルに平行なホバー面を想定し、前記第２直線に平行な方向における前記ホバー面から前記仮想カメラまでの距離を第４距離としたとき、前記第３距離が前記第４距離以下になった場合に、前記指示体が前記ホバー面より前記仮想タッチパネルに近い位置にあることを判定し、
前記操作入力信号生成部は、前記表示手段に、前記指示体が前記仮想タッチパネルに近づいていることを表す表示を行う操作入力信号を生成する、
請求項１から６のいずれか１項に記載の操作入力装置。

【請求項8】

前記３次元データ生成部は、互いに離れて固定され、視線方向が前記表示手段の前記表示面に垂直の方向に対して傾斜した方向であって互いに異なる方向である２以上の前記実カメラの出力データ及び２以上の前記実カメラの位置情報に基づいて、前記３次元データを生成する、
請求項１から７のいずれか１項に記載の操作入力装置。

【請求項9】

前記座標変換部は、事前に、２以上の前記実カメラに対して、単一の前記３次元データを生成するためのキャリブレーションを実施する、
請求項８に記載の操作入力装置。

【請求項10】

前記接触判定部は、前記第２直線に平行な方向における前記仮想カメラから前記指示体検出部が検出した前記指示体までの距離の１以上の極小値である１以上の前記第３距離と、前記第２直線に平行な方向における前記仮想カメラから前記仮想タッチパネルまでの前記第２距離と、を比較し、１以上の前記第３距離が前記第２距離以下であるときに、前記仮想タッチパネルに１以上の前記指示体が接触したことを判定し、
前記操作入力信号生成部は、前記接触判定部が接触を判定した前記指示体の数に応じた前記操作入力信号を生成する、
請求項１から９のいずれか１項に記載の操作入力装置。

【請求項11】

表示手段の表示面に垂直の方向に対して、視線方向が傾斜した実カメラの出力データに基づいて、３次元データを生成する３次元データ生成ステップと、
前記実カメラの前記視線方向に延びた第１直線上の点であって、前記実カメラから予め定めた第１距離にある特定点を中心として、前記第１直線を予め定めた角度だけ回転した第２直線の方向を視線方向とする仮想カメラを想定して、前記実カメラによる座標空間の前記３次元データを、前記仮想カメラによる座標空間の仮想３次元データに変換する座標変換ステップと、
前記仮想カメラによる座標空間において予め特定した指示有効領域の内側の前記仮想３次元データに基づいて、指示体を検出する指示体検出ステップと、
前記仮想カメラから前記第２直線に平行な方向に予め定めた第２距離だけ離れた面を仮想タッチパネルとしたとき、前記第２直線に平行な方向における前記仮想カメラから前記指示体検出ステップで検出した前記指示体までの最短距離である第３距離と、前記仮想カメラから前記仮想タッチパネルまでの前記第２距離と、を比較し、前記第３距離が前記第２距離以下であるときに、前記仮想タッチパネルに前記指示体が接触したことを判定する接触判定ステップと、
前記接触判定ステップで前記指示体が接触したと判定されたときに、前記仮想３次元データに基づく操作入力信号を生成する操作入力信号生成ステップと、を有し、
前記指示有効領域は、前記仮想カメラによる座標空間において、前記指示体の位置に依らずに予め特定した領域である、
操作入力方法。

【請求項12】

コンピュータを、
表示手段の表示面に垂直の方向に対して、視線方向が傾斜した実カメラの出力データに基づいて、３次元データを生成する３次元データ生成部、
前記実カメラの前記視線方向に延びた第１直線上の点であって、前記実カメラから予め定めた第１距離にある特定点を中心として、前記第１直線を予め定めた角度だけ回転した第２直線の方向を視線方向とする仮想カメラを想定して、前記実カメラによる座標空間の前記３次元データを、前記仮想カメラによる座標空間の仮想３次元データに変換する座標変換部、
前記仮想カメラによる座標空間において予め特定した指示有効領域の内側の前記仮想３次元データに基づいて、指示体を検出する指示体検出部、
前記仮想カメラから前記第２直線に平行な方向に予め定めた第２距離だけ離れた面を仮想タッチパネルとしたとき、前記第２直線に平行な方向における前記仮想カメラから前記指示体検出部が検出した前記指示体までの最短距離である第３距離と、前記仮想カメラから前記仮想タッチパネルまでの前記第２距離と、を比較し、前記第３距離が前記第２距離以下であるときに、前記仮想タッチパネルに前記指示体が接触したことを判定する接触判定部、
前記接触判定部により前記指示体が接触したと判定されたときに、前記仮想３次元データに基づく操作入力信号を生成する操作入力信号生成部、
として機能させるためのプログラムであって、
前記指示有効領域は、前記仮想カメラによる座標空間において、前記指示体の位置に依らずに予め特定した領域である、
プログラム。

【請求項13】

表示手段の表示面に垂直の方向に対して、視線方向が傾斜した実カメラの出力データに基づいて、３次元データを生成する３次元データ生成部と、
前記実カメラの前記視線方向に延びた第１直線上の特定点を中心として、前記第１直線を予め定めた角度だけ回転した第２直線の方向を視線方向とする仮想カメラを想定して、前記実カメラによる座標空間の前記３次元データを、前記仮想カメラによる座標空間の仮想３次元データに変換する座標変換部と、
前記仮想カメラによる座標空間において予め特定した指示有効領域の内側の前記仮想３次元データに基づいて、指示体を検出する指示体検出部と、
前記仮想カメラから前記第２直線に平行な方向に離れた面に仮想タッチパネルを想定したとき、前記第２直線に平行な方向における前記仮想カメラから前記指示体検出部が検出した前記指示体までの最短距離が、前記仮想カメラから前記仮想タッチパネルまでの距離以下であるときに、前記仮想タッチパネルに前記指示体が接触したことを判定する接触判定部と、
前記接触判定部により前記指示体が接触したと判定されたときに、前記仮想３次元データに基づく操作入力信号を生成する操作入力信号生成部と、を備え、
前記指示有効領域は、前記仮想カメラによる座標空間において、前記指示体の位置に依らずに予め特定した領域である、
操作入力装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オペレータの操作に係る情報を入力する操作入力装置、操作入力方法及びプログラムに関する。

【背景技術】

【0002】

近年、オペレータが非接触で情報処理装置へ操作入力することのできる操作入力装置が多く開発されている。非接触の操作入力装置は、オペレータの操作負担を軽くすることができ、また手術現場、調理現場等において作業の途中でも情報処理装置を操作できる手段として注目されている。

【0003】

このような操作入力装置は、例えば、カメラでオペレータの指等の指示体を撮影して指示体の３次元位置を計測し、その３次元位置に基づいて情報処理装置へ操作入力するものがある（例えば、特許文献１）。

【0004】

特許文献１に記載のインタラクティブプロジェクターは、２つのカメラを用いて、自発光指示体の投写画面への接触は発光パターンに基づいて検出し、非発光指示体の投写画面への接触は位置検出部によって検出することにより、指示体のスクリーン面への接触の検出精度を向上することができると説明されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１６－１８６６７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に記載のインタラクティブプロジェクターは、指示体の３次元位置を検出するために、２台のカメラを頭上に設置して、カメラの視線方向を鉛直下方向に向ける必要がある。この構成を、通常の情報処理装置に適用する場合には、ディスプレイ手前の上方にカメラを設置する必要があり、大規模な構成になり設置工数が増え、またオペレータの操作の邪魔になることもあった。

【0007】

一方、従来のパソコンやタブレット端末等の情報処理装置には、ディスプレイの端部に画面に対して垂直方向に撮影するカメラを備えているものがある。このようなカメラを利用した場合、ディスプレイに近い領域での指示体の先端の３次元位置は、誤差が大きくなり、指示体が示す場所を正確に特定することができないという問題があった。

【0008】

本発明は、上記実情に鑑みてなされたものであり、簡易な構成で非接触の操作入力を正確に検出することのできる操作入力装置、操作入力方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するため、本発明の操作入力装置は、
表示手段の表示面に垂直の方向に対して、視線方向が傾斜した実カメラの出力データに基づいて、３次元データを生成する３次元データ生成部と、
前記実カメラの前記視線方向に延びた第１直線上の点であって、前記実カメラから予め定めた第１距離にある特定点を中心として、前記第１直線を予め定めた角度だけ回転した第２直線の方向を視線方向とする仮想カメラを想定して、前記実カメラによる座標空間の前記３次元データを、前記仮想カメラによる座標空間の仮想３次元データに変換する座標変換部と、
前記仮想カメラによる座標空間において予め特定した指示有効領域の内側の前記仮想３次元データに基づいて、指示体を検出する指示体検出部と、
前記仮想カメラから前記第２直線に平行な方向に予め定めた第２距離だけ離れた面を仮想タッチパネルとしたとき、前記第２直線に平行な方向における前記仮想カメラから前記指示体検出部が検出した前記指示体までの最短距離である第３距離と、前記仮想カメラから前記仮想タッチパネルまでの前記第２距離と、を比較し、前記第３距離が前記第２距離以下であるときに、前記仮想タッチパネルに前記指示体が接触したことを判定する接触判定部と、
前記接触判定部により前記指示体が接触したと判定されたときに、前記仮想３次元データに基づく操作入力信号を生成する操作入力信号生成部と、を備え、
前記指示有効領域は、前記仮想カメラによる座標空間において、前記指示体の位置に依らずに予め特定した領域であることを特徴とする。

【発明の効果】

【0010】

本発明によれば、３次元データを生成するためのカメラを、視線方向を傾けて設置した簡易な構成で、非接触の操作入力を正確に検出することが可能になる。

【図面の簡単な説明】

【0011】

【図1】実施の形態１に係る操作入力システムのハードウェア構成を示すブロック図である。

【図2】実施の形態１に係る操作入力装置の機能構成を示す機能ブロック図である。

【図3】実施の形態１に係る表示手段、実カメラ及び仮想タッチパネルを側方から見た概要図である。

【図4】実カメラと仮想カメラの位置関係を表した図である。

【図5】実施の形態１に係る操作入力処理のフローチャートである。

【図6】実カメラの設置位置を示した図である。

【図7】実施の形態２に係る表示手段、実カメラ、仮想タッチパネル及びホバー面を側方から見た概要図である。

【図8】実施の形態３に係る表示手段、実カメラ、仮想タッチパネル及び指示有効領域の概要構成を示す斜視図である。

【図9】実施の形態３に係る操作入力処理のフローチャートである。

【図10】実施の形態４に係る実カメラの配置を示す図である。

【図11】他の実施の形態に係る表示手段、透明板及び仮想タッチパネルを側方から見た概要図である。

【発明を実施するための形態】

【0012】

（実施の形態１）
本発明の実施の形態１について図面を参照して詳細に説明する。

【0013】

本実施の形態に係る操作入力システム１は、オペレータの指等の指示体を用いた操作を判別して生成した操作入力信号に基づく処理を行う情報処理システムである。図１は、本実施の形態１に係る操作入力システム１のハードウェア構成を示すブロック図である。操作入力システム１は、図１に示すように、実カメラ１０と操作入力装置２０とからなる。

【0014】

実カメラ１０は３次元情報を示すデータを出力する３Ｄカメラ（3 Dimensional Camera）である。３次元情報の取得方式は従来の任意の方式でよく、例えば、ステレオ方式が用いられる。実カメラ１０は、広角で撮影可能なものが好ましく、例えば、広角のＦＯＶ８４°のレンズを備える。本実施の形態１では、操作入力装置２０に外部接続する実カメラ１０について説明するが、操作入力装置２０に内蔵された専用カメラであってもよい。

【0015】

操作入力装置２０は、任意の情報処理端末であり、操作入力処理のプログラムがインストールされたパソコン、スマートフォン及びタブレット型端末等の汎用の情報処理端末でもよく、専用端末でもよい。操作入力装置２０は、図１に示すように、ＣＰＵ（Central Processing Unit：中央処理装置）２１、ＲＡＭ（Random Access Memory）２２、ＲＯＭ
（Read Only Memory）２３、通信インターフェース２４、記憶部２５、表示手段２６を備える。

【0016】

操作入力システム１は、操作入力装置２０の表示手段２６の表示面の手前に仮想した仮想タッチパネルに対する、オペレータの仮想タッチ操作を、実カメラ１０の出力データに基づいて検出するものである。

【0017】

操作入力装置２０の表示手段２６は、画像、文字等の情報表示を行う任意の表示装置である。表示手段２６は、パソコン、スマートフォン及びタブレット型端末等に内蔵又は外付けされる液晶ディスプレイ又は有機ＥＬ（Electro-Luminescence）ディスプレイを含む有形のディスプレイでもよく、ホログラムディスプレイ、ウォーターディスプレイ、眼鏡型ディスプレイ及びバーチャルディスプレイ等の無形又は流体形の表示装置でもよい。

【0018】

指示体は、表示手段２６の表示画面における位置を特定するために、オペレータが移動させることのできる物であって、指示方向に延在する細長形状を有する。指示体は、例えば、オペレータの指又は指示棒である。以下、実カメラ１０と操作入力装置２０の配置及び機能構成について詳細に説明する。

【0019】

実カメラ１０は、操作入力装置２０の表示手段２６の表示面に対して固定されている。また、実カメラ１０の視線方向（視野の中心に向かう方向）は、指示体の指示方向に対して傾斜している。例えば、表示手段２６がパソコンの液晶ディスプレイであって、実カメラ１０を液晶ディスプレイの端部に固定する場合の視線方向は、表示手段２６の表示面中央の前方の領域に向かう方向であり、表示面に垂直の方向に対して傾斜している。本実施の形態１の以下の説明では、表示手段２６がパソコンの液晶ディスプレイであって、実カメラ１０を液晶ディスプレイの中央上端部に固定した場合について説明する。この場合の実カメラ１０の視線方向は、表示手段２６の表示面に垂直の方向に対して斜め下方である。

【0020】

操作入力装置２０のＣＰＵ２１は、操作入力装置２０の各構成部の制御を行うとともに、ＲＯＭ２３、記憶部２５に保存されているプログラムを実行することにより、操作入力処理を含む各処理を実行する。ＲＡＭ２２は、高速にデータの読み書きが可能なメモリであり、実カメラ１０が出力するデータ及び記憶部２５から読み出したデータ等をＣＰＵ２１が実行するデータ処理のために一時保存する。ＲＯＭ２３は、ＣＰＵ２１が実行する処理のプログラムや、設定値などを記憶する読み出し専用メモリである。

【0021】

通信インターフェース２４は、実カメラ１０とのデータの送受信が行われるインターフェースである。記憶部２５は、大容量の記憶装置であり、フラッシュメモリ等から構成される。記憶部２５は、実カメラ１０の出力データ及びＣＰＵ２１の処理により生成したデータを記憶する。また、記憶部２５は、さらにＣＰＵ２１が実行するプログラムを記憶する。表示手段２６は、ＣＰＵ２１が生成する画像、文字等の情報を表示する。

【0022】

ＣＰＵ２１及びＲＡＭ２２は、記憶部２５に記憶している操作入力処理のプログラムを実行することにより、図２に示すように、データ取得部２１１、３次元データ生成部２１２、パラメータ取得部２１３、座標変換部２１４、指示体検出部２１５、接触判定部２１６、操作入力信号生成部２１７として機能する。

【0023】

データ取得部２１１は、実カメラ１０の出力データを取得する。３次元データ生成部２１２は、データ取得部２１１が取得した出力データを３次元座標空間に展開し、３次元データを生成する。実カメラ１０の出力データ形式は任意の形式でよく、３次元データ生成部２１２は、予め定めた形式の３次元データを生成するために、実カメラ１０の出力データ形式に応じたデータ処理を実行する。実カメラ１０の出力データをそのまま３次元データとしてもよい。

【0024】

パラメータ取得部２１３は、実カメラ１０の位置及び向き、並びに、仮想タッチパネルの位置及び大きさに係るパラメータを取得する。パラメータは、操作入力装置２０の管理者による初期設定の入力により事前に決定される。

【0025】

座標変換部２１４は、実カメラ１０の出力データに基づいて生成した３次元データを、仮想タッチパネルに対応した仮想３次元データに変換する。仮想３次元データへの変換に際して、実カメラ１０を仮想的に移動させた仮想カメラを想定する。つまり、座標変換部２１４は、実カメラ１０による座標空間の３次元データを、仮想カメラによる座標空間の仮想３次元データに変換する。

【0026】

指示体検出部２１５は、仮想３次元データに基づいて、仮想カメラに最も近い点を、指示体の先端として検出する。接触判定部２１６は、指示体検出部２１５が検出した指示体の先端が、仮想タッチパネルよりも表示手段２６に近づいたか否かにより、仮想タッチパネルへの接触を判定する。

【0027】

ここで、３次元データ生成部２１２、パラメータ取得部２１３、座標変換部２１４、指示体検出部２１５及び接触判定部２１６の詳細について、図３，４を用いて説明する。図３は、実カメラ１０、表示手段２６及び仮想タッチパネル３１１を側方から見た概要図である。図４は、実カメラ１０と仮想カメラ３１２の位置関係を表した図である。

【0028】

３次元データ生成部２１２は、データ取得部２１１が取得した実カメラ１０の出力データに基づいて、３次元データを生成する。実カメラ１０による３次元の座標空間に指示体３２１が存するとき、３次元データ生成部２１２は、指示体３２１を含む３次元データを生成できる。

【0029】

図３において、仮想タッチパネル３１１が延在する面を延在面Ｐとし、実カメラ１０の３次元座標の基準となる基準点を通り、延在面Ｐに平行な面を基準面Ｂとしたとき、延在面Ｐと基準面Ｂとの距離をＰｚとする。距離Ｐｚは、実カメラ１０の視野角又は３次元座標計測可能範囲等の仕様に応じて定まる範囲内の値であり、管理者による初期設定の入力により決定される。

【0030】

本実施の形態１では、実カメラ１０は、表示手段２６の中央上端部に固定されており、視線方向を斜め下方に向けている。実カメラ１０の視線方向をＥとし、仮想タッチパネル３１１の中心を通り延在面Ｐに垂直の方向をＶとしたとき、方向Ｅと方向Ｖがなす角度をθとする。θは管理者が実カメラ１０の向きに応じて入力するパラメータであり、管理者は、仮想タッチパネル３１１の位置及び大きさを仮想して、角度θと共に基準面Ｂから仮想タッチパネル３１１までの距離Ｐｚを決定する。

【0031】

実カメラ１０の３次元データから仮想３次元データへの変換は、図４に示すように、実カメラ１０を回転及び平行移動させた仮想カメラ３１２を想定して行う。仮想カメラ３１２の視線方向は、仮想タッチパネル３１１の中心を通り仮想タッチパネル３１１に垂直の方向である方向Ｖであると定義する。また、仮想カメラ３１２の仮想３次元データを決めるための基準点は、基準面Ｂ上にあると定義する。方向Ｅと方向Ｖの交点を特定点３１３としたとき、実カメラ１０の基準点と特定点３１３との距離をＳとする。

【0032】

パラメータ取得部２１３が管理者の入力により取得するパラメータは、図３，４に示した、実カメラ１０の視線方向を定義するための角度θと、仮想タッチパネル３１１の位置を定義するための距離Ｐｚと、実カメラ１０から仮想カメラ３１２への回転の中心となる特定点３１３を定義するための距離Ｓと、を含む。管理者は、実カメラ１０の性能も考慮してパラメータを決定する。これらのパラメータを設定することにより、３次元データから仮想３次元データへの変換方法を特定することができる。

【0033】

言い換えると、実カメラ１０の視線の方向Ｅに延びた第１直線上の点であって、実カメラ１０の基準点から距離Ｓ（第１距離）にある特定点３１３を中心として、第１直線を角度θだけ回転した第２直線の方向Ｖを視線方向とする仮想カメラ３１２を想定する。そして、実カメラ１０による座標空間の３次元データを、仮想カメラ３１２による座標空間の仮想３次元データに座標変換する。

【0034】

仮想タッチパネル３１１は、仮想カメラ３１２の基準点から第２直線に平行な方向にＰｚ（第２距離）離れている。仮想タッチパネル３１１の形状は、表示手段２６の表示面に対応できれば任意の形状でよい。以下の説明において、説明の簡易化のために、表示手段２６の表示面が矩形状であり、仮想タッチパネル３１１も矩形状である場合について説明する。この場合、第２直線は仮想タッチパネル３１１の矩形状の中心点を通り、仮想タッチパネル３１１は第２直線に垂直な方向に延在する。第２直線は、仮想カメラ３１２の基準点と仮想タッチパネル３１１の中心を通っている。

【0035】

座標変換部２１４が行う座標変換について説明する。実カメラ１０の出力データに基づいて３次元データ生成部２１２が生成した３次元データは、図４に示すように、実カメラ１０の視線方向Ｅをｚ軸とし、仮想タッチパネルの横方向に平行な方向をｘ軸とする座標（ｘ，ｙ，ｚ）で表される。この実カメラ１０による座標空間を、特定点３１３を通りｘ軸に平行な直線を回転軸として回転すると、仮想カメラ３１２の視線方向Ｖをｚ’軸とし、仮想タッチパネルの横方向をｘ軸とする座標（ｘ，ｙ’，ｚ’）で表される座標空間が得られる。

【0036】

ここで、実カメラ１０を回転した際には、カメラ位置は、基準面Ｂより後方のＢ’にあるため、方向Ｖに沿って基準面Ｂまでカメラ位置を平行移動させる。平行移動の距離Ｄｚは、Ｓ－Ｓｃｏｓθである。つまり、仮想カメラ３１２による座標空間の仮想３次元データは、（ｘ，ｙ’，ｚ’）から、ｚ’軸方向にＤｚ（Ｄｚ＝Ｓ－Ｓｃｏｓθ）移動した座標（ｘ，ｙ’，ｚ”）で表される。このようにして、実カメラ１０の出力データに基づいて（ｘ，ｙ，ｚ）で表される座標空間の３次元データを、回転及び平行移動により、仮想カメラ３１２による（ｘ，ｙ’，ｚ”）で表される座標空間の仮想３次元データに変換することができる。

【0037】

指示体検出部２１５は、座標変換部２１４が変換した仮想３次元データに基づいて、仮想カメラ３１２に最も近い点を指示体３２１の先端として検出する。指示体３２１の先端が、オペレータの指示位置３２２である。指示体検出部２１５は、仮想３次元データに基づいて、指示位置３２２の仮想３次元座標を出力する。

【0038】

接触判定部２１６は、指示体検出部２１５が出力する指示位置３２２の仮想３次元座標に基づいて、仮想カメラ３１２の基準点から指示位置３２２までのｚ”方向（第２直線に沿った方向Ｖ）の距離Ｖｚ（第３距離）を算出する。そして、接触判定部２１６は、距離Ｖｚを、仮想カメラ３１２から仮想タッチパネルまでのｚ”方向の距離Ｐｚ（第２距離）と比較する。

【0039】

言い換えると、接触判定部２１６は、仮想カメラ３１２の基準点を通る基準面Ｂから指示体３２１の指示位置３２２までの最短距離である距離Ｖｚと、基準面Ｂから仮想タッチパネルまでの距離Ｐｚと、を比較する。図４に示すように、Ｖｚ≦Ｐｚのとき、指示体３２１の指示位置３２２は、仮想タッチパネル３１１と同じ位置又は仮想タッチパネル３１１よりも仮想カメラ３１２に近いと言える。このとき、指示体３２１による仮想タッチパネル３１１への接触があったと判定する。Ｖｚ＞Ｐｚの場合には、指示体３２１による仮想タッチパネル３１１への入力はないと判定する。

【0040】

操作入力信号生成部２１７は、接触判定部２１６が指示位置３２２である指示体３２１の先端による接触があったと判定した場合に、その時の指示位置３２２の仮想３次元座標に基づいて、オペレータの操作が示す操作入力信号を生成する。

【0041】

具体的には、操作入力信号生成部２１７は、表示手段２６の表示画面の、指示位置３２２の仮想３次元座標に対応する位置にカーソルを表示させる操作入力信号を生成する。

【0042】

その後、操作入力信号生成部２１７は、接触判定部２１６が出力する指示位置３２２の時間変化の情報に応じて、カーソルを動かし、選択、移動等を指示する操作入力信号を生成する。また、予め、任意のアプリケーションがインストールされた、操作入力装置２０を含む情報処理端末においては、表示手段２６に表示されたアイコンが示すアプリケーションの実行等を指示する操作入力信号を生成する。

【0043】

このように構成された操作入力装置２０の操作入力処理について、図５に示すフローチャートに沿って説明する。図５は、操作入力処理を示すフローチャートである。操作入力処理は、操作入力システム１の管理者が操作入力プログラムを実行したときにスタートする。

【0044】

まず、パラメータ取得部２１３がパラメータ入力画面を表示手段２６に表示する。管理者は仮想タッチパネル３１１の位置及び向きを仮想し、仮想タッチパネル３１１を特定するためのパラメータを入力する。パラメータ取得部２１３は、管理者が予め入力したパラメータを取得する（ステップＳ１０１）

【0045】

パラメータ取得部２１３が取得する第１のパラメータは、仮想タッチパネル３１１の延在面Ｐに垂直の方向Ｖに対する実カメラ１０の視線方向Ｅの角度θである。第２のパラメータは、仮想タッチパネル３１１の中心を通り方向Ｖに延びた第２直線と、実カメラ１０の視線方向Ｅに延びた第１直線と、の交点を特定点３１３としたときの、実カメラ１０の基準点から特定点３１３までの距離Ｓである。第３のパラメータは、実カメラ１０の基準点を通り、仮想タッチパネル３１１に平行な面を基準面Ｂとしたときの、基準面Ｂから仮想タッチパネル３１１までの距離Ｐｚである。パラメータ取得部２１３が取得するパラメータは、仮想タッチパネル３１１を特定するための他のパラメータを含んでもよい。

【0046】

パラメータ取得部２１３が取得したパラメータにより、座標変換部２１４は、実カメラ１０による座標空間の３次元データから、仮想カメラ３１２による座標空間の仮想３次元データへの座標変換方法を決定する（ステップＳ１０２）。仮想カメラ３１２は、特定点３１３を中心として実カメラ１０を角度θだけ回転し、方向Ｖに沿って基準面Ｂまで平行移動した位置に仮想するカメラである。

【0047】

図４に示した例においては、座標変換部２１４は、実カメラ１０による座標空間を、特定点３１３を中心として角度θだけ回転し方向Ｖに沿って長さＤｚ（Ｄｚ＝Ｓ－Ｓｃｏｓθ）だけ平行移動した、仮想カメラ３１２による座標空間を想定し、実カメラ１０による座標空間の３次元データを仮想カメラ３１２による座標空間の仮想３次元データに変換する座標変換方法を決定する（ステップＳ１０２）。

【0048】

データ取得部２１１は、実カメラ１０の出力データを取得する（ステップＳ１０３）。３次元データ生成部２１２は、実カメラ１０の出力データを３次元座標空間に展開し、３次元データを生成する。（ステップＳ１０４：３次元データ生成ステップ）。

【0049】

その後、座標変換部２１４が、ステップＳ１０２で決定した座標変換方法を用いて、実カメラ１０による座標空間の３次元データを仮想カメラ３１２による座標空間の仮想３次元データに変換する（ステップＳ１０５：座標変換ステップ）。

【0050】

次に、指示体検出部２１５が、仮想３次元データに基づいて、仮想カメラ３１２から最も近い点を、指示体３２１の指示位置３２２として検出し、指示位置３２２の仮想３次元座標を算出する。そして、接触判定部２１６は、指示位置３２２の仮想３次元座標に基づいて、基準面Ｂから指示位置３２２までの、最短距離Ｖｚを算出する（ステップＳ１０６）。接触判定部２１６は、基準面Ｂから仮想タッチパネル３１１までの距離Ｐｚと指示位置３２２までの距離Ｖｚとを比較し（ステップＳ１０７）、距離Ｖｚが距離Ｐｚ以下であるか否かを判定する（ステップＳ１０８：接触判定ステップ）。

【0051】

距離Ｖｚが距離Ｐｚ以下である場合には（ステップＳ１０８：Ｙｅｓ）、ステップＳ１０６で求めた指示位置３２２の仮想３次元座標に基づいて、仮想タッチパネル３１１上の座標を算出し、操作入力信号生成部２１７に対して出力する（ステップＳ１０９）。距離Ｖｚが距離Ｐｚより大きい場合には（ステップＳ１０８：Ｎｏ）、ステップＳ１０３に戻る。

【0052】

ステップＳ１０９で求めた仮想タッチパネル３１１上の座標を出力した後は、管理者による操作入力処理の終了の命令があった場合には（ステップＳ１１０：Ｙｅｓ）、処理を終了する。終了の命令がない場合には（ステップＳ１１０：Ｎｏ）、ステップＳ１０３に戻る。

【0053】

操作入力信号生成部２１７は、ステップＳ１０９で求めた仮想タッチパネル３１１上の座標の時間変化に基づいて操作入力信号を生成し（操作入力信号生成ステップ）、出力する。操作入力信号は、カーソルを動かし、選択、移動等を指示する信号、又は、予めインストールされたアプリケーションの実行等を指示する信号である。

【0054】

このようにして、操作入力装置２０は、実カメラ１０の出力データに基づく３次元データを、仮想カメラ３１２による仮想３次元データに変換し、指示位置３２２と仮想タッチパネル３１１の位置とを比較することにより、仮想タッチパネル３１１への指示体３２１のタッチ操作を検出する。

【0055】

以上説明したように、本実施の形態１において、実カメラ１０は、視線方向を指示体３２１の指示方向に対して傾斜した方向に向けて、表示手段２６に対して固定される。操作入力装置２０の３次元データ生成部２１２は、実カメラ１０の出力データに基づいて、３次元データを生成する。座標変換部２１４は、実カメラ１０の視線方向Ｅを特定点３１３を中心として角度θだけ回転した方向Ｖを視線方向とする仮想カメラ３１２を想定し、実カメラ１０による３次元データを、仮想カメラ３１２による仮想３次元データに変換する。そして、指示体検出部２１５が、仮想３次元データに基づいて、仮想カメラ３１２から最も近い点を指示位置３２２として検出し、接触判定部２１６が、仮想カメラ３１２から方向Ｖに距離Ｐｚだけ離れた面を仮想タッチパネル３１１として想定し、方向Ｖにおいて仮想カメラ３１２から指示位置３２２までの距離Ｖｚと、仮想カメラ３１２から仮想タッチパネル３１１までの距離をＰｚと、を比較し、距離Ｖｚが距離Ｐｚ以下であるときに、仮想タッチパネル３１１に指示体３２１が接触したことを判定するとした。これにより、実カメラ１０を、視線方向を傾けて設置した簡易な構成で非接触の操作入力を正確に検出することが可能となる。

【0056】

なお、本実施の形態１において、実カメラ１０は、表示手段２６の中央上端部に設置する場合について説明したが、図６に示すように、仮想タッチパネル３１１の外周のどこに実カメラ１０を設置してもよい。座標変換部２１４が座標変換方法を決定する際に、実カメラ１０から仮想カメラ３１２への回転の方向を変えることで、他の場所の実カメラ１０による３次元データも、仮想カメラ３１２による仮想３次元データに変換することができる。

【0057】

中央上端部以外の他の位置に実カメラ１０を設置した場合であっても、実カメラ１０の視線方向は、指示体３２１の指示方向に対して傾斜した方向である。上記実施の形態１では、実カメラ１０から仮想カメラ３１２へ、ｘ軸に平行な直線を回転軸とする回転角度θを設定し、この回転で表される座標変換をするとした。これに対し、例えば、図６の実カメラ１１の位置にある場合は、仮想タッチパネル３１１の縦方向に平行な座標軸をｙ軸としたとき、特定点３１３を通りｙ軸に平行な直線を回転軸とする回転角度を設定し、この回転で表される座標変換をすればよい。また、実カメラ１２の位置にある場合は、ｘ軸に平行な直線を回転軸とする回転角度及びｙ軸に平行な直線を回転軸とする回転角度を設定し、ｘ軸に平行な直線を回転軸とする回転及びｙ軸に平行な直線を回転軸とする回転で表される座標変換をすればよい。

【0058】

つまり、実カメラ１０から仮想カメラ３１２までの回転は、特定点３１３を通り仮想タッチパネル３１１の延在方向に平行な直線を軸とする回転であり、座標変換部２１４は、それぞれの軸を回転軸とする回転で表される座標変換を行う。これにより、実カメラ１０の設置位置によらず、仮想タッチパネル３１１への仮想タッチ操作を検出することができる。

【0059】

また、実カメラ１０の位置は、指示体３２１の指示方向に対して傾斜した方向から指示体３２１を撮影することができれば、仮想タッチパネル３１１の外周のみならず、仮想タッチパネル３１１に向かって操作するオペレータの上下左右又は後方でもよい。この場合は、角度θを９０°以上の値に設定することで、適宜座標変換することができ、仮想タッチパネル３１１への仮想タッチ操作を検出することができる

【0060】

（実施の形態２）
本発明の実施の形態２について図７を参照して詳細に説明する。図７は、本実施の形態２における表示手段２６、実カメラ１０、仮想タッチパネル３１１及びホバー面３１５を側方から見た概要図である。

【0061】

本実施の形態２に係る操作入力システム１は、実施の形態１と同様の構成を有し、同様の操作入力処理を実行するが、仮想タッチパネル３１１よりも、表示手段２６からさらに離れた位置にホバー面３１５を仮想する点が異なる。

【0062】

ホバー面３１５は、仮想タッチパネル３１１に平行な面であって、仮想タッチパネル３１１から予め定めた距離Ｈｚだけ離れて位置する。仮想タッチパネル３１１とホバー面３１５との距離Ｈｚは、管理者により設定可能であり、例えば、５ｃｍから１０ｃｍの値である。

【0063】

データ取得部２１１、３次元データ生成部２１２、座標変換部２１４、指示体検出部２１５の機能及び動作は、実施の形態１と同様である。パラメータ取得部２１３は、実施の形態１におけるパラメータの角度θ、距離Ｓ及び距離Ｐｚに加えて、仮想タッチパネル３１１からホバー面３１５までの距離Ｈｚを取得する。

【0064】

接触判定部２１６は、基準面Ｂから指示位置３２２までの距離Ｖｚについて、仮想タッチパネル３１１までの距離Ｐｚとの比較より前に、基準面Ｂからホバー面３１５までの距離（第４距離：（Ｐｚ＋Ｈｚ））との比較を行う。指示位置３２２が近づいてきて、ホバー面３１５を通過することにより、距離Ｖｚが距離（Ｐｚ＋Ｈｚ）以下になった場合に、操作入力信号生成部２１７が仮想タッチパネル３１１に近づいていることを表す表示を行う操作信号を生成する。

【0065】

例えば、操作入力信号生成部２１７は、距離Ｖｚが距離（Ｐｚ＋Ｈｚ）以下になった場合に、表示手段２６にカーソルを表示させてもよい。これにより、オペレータは現在ポイントしている位置を認識することができる。さらに、カーソルの大きさ又は形状を変化させて仮想タッチパネル３１１までの距離を認識できる表示を行ってもよい。例えば、指示位置３２２がホバー面３１５を超えて仮想タッチパネル３１１まで近づくにつれ、カーソルを段階的に小さくしてもよく、又は、色を段階的に濃くしてもよい。

【0066】

従来のタッチパネルでは、オペレータが自身の視覚によりタッチパネルとの距離を認識できるが、空間に仮想する仮想タッチパネル３１１の場合には、仮想タッチパネル３１１までの距離を視覚で認識できない。これに対し、本実施の形態２の仮想タッチパネル３１１の手前にホバー面３１５を設けた構成は、オペレータが仮想タッチパネル３１１をタッチする前に、指示位置３２２が仮想タッチパネル３１１に近づいてきてホバー面３１５を超えた時点でカーソルのある領域及び仮想タッチパネルまでの距離を認識することができる。また、仮想タッチパネル３１１がタッチした際の位置の誤差を小さくすることができる。これにより空間における操作性を上げることができる。

【0067】

以上説明したように、本実施の形態２においては、仮想タッチパネル３１１に対して表示手段２６の表示面と反対の方向に離隔して配置したホバー面３１５を仮想し、接触判定部２１６が、指示位置３２２の仮想タッチパネル３１１への接触の前に、ホバー面３１５の通過を判定する。そして、操作入力信号生成部２１７が、指示位置３２２が仮想タッチパネル３１１に近づいていることを表す表示を行う操作信号を生成することとした。これにより、指示位置３２２の存する領域及び仮想タッチパネル３１１までの距離をオペレータに認識させることが可能となる。

【0068】

（実施の形態３）
本発明の実施の形態３について図８，９を参照して詳細に説明する。図８は、本実施の形態３における表示手段２６、実カメラ１０、仮想タッチパネル３１１及び指示有効領域３３０の概要構成を示す斜視図である。図９は、本実施の形態３における操作入力処理のフローチャートである。

【0069】

本実施の形態３に係る操作入力システム１は、実施の形態１,２と同様の構成を有する
が、パラメータ取得部２１３と指示体検出部２１５の機能が一部異なる。本実施の形態３に係る操作入力システム１において、操作入力装置２０は、指示体３２１による指示が有効である指示有効領域３３０を仮想し、指示有効領域３３０の内側における指示体３２１の検出のみを有効とし、指示有効領域３３０の外側において指示体３２１の検出を行わない。

【0070】

指示有効領域３３０は、図８に示すように、表示手段２６の手前の空間領域から、限定した領域である。指示有効領域３３０の境界の形状は任意であり、例えば、図８に示すように、仮想タッチパネル３１１に垂直で、かつ隣り合う面が互いに直交する４面を含む直方体である。その他、仮想タッチパネル３１１に垂直な面が側面となる円筒形又は楕円筒形であってもよく、仮想タッチパネル３１１から離れるに従い領域が広がり又は狭まる形状であってもよい。本実施の形態では、指示有効領域３３０の境界が直方体である場合について説明する。

【0071】

なお、指示有効領域３３０内に実施の形態２と同様のホバー面３１５を更に有してもよく、指示体３２１の指示位置３２２の仮想タッチパネル３１１へ接触の前に、ホバー面３１５の通過を判定するようにしてもよい。

【0072】

パラメータ取得部２１３は、仮想タッチパネル３１１を特定するためのパラメータに加えて、指示有効領域３３０を特定するためのパラメータを取得する。仮想タッチパネル３１１を特定するためのパラメータは、実施の形態１と同様の実カメラ１０の視線方向Ｅの角度θと、実カメラ１０の基準点から特定点３１３までの距離Ｓと、基準面Ｂから仮想タッチパネル３１１までの距離Ｐｚである。

【0073】

指示有効領域３３０を特定するためのパラメータは、仮想カメラ３１２による座標空間における、指示有効領域３３０の境界を示す任意のパラメータであり、例えば、指示有効領域３３０の境界を示す仮想３次元座標値の上限及び下限、又は、指示有効領域３３０の境界面を表す３次元関数の係数である。パラメータ取得部２１３が取得するパラメータは、仮想タッチパネル３１１又は指示有効領域３３０を特定するための他のパラメータを含んでもよい。

【0074】

指示体検出部２１５は、座標変換部２１４が出力する仮想カメラ３１２による仮想３次元データのうち、パラメータにより特定された指示有効領域３３０内の仮想３次元データに基づいて、仮想カメラ３１２から最も近い点を指示体３２１の指示位置３２２として検出する。

【0075】

操作入力装置２０の他の構成は実施の形態１，２と同様である。このように構成された操作入力装置２０の操作入力処理について、図９に示すフローチャートを用いて説明する。図９において、図５と同じ符号を付している処理は実施の形態１と同様の処理を行う。

【0076】

まず、パラメータ取得部２１３がパラメータ入力画面を表示手段２６に表示する。管理者は仮想タッチパネル３１１の位置及び向きを仮想し、仮想タッチパネル３１１を特定するためのパラメータと、指示有効領域３３０を特定するためのパラメータを入力する。パラメータ取得部２１３は、管理者が予め入力したパラメータを取得する（ステップＳ２０１）。

【0077】

パラメータ取得部２１３が取得する仮想タッチパネル３１１を特定するためのパラメータは、実施の形態１と同様の実カメラ１０の視線方向Ｅの角度θと、実カメラ１０の基準点から特定点３１３までの距離Ｓと、基準面Ｂから仮想タッチパネル３１１までの距離Ｐｚである。指示有効領域３３０を特定するためのパラメータは、仮想カメラ３１２による座標空間における、指示有効領域３３０の境界を示すパラメータである。パラメータ取得部２１３が取得するパラメータは、仮想タッチパネル３１１又は指示有効領域３３０を特定するための他のパラメータを含んでもよい。

【0078】

次に、パラメータ取得部２１３が取得したパラメータを用いて、座標変換部２１４は、実カメラ１０による座標空間の３次元データから、仮想カメラ３１２による座標空間の仮想３次元データへの座標変換方法を決定する（ステップＳ１０２）。データ取得部２１１は、実カメラ１０の出力データを取得する（ステップＳ１０３）。３次元データ生成部２１２は、実カメラ１０の出力データを３次元座標空間に展開し、３次元データを生成する。（ステップＳ１０４：３次元データ生成ステップ）。

【0079】

その後、座標変換部２１４が、ステップＳ１０２で決定した座標変換方法を用いて、実カメラ１０による座標空間の３次元データを仮想カメラ３１２による座標空間の仮想３次元データに変換する（ステップＳ１０５：座標変換ステップ）。なお、ステップＳ１０２～Ｓ１０５の詳細の処理は実施の形態１と同様である。

【0080】

次に、指示体検出部２１５が、ステップＳ１０５で座標変換した仮想３次元データのうち、ステップＳ２０１で取得したパラメータに基づいて特定された指示有効領域３３０の外側のデータを除外する（ステップＳ２０２）。

【0081】

その後、指示有効領域３３０外のデータを除外した仮想３次元データに基づいて、指示体検出部２１５が、仮想カメラ３１２から最も近い点を指示体３２１の指示位置３２２として検出し、指示位置３２２の仮想３次元座標を算出する。そして、接触判定部２１６は、指示位置３２２の仮想３次元座標に基づいて、基準面Ｂから指示位置３２２までの、最短距離Ｖｚを算出する（ステップＳ１０６）。

【0082】

接触判定部２１６は、基準面Ｂから仮想タッチパネル３１１までの距離Ｐｚと指示位置３２２までの距離Ｖｚとを比較し（ステップＳ１０７）、距離Ｖｚが距離Ｐｚ以下であるか否かを判定する（ステップＳ１０８：接触判定ステップ）。

【0083】

距離Ｖｚが距離Ｐｚ以下である場合には（ステップＳ１０８：Ｙｅｓ）、ステップＳ１０６で求めた指示位置３２２の仮想３次元座標に基づいて、仮想タッチパネル３１１上の座標を算出し、操作入力信号生成部２１７に対して出力する（ステップＳ１０９）。距離Ｖｚが距離Ｐｚより大きい場合には（ステップＳ１０８：Ｎｏ）、ステップＳ１０３に戻る。

【0084】

ステップＳ１０９で求めた仮想タッチパネル３１１上の座標を出力した後は、管理者による操作入力処理の終了の命令があった場合には（ステップＳ１１０：Ｙｅｓ）、処理を終了する。終了の命令がない場合には（ステップＳ１１０：Ｎｏ）、ステップＳ１０３に戻る。なお、ステップＳ１０６～Ｓ１１０の詳細の処理は実施の形態１と同様である。

【0085】

操作入力信号生成部２１７は、ステップＳ１０９で求めた仮想タッチパネル３１１上の座標の時間変化に基づいて操作入力信号を生成し（操作入力信号生成ステップ）、出力する。操作入力信号は、カーソルを動かし、選択、移動等を指示する信号、又は、予めインストールされたアプリケーションの実行等を指示する信号である。

【0086】

このようにして、操作入力装置２０は、実カメラ１０の出力データに基づく３次元データを、仮想カメラ３１２による仮想３次元データに変換したデータのうち、指示有効領域３３０内のデータに基づいて検出した、指示位置３２２と仮想タッチパネル３１１の位置とを比較することにより、仮想タッチパネル３１１への指示体３２１のタッチ操作を検出する。

【0087】

本実施の形態３の効果について説明する。表示手段２６には、指示操作の対象が表示手段２６の一部のみであり、カード挿入、バーコードリーダ等の他の操作部３３１を備えるものがある。このような場合、操作入力装置２０は、他の操作部３３１への操作を指示操作として誤検出することを回避しなくてはならない。本実施の形態３によれば、指示有効領域３３０を設定し、指示有効領域３３０の内部に存する指示体３２１の指示位置３２２のみを検出するため、他の操作部３３１への操作を、指示操作として誤検出することなく、非接触の操作入力を正確に検出することが可能となる。

【0088】

以上説明したように、本実施の形態３においては、操作入力装置２０の指示体検出部２１５が、仮想カメラ３１２による仮想３次元データのうちの指示有効領域３３０内のデータに基づいて、仮想カメラ３１２から最も近い点を指示位置３２２として検出し、接触判定部２１６が、仮想カメラ３１２から指示位置３２２までの距離Ｖｚと、仮想カメラ３１２から仮想タッチパネル３１１までの距離をＰｚと、を比較し、距離Ｖｚが距離Ｐｚ以下であるときに、仮想タッチパネル３１１に指示体３２１が接触したことを判定するとした。これにより、指示有効領域３３０外での操作者の他の操作を誤って検出することなく、非接触の操作入力を正確に検出することが可能となる。

【0089】

（実施の形態４）
本発明の実施の形態４について図１０を参照して詳細に説明する。図１０は、本実施の形態４における実カメラの配置を示す図である。

【0090】

本実施の形態４に係る操作入力システム１は、実施の形態１と同様の操作入力処理を実行するが、実カメラ１２，１３を含む２以上の実カメラを用いる点が異なる。実カメラの台数は２以上の任意の数でよいが、以下の説明では、実カメラ１２，１３を備える構成について説明する。

【0091】

オペレータが２以上の指示体を用いて操作入力を行う場合がある。例えば、２本の指を同時にタッチパネルに接触し、２本の指の間の距離又は２本の指の移動方向及び移動距離に応じて、様々な操作入力が可能になる。本実施の形態４に係る操作入力装置２０は、指示体３２１が２以上ある場合にも仮想タッチパネル３１１への操作入力を確実に検出可能にしたものである。

【0092】

第１の実カメラ１２と第２の実カメラ１３は互いに離れた場所に固定されている。例えば、図１０に示すように、第１の実カメラ１２が表示手段２６の右上端部に設置され、第２の実カメラ１３が表示手段２６の左上端部に設置される。つまり、第１の実カメラ１２は仮想タッチパネル３１１の右上方、第２の実カメラ１３は仮想タッチパネル３１１の左上方に位置する。実カメラ１２，１３の視線方向は、指示体３２１の指示方向に対して傾斜した方向であって互いに異なる方向である。操作入力装置２０の構成は実施の形態１と同様である。

【0093】

操作入力装置２０の管理者は、２以上の実カメラ１２，１３のうちから、マスターカメラを選択し、マスターカメラについてパラメータを設定する。ここでは、実カメラ１２がマスターカメラである場合について説明する。パラメータ取得部２１３は、仮想タッチパネル３１１の延在面Ｐに垂直な方向Ｖに対する、実カメラ１２の視線方向Ｅの、特定点３１３を通りｘ軸に平行な直線を軸とする角度θ_ｘ及び特定点３１３を通りｙ軸に平行な直線を軸とする角度θ_ｙと、実カメラ１２から特定点３１３までの距離Ｓと、基準面Ｂから仮想タッチパネル３１１までの距離Ｐｚと、を取得する。

【0094】

３次元データ生成部２１２は、２以上の実カメラ１２，１３の出力データ及び２以上の実カメラ１２，１３の位置情報に基づいて、３次元データを生成する。なお、３次元データ生成部２１２は、事前に、２以上の実カメラ１２，１３に対して、単一の３次元データを生成するためのキャリブレーションを実施している。

【0095】

具体的には、３次元データ生成部２１２は、マスターカメラである実カメラ１２の出力データを３次元座標空間に展開し、３次元データを生成する。同様に、３次元データ生成部２１２はスレーブカメラである実カメラ１３の出力データに基づいて３次元データを生成するが、この３次元データは、事前に、実カメラ１２と実カメラ１３との位置関係及び出力データに基づいてキャリブレーションを実施して補正した３次元データである。３次元データ生成部２１２は、実カメラ１２の出力データに基づく３次元データに対して、実カメラ１３の出力データに基づくキャリブレーション済の３次元データを補って単一の３次元データを生成する。

【0096】

座標変換部２１４は、実カメラ１２の視線方向Ｅを、特定点３１３を中心としてｘ軸に平行な直線を軸として角度θ_ｘ、ｙ軸に平行な直線を軸として角度θ_ｙだけ回転した方向を視線方向Ｖとし、基準面Ｂ上に基準点を有する仮想カメラ３１２を想定する。そして、座標変換部２１４は、３次元データ生成部２１２が生成した実カメラ１２，１３の出力データに基づく３次元データを、仮想カメラ３１２による仮想３次元データに変換する座標変換方法を決定する。

【0097】

座標変換部２１４は、３次元データ生成部２１２が生成した３次元データを、決定した座標変換方法を用いて、仮想３次元データに変換する。

【0098】

接触判定部２１６は、仮想カメラ３１２から方向Ｖに距離Ｐｚだけ離れ、方向Ｖに垂直な面を仮想タッチパネル３１１として仮想する。そして、実カメラ１２，１３による３次元データから座標変換した仮想３次元データに基づいて、方向Ｖにおける仮想カメラ３１２から指示体３２３，３２４までの距離Ｖｚを算出する。

【0099】

ここで、本実施の形態４では、２以上の指示体３２３，３２４による操作を検出可能とするために、接触判定部２１６は、仮想３次元データに基づいて算出した、方向Ｖにおける仮想カメラ３１２から指示体３２３，３２４までの距離の１以上の極小値を、１以上の距離Ｖｚ（第３距離）として検出する。つまり、接触判定部２１６は、仮想３次元データに基づいて、仮想カメラ３１２から３次元空間に存する点までの距離をプロットし、極小を示す点を指示体３２３，３２４の指示位置として検出する。

【0100】

接触判定部２１６は、１以上の距離Ｖｚと、仮想カメラ３１２から仮想タッチパネル３１１までの距離をＰｚと、を比較し、距離Ｖｚが距離Ｐｚ以下であるときに、仮想タッチパネル３１１に指示体３２３、３２４が接触したことを判定する。

【0101】

ここで、２以上の実カメラ１２，１３を用いた効果について説明する。図１０の例において、実カメラ１２の出力データのみに基づく３次元データからは、指示体３２４が指示体３２３の陰になって検出できない。本実施の形態４においては、設置位置及び視線方向が異なる実カメラ１３の出力データにより、３次元データを補っているため、実カメラ１２，１３の出力データに基づく３次元データによれば、指示体３２４の指示位置の仮想３次元座標を出力することができる。

【0102】

言い換えると、２以上の実カメラ１２，１３の出力データに基づいて、指示位置の仮想３次元座標を出力するため、指示位置を検出し損なうという問題を回避できる。

【0103】

操作入力信号生成部２１７は、接触判定部２１６が接触を判定した指示位置の仮想タッチパネル上の座標の時間変化に基づいて操作入力信号を生成する。このとき、２以上の異なる指示位置の接触を判定した場合には、予め設定した２以上の接触に対応する操作入力信号を生成する。

【0104】

以上説明したように、本実施の形態４においては、操作入力システム１は、互いに離れて固定され、視線方向が指示体３２３，３２４の指示方向に対して傾斜した方向であって互いに異なる方向である２以上の実カメラ１２，１３を備える。３次元データ生成部２１２は、２以上の実カメラ１２，１３の出力データに基づいて３次元データを生成し、座標変換部２１４は、マスターカメラである実カメラ１２に係るパラメータに基づく座標変換方法を用いて、仮想３次元データに変換する。そして、接触判定部２１６は、仮想３次元データに基づいて算出した方向Ｖにおける仮想カメラ３１２から指示体３２３，３２４までの距離の１以上の極小値である距離Ｖｚを取得し、１以上の指示体３２３，３２４の指示位置を検出することとした。これにより、一方の実カメラ１２では未検出の指示体３２４も他方の実カメラ１３で検出することが可能となり、複数のタッチによる確実な操作入力が可能になる。

【0105】

なお、上記実施の形態１－４において、実カメラ１０－１３は、表示手段２６の端部に設置し、座標変換に係るパラメータを管理者が設定するとしたが、実カメラ１０－１３は、操作入力装置２０に内蔵されていてもよい。この場合、操作入力装置２０の組み立て時に実カメラ１０－１３の視線方向を表示手段２６の表示面に垂直の方向に対して傾斜して実装し、その傾斜角度に応じて決定されている座標変換方法を用いてもよい。

【0106】

また、上記実施の形態１－４の構成に加えて、図１１に示すように、表示手段２６及び実カメラ１０の前面に、透明板３１６を更に設置してもよい。透明板３１６は、表示手段２６が出力する光を透過する任意の透明な板であり、例えば、ガラス板又はアクリル板である。表示手段２６及び実カメラ１０を保護するとともに、オペレータに一定距離離れた空間での操作を促すことができる。

【0107】

また、上記実施の形態１－４において、１つの表示手段２６の矩形の表示面に対応する１つの矩形かつ平面の仮想タッチパネル３１１を想定して操作入力を検出するとしたが、仮想タッチパネル３１１の形状及び大きさは任意であり、また平面で無くてもよい。また、１つの表示手段２６の表示面に対し、２以上の仮想タッチパネル３１１を想定して、実カメラ１０－１３による３次元データを、２以上の仮想カメラ３１２による座標変換を行い、それぞれの仮想タッチパネル３１１に対する操作入力を検出してもよい。これらの場合、パラメータ取得部２１３が、仮想タッチパネル３１１の形状及び大きさを表すパラメータも含めて取得し、座標変換部２１４が仮想タッチパネル３１１の形状及び大きさを表すパラメータに応じて、３次元データの座標値の拡大、縮小又は変形を含む座標変換を行う。

【0108】

また、上記実施の形態４において、２以上の実カメラ１２，１３を用いて、１以上の指示位置を検出するとしたが、１つの実カメラ１０を用いた実施の形態１－３においても、仮想カメラ３１２から指示体３２１までの距離の１以上の極小値である距離Ｖｚを取得し、１以上の指示体３２１の指示位置を検出してもよい。

【0109】

また、上記実施の形態に示したハードウェア構成及びフローチャートは一例であり、任意に変更及び応用が可能である。ＣＰＵ２１で実現する各機能は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。

【0110】

例えば、上記実施の形態の動作を実行するためのプログラムを、コンピュータが読み取り可能なＣＤ－ＲＯＭ（Compact Disc Read-Only Memory）、ＤＶＤ（Digital Versatile
Disc）、ＭＯ（Magneto Optical Disc）、メモリカード等の記録媒体に格納して配布し
、プログラムをコンピュータにインストールすることにより、各機能を実現することができるコンピュータを構成してもよい。そして、各機能をＯＳ（Operating System）とアプリケーションとの分担、又はＯＳとアプリケーションとの協同により実現する場合には、ＯＳ以外の部分のみを記録媒体に格納してもよい。

【0111】

本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施の形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。

【0112】

本出願は、２０２１年３月１０日に出願された、日本国特許出願特願２０２１－０３８４６２号に基づく。本明細書中に日本国特許出願特願２０２１－０３８４６２号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。

【符号の説明】

【0113】

１…操作入力システム
１０，１１，１２，１３…実カメラ
２０…操作入力装置
２１…ＣＰＵ
２２…ＲＡＭ
２３…ＲＯＭ
２４…通信インターフェース
２５…記憶部
２６…表示手段
２１１…データ取得部
２１２…３次元データ生成部
２１３…パラメータ取得部
２１４…座標変換部
２１５…指示体検出部
２１６…接触判定部
２１７…操作入力信号生成部
３１１…仮想タッチパネル
３１２…仮想カメラ
３１３…特定点
３１５…ホバー面
３１６…透明板
３２１，３２３，３２４…指示体
３２２…指示位置
３３０…指示有効領域
３３１…他の操作部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】