特許 7178888 情報入力装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-17

(45)【発行日】2022-11-28

(54)【発明の名称】情報入力装置

(51)【国際特許分類】

   G06F 3/041 20060101AFI20221118BHJP

   G06F 3/0488 20220101ALI20221118BHJP

   G06F 3/038 20130101ALI20221118BHJP

   G06F 3/0346 20130101ALN20221118BHJP

【ＦＩ】

G06F3/041 520

G06F3/041 540

G06F3/041 650

G06F3/0488

G06F3/038 310A

G06F3/0346 423

【請求項の数】 4

(21)【出願番号】P 2018226226

(22)【出願日】2018-12-03

(65)【公開番号】P2020091509

(43)【公開日】2020-06-11

【審査請求日】2021-06-07

(73)【特許権者】

【識別番号】302062931

【氏名又は名称】ルネサスエレクトロニクス株式会社

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】新倉 謙太郎

【審査官】滝谷 亮一

(56)【参考文献】

【文献】特開２０１７－１９１５６３（ＪＰ，Ａ）

【文献】国際公開第２０１４／１４７７１５（ＷＯ，Ａ１）

【文献】特開２０１５－１１４６８２（ＪＰ，Ａ）

【文献】特開２０１７－０２７２０６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０４１

Ｇ０６Ｆ ３／０４８８

Ｇ０６Ｆ ３／０３８

Ｇ０６Ｆ ３／０３４６

(57)【特許請求の範囲】

【請求項1】

入力要求情報を表示するための第１の面と、
入力要求情報を入力するための複数の第２の面と、
複数の入力者の視点を検出する検出部と、
前記複数の第２の面に入力された情報をそれぞれ検出された前記複数の入力者の視点に応じて前記第１の面の情報に変換する補正部と、を備える、情報入力装置。

【請求項2】

請求項１において、さらに、
前記第１の面と前記複数の第２の面との間の距離情報を保持する記憶装置を備える、情報入力装置。

【請求項3】

請求項２において、
前記複数の第２の面上に入力された前記情報に対応する前記第２の面の複数のタッチ座標を前記補正部へ入力する複数のタッチ検出装置を含み、
前記補正部は、前記記憶装置の前記距離情報と、前記検出部によって検出された前記複数の入力者の視点に応じて、前記タッチ座標を、前記第１の面上の前記情報へ変換する、情報入力装置。

【請求項4】

請求項３において、
前記補正部は、
前記検出部の撮影画像から前記複数の入力者のそれぞれの顔および目を認識する画像認識部と、
前記画像認識部の認識結果から前記複数の入力者のそれぞれの前記視点の方向を算出する視点方向算出部と、
座標補正部と、を含み、
前記座標補正部は、
前記複数の入力者のそれぞれの前記視点の方向と前記記憶装置の前記距離情報とに基づいて、前記複数のタッチ座標を前記第１の面上の前記情報へ変換する、情報入力装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報入力装置に関し、特に、タッチ面と表示面とを有する情報入力装置に適用可能である。

【背景技術】

【0002】

タッチパネルなどのタッチ検出装置を液晶表示装置等の表示装置の表示画面の上に装着し、あるいは、タッチ検出装置と表示装置の表示画面とを一体化し、表示装置の表示画面に各種の情報入力用のボタン画像等を表示させることによって、情報入力を可能とするタッチ検出機能付き表示装置がある。このようなタッチ検出機能付き表示装置は、たとえば、タブレット型コンピュータやスマートフォンのような携帯情報端末や、カーナビゲーション装置、ゲーム機器、自動販売機、電子案内掲示板機器などに使用されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１９９０６２号公報

【文献】特開２０１８－６０４０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

タッチ検出機能付き表示装置では、タッチ検出を行うタッチ面とボタン画像などを表示する表示面とが異なっている。つまり、デバイスの構造的に、タッチ面と表示面が奥行方向（表示面に対して垂直方向）で必ずしも一致していない。そのため、デバイス構造や操作者の視点によっては「操作者から見た表示面に対する指の位置（期待値）」と「タッチデバイスが検出したタッチポイントの座標（検出値）」とが一致しない場合がある。これは、特に、操作者の視点と操作者の指とを結んだ直線が表示面に対して垂直から外れるほど、期待値と検出値のズレが大きくなる。このズレは、操作者への違和感やストレスの原因となる可能性が有る。

【0005】

また、タッチ面が曲面によって構成された場合、タッチ面の上に保護パネルが設けられる場合、また、表示面とタッチ面との間に空間または放熱や衝撃吸収を目的とした層がある場合など、指と表示面が離れるほど、期待値と検出値のズレが大きくなり、操作に違和感や支障を来たす可能性がある。

【0006】

本開示の課題は、高精度なタッチ操作を実現可能な情報入力装置を提供することにある。

【0007】

その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

【課題を解決するための手段】

【0008】

本開示のうち代表的なものの概要を簡単に説明すれば下記の通りである。

【0009】

すなわち、情報入力装置は、入力要求情報を表示するための第１の面と、入力要求情報を入力するための第２の面と、入力者の視点を検出する検出部と、前記第２の面に入力された情報を検出された前記入力者の視点に応じて前記第１の面の情報に変換する補正部と、を備える。

【発明の効果】

【0010】

上記情報入力装置によれば、高精度なタッチ操作を実現することができる。

【図面の簡単な説明】

【0011】

【図1】実施態様に係る情報入力装置の概略構成を示す図である。

【図2】実施例１に係る情報入力装置の構成を示す図である。

【図3】操作者の入力状態の例を示す図である。

【図4】方位角(γ)の算出方法を説明する図である。

【図5】仰角(θ)の算出方法を説明する図である。

【図6】仰角(θ)の算出方法を説明する図である。

【図7】記憶装置に格納される距離マップの一例を示す図である。

【図8】タッチ座標における距離情報の計算例を説明する図である。

【図9】タッチ座標Ｐ（ｘ１、ｙ１、Ｄ）を座標Ｐ’(ｘ２、ｙ２、０)へ補正する方法を示す図である。

【図10】実施例２に係る情報入力装置の概略構成を示す図である。

【図11】実施例２に係る情報入力装置の構成例を示す図である。

【図12】実施例３に係る情報入力装置の表示面の表示例を示す図である。

【図13】利用優先度を意識した空間的なタッチ面を説明する図である。

【図14】図１３を上側から見た場合の空間的なタッチ面を説明する図である。

【図15】実施例３に係る情報入力装置の構成を示す図である。

【発明を実施するための形態】

【0012】

以下、実施形態、および、実施例について、図面を用いて説明する。ただし、以下の説明において、同一構成要素には同一符号を付し繰り返しの説明を省略することがある。なお、図面は説明をより明確にするため、実際の態様に比べ、模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。

【0013】

（実施形態）
図１は、実施態様に係る情報入力装置の概略構成を示す図である。情報入力装置１は、表示装置２と、タッチ検出装置３と、保護層４と、検出装置５と、記憶装置６、補正部７と、を含む。

【0014】

表示装置２は、入力要求情報を表示するための表示面（第１の面）２ａを有する。表示装置２は、たとえば、液晶表示装置や有機ＥＬ表示装置等の表示装置により構成することができる。入力要求情報は、たとえば、ボタン、アイコン、あるいは、リンク先を表示する文字列などとすることができる。

【0015】

タッチ検出装置３は、指やペンによるタッチ操作を検出する手段である。タッチ検出装置３は、タッチパネル、タッチセンサ、タッチデバイス等により構成することができる。

【0016】

保護層４は、タッチ検出装置３を保護するための保護膜である。保護層４は、入力要求情報を入力するためのタッチ面（第２の面）４ａを有する。保護層４は、アクリル樹脂やガラスなどで構成することができる。タッチ検出装置３は、タッチ面４ａに対する操作者（入力者）Ａの指の位置Ａｆを検出する。この例では、タッチ座標Ｐが、タッチ検出装置３によって検出された実際の検出値に対応する。

【0017】

検出装置５は、操作者（入力者）Ａの視点の方向Ａｅや操作者Ａの顔や目の位置を検出する手段である。検出装置５は、カメラなどの撮像装置等により構成することができる。

【0018】

記憶装置６は、タッチ面４ａと表示面２ａとの間の複数点の距離情報ｄを距離マップとして、予め保持する記憶手段である。記憶装置６は、たとえば、ＥＥＰＲＯＭ、ＥＰＲＯＭ、ＲＯＭ、フラッシュメモリ等の不揮発性記憶装置により構成することができる。なお、距離情報ｄは、情報入力装置１の設計時に、設計値として事前に生成して記憶装置６へ格納するのが良い。

【0019】

補正部７は、検出装置５により取得した操作者の視点(顔や目の位置)の情報と、記憶装置６からのタッチ面４ａと表示面２ａの距離情報ｄとに基づいて、タッチ検出装置３により検出されたタッチ座標Ｐを、タッチ座標Ｐ’へ座標補正する。タッチ座標Ｐ’は、情報入力装置１が設けられたシステムに入力される。タッチ座標Ｐ’は、操作者Ａから見たタッチ座標Ｐ’（期待値）である。

【0020】

次に、情報入力装置１の動作について説明する。表示装置２の表示面２ａの座標Ｐ’の位置に、入力要求情報としてボタンが表示されている場合を例として説明する。

【0021】

操作者Ａは、座標Ｐ’の位置に表示されたボタンを押す場合、まず、視線をボタンに向け、その後、指先でタッチ面４ａを押す。この場合、一般的には、操作者Ａの視点の方向Ａｅの延長線上に、ボタンが表示されており、そのボタンの位置に指先を移動させる。したがって、操作者Ａの指先の位置Ａｆも、また、操作者Ａの視点の方向Ａｅの延長線上にあることになる。

【0022】

ここで、図１に示すように、タッチ面４ａと表示面２ａとの間が離れており、操作者Ａの視線の方向Ａｅが表示面２ａの垂直方向から傾いていると、操作者Ａが座標Ｐ’の位置に表示されたボタンを押そうとしても、タッチ検出装置３では、操作者Ａの指先の位置Ａｆを、座標Ｐとして検出することになる。したがって、操作者Ａは、座標Ｐ’の位置に表示されたボタンを選択できないということが起こる。

【0023】

実施形態においては、補正部７が、検出装置５により取得した操作者の視点(顔や目の位置)の情報と、記憶装置６からの距離情報ｄとに基づいて、タッチ検出装置３により検出されたタッチ座標Ｐを、タッチ座標Ｐ’へ座標補正する。これにより、高精度なタッチ操作を実現することができる。また、操作者への違和感やストレスを解消することができる。また、タッチ面が曲面によって構成された場合であっても、操作に違和感や支障を来たす可能性を低減できる。

【実施例1】

【0024】

図２は、実施例１に係る情報入力装置の構成を示す図である。図３は、操作者の入力状態の例を示す図である。

【0025】

情報入力装置１は、表示装置２と、表示情報生成部２１と、タッチ検出装置３と、検出装置（カメラ）５と、記憶装置６、補正部７と、を含む。補正部７は、画像認識部７１と、視点方向算出部７２と、座標補正部７３と、を含む。なお、保護層４は省略されている。また、表示装置２、タッチ検出装置３、検出装置５および記憶装置６は、実施態様と同じであり、その説明は省略する。

【0026】

画像認識部７１は、検出装置５から操作者Ａの顔、目等の撮影画像ＣＩＭＧが入力される。撮影画像ＣＩＭＧは、たとえば、水平座標Ｘと垂直座標Ｙとによって構成されており、画像を構成する複数の画素は水平座標Ｘと垂直座標Ｙとによって識別することができる。画像認識部７１は、撮影画像ＣＩＭＧから操作者Ａの顔、目等を検出するとともに、画像上の顔や目の座標情報を抽出する。この座標情報によって、顔や目の中心の座標情報、顔や目の大きさの情報を得ることができる。空間における操作者Ａの顔の位置を求めるために、単眼カメラであればカメラからの入力画像に写る顔の大きさから距離(奥行)を判断しても良い。また、ＴｏＦ(Time of Flight)カメラのような、物体の画像情報とその物体の距離情報とを同時に得ることが可能な技術を使っても良い。また、カメラ以外の方法（赤外線、音声や超音波など）を利用してもよいし、または、カメラ以外の方法（音声や超音波など）とカメラとを併用しても良い。

【0027】

視点方向算出部７２は、画像認識部７１から画像上の顔や目の座標情報を入力され、顔や目の座標情報から操作者の視点方向を算出する。たとえば、図３に示す状態の場合、視点方向算出部７２は、操作者Ａの視点方向を方位角(γ)と仰角(θ)として算出する。視点方向算出部７２により算出された方位角(γ)と仰角(θ)は、（θ、γ）として座標補正部７３へ入力される。

【0028】

座標補正部７３は、タッチ検出装置３で検出されたタッチ座標Ｐに基づいて、記憶装置６に格納された距離マップを参照し、タッチ面４ａと表示面２ａの距離情報ｄを得る。たとえば、図３に示す状態の場合、座標補正部７３は、タッチ検出装置３で検出されたタッチ座標Ｐ(ｘ１,ｙ１)に基づいて、記憶装置６に格納された距離マップを参照し、タッチ面４ａと表示面２ａの距離情報ｄ(ｘ１,ｙ１)を得る。なお、この明細書では、タッチ座標Ｐ(ｘ１,ｙ１)、タッチ面４ａと表示面２ａの距離情報ｄ(ｘ１,ｙ１)の場合、表示面２ａに対する操作者Ａの指の空間座標を、(ｘ１,ｙ１,ｄ)として表すこととする。座標補正部７３は、操作者Ａの視点方向（θ、γ）から、操作者の指の空間座標(ｘ１,ｙ１,ｄ)を延長した表示面２ａ上の点Ｐ’(ｘ２、ｙ２)を補正後の座標として算出する。

【0029】

表示情報生成部２１は、補正後の座標点Ｐ’(ｘ２、ｙ２)に基づいて、表示装置２の表示情報ＤＩにおいて座標(ｘ２、ｙ２)に表示される入力要求情報（ボタン）ＢＴを選択する。これにより、操作者Ａに違和感およびストレスを感じさせることなく、操作者Ａが意図した入力要求情報（ボタン）ＢＴを選択できる。

【0030】

次に、視点方向算出部７２による方位角(γ)と仰角(θ)の算出方法の一例を説明する。

【0031】

図４は、方位角(γ)の算出方法を説明する図である。図５および図６は、仰角(θ)の算出方法を説明する図である。図５は撮影画像の平面図を示しており、図６は図５を横方向から見た場合の側面図である。ここでは、スマートフォンの様に、表示面２ａと、検出装置５であるカメラが近接設置され、表示面２ａの法線方向とカメラ（５）の視界が平行な場合、表示面２ａの中央にカメラ（５）も存在すると近似した場合、視点方向算出は簡略化が可能である。

【0032】

まず、図４または図５に示す撮影画像が、操作者Ａのタッチ動作にしたがって、カメラ（５）から画像認識部７１に入力されたものとする。画像認識部７１は、撮影画像から、操作者Ａの顔もしくは目の座標情報（中心や大きさ)を抽出する。視点方向算出部７２は、撮影画像の中心（cx, cy）から、「顔」もしくは「両目」の中心座標（tx, ty）の方向（方位角(γ)）と、距離を角度換算した値（仰角(θ)）と、を求める。これは、例えば、以下の式により、表示面２ａに対する顔および目の方向を示す情報に変換（近似）できる。

【0033】

図４を参照し、方位角(γ)は、以下の式１および式２によって求めることができる。
γ≒ atan( (ty - cy) / (tx - cx) ) × 180 ÷ PI （式１）
＝ atan( (ty - cy) / (tx - cx) ) × 180 ÷ PI ＋180 （式２）
ここで、式１は、(tx - cx)が正の場合における式である。式２は、(tx - cx)が負の場合における式である。PIは、円周率である。

【0034】

図５および図６を参照し、仰角(θ)は、以下の式３によって求めることができる。
θ ≒ (K ÷ 2) × L ÷ S （式３）
ここで、図５および図６に示すように、Ｋはカメラの対角画角である。Ｌは、撮影画像の中心（cx, cy）と「顔」もしくは「両目」の中心座標（tx, ty）との間の距離を示す。Ｓは、撮影画像の中心（cx, cy）と撮影画像の角との間の距離である。

【0035】

次に、座標補正部７３によるタッチ面４ａと表示面２ａの距離情報Ｄの算出方法の一例を説明する。ここでは、記憶装置６に、表示面２ａとタッチ面４ａの距離情報（距離マップ）がメッシュ状に保持している場合の算出例を説明する。

【0036】

図７は、記憶装置６に格納される距離マップの一例を示す図である。この例では、記憶装置６に、表示面２ａとタッチ面４ａの距離情報を、Ｘ方向に４点、Ｙ方向に４点、計１６点で、メッシュ状に保持している場合を示している。メッシュ状の各点ｄ［ｘ、ｙ］（ｘ＝０、１、２、３、ｙ＝０、１、２、３）において、表示面２ａとタッチ面４ａと間の距離情報ｄを格納している。なお、記憶装置６に格納される距離情報（距離マップ）は、図７に限定されない。距離情報は、計算式やＣＡＤデータの様な値として保持してもよい。

【0037】

図８は、タッチ座標における距離情報の計算例を説明する図である。この例では、記憶装置６が図７に示す距離情報（距離マップ）を格納している場合における距離情報の計算例を示している。図８において、操作者Ａの指がタッチ面４ａのタッチ座標Ｐ（ｘｓ、ｙｓ）に接触した場合を例として説明する。この例では、タッチ面４ａの４点（ｄ（ｘ、ｙ）、ｄ（ｘ＋１，ｙ）、ｄ（ｘ、ｙ＋１）、ｄ（ｘ＋１、ｙ＋１））で構成される矩形形状の面の中に、操作者Ａの指がタッチし、その座標をタッチ座標Ｐ（ｘｓ、ｙｓ）としている。

【0038】

この場合、タッチ座標Ｐ（ｘｓ、ｙｓ）に対応する表示面２ａとタッチ面４ａと間の距離情報Ｄは、以下の式４によって計算できる。
Ｄ = {dt1 × (1-b)} + {dt2 × b}
＝ {(d[x,y] × (1-a) ＋ d[x+1, y] × a) × (1-b)}
＋ {(d[x,y+1] × (1-a) ＋ d[x+1, y+1] × a) × b} (式４)
次に、式１～式３で求めた視点方向（θ, γ）と、式４で求めた距離情報Ｄとを用いて、タッチ座標Ｐ（ｘ１、ｙ１、Ｄ）を操作者Ａから見たタッチポイントの座標Ｐ’(ｘ２、ｙ２、０)へ補正する方法を説明する。

【0039】

図９は、タッチ座標Ｐ（ｘ１、ｙ１、Ｄ）を座標Ｐ’(ｘ２、ｙ２、０)へ補正する方法を示す図である。ここで、タッチ座標Ｐ（ｘ１、ｙ１、Ｄ）は、操作者Ａの指のタッチ面２ａの上での空間座標を示している。また、座標Ｐ’(ｘ２、ｙ２、０)は、操作者Ａから見た場合の表示面２ａの空間座標を示している。座標Ｐ（ｘ１、ｙ１、０）は視差補正前の座標であり、座標Ｐ’(ｘ２、ｙ２、０)は視差補正後の座標である。

【0040】

座標Ｐ（ｘ１、ｙ１、Ｄ）は、以下の式５－式７により、座標Ｐ’(ｘ２、ｙ２、０)へ補正することができる。
ｍ ＝ Ｄ × sin(θ) ÷ cos(θ) （式５）
ｘ２ ＝ ｍ × cos(γ) ＋ ｘ１ （式６）
ｙ２ ＝ ｍ × sin(γ) ＋ ｙ１ （式７）
ここで、ｍは、視差を考慮した場合の表示面２ａの上における移動距離である。

【0041】

実施例1によれば、補正部７が、検出装置５により取得した操作者の視点(顔や目の位置)の情報（方位角(γ)と仰角(θ)）と、記憶装置６からの距離情報ｄとに基づいて、タッチ検出装置３により検出されたタッチ面４ａ上のタッチ座標Ｐを、表示面２ａ上のタッチ座標Ｐ’へ座標補正する。これにより、高精度なタッチ操作を実現することができる。また、操作者への違和感やストレスを解消することができる。また、タッチ面が曲面によって構成された場合であっても、操作に違和感や支障を来たす可能性を低減できる。

【実施例2】

【0042】

図１０は、実施例２に係る情報入力装置の概略構成を示す図である。図１０に示す情報入力装置１ａは、実施態様または実施例１の応用例である。図１０が、図１と異なる部分は、図１０において、タッチ検出装置３０、タッチ面４０ａを有する保護膜４０、検出装置５０が設けられている点である。つまり、図１０に示す情報入力装置１ａは、１つの表示装置２に対して設けられた複数のタッチ検出装置３、３０と、複数の操作者を検出する複数の検出装置（カメラＡ、Ｂ）５、５０と、を含み、たとえば、操作者Ａからのタッチ検出装置３に対するタッチ入力と、操作者Ｂからのタッチ検出装置３０に対するタッチ入力とを可能とする。

【0043】

記憶装置６は、タッチ面４ａと表示面２ａとの間の複数点の距離情報ｄを含む距離マップと、タッチ面４０ａと表示面２ａとの間の複数点の距離情報ｄを含む距離マップと、を格納する。

【0044】

検出装置（カメラＡ）５は、操作者Ａの視点の方向や操作者Ａの顔や目の位置を検出する手段である。検出装置（カメラＢ）５０は、操作者Ｂの視点の方向や操作者Ｂの顔や目の位置を検出する手段である。

【0045】

補正部７は、検出装置５、５０により取得した操作者Ａ、Ｂの視点（顔や目の位置）の情報と、記憶装置６からのタッチ面４ａ、４０ａと表示面２ａの距離情報ｄとに基づいて、タッチ検出装置３、３０により検出されたタッチ座標Ｐａ（Ｘ１ａ，Ｙ１ａ，Ｚ１ａ）、Ｐｂ（Ｘ１ｂ，Ｙ１ｂ，Ｚ１ｂ）を、タッチ座標Ｐａ’（Ｘ２ａ，Ｙ２ａ，０）、Ｐｂ’（Ｘ２ｂ，Ｙ２ｂ，０）へ座標補正する。つまり、情報入力装置１ａでは、実施態様または実施例１と同様に、タッチ面４ａにおける操作者Ａの指のタッチ座標Ｐａ（Ｘ１ａ，Ｙ１ａ，Ｚ１ａ）を、表示装置２の表示面２ａ上のタッチ座標Ｐａ’（Ｘ２ａ，Ｙ２ａ，０）へ補正する。また、タッチ面４０ａにおける操作者Ｂの指のタッチ座標Ｐｂ（Ｘ１ｂ，Ｙ１ｂ，Ｚ１ｂ）を、表示装置２の表示面２ａ上のタッチ座標Ｐｂ’（Ｘ２ｂ，Ｙ２ｂ，０）へ補正する。他の構成は、実施態様または実施例１と同じであるので、説明は省略する。

【0046】

図１１は、実施例２に係る情報入力装置の構成例を示す図である。図１１に示す情報入力装置１ａが図１と異なる点は、図１１において、検出装置（カメラＢ）５０の撮影画像が画像認識部７１へ入力される点と、タッチ検出装置３０の検出結果が座標補正部７３へ入力される点である。他の構成は、図２と同じであるので、説明は省略する。

【0047】

画像認識部７１は、実施例１で説明された操作者Ａの顔や目の座標情報を抽出する機能の他、と同様に、検出装置（カメラＢ）５０の撮影画像に対する認識機能を行い、画像上の操作者Ｂの顔や目の座標情報を抽出する機能も有する。

【0048】

視線方向算出部７２は、操作者Ａの視点方向を方位角(γ)と仰角(θ)として算出する機能の他、操作者Ｂの視点方向を方位角(γ)と仰角(θ)として算出する機能も有する。

【0049】

座標補正部７３は、操作者Ａの指のタッチ座標Ｐａ（Ｘ１ａ，Ｙ１ａ，Ｚ１ａ）を表示装置２の表示面２ａ上のタッチ座標Ｐａ’（Ｘ２ａ，Ｙ２ａ，０）へ補正する機能の他、タッチ面４０ａにおける操作者Ｂの指のタッチ座標Ｐｂ（Ｘ１ｂ，Ｙ１ｂ，Ｚ１ｂ）を表示装置２の表示面２ａ上のタッチ座標Ｐｂ’（Ｘ２ｂ，Ｙ２ｂ，０）へ補正する機能も有する。したがって、複数の検出装置（カメラＡ、Ｂ）５、５０は、操作者Ａの入力なのか、操作者Ｂの入力なのか、を識別する識別部としての役割を有する。

【0050】

なお、図１１の補正部７は、タッチ検出装置３と検出装置５、および、タッチ検出装置３０と検出装置５０に共用される構成であるが、補正部７の構成は図１１に限定されない。たとえば、２つの補正部７を設け、一方の補正部をタッチ検出装置３と検出装置５に割り当て、他方の補正部をタッチ検出装置３０と検出装置５０に割り当てることも可能である。

【0051】

実施例２によれば、複雑なタッチ面への対応と視差を考慮した入力により、１つの表示デバイス（表示面２ａ）へ複数の操作者Ａ、Ｂが互いの操作を邪魔せずにアクセス可能な情報入力装置を提供できる。実施例２の情報入力装置を有するシステムでは、操作者Ａ，Ｂのどちらの操作であるのかを識別および把握したマルチタッチ制御を実現できる。

【0052】

複数者（複数指）によるタッチ操作の識別はマルチタッチ技術でも可能であるが、どのタッチが誰のタッチなのかの判断はできないという課題があった。本実施例の情報入力装置１ａを利用したシステムであれば、タッチ面が操作者毎に分離および識別が可能である。そのため、同じ表示装置に対するタッチ操作であっても、それが誰のタッチ操作によるものかを、システムが把握しながら所望のサービスを提供することが可能である。

【0053】

しかも、補正部７が、検出装置５、５０により取得した操作者Ａ，Ｂの視点(顔や目の位置)の情報と、記憶装置６からの距離情報ｄとに基づいて、タッチ検出装置３、３０により検出されたタッチ座標Ｐａ、Ｐｂを、タッチ座標Ｐａ’、Ｐｂ’へ座標補正する。これにより、高精度なタッチ操作を実現することができる。また、操作者Ａ，Ｂへの違和感やストレスを解消することができる。また、タッチ面が曲面によって構成された場合であっても、操作に違和感や支障を来たす可能性を低減できる。

【実施例3】

【0054】

図１２は、実施例３に係る情報入力装置の表示面の表示例を示す図である。実施態様、実施例１および実施例２では、操作者Ａの指Ａｆがタッチ面４ａに触れることを前提とした構成であったが、それに限定されない。たとえば、カーナビゲーション装置に搭載されているモーションコントロールの様なタッチ面が表示面の法線方向の空間の一部に構成されるようなものであってもよい。つまり、本実施例は、物理的なタッチ面がなく、カメラからの撮影画像の画像認識などにより、空間の指の位置からタッチ操作を実現するような非接触型の情報入力装置への応用例である。

【0055】

この場合、記憶装置６に保持している距離マップを活用し、表示装置２の表示面２ａに表示する入力要求情報の内容に応じて、タッチ（押下）判定の空間的な奥行きを変えるものである。これにより、操作者に対して操作性の向上を提供できる。また、誤操作による誤入力を防止することができる。実施例１～２のように固定的な距離マップを記憶装置６に持つのではなく、表示内容から動的に距離情報（距離マップ）を生成することで、操作者Ａに操作させたい入力要求情報の空間的なタッチ面を操作者Ａに対して近距離に設定する。これにより、操作者Ａに対する操作性を向上させることができる。一方、操作者Ａにあまり操作させたくない入力要求情報や操作する必要がない入力要求情報の空間的なタッチ面を操作者Ａに対して遠距離に設定して、誤操作を抑制する。

【0056】

図１２は、表示装置２の表示面２ａにおける表示画像を示している。表示画面は、この例では、「よろしいですか？」と言う応答を求める文字列と、入力要求情報とされる第１ボタンＢＴ１，第２ボタンＢＴ２および第３ボタンＢＴ３と、を含む。たとえば、第１ボタンＢＴ１は「Ｙｅｓ」の表示があり、第２ボタンＢＴ２は「Ｎｏ」の表示があり、第３ボタンＢＴ３は「最初からやり直す」の表示がある。ボタンは、一例であり、文字列、図形、あるいは、アイコンでもよい。

【0057】

図１２の様な表示画像の場合、一般的に、第１ボタンＢＴ１および第２ボタンＢＴ２の利用の優先度が高い傾向にあり、第３ボタンＢＴ３の利用の優先度は、第１ボタンＢＴ１および第２ボタンＢＴ２のそれより低いと考えられる。なお、「利用の優先度が高い」は「操作者Ａに操作させたい」へ、また、「利用の優先度が低い」は「操作者Ａにあまり操作させたくない」と、言い換えてもよい。

【0058】

図１３は、利用優先度を意識した空間的なタッチ面を説明する図である。図１４は、図１３を上側から見た場合の空間的なタッチ面を説明する図である。図１３および図１４に示されるように、利用優先度の高い、第１ボタンＢＴ１の空間的なタッチ面（第１タッチ面）ＴＢＴ１と第２ボタンＢＴ２の空間的なタッチ面ＴＢＴ２とは、表示装置２の表示面２ａから、距離ＤＴ１の空間に存在している。一方、利用優先度の低い、第３ボタンＢＴ３の空間的なタッチ面（第２タッチ面）ＴＢＴ３は、表示装置２の表示面２ａから、距離ＤＴ２の空間に存在している。距離ＤＴ２は、距離ＤＴ１より、短くされている（ＤＴ２＜ＤＴ１）。操作者Ａの指Ａｆの位置から見た場合、第１ボタンＢＴ１の空間的なタッチ面ＴＢＴ１と第２ボタンＢＴ２の空間的なタッチ面ＴＢＴ２とは、第３ボタンＢＴ３の空間的なタッチ面ＴＢＴ３より、操作者Ａの指Ａｆの位置に近く配置される。したがって、操作者Ａには、第１ボタンＢＴ１および第２ボタンＢＴ２が選択しやすい状態になっており、第３ボタンＢＴ３は、第１ボタンＢＴ１および第２ボタンＢＴ２と比較して、選択しにくい状態になっている。

【0059】

図１５は、実施例３に係る情報入力装置の構成を示す図である。情報入力装置１ｂは、表示装置２と、表示情報生成部２１と、タッチ検出装置３と、検出装置（カメラ）５と、記憶装置６、画像認識部７４と、を含む。検出装置（カメラ）５は、カメラに限定されず、カメラ以外の方法（赤外線、音声や超音波など）を利用してもよい。

【0060】

検出装置（カメラ）５は、操作者Ａの指Ａｆの位置を撮影し、撮影画像を画像認識部７１へ入力する。画像認識部７４は、入力された撮影画像から指Ａｆの位置の座標を認識し、タッチ検出装置３へ入力する。

【0061】

表示情報生成部２１は、表示装置２に表示する表示画像を生成する。ここでは、表示画像には、図１２で説明されたような、「よろしいですか？」と言う応答を求める文字列や、入力要求情報（第１入力要求情報、第２入力要求情報）とされる第１ボタンＢＴ１、第２ボタンＢＴ２および第３ボタンＢＴ３が含まれるものとする。表示情報生成部２１は、表示画像に、入力要求情報とされる第１ボタンＢＴ１、第２ボタンＢＴ２および第３ボタンＢＴ３が含まれる場合、記憶装置６に対して、第１ボタンＢＴ１、第２ボタンＢＴ２および第３ボタンＢＴ３の空間的なタッチ面ＴＢＴ１、ＴＢＴ２、ＴＢＴ３の距離情報（ＤＴ１、ＤＴ２、ＤＴ３）を格納する。なお、距離情報は、表示装置２に表示する表示画像に依存して変更される。

【0062】

タッチ検出装置３は、画像認識部７４から入力された撮影画像から指Ａｆの位置の座標と、表示画像の現在表示されている第１ボタンＢＴ１、第２ボタンＢＴ２および第３ボタンＢＴ３の空間的なタッチ面ＴＢＴ１、ＴＢＴ２、ＴＢＴ３の距離情報（ＤＴ１、ＤＴ２、ＤＴ３）とに基づいて、操作者Ａの選択した第１ボタンＢＴ１、第２ボタンＢＴ２または第３ボタンＢＴ３を判定する。この判定結果は、表示情報生成部２１へ入力される。これにより、表示情報生成部２１は、操作者Ａの選択した第１ボタンＢＴ１、第２ボタンＢＴ２または第３ボタンＢＴ３の選択情報を、情報入力装置１ｂを備えるシステムへ入力する。

【0063】

このような構成とすることで、操作者に対して操作性の向上を提供できる。また、誤操作による誤入力を防止することができる。

【0064】

なお、実施例３はカーナビゲーション装置に限定されない。自動車のフロントガラスに文字や図形等を表示するヘッドアップディスプレイ技術に対しても応用可能である。たとえば、フロントガラスに、自動運転等において複数の車両から追従する車両を選択させるような場合、あるいは、トリップメータの変更やリセットを行うような場合などに利用可能である。

【0065】

以上、本発明者によってなされた発明を実施例に基づき具体的に説明したが、本発明は、上記実施形態および実施例に限定されるものではなく、種々変更可能であることはいうまでもない。

【符号の説明】

【0066】

１，１ａ、１ｂ：情報入力装置
２：表示装置
２ａ：表示面（第１の面）
３：タッチ検出装置
４、４０：保護層
４ａ、４０ａ：タッチ面（第２の面）
５：検出装置
６：記憶装置
７：補正部
２１：表示情報生成部
７１、７４：画像認識部
７２：視点方向算出部
７３：座標補正部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】