特開 2024-51341 入力表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024051341

(43)【公開日】2024-04-11

(54)【発明の名称】入力表示装置

(51)【国際特許分類】

   G06F 3/04817 20220101AFI20240404BHJP

   G06F 3/041 20060101ALI20240404BHJP

【ＦＩ】

G06F3/04817

G06F3/041 460

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022157462

(22)【出願日】2022-09-30

(71)【出願人】

【識別番号】000010098

【氏名又は名称】アルプスアルパイン株式会社

(74)【代理人】

【識別番号】100098497

【弁理士】

【氏名又は名称】片寄 恭三

(74)【代理人】

【識別番号】100099748

【弁理士】

【氏名又は名称】佐藤 克志

(74)【代理人】

【識別番号】100103171

【弁理士】

【氏名又は名称】雨貝 正彦

(74)【代理人】

【識別番号】100105784

【弁理士】

【氏名又は名称】橘 和之

(72)【発明者】

【氏名】天野 崇

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA26

5E555AA64

5E555BA02

5E555BA23

5E555BA25

5E555BB02

5E555BB23

5E555BB25

5E555BC04

5E555CA12

5E555CA42

5E555CB14

5E555CB34

5E555CB65

5E555CC01

5E555DB18

5E555DC30

5E555DC43

5E555DC84

5E555FA00

(57)【要約】

【課題】 触覚と視覚の乖離を低減したタッチ入力を行うことができる入力表示装置を提供する
【解決手段】 本発明の入力表示装置１００は、画像を表示可能なディスプレイ１１０と、表面に少なくとも１つの透明な立体ＵＩ部１３０を含むタッチパネル１２０と、タッチパネル１２０の静電容量の変化に基づきタッチパネルへのタッチ位置を検出するタッチ検出部２００と、ユーザーの視線位置または視線方向を検知する視線検知部２１０と、ユーザーの視線位置に応じて立体ＵＩ部１３０の対応する位置に３次元形状のアイコンを表示する３Ｄアイコン表示部２６０とを有する。
【選択図】 図５

【特許請求の範囲】

【請求項1】

画像を表示するためのディスプレイと、
前記ディスプレイ上に取り付けられ、表面に少なくとも１つの透明な立体形状の操作部を含む静電容量型のタッチパネルと、
前記タッチパネルへの近接を含むタッチ位置を検出する検出手段と、
前記ディスプレイの前記操作部に対応する位置に３次元形状のアイコンを表示させる表示制御手段と、
を含む入力表示装置。

【請求項2】

入力表示装置はさらに、ユーザーの視線位置または視線方向を検知する視線検知手段を含み、
前記表示制御手段は、前記視線検知手段により検知されたユーザーの視線位置に応じて前記３次元形状のアイコンの角度を変化させる、請求項１に記載の入力表示装置。

【請求項3】

前記表示制御手段は、前記操作部を真横から見たときの前記操作部の正面から底面部中央を通る線と視線位置から前記底面部中央を通る線との成す第１の角度、および前記操作部を真上から見たときの前記操作部の正面から前記底面部中央を通る線と視線位置から前記底面部中央を通る線との成す第２の角度を算出する角度算出手段を含み、
前記表示制御手段は、前記角度算出手段で算出された第１の角度および第２の角度に基づき前記３次元形状のアイコンの角度を変化させる、請求項２に記載の入力表示装置。

【請求項4】

前記表示制御手段は、第１の角度および第２の角度と前記３次元形状のアイコンの角度との関係を規定したルックアップテーブルを含み、
前記表示制御手段は、ルックアップテーブルを参照し、第１の角度および第２の角度に対応する角度に基づき前記３次元形状のアイコンの角度を変化させる、請求項３に記載の入力表示装置。

【請求項5】

前記表示制御手段は、前記検出手段により検出されたタッチ位置に応じて前記３次元形状のアイコンの位置を変化させる、請求項１に記載の入力表示装置。

【請求項6】

前記表示制御手段は、前記操作部の透明部分の高さ、および前記検出手段により検出されたタッチ位置に基づき３次元形状のアイコンの移動量を算出する位置算出手段とを含み、
前記表示制御手段は、前記位置算出手段で算出された移動量に基づき３次元形状のアイコンの位置を変化させる、請求項５に記載の入力表示装置。

【請求項7】

前記表示制御手段は、前記視線検知手段により検知された視線位置から見た３次元形状のアイコンが前記操作部から外部にはみ出す場合には、３次元形状のアイコンが前記操作部からはみ出さないように３次元形状のアイコンのサイズを変化させる、請求項２に記載の入力表示装置。

【請求項8】

前記表示制御手段は、複数種の３次元形状のアイコンを表示するための画像データを記憶する記憶手段を含み、
前記表示制御手段は、前記記憶手段から読み出した画像データを前記ディスプレイに表示させる、請求項１に記載の入力表示装置。

【請求項9】

前記ディスプレイは車両に搭載され、前記視線検知手段は、運転者および／または同乗者の視線位置を検知する、請求項２に記載の入力表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人と機械とのインターフェース機能を備えた入力表示装置に関し、特に、透明な立体形状のタッチ操作部を含む入力表示装置に関する。

【背景技術】

【0002】

ディスプレイに重畳して配置されたタッチパネル上に凸部を設け、当該凸部と重なる位置に操作アイコン等の画像を表示する入力表示装置が開示されている（例えば、特許文献１）。ユーザーは、凸部をタッチ操作することで入力を行う。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１９０８３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

静電容量型のタッチ操作を行うディスプレイ機器において、カバーガラスに凹凸形状を持たせることによりタッチ位置を触覚的に認知させ、注視せずともタッチ位置を理解することができるユーザーインタフェース（以降、立体ＵＩと呼ぶ）の提案がなされている。

【0005】

図１（Ａ）は、従来のフラットなタッチパネルの操作例であり、ユーザーＵは、ディスプレイ１０に表示された操作アイコン１２を視認し、操作アイコン１２（図の例は音符）の位置をタッチ操作することで入力を行う。

【0006】

図１（Ｂ）は、立体ＵＩを有するタッチパネルの操作例、図１（Ｃ）は、立体ＵＩの概略断面図である。タッチパネル２４上には、凹凸形状の透明なカバーレンズ２６が取り付けられ、ディスプレイ２０は、カバーレンズ２６と重なる位置に操作アイコン２２を表示する。ユーザーＵは、カバーガラス２６上に指をタッチすることで入力を行う。タッチ検出には、センサから距離が離れていても指の静電容量（距離）を検出することができる高感度静電センサが用いられ、厚みのあるカバーレンズ２６の上からでもタッチの有無を判定することが可能である。これにより、運転中の車載ディスプレイへの注視が難しい状況下において、タッチミス（操作ミス）を低減することが可能である。

【0007】

上記したように、立体ＵＩでは、クリアパーツとして厚さや高さのあるボタンやノブを用い、その下に操作アイコンを表示する。しかし、クリアパーツには厚さがあるために、タッチ面（凹凸ボタンの天面）とユーザーが触れたい操作アイコンの場所との間に物理的なギャップによって、図２に示すような感覚的なズレが生じてしまう。すなわち、円筒状の透明なボタン３０の下に操作アイコン３２が表示されているが、操作アイコン３２はタッチ位置よりも奥にあるため、指Ｕは、操作アイコン３２まで届かない。

【0008】

それ故、タッチパネルでありながら、メカニカルスイッチのようなリアルなボタン感を目指す立体ＵＩにおいて、触覚と視覚の乖離を低減させる必要がある。

【0009】

本発明は、このような従来の課題を解決するものであり、触覚と視覚の乖離を低減したタッチ入力を行うことができる入力表示装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明に係る入力表示装置は、画像を表示するためのディスプレイと、前記ディスプレイ上に取り付けられ、表面に少なくとも１つの透明な立体形状の操作部を含む静電容量型のタッチパネルと、前記タッチパネルへの近接を含むタッチ位置を検出する検出手段と、前記ディスプレイの前記操作部に対応する位置に３次元形状のアイコンを表示させる表示制御手段とを含む。

【0011】

ある態様では、入力表示装置はさらに、ユーザーの視線位置または視線方向を検知する視線検知手段を含み、前記表示制御手段は、前記視線検知手段により検知されたユーザーの視線位置に応じて前記３次元形状のアイコンの角度を変化させる。ある態様では、前記表示制御手段は、前記操作部を真横から見たときの前記操作部の正面から底面部中央を通る線と視線位置から前記底面部中央を通る線との成す第１の角度、および前記操作部を真上から見たときの前記操作部の正面から前記底面部中央を通る線と視線位置から前記底面部中央を通る線との成す第２の角度を算出する角度算出手段を含み、前記表示制御手段は、前記角度算出手段で算出された第１の角度および第２の角度に基づき前記３次元形状のアイコンの角度を変化させる。ある態様では、前記表示制御手段は、第１の角度および第２の角度と前記３次元形状のアイコンの角度との関係を規定したルックアップテーブルを含み、前記表示制御手段は、ルックアップテーブルを参照し、第１の角度および第２の角度に対応する角度に基づき前記３次元形状のアイコンの角度を変化させる。ある態様では、前記表示制御手段は、前記検出手段により検出されたタッチ位置に応じて前記３次元形状のアイコンの位置を変化させる。ある態様では、前記表示制御手段は、前記操作部の透明部分の高さ、および前記検出手段により検出されたタッチ位置に基づき３次元形状のアイコンの移動量を算出する位置算出手段とを含み、前記表示制御手段は、前記位置算出手段で算出された移動量に基づき３次元形状のアイコンの位置を変化させる。ある態様では、前記表示制御手段は、前記視線検知手段により検知された視線位置から見た３次元形状のアイコンが前記操作部から外部にはみ出す場合には、３次元形状のアイコンが前記操作部からはみ出さないように３次元形状のアイコンのサイズを変化させる。ある態様では、前記表示制御手段は、複数種の３次元形状のアイコンを表示するための画像データを記憶する記憶手段を含み、前記表示制御手段は、前記記憶手段から読み出した画像データを前記ディスプレイに表示させる。ある態様では、前記ディスプレイは車両に搭載され、前記視線検知手段は、運転者および／または同乗者の視線位置を検知する。

【発明の効果】

【0012】

本発明によれば、立体形状の操作部に対応する位置に３次元形状のアイコンを表示するようにしたので、ユーザーが操作部にタッチするときの触覚と視覚の乖離を低減させることができる。

【図面の簡単な説明】

【0013】

【図1】図１（Ａ）は、フラットなタッチパネルの操作例を示し、図１（Ｂ）は、立体ＵＩのタッチパネルの操作例を示し、図１（Ｃ）は、立体ＵＩの概略断面図である。

【図2】従来の立体ＵＩ部の課題を説明する図である。

【図3】本発明の実施例に係る入力表示装置の構成を示すブロック図である。

【図4】本実施例の入力表示装置を車両に搭載したときのレイアウト例である。

【図5】本発明の実施例に係る入力表示装置の概要を説明する図である。

【図6】本発明の実施例に係る視線検知部の詳細を説明する図である。

【図7】本発明の実施例に係る３Ｄアイコン記憶部に格納される３Ｄアイコンの例を示す図である。

【図8】本発明の実施例に係る入力表示装置の動作を説明するためのフローである。

【図9】本発明の実施例に係る３Ｄアイコン角度算出部の詳細を説明する図である。

【図10】本発明の実施例に係る３Ｄアイコン位置算出部の詳細を説明する図である。

【図11】本発明の実施例に係る３Ｄアイコン補正部の詳細を説明する図である。

【発明を実施するための形態】

【0014】

次に、本発明の実施の形態について説明する。本発明の入力表示装置は、人と機械との間のインターフェースを提供する。本発明の入力表示装置は、特に限定されないが、例えば、タッチパネル付きディスプレイを搭載する電子装置などに適用される。タッチパネル付きディスプレイを搭載する電子装置は、例えば、ナビゲーション機能、オーディオ・ビジュアル機能、テレビ機能などを備えた車載装置である。

【実施例0015】

次に、本発明の実施例について図面を参照して詳細に説明する。図３は、本発明の実施例に係る入力表示装置の構成を示すブロック図である。本実施例の入力表示装置１００は、画像や映像を表示するためのディスプレイ１１０と、ディスプレイ１１０上に搭載された静電容量型のタッチパネル１２０と、タッチパネル１２０の表面に取り付けられた１つまたは複数の立体形状を有する透明な立体ＵＩ部（または操作部）１３０と、ユーザーのアイポイント（視線位置または視線方向）を検知する視線検知カメラ１４０と、ディスプレイ１１０の画像表示やタッチパネル１１０のタッチ検出などを制御するコントローラ１５０を含んで構成される。

【0016】

図４は、本実施例の入力表示装置１００を車両に搭載したときのレイアウト例である。タッチパネル１２０を備えたディスプレイ１１０は、車両の中央のコンソールに取付けられ、視線検知カメラ１４０は、ディスプレイ１１０の上方に近接して取付けられる。運転者および助手席の乗員のそれぞれの視線位置を検知する場合には、視線検知カメラ１４０を２つ取付けるようにしてもよい。

【0017】

ディスプレイ１１０は、特に限定されないが、例えば、液晶パネルまたは有機ＥＬパネルを含み、コントローラ１５０から提供される画像データを表示する。タッチパネル１２０は、例えば、複数のＸ側およびＹ側の電極ラインが交差する位置に形成された複数の検出部を含み、当該検出部は、ユーザーの指や手などがタッチパネル１１０に接近または接触したときに静電容量を変化させる。タッチパネル１２０は、ディスプレイ１１０上に搭載され、ユーザーがディスプレイ１１０に表示されたアイコン等への入力を行うための入力インターフェースを提供する。

【0018】

タッチパネル１２０は、透明なパネル上にさらに、１つまたは複数の立体ＵＩ部（操作部）１３０を含む。立体ＵＩ部１３０は、凹凸形状を有する透明な部材から構成され、立体ＵＩ部１３０は、その形状、大きさ、高さなどは特に限定されないが、ユーザーの手や指が立体ＵＩ部１３０に接近または接触したとき、その位置の検出部の静電容量が変化するように立体ＵＩ部１３０が構成される。

【0019】

図３には、４つの立体ＵＩ部１３０がタッチパネル１２０の下部に取付けられた例が示されている。ディスプレイ１１０の立体ＵＩ部１３０と対応する位置には、ユーザーの入力操作を表すアイコンが表示され、ユーザーは、アイコンを視認し、立体ＵＩ部１３０にタッチすることで入力を行う。立体ＵＩ部１３０は、例えば、矩形状や円柱状の突出したボタンまたはノブの形状を有し、立体ＵＩ部１３０は、例えば、ガラスやプラスチックなどのクリアパーツから構成され、例えば、両面接着剤などを用いてタッチパネル１２０の決められた位置の表面に貼り付けられる。コントローラ１５０は、立体ＵＩ部１３０の取り付け位置や立体ＵＩ部１３０の底面部の座標や高さを予め登録する。例えば、立体ＵＩ部１３０が円筒状であれば、その底面の中心の座標を取り付け位置として登録したり、あるいは、直方体状であれば、その底面の矩形状の対角線が交差する位置の座標を取り付け位置として登録する。但し、これ以外の座標によって立体ＵＩ部１３０の取り付け位置を登録するようにしてもよい。

【0020】

視線検知カメラ１４０は、運転者の顔を撮像し、撮像した画像データをコントローラ１５０に提供する。コントローラ１５０は、視線検知カメラ１４０からの画像データを処理することで運転者の視線位置または視線方向を検知する。もし、助手席の同乗者の視線位置を検知する場合には、視線検知カメラ１４０は、同乗者の顔を撮像した画像データをコントローラ１５０に提供する。また、車両に運転者の状態を監視するためのドライバーモニタリングシステム（ＤＭＳ）が搭載されている場合には、視線検知カメラ１４０の代わりに、ＤＭＳから提供される運転者の視線位置に関する情報を使用するようにしてもよい。

【0021】

次に、入力表示装置１００の概要について図５を参照して説明する。本実施例の入力表示装置１００では、（１）立体ＵＩ部１３０の下に表示するアイコンの３Ｄ化（３次元化）と、（２）ユーザーの視線位置に応じた３Ｄアイコンの角度変更と、（３）立体ＵＩ部１３０への接近を含む指のタッチ位置に応じた３Ｄアイコンの位置変更とを行い、これにより、ユーザーのタッチ位置と３Ｄアイコンの表示位置との物理的なギャップによる距離感を低減することを可能にする。

【0022】

図５（Ａ）に示すように、クリアパーツである立体ＵＩ部１３０の座標位置に表示するアイコンを奥行感のある立体的な３Ｄアイコン１３２にすることで、立体ＵＩ部１３０の中空内に３Ｄアイコン１３２が存在するような奥行表現を行い、立体ＵＩ部１３０の天面部のタッチ位置と底面部に表示される３Ｄアイコン１３２との距離認識を低減させる。

【0023】

視線検知カメラ１４０などの視線検知によって立体ＵＩ部１３０に対するユーザーの視点の位置角度を算出し、その位置角度に応じて３Ｄアイコン１３２を回転ないし傾斜させる。図５（Ｂ）は、立体ＵＩ部１３０を左から見たときのアイポイントに合わせて３Ｄアイコン１３２を回転させた例と、立体ＵＩ部１３０を右から見たときのアイポイントに合わせて３Ｄアイコン１３２を回転させた例を示している。

【0024】

指Ｕを立体ＵＩ部１３０に近づけた際に、指の検出位置情報から、指の真下に３Ｄアイコンの中心（もしくは３Ｄアイコンのタッチさせたい部分）を移動させる。図５（Ｃ）は、指Ｕの真下に３Ｄアイコン１３２の押下部が一致するように３Ｄアイコンを移動させる（図の例では、円柱状のボタン部分が押下部）。以上の処理を行うことで、実際のタッチ位置とアイコンの表示位置の認識ズレを解消させる。

【0025】

次に、コントローラ１５０の詳細について説明する。コントローラ１５０は、ディスプレイ１１０およびタッチパネル１２０に電気的に接続され、ディスプレイ１１０の画像制御およびタッチパネル１２０のタッチ制御を行う。コントローラ１５０は、図３に示すように、タッチ検出部２００、視線検知部２１０、３Ｄアイコン記憶部２２０、３Ｄアイコン角度算出部２３０、３Ｄアイコン位置算出部２４０、３Ｄアイコン補正部２５０、および３Ｄアイコン表示部２６０を含んで構成される。コントローラ１５０は、ハードウエアおよび／またはソフトウエアにより実行され、例えば、演算処理部、ＲＯＭ／ＲＡＭを含むマイクロコントローラなどを用いて構成される。

【0026】

タッチ検出部２００は、タッチパネル１２０のＸ側および／またはＹ側の複数の電極ラインを駆動し、駆動した電極ラインの各検出部の静電容量を測定し、測定した静電容量に基づきタッチパネル１２０のタッチ位置を検出する。ここで言うタッチ位置とは、ユーザーの指がタッチパネル１２０に接触したときの位置のみならず、指がタッチパネル１２０から一定の距離に接近したときの位置を含む。例えば、ユーザーの指がタッチパネル１２０のフラットな表面に接触または接近したとき、タッチ検出部２００は、対応する検出部の静電容量の変化に基づきタッチ位置の座標を検出し、同様に、ユーザーの指が立体ＵＩ部１３０に接触または接近すると、立体ＵＩ部１３０に対応する検出部の静電容量が変化し、この静電容量の変化により立体ＵＩ部１３０へのタッチ位置の座標が検出される。タッチ検出部２００によってタッチ位置が検出されると、コントローラ１５０は、ユーザー入力があったと判定し、当該入力に応じた画像制御などの処理を実行する。

【0027】

視線検知部２１０は、視線検知カメラ１４０から受け取った画像データを処理し、運転者および／または助手席の同乗者の視線位置または視線方向を検知する。視線検知は、例えば、顔を撮像した画像データから眼球の特徴点を抽出することにより行う。視線検知部２１０は、ディスプレイ１１０と運転者の顔との間の相対的な位置関係（例えば、座席の位置情報や人間の標準的な身体的特徴から相対的な位置関係は既知）に基づき、立体ＵＩ部１３０に対する運転者の視線位置または視線方向を算出する。

【0028】

ドライバーモニタリングシステム（ＤＭＳ）において、運転者と同乗者の双方の視線を検知することが可能な場合、ＤＭＳは、ディスプレイ１１０へ視線を向けている方のアイポイントを検出するようにし、両者が同時に視線を向けている際は、安全性を考慮し運転者の視線検知を優先させる。

【0029】

運転者と同乗者の双方の視線を検知する方法を図６に示す。図６（Ａ）、（Ｂ）は、上方から見たときのディスプレイ１１０と、運転者Ｕ１および同乗者Ｕ２との位置関係を示しており、図６（Ａ）は、ディスプレイ１１０の前面にレンチキュラーレンズ１１２を配置し、図６（Ｂ）は、ディスプレイ１１０の前面に視差バリア１１４を配置している。レンチキュラーレンズ１１２や視差バリア１１４を用いることで、アイポイントよって表示する映像を分ける構造を持たせ、運転者と同乗者それぞれに二通りの映像出力を提供することができる。図の例では、運転者Ｕ１は、「右」で示した映像を見ることができ、同乗者Ｕ２は、「左」で示した映像を見ることができる。これにより、運転者、同乗者それぞれに適した３Ｄアイコンの表示が可能になる。

【0030】

３Ｄアイコン記憶部２２０は、予め用意された、奥行き感のある三次元化された３Ｄアイコンの画像データを記憶する。３Ｄアイコンの種類、デザイン等は任意であり、これらの３Ｄアイコンは、立体ＵＩ部１３０の対応する位置に表示される。図７（Ａ）～（Ｄ）は、３Ｄアイコン１３２の幾つかの例であり、入力ボタンの機能を象徴するようなデザインを有している。また、３Ｄアイコン記憶部２２０は、３Ｄアイコンの画像データの属性情報として、３Ｄアイコンの底面部の位置情報（例えば、各頂点やコーナーの座標、基準点または中心点の座標）や３Ｄアイコンの高さ情報などを記憶する。

【0031】

３Ｄアイコン角度算出部２３０は、視線検知部２１０により検知された視線位置または視線方向に応じて３Ｄアイコンを表示するときの角度を算出する。これは、図５（Ｂ）の角度変更の処理に対応する。３Ｄアイコン位置算出部２４０は、タッチ検出部２００により検出されたタッチ位置に応じて３Ｄアイコンを表示するときの位置の移動量を算出する。これは、図５（Ｃ）の位置変更の処理に対応する。３Ｄアイコン補正部２５０は、３Ｄアイコンの角度や位置を変更したときに、３Ｄアイコンが立体ＵＩ部１３０の底面からはみ出すか否かを判定し、はみ出す場合には、３Ｄアイコンのサイズを縮小する処理を行う。３Ｄアイコン角度算出部２３０、３Ｄアイコン位置算出部２４０、３Ｄアイコン補正部２５０の詳細については後述する。

【0032】

３Ｄアイコン表示部２６０は、３Ｄアイコン角度算出部２３０、３Ｄアイコン位置算出部２４０、３Ｄアイコン補正部２５０によって処理された３Ｄアイコンを、立体ＵＩ部１３０の対応する位置に表示する。

【0033】

次に、本実施例の入力表示装置１００の動作を図８のフローを参照して説明する。３Ｄアイコン表示部２６０は、立体ＵＩ部１３０に対応する３Ｄアイコンの画像データを３Ｄアイコン記憶部２２０から読み出し、３Ｄアイコンを立体ＵＩ部１３０の下方に表示する（Ｓ１００）。例えば、図５（Ａ）に示すように、立体ＵＩ部１３０には、奥行き感のある円筒状の入力ボタンが表示される。

【0034】

次いで、視線検知部２１０は、視線検知カメラ１４０からの撮像データに基づきユーザーの視線位置または視線方向を検知し（Ｓ１１０）、３Ｄアイコン角度検出部２３０は、視線検知部２１０によって検知された視線位置に応じて表示中の３Ｄアイコンを回転させるための角度を算出し、３Ｄアイコン表示部２６０は、算出された角度に応じて３Ｄアイコンを回転させる（Ｓ１２０）。

【0035】

図９は、３Ｄアイコン角度算出部２３０の詳細を説明する図である。図９（Ａ）は、立体ＵＩ部１３０に表示された３Ｄアイコン１３２を正面から見た図、図９（Ｂ）は、ユーザーの視線位置に応じて３Ｄアイコン１３２を回転させた図、図９（Ｃ）は、立体ＵＩ部１３０を真横から見た図、図９（Ｄ）は、立体ＵＩ部１３０を真上から見た図を示している。

【0036】

立体ＵＩ部１３０の底面部中央を正面から見たときに、視線位置（アイポイント）Ｅが上下方向（Ｙ方向）と左右方向（Ｘ方向）にそれぞれ何度であるかθ１、θ２を算出する。３Ｄアイコン表示部２６０は、算出されたθ１、θ２に応じて、３Ｄアイコン１３２を回転させる。つまり、３Ｄアイコンを左右から見た場合、Ｙ軸を起点に角度θ２だけ３Ｄアイコン１３２をユーザーの視線位置Ｅと反対方向に回転させる。同様に、３Ｄアイコンを上下から見た場合、Ｘ軸を起点に角度θ１だけ３Ｄアイコン１３２をユーザーの視線位置Ｅと反対方向に回転させる。例えば、図９（Ｃ）に示すように、アイポイントＥが正面から上側に移動したとき、上側から３Ｄアイコン１３２を見ているようにＸ軸に関して３Ｄアイコン１３２をθ１だけ回転させる。また、図９（Ｄ）に示すように、アイポイントＥが正面から右側に移動したとき、右側から３Ｄアイコン１３２を見ているようにＹ軸に関して３Ｄアイコンをθ２だけ回転させる。

【0037】

なお、上記の例では、その都度、算出されたθ１、θ２に基づき３Ｄアイコンの回転角度を計算するが、これ以外にも、視線方向の角度θ１、θ２と３Ｄアイコンの回転角との関係を予め規定したルックアップテーブルを用いて、視線方向の角度θ１、θ２に応じて３Ｄアイコンを回転させるようにしてもよい（例えば、θ１、θ２がＸ度～Ｙ度のとき、３ＤアイコンをＸ度回転させる）。

【0038】

次に、３Ｄアイコン位置算出部２４０は、タッチ検出部２００によって検出された指が接近する位置に応じて表示中の３Ｄアイコンの位置を算出し、３Ｄアイコン表示部２６０に３Ｄアイコンの位置を移動させる（Ｓ１３０）。

【0039】

図１０は、３Ｄアイコン位置算出部２４０の詳細を説明する図である。図１０（Ａ）は、３Ｄアイコンの移動前の状態を示し、図１０（Ｂ）は、３Ｄアイコンの移動後の状態を示し、図１０（Ｃ）は、視線位置と立体ＵＩ部へのタッチ位置と３Ｄアイコンとの位置関係を示す図である。

【0040】

図１０（Ａ）に示すように、指Ｕが立体ＵＩ部１３０の天面に接近または接触したときのタッチ位置の座標を参照し、図１０（Ｂ）に示すように、指Ｕの真下にタッチすべき部分が見えるように３Ｄアイコンを移動させる。図の例では、ボタンアイコンの突起した部分が指の真下に位置するように３Ｄアイコンが移動される。

【0041】

３Ｄアイコンの移動量の計算方法は、次のようにして行われる。３Ｄアイコン位置算出部２４０は、予め登録した立体ＵＩ部１３０の高さｈと、前述したユーザーの視線位置Ｅの角度θ（θ１、θ２）と、タッチ検出部２００によって検出されたタッチ位置の座標Ｔ（横軸方向移動にはｘ、縦軸方向移動にはｙを使用）を取得する。

【0042】

次に、三角関数により、３Ｄアイコンのタッチすべき部分の移動量ｄ（横方向ｄ１、縦方向ｄ２)を計算する。つまり、タッチ位置の座標Ｔの視線方向θに３Ｄアイコンの中心点または基準点が一致するようにｘ方向の移動量ｄ１、ｙ方向の移動量ｄ２を算出する。３Ｄアイコン表示部２６０は、ｘを起点に横方向に距離ｄ１だけ３Ｄアイコン１３２を移動させ、ｙを起点に縦方向に距離ｄ２だけ３Ｄアイコン１３２を移動させる。こうして、ユーザーは、指の真下に３Ｄアイコン１３２のタッチすべき部分を見ることができる。

【0043】

なお、移動量ｄ１、ｄ２に関して、立体ＵＩ部１３０の屈折率を予め登録しておき、屈折を考慮して視線位置Ｅとタッチ位置の座標Ｔの延長線上に３Ｄアイコンの中心点または基準点が位置するように３Ｄアイコン１３２の移動を補正するようにしてもよい。

【0044】

次に、３Ｄアイコン補正部２５０は、視線方向から見た３Ｄアイコンが立体ＵＩ部１３０からはみ出すか否かを判定し、はみ出す場合には、立体ＵＩ部１３０からはみ出さないように３Ｄアイコンのサイズを縮小する補正を行う（Ｓ１４０）。

【0045】

図１１は、３Ｄアイコン補正部２５０の詳細を説明する図である。図１１（Ａ）は、視線位置から見たときに立体ＵＩ部１３０から３Ｄアイコンがはみ出す状態を示し、図１１（Ｂ）は、立体ＵＩ部１３０から３Ｄアイコンがはみ出さないように３Ｄアイコンのサイズを縮小した状態を示している。

【0046】

図１１（Ａ）に示すように、ユーザーがタッチすべき部分に合わせて３Ｄアイコン１３２を移動させただけでは、ユーザーの視線位置Ｅの視野Ｆにおいて、３Ｄアイコン１３２の一部が立体ＵＩ部１３０の底面部からはみ出したり、側面を覆うように見えてしまうことがある。図中、Ｐは、３Ｄアイコンのサイズであり、Ｈは、立体ＵＩ部１３０からはみ出した部分を示している。

【0047】

３Ｄアイコン補正部２５０は、予め登録した立体ＵＩ部１３０の底面部１３０Ａの範囲の座標（ｘ１、ｙ１）～（ｘ２、ｙ２）から外にはみ出ないように、３Ｄアイコン１３２のサイズを縦軸と横軸のそれぞれの方向で縮小するように補正する。これにより、縮小された３Ｄアイコン１３２Ａの全体がユーザーの視野Ｆから視認できるようにする。また、３Ｄアイコンの移動量ｄに応じて、ルックアップテーブルでサイズの変化量（または縮小率）を予め設定しておき、これに従い３Ｄアイコンのサイズを補正するようにしてもよい。

【0048】

上記実施例では、立体ＵＩ部に３Ｄアイコンを表示することに加えて、視線位置に応じて３Ｄアイコンを回転させたり、タッチ位置に応じて３Ｄアイコンを移動させるようにしたが、これらは一つの態様であり、例えば、３Ｄアイコンの回転や移動をすることなく３Ｄアイコンを表示させるようにしてもよいし、３Ｄアイコンの回転のみを行ったり、３Ｄアイコンの移動のみを行うようにしてもよい。また、図６（Ａ）、（Ｂ）に示すようなディスプレイによって運転者と同乗者の映像を分離する構造では、運転者Ｕ１への３Ｄアイコンを予め決められた角度で表示させ、同乗者Ｕ２への３Ｄアイコンを予め決められた角度で表示させ、運転者Ｕ１と同乗者Ｕ２の視線位置の検出を省略してもよい。

【0049】

このように本実施例によれば、立体ＵＩ部に奥行きを表現した３Ｄアイコンを表示するようにしたので、ユーザーが立体ＵＩ部をタッチするときの触覚と視覚の乖離を低減させ、つまり感覚的なズレを抑制することができる。また、ユーザーの視線位置または視線方向に合わせて３ＤアイコンをＸ軸および／またはＹ軸を起点に視線位置と反対側に回転させることで、触覚と視覚の乖離をさらに低減させることができる。さらに、ユーザーが立体ＵＩ部の表面に指を接触または接近させたときに検出されたタッチ位置に応じて３Ｄアイコンを移動させることで、タッチするときの触覚と視覚の乖離をさらに低減させることができる。

【0050】

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。

【符号の説明】

【0051】

１００：入力表示装置
１１０：ディスプレイ
１２０：タッチパネル
１３０：立体ＵＩ部（操作部）
１３０Ａ：底面部
１３２、１３２Ａ：３Ｄアイコン
１４０：視線検知カメラ
１５０：コントローラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】