特許 6739864 車載用情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6739864

(24)【登録日】2020年7月28日

(45)【発行日】2020年8月12日

(54)【発明の名称】車載用情報処理システム

(51)【国際特許分類】

   G06F 3/0488 20130101AFI20200730BHJP

   G06F 3/0481 20130101ALI20200730BHJP

【ＦＩ】

   G06F3/0488

   G06F3/0481 120

【請求項の数】7

【全頁数】20

(21)【出願番号】特願2016-76080(P2016-76080)

(22)【出願日】2016年4月5日

(65)【公開番号】特開2017-187919(P2017-187919A)

(43)【公開日】2017年10月12日

【審査請求日】2019年3月14日

(73)【特許権者】

【識別番号】000004765

【氏名又は名称】マレリ株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】100164471

【弁理士】

【氏名又は名称】岡野 大和

(74)【代理人】

【識別番号】100202326

【弁理士】

【氏名又は名称】橋本 大佑

(72)【発明者】

【氏名】佐藤 晴彦

(72)【発明者】

【氏名】吉富 輝雄

【審査官】 ▲高▼瀬 健太郎

(56)【参考文献】

【文献】 国際公開第２００７／０８８９４２（ＷＯ，Ａ１）

【文献】 特開２０１３−０６１８４８（ＪＰ，Ａ）

【文献】 特開２００９−３０１０９４（ＪＰ，Ａ）

【文献】 特開２００８−２１７５４８（ＪＰ，Ａ）

【文献】 特開２００９−１２２７２０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４８８

Ｇ０６Ｆ ３／０４８１

(57)【特許請求の範囲】

【請求項1】

少なくとも１つの画面を有し、前記画面上に機能項目を表示する表示部と、
操作者の操作手による接触を検出するタッチ操作部と、
前記画面上の操作領域内の位置座標と、前記タッチ操作部の所定の領域内の位置座標とを対応させて、前記操作手の少なくとも一部を前記画面上に重畳表示させる制御部と、を備え、
前記機能項目を表示している位置で重畳表示させる前記操作手の透過率は、前記機能項目を除く背景の位置で重畳表示させる前記操作手の透過率より高い、
車載用情報処理システム。

【請求項2】

前記操作手の少なくとも一部と、前記タッチ操作部とを撮像する撮像部を備え、
前記撮像部は、前記操作手全体を撮像する、
請求項１に記載の車載用情報処理システム。

【請求項3】

前記タッチ操作部の前記所定の領域は、前記タッチ操作部の奥側に設定され、
前記画面上の前記操作領域は、当該設定に対応するように、前記画面の上部に設定される、
請求項１又は２に記載の車載用情報処理システム。

【請求項4】

前記制御部は、前記画面上の前記操作領域内で少なくとも１つのエリアを定めて、車両に関する情報を制御するための少なくとも１つの項目を、前記エリアに対応させて前記画面上に表示させる、
請求項１乃至３のいずれか一項に記載の車載用情報処理システム。

【請求項5】

前記制御部は、前記操作手の各部にそれぞれ機能を割り当てて、前記タッチ操作部における前記各部の動作に基づいて、前記画面上で前記機能を選択実行させる、
請求項１乃至３のいずれか一項に記載の車載用情報処理システム。

【請求項6】

前記操作手の指先に近づくほど透過率を上げる、
請求項１乃至５のいずれか一項に記載の車載用情報処理システム。

【請求項7】

少なくとも１つの画面を有し、前記画面上に機能項目を表示する表示部と、
操作者の操作手による接触を検出するタッチ操作部と、
前記操作手の少なくとも一部と、前記タッチ操作部とを撮像する撮像部と、
前記画面上の操作領域内の位置座標と、前記タッチ操作部の所定の領域内の位置座標とを対応させて、前記撮像部により撮像された画像に基づいて、前記操作手の少なくとも一部を前記画面上に重畳表示させる制御部と、を備え、
前記機能項目を表示している位置で重畳表示させる前記操作手の透過率は、前記機能項目を除く背景の位置で重畳表示させる前記操作手の透過率より高い、
車載用情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両に関する情報を制御するために車両に搭載される車載用情報処理システムに関する。

【背景技術】

【0002】

従来、操作者は、センターコンソールに設置されたタッチパッド上でタッチ操作を行うことにより、画面上に表示されたポインタ又はカーソルの操作、画面のスクロール操作、選択操作、及び入力操作などを行うことが可能である。

【0003】

例えば、特許文献１に開示された操作入力装置は、走行中の車両の振動を含む外乱因子の影響を低減して、タッチパッド上でのタッチ操作に基づく表示部上のカーソル移動を滑らかにすることが可能である。

【0004】

また例えば、特許文献２に開示された操作装置は、センターコンソールに設置されたタッチパッド上での操作者によるタッチ操作により、画面上に表示されたポインタ又はカーソルの操作、及び画面のスクロールを可能とする。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１５−１７４６４８

【特許文献2】特開２０１６−０１２３１３

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１及び２に開示された従来の装置は、画面上にポインタ、カーソル、又は移動ベクトルなどを描画することで操作者の操作に対して応答する。このような操作は、直感的ではない。また、操作者の操作手の位置と画面上のポインタなどの位置との対応関係が明確でないために、操作者が画面上のポインタなどを注視する時間は長くなる。従って、より直感的な操作を可能とするインターフェースの実現が望まれる。

【0007】

かかる観点に鑑みてなされた本発明の目的は、直感的な操作を可能とする車載用情報処理システムを提供することにある。

【課題を解決するための手段】

【0008】

上記課題を解決する第１の観点に係る車載用情報処理システムは、
少なくとも１つの画面を有し、前記画面上に機能項目を表示する表示部と、
操作者の操作手による接触を検出するタッチ操作部と、
前記画面上の操作領域内の位置座標と、前記タッチ操作部の所定の領域内の位置座標とを対応させて、前記操作手の少なくとも一部を前記画面上に重畳表示させる制御部と、を備え、
前記機能項目を表示している位置で重畳表示させる前記操作手の透過率は、前記機能項目を除く背景の位置で重畳表示させる前記操作手の透過率より高い。

【0009】

また、第２の観点に係る車載用情報処理システムでは、
前記操作手の少なくとも一部と、前記タッチ操作部とを撮像する撮像部を備え、
前記撮像部は、前記操作手全体を撮像する。

【0010】

また、第３の観点に係る車載用情報処理システムでは、
前記タッチ操作部の前記所定の領域は、前記タッチ操作部の奥側に設定され、
前記画面上の前記操作領域は、当該設定に対応するように、前記画面の上部に設定される。

【0011】

また、第４の観点に係る車載用情報処理システムでは、
前記制御部は、前記画面上の前記操作領域内で少なくとも１つのエリアを定めて、車両に関する情報を制御するための少なくとも１つの項目を、前記エリアに対応させて前記画面上に表示させる。

【0012】

また、第５の観点に係る車載用情報処理システムでは、
前記制御部は、前記操作手の各部にそれぞれ機能を割り当てて、前記タッチ操作部における前記各部の動作に基づいて、前記画面上で前記機能を選択実行させる。

【0013】

また、第６の観点に係る車載用情報処理システムでは、
前記操作手の指先に近づくほど透過率を上げる。

【0014】

また、第７の観点に係る車載用情報処理システムでは、
少なくとも１つの画面を有し、前記画面上に機能項目を表示する表示部と、
操作者の操作手による接触を検出するタッチ操作部と、
前記操作手の少なくとも一部と、前記タッチ操作部とを撮像する撮像部と、
前記画面上の操作領域内の位置座標と、前記タッチ操作部の所定の領域内の位置座標とを対応させて、前記撮像部により撮像された画像に基づいて、前記操作手の少なくとも一部を前記画面上に重畳表示させる制御部と、を備え、
前記機能項目を表示している位置で重畳表示させる前記操作手の透過率は、前記機能項目を除く背景の位置で重畳表示させる前記操作手の透過率より高い。

【発明の効果】

【0015】

第１の観点に係る車載用情報処理システムによれば、直感的な操作が可能である。

【0016】

また、第２の観点に係る車載用情報処理システムによれば、操作者の操作手を精度良く識別することが可能である。

【0017】

また、第３の観点に係る車載用情報処理システムによれば、必然的に操作者の操作手全体を撮像可能である。

【0018】

また、第４の観点に係る車載用情報処理システムによれば、操作者が選択したい機能項目を容易に視認可能である。

【0019】

また、第５の観点に係る車載用情報処理システムによれば、画面上の任意の場所で、各種機能を選択実行可能である。

【0020】

また、第６の観点に係る車載用情報処理システムによれば、明瞭でより直感的な操作が可能である。

【0021】

また、第７の観点に係る車載用情報処理システムによれば、直感的な操作が可能である。

【図面の簡単な説明】

【0022】

【図1】本実施形態に係る車載用情報処理システムの全体を示す模式図である。

【図2】図１の車載用情報処理システムの概略構成を示す機能ブロック図である。

【図3】表示部に表示される画像の一例を示した模式図である。

【図4】タッチ操作部を側面方向から見たときの断面を模式的に示す図である。

【図5】タッチ操作部の所定の領域と、表示部を構成する画面上の操作領域との対応関係の一例を示す模式図である。

【図6】車載用情報処理システムが行う画像処理の様子を示した模式図である。

【図7】表示部を構成する画面に表示される機能項目とタッチパッドとの対応関係を例示した模式図である。

【図8】画面上に重畳表示された操作者の操作手が仮想的に行う操作の様子を例示した模式図である。

【図9】図１の車載用情報処理システムの動作の一例を示すフローチャートである。

【発明を実施するための形態】

【0023】

以降、諸図面を参照しながら、本発明の実施形態について詳細に説明する。

【0024】

図１は、本実施形態に係る車載用情報処理システム１０の全体を示す模式図である。図２は、図１の車載用情報処理システム１０の概略構成を示す機能ブロック図である。車載用情報処理システム１０は、表示部１１と、タッチ操作部１２と、撮像部１３と、制御部１４と、記憶部１５とを有する。図３は、表示部１１に表示される画像の一例を示した模式図である。図３（ａ）は、メニュー画面の一例を示し、図３（ｂ）は、地図画面の一例を示す。図４は、タッチ操作部１２を側面方向から見たときの断面を模式的に示す図である。

【0025】

車載用情報処理システム１０は、表示部１１を構成する画面上の操作領域内の位置座標と、タッチ操作部１２の所定の領域内の位置座標とを対応させて、撮像部１３により撮像した画像に基づいて、操作者の操作手を画面上に重畳表示する。すなわち、タッチ操作部１２上での操作者によるタッチ操作に基づいて、画面上に重畳表示した操作手が、対応する位置で仮想的に画面を操作する。車載用情報処理システム１０は、画面上に重畳表示した操作手の動きを、撮像部１３によって撮像した実際の操作者の操作手の動きと対応させる。ここで、操作者とは、例えば車両を運転する運転者又は助手席に座っている同乗者であり、操作手とは、例えばセンターコンソール側の運転者又は同乗者自身の手である。

【0026】

図１に示すとおり、表示部１１は、少なくとも１つの画面を有する。表示部１１は、液晶ディスプレイなどの任意の表示装置により構成されてもよい。表示部１１は、液晶ディスプレイによって構成される場合、例えばインストルメントパネルに配置される。表示部１１を構成する表示装置は、タッチパネルディスプレイであってもよいし、タッチ操作不能のディスプレイであってもよい。以下では、表示部１１は、タッチ操作不能のディスプレイであるとして説明する。

【0027】

また、車載用情報処理システム１０は、表示部１１に加えて又は代えて、いわゆるヘッドアップディスプレイ型の装置を有してもよい。この場合、ヘッドアップディスプレイ型の装置は、表示情報を表示光として発生する発光部を有し、発生した表示光を運転者等の観察者へ向かうように反射して、フロントウィンドシールド越しに虚像を表示する。なお、観察者は運転者に限らず助手席に座っている同乗者等でもよい。

【0028】

表示部１１は、車両に関する情報若しくは当該情報を制御するための機能項目、又はこれらの組合せを表示する。以下では、これらをまとめて「表示内容」という。車両に関する情報は、例えば、空調、カーナビゲーション、オーディオ、電子ミラーによる車両周囲の画像、車速、複数車線における自車の走行位置、又は車間距離などの情報を含む。当該情報を制御するための機能項目は、例えば、「戻る」、「進む」、「ホーム」、「決定」、「各種メニュー」、「温度高い・低い」、「現在地」、「音量大・小」、「拡大・縮小」、「速度速い・遅い」、「車線変更」、又は「距離長い・短い」などの項目を含む。表示部１１は、各項目を文字として表示してもよいし、アイコンとして表示してもよい。

【0029】

例えば、図３（ａ）に示すとおり、表示部１１は、車両に関する情報を制御するための機能項目として、各種メニューを表示する。具体的には、表示部１１は、各種アプリを表示するための項目として「ＡＰＰＳ」を、電話を使用するための項目として「ＴＥＬ」を、エアコンを制御するための項目として「Ａ／Ｃ」を、カーナビゲーションを使用するためのメニューとして「ＮＡＶＩ」を、オーディオを使用するためのメニューとして「ＡＵＤＩＯ」を表示する。同様に、表示部１１は、ホーム画面に戻るための項目として「ＨＯＭＥ」を表示し、１つ前の画面に戻るための項目として「ＲＥＴＵＲＮ」を表示する。

【0030】

例えば、図３（ｂ）に示すとおり、表示部１１は、車両に関する情報として、カーナビゲーションシステムの一部である地図情報を表示する。さらに、表示部１１は、車両に関する情報及び当該情報を制御するための機能項目の組合せとして、当該地図情報に重畳させるように、「目的地設定」、「ＨＯＭＥ」、及び「ＲＥＴＵＲＮ」などの機能項目を表示する。

【0031】

表示部１１は、上記の表示内容と重畳させるように操作者の操作手を表示する。表示部１１は、図３に示すとおり、操作者の操作手を半透過にして、その背後に上記の表示内容を表示する。表示部１１は、これに限定されず、操作者の操作手が重畳したときに、背後の表示内容が一時的に隠れるように、不透明な操作手を表示してもよい。

【0032】

以下では、半透過の度合い、すなわち透過率は、重畳させる位置に依存せず一定であるとして説明するが、これに限定されず、重畳させる位置ごとに変化してもよい。例えば、機能項目を表示している位置では、操作者がどの項目を選択すべきかを十分に視認可能なように、表示部１１は、透過率を所定値よりも上げて操作者の操作手を表示してもよい。逆に、単なる背景のみを表示している位置では、表示部１１は、透過率を所定値よりも下げて表示してもよい。

【0033】

また、表示部１１は、グラデーションを付した操作者の操作手を表示してもよい。ここで述べるグラデーションは、明暗、色彩、若しくは透過率又はこれらの組合せに関する任意の段階的変化を含んでよい。表示部１１は、操作者が背後の表示内容を容易に視認可能な任意の方法によりグラデーション表示するのが好適である。例えば、表示部１１は、重畳表示した操作者の操作手の指先により近づくほど、操作手を徐々に明るくしたり、淡い色へと徐々に変えたり、透過率を徐々に上げたりして表示してもよい。

【0034】

透過率が低いほど、重畳させる操作者の操作手のリアリティは向上するが、操作者は、背後の表示内容を視認することが困難となる。逆に、透過率が高いほど、操作者による背後の表示内容の視認は容易となるが、リアリティは低下する。従って、表示部１１は、重畳させる操作者の操作手のリアリティを確保しつつ、表示内容を操作者が容易に視認可能な任意の表示方法によりそれぞれを表示するのが好適である。

【0035】

表示部１１は、上述の表示内容などが表示される仮想空間上に、現実世界の操作者の操作手を重畳させるものとして説明したが、これに限定されない。例えば、表示部１１は、いわゆるミックスドリアリティのように、画面上に表示した操作者の操作手の前面から、表示内容などを重畳表示してもよい。

【0036】

タッチ操作部１２は、図１に示すとおり、例えばセンターコンソールに配置される。タッチ操作部１２は、図２に示すとおり、タッチパッド１２１と、タクトスイッチ１２２とを有する。図４に示すとおり、操作者は、アームレスト及びパームレストに自身の腕及び手首をそれぞれ乗せて、操作手の一部、例えば指をタッチパッド１２１に接触させる。

【0037】

タッチパッド１２１は、操作者の操作手又はスタイラスペンなどの接触物による接触を、対応する接触位置において検出する。特に、タッチパッド１２１は、操作者の操作手の一部、例えば指による接触を対応する接触位置において検出する。操作者は、タッチ操作部１２、特にタッチパッド１２１上でタッチ操作を行うことにより、表示部１１を構成する各画面上に表示される情報を操作する。タッチパッド１２１は、例えば透明なガラスにより形成され、抵抗膜方式、静電容量方式、表面弾性波方式、赤外線方式、又は電磁誘導方式などの任意の方式により構成されたタッチセンサを用いることができる。以下では、タッチパッド１２１は、静電容量方式による静電タッチパッドであるものとして説明する。

【0038】

タクトスイッチ１２２は、図４に示すとおり、タッチパッド１２１の直下に配置され、基板により支持される。タクトスイッチ１２２は、操作者の押込みによってタッチパッド１２１が下方へと変位した場合、その押圧によりオンになる。タクトスイッチ１２２は、操作者の押込みが解除されタッチパッド１２１が元の位置に戻った場合、オフになる。操作者は、タッチパッド１２１を押込むと、タクトスイッチ１２２がオンになることで、クリック感を得る。

【0039】

図４では、タクトスイッチ１２２は、タッチパッド１２１の直下において、その中心部に１つ配置されているが、これに限定されず、タッチパッド１２１からの押圧を検出可能であれば、任意の個数で任意の場所に配置されてもよい。例えば、タクトスイッチ１２２は、タッチパッド１２１の直下において、その外周部に１つ配置されてもよいし、分散した位置に複数個配置されてもよい。例えば、タッチパッド１２１の直下に複数のタクトスイッチ１２２が配置されることで、タッチ操作部１２は、タッチパッド１２１の所定のエリアごとにタッチパッド１２１からの押圧を検出可能なように構成されてもよい。すなわち、タッチ操作部１２は、操作者の複数の指が同時にタッチパッド１２１に接触している場合に、タッチパッド１２１上のどの位置で操作者が押込んだかを検出可能なように構成されてもよい。

【0040】

タッチパッド１２１の直下に配置される構成部は、タクトスイッチ１２２に限定されず、タッチパッド１２１からの押圧を検出可能であれば、任意の構成であってよい。例えば、タクトスイッチ１２２に代えて、圧電素子などの感圧センサがタッチパッド１２１の直下に配置されてもよい。

【0041】

タッチ操作部１２は、タッチパッド１２１と、タクトスイッチ１２２とに加えて、車両走行中の振動によるタッチパッド１２１の不要な検出信号を除去するために、フィルターを有してもよい。

【0042】

撮像部１３は、少なくとも１つのカメラを有し、例えば、ルーフパネルに配置される。撮像部１３を構成するカメラは、ルーフパネルから車内を撮像するように配置される。より具体的には、撮像部１３は、タッチ操作部１２でタッチ操作を行う操作者の操作手の少なくとも一部と、タッチ操作部１２とを上方から撮像する。

【0043】

撮像部１３は、操作者の操作手の少なくとも一部、例えば５本の指のみを撮像してもよいが、手の甲なども含めた操作者の操作手全体を撮像するのが好適である。ここで、操作手全体とは、操作者の手首付近から指先までを含む部位全体である。この場合、撮像部１３は、操作者の操作手全体を容易に撮像するために、例えば、ルーフパネルなど、操作手の上方に配置されるのが好適である。

【0044】

撮像部１３は、このような配置に限定されず、操作者の操作手の少なくとも一部を撮像可能であれば、任意の場所に配置されてもよい。例えば、撮像部１３は、透明なタッチパッド１２１の直下に配置され、タッチパッド１２１でタッチ操作を行っている操作者の操作手の一部を下方から撮像してもよい。この場合、例えば、図４のパームレスト部分を任意の透明な支持部材に変えることで、撮像部１３は、手の甲なども含めた操作者の操作手全体を撮像することも可能である。

【0045】

撮像部１３は、昼間の明るい状態及び夜間の暗い状態の両方で操作者の操作手を鮮明に撮像可能なように、ダイナミックレンジの広いカメラで構成されるのが好適である。また、カメラにより撮像される画像は、白黒画像であってもよいし、カラー画像であってもよい。

【0046】

撮像部１３は、ダイナミックレンジの広いカメラによる構成に限定されず、昼間の明るい状態で撮像可能なカメラにより構成されてもよい。この場合、撮像部１３は、夜間でも操作者の操作手を鮮明に撮像するために、タッチパッド１２１上の操作者の操作手に上方からスポットライトを照射してもよい。

【0047】

車両が自動運転を行う場合、操作者は、リクライニングシートを倒して、リラックスした状態でシートに寄りかかることが想定される。この時、タッチ操作部１２の位置が固定されていると、操作者は、シートに寄りかかった状態で腕を伸ばしてタッチ操作を行う必要があり、不便性を感じる。従って、例えば、タッチ操作部１２が配置されたセンターコンソールを、リクライニングシートの動きに連動して後方に下がるように構成することで、操作者は腕を伸ばすことなく、容易にタッチ操作を行うことができる。このような構成の場合、撮像部１３は、リクライニングシートの動きに連動したタッチ操作部１２のそれぞれの位置に合わせて、タッチパッド１２１上の操作手を撮像する必要がある。

【0048】

従って、撮像部１３は、上記に加えて、画角の広いカメラで構成されるのが好適である。撮像部１３は、これに限定されず、画角の狭いカメラであっても、タッチ操作部１２の位置の変化に連動してカメラ自体の角度が変化するように構成されてもよい。同様に、撮像部１３は、タッチ操作部１２の位置の変化に連動してカメラ自体が平行移動するように構成されてもよい。また、リクライニングシートの動きに連動して変化するタッチ操作部１２の位置を、例えば、手動運転時の位置及び自動運転時の位置の二カ所に限定して、各々の位置に対応するように二台のカメラが配置されてもよい。

【0049】

制御部１４は、車載用情報処理システム１０の各機能ブロックをはじめとして、車載用情報処理システム１０の全体を制御及び管理するプロセッサである。制御部１４は、制御手順を規定したプログラムを実行するＣＰＵ（Central Processing Unit）等のプロセッサで構成され、かかるプログラムは、例えば記憶部１５に格納される。

【0050】

制御部１４は、タッチパッド１２１上で検出した接触情報を、入力信号としてタッチ操作部１２から取得する。具体的には、制御部１４は、接触物、例えば、操作者の指による接触及び対応する接触位置に関する検出情報を取得する。制御部１４は、対応する接触位置に関する検出情報に基づいて、タッチ操作が行われるタッチパッド１２１上の正確な位置座標を識別する。

【0051】

制御部１４は、タクトスイッチ１２２のオン状態又はオフ状態に関する信号を、タッチ操作部１２から取得する。具体的には、操作者が、タッチパッド１２１を介して、タクトスイッチ１２２を押込んだ場合、制御部１４は、オン状態の信号を取得する。操作者が、タッチパッド１２１への押込みを止めて、タクトスイッチ１２２の押込みを解除した場合、制御部１４は、オフ状態の信号を取得する。制御部１４は、取得した信号に基づいて、タクトスイッチ１２２のオン状態又はオフ状態を識別する。

【0052】

制御部１４は、操作者の操作手の一部による接触をタッチパッド１２１が検出した場合、表示部１１を構成する画面上の対応する項目を選択する。この時、制御部１４は、当該項目をハイライトさせる。ハイライトとは、所定の項目を強調して表示することである。制御部１４は、ハイライトにより上記の項目が選択状態にあることを操作者にフィードバックする。例えば、図３（ａ）に示すとおり、操作者の指による接触をタッチパッド１２１の対応する位置で検出した場合、制御部１４は、画面上の「ＮＡＶＩ」の機能項目をハイライトさせる。この時、制御部１４は、撮像部１３により撮像された画像に基づいて、操作者の操作手を対応する位置に重畳表示させる。

【0053】

続いて、制御部１４は、操作者の操作手の一部によるタッチパッド１２１の押込みによりタクトスイッチ１２２がオンになった場合、画面上の所定の項目の選択を確定させる。画面上の所定の項目の選択を確定させる操作は、これに限定されず、例えば、タッチパッド１２１上でのダブルタップなど、任意の操作であってよい。この場合、タッチ操作部１２は、タクトスイッチ１２２を有さなくてもよい。

【0054】

例えば、図３（ａ）では、操作者の操作手の一部による押込みによりタクトスイッチ１２２がオンになった場合、制御部１４は、画面上に表示された「ＮＡＶＩ」の項目の選択を確定させる。この時、制御部１４は、タッチパッド１２１に接触している操作者の操作手の一部、例えば人差し指の押込み又はダブルタップなどに合わせて、同様の動きを画面上に表示させる。

【0055】

制御部１４は、車両に関する情報若しくは当該情報を制御するための機能項目、又はこれらの組合せを表示部１１に表示させる。また、制御部１４は、後述する画像処理により、表示部１１を構成する画面上の操作領域の大きさに基づいた表示倍率で、操作者の操作手の少なくとも一部をその画面上に重畳表示させる。

【0056】

制御部１４は、記憶部１５に格納された種々の情報を参照する。具体的には、制御部１４は、上記の車両に関する情報又は当該情報を制御するための機能項目に関する情報を参照する。制御部１４は、タクトスイッチ１２２のオン状態又はオフ状態に関する情報を参照する。制御部１４は、撮像部１３により撮像された画像情報を参照する。制御部１４は、表示部１１に最終的に重畳表示させる、画像処理された操作者の操作手に関する情報を参照する。

【0057】

記憶部１５は、半導体メモリ又は磁気メモリ等で構成することができ、上述した各種情報及び車載用情報処理システム１０を動作させるためのプログラムなどを記憶する。また、記憶部１５は、ワークメモリとしても機能する。一例を挙げると、記憶部１５は、表示部１１に最終的に重畳表示させる、画像処理された操作者の操作手に関する情報などを記憶する。

【0058】

以下では、図５及び図６を参照して、車載用情報処理システム１０が行う画像処理について詳細に説明する。

【0059】

図５は、タッチ操作部１２の所定の領域と、表示部１１を構成する画面上の操作領域との対応関係の一例を示す模式図である。図５（ａ）は、タッチ操作部１２の所定の領域Ｒ１を示す。図５（ｂ）は、表示部１１を構成する画面上の操作領域Ｒ２を示す。

【0060】

制御部１４は、タッチ操作部１２の所定の領域Ｒ１及び表示部１１を構成する画面上の操作領域Ｒ２を設定する。タッチ操作部１２の所定の領域Ｒ１とは、操作者が操作手の一部によりタッチ操作を行うための領域である。例えば、タッチ操作部１２の所定の領域Ｒ１は、タッチパッド１２１の一部又は全体の領域である。表示部１１を構成する画面上の操作領域Ｒ２とは、画面上に重畳表示された操作者の操作手が仮想的に操作可能な画面上の領域である。例えば、表示部１１を構成する画面上の操作領域Ｒ２は、当該画面の一部又は全体の領域である。

【0061】

図５（ａ）に示すとおり、タッチ操作部１２の所定の領域Ｒ１は、タッチ操作部１２全体に操作者の操作手が重畳するように、タッチ操作部１２の奥側に設定されるのが好適である。タッチ操作部１２の奥側とは、例えば、タッチ操作部１２を構成するタッチパッド１２１の奥側である。すなわち、図４及び図５に示すとおり、タッチ操作部１２の奥側とは、操作者の腕及び手首をアームレスト及びパームレストにそれぞれ配置したときに、手首から最も離れるタッチパッド１２１上の領域である。

【0062】

タッチ操作部１２の所定の領域Ｒ１は、これに限定されず、上述のとおり、タッチパッド１２１上の任意の一部の領域であってもよいし、全体領域であってもよい。タッチ操作部１２の所定の領域Ｒ１がタッチパッド１２１上の任意の一部の領域である場合、所定の領域Ｒ１以外のタッチパッド１２１上の領域は、タッチ操作に対して反応しないように構成されてもよい。

【0063】

一方で、表示部１１を構成する画面上の操作領域Ｒ２は、タッチパッド１２１の奥側に上記の所定の領域Ｒ１が設定されたとき、対応するように、画面の上部に設定される。すなわち、タッチパッド１２１の奥側及び手前側が、画面の上部及び下部にそれぞれ対応する。このように各々を対応させるのが最も直感的であるが、タッチパッド１２１と、表示部１１を構成する画面との対応関係はこれに限定されない。例えば、上記の対応関係を逆にして、タッチパッド１２１の手前側及び奥側が、画面の上部及び下部にそれぞれ対応してもよい。この場合、タッチ操作部１２全体に操作者の操作手を重畳させるために、タッチ操作部１２の奥側の所定の領域Ｒ１に対応させて、表示部１１を構成する画面上の操作領域Ｒ２は、その下部に設定されてもよい。

【0064】

制御部１４は、設定したタッチ操作部１２の所定の領域Ｒ１内の位置座標と、表示部１１を構成する画面上の操作領域Ｒ２内の位置座標とを対応させる。例えば、タッチ操作部１２の所定の領域Ｒ１が、タッチパッド１２１の一部又は全体の四角の領域であり、画面上の操作領域Ｒ２が、当該画面の一部又は全体の四角の領域である場合を考える。この場合、制御部１４は、所定の領域Ｒ１の４つの頂点と操作領域Ｒ２の４つの頂点とをそれぞれ対応させる。制御部１４は、４つの頂点の位置座標の対応関係を識別することで、各頂点を結ぶ四角の領域内に位置する各点の位置座標の対応関係を決定することができる。

【0065】

このような処理は、例えば、車載用情報処理システム１０が車両に搭載された初期の段階でキャリブレーションとして実行されてもよいし、随時実行されてもよい。

【0066】

図６は、車載用情報処理システム１０が行う画像処理の様子を示した模式図である。図６（ａ）は、タッチ操作部１２上でタッチ操作を行っている操作者の操作手の様子を示す。図６（ｂ）は、表示部１１を構成する画面上に重畳表示させた操作者の操作手の様子を示す。

【0067】

制御部１４は、カメラによって撮像された画像情報を、撮像部１３から取得する。図６の領域Ｒ３により示すとおり、撮像された画像は、タッチ操作部１２でタッチ操作を行う操作者の操作手の少なくとも一部と、タッチ操作部１２、特にタッチパッド１２１とを含む。すなわち、撮像部１３は、タッチ操作部１２と操作者の操作手との位置関係を撮像する。加えて、上述のとおり、制御部１４は、所定の領域Ｒ１内の位置座標と操作領域Ｒ２内の位置座標とを対応させるので、タッチ操作部１２における操作者の操作手の位置と対応するように、当該操作手の少なくとも一部を画面上に重畳表示させることが可能である。

【0068】

制御部１４は、表示部１１に操作者の操作手を重畳表示させるとき、上記の画像に基づいて、操作者の操作手の一部又は全体を抽出する画像処理を行う。すなわち、制御部１４は、操作者の操作手の輪郭よりも外部の背景等の画像情報を除去する。なお、タッチパッド１２１の周囲を黒色の縁により囲むことで、制御部１４は、撮像された画像に基づいて容易に操作者の操作手を抽出することができる。

【0069】

さらに、制御部１４は、撮像された画像が白黒画像の場合、画像処理によって操作手部分を着色してもよいし、着色しなくてもよい。表示部１１に表示される操作者の操作手のリアリティをより向上させるためには、制御部１４は、画像処理により着色するのが好適である。

【0070】

一方で、制御部１４は、撮像された画像がカラー画像の場合、操作者の操作手の実際の色彩及び明暗などに合わせて、画面上にそのまま重畳表示させるのが好適である。制御部１４は、これに限定されず、背後の表示内容をより容易に視認可能とするために、操作手部分の色彩及び明暗などを排除して、代わりに例えば所定の一色を付す画像処理を行ってもよい。また、制御部１４は、操作手部分の色彩及び明暗などを排除して、操作手部分を完全に無色透明とする画像処理を行ってもよい。この場合、制御部１４は、操作手の輪郭近傍の部位のみを画面上に表示させる。

【0071】

以下では、撮像部１３によって撮像された画像はカラー画像であり、制御部１４は、操作者の操作手の実際の色彩及び明暗などに合わせて、画面上にそのまま重畳表示させるものとして説明する。すなわち、制御部１４は、色彩及び明暗などに関する画像処理を行う必要はないものとして説明する。

【0072】

制御部１４は、撮像された画像中のタッチ操作部１２の所定の領域Ｒ１と、表示部１１を構成する画面上の操作領域Ｒ２との間の大きさの比率に基づいて、操作者の操作手の表示倍率を決定する。例えば、タッチ操作部１２の所定の領域Ｒ１が、タッチパッド１２１の一部又は全体の四角の領域であり、画面上の操作領域Ｒ２が、当該画面の一部又は全体の四角の領域である場合を考える。この場合、制御部１４は、タッチ操作部１２の所定の領域Ｒ１の各辺の長さと、画面上の操作領域Ｒ２の対応する各辺の長さとの比率をそれぞれ算出する。制御部１４は、当該比率に基づいて、表示部１１に重畳表示させる操作者の操作手の表示倍率を決定する。

【0073】

制御部１４は、決定した表示倍率に基づいて、撮像された操作者の操作手を、拡大若しくは縮小した状態、又はそのままの状態で表示部１１に重畳表示させる。

【0074】

制御部１４は、操作者の操作手の表示倍率を上記の比率と同一としてもよいし、上記の比率に基づく異なる値としてもよい。また、表示倍率の決定処理は、例えば、車載用情報処理システム１０が車両に搭載された初期の段階で上述のキャリブレーションと同時に実行されてもよいし、随時実行されてもよい。制御部１４は、表示倍率を一度決定すると、その倍率を固定してもよいし、状況に応じて可変としてもよい。例えば、制御部１４は、昼間と夜間とで操作者の操作手の表示倍率を変えてもよいし、操作者の設定により表示倍率を適宜変えてもよい。

【0075】

例えば、表示部１１が複数の画面により構成される場合、制御部１４は、各々の画面の操作領域Ｒ２の大きさに基づいて、重畳表示させる操作者の操作手の表示倍率をそれぞれ変えてもよい。これに限定されず、制御部１４は、各々の画面の操作領域Ｒ２の大きさに基づいて、例えば、その平均値を導出し、当該平均値に基づいて、重畳表示させる操作者の操作手の表示倍率を一定にしてもよい。

【0076】

制御部１４は、画面上の操作領域Ｒ２の大きさのみならず、画面上に表示する内容に応じて、操作者の操作手の表示倍率を変化させてもよい。例えば、表示部１１が地図又は機能項目などを表示して、操作者が各々を操作する場合、制御部１４は、操作者が操作しやすいようにその操作手の表示倍率を通常よりも低下させて、表示部１１に重畳表示させてもよい。

【0077】

また、制御部１４は、例えば、操作手の大きさの異なる操作者間で、表示部１１に重畳表示される操作手の大きさを一致させるために、操作者ごとに表示倍率を変えてもよい。一方で、制御部１４は、操作手の大きさの異なる操作者間で、表示部１１に重畳表示される操作手の表示倍率を一定にして、現実の操作者の操作手の大きさに合わせて重畳表示させてもよい。

【0078】

制御部１４は、撮像部１３により撮像された画像に基づいて、所定の時間内で画像処理を行うのが好適である。所定の時間とは、操作者の実際の操作手による操作のタイミングと、画面上に重畳表示させた操作者の操作手の動きのタイミングとの間の時間遅れであって、操作者が意識しない程度の時間遅れを意味する。すなわち、制御部１４は、操作者の反応速度及び認知能力などによって操作者が操作に違和感を感じる時間遅れよりも十分に短い時間内で画像処理を完結するのが好適である。例えば、制御部１４は、上述した、撮像された操作者の操作手の抽出及び表示倍率の調整のみに画像処理を限定するのが好適である。

【0079】

すなわち、操作者の操作手によるタッチ操作が検出されるタッチ操作部１２の所定の領域Ｒ１内の位置座標は、撮像部１３による撮像画像の画像処理により識別されるのではなく、上述したとおり、タッチ操作部１２、特にタッチパッド１２１からの検出情報に基づいて識別されるのが好適である。

【0080】

制御部１４は、上記のように２つの画像処理を行うものとして説明するが、これに限定されず、所定の時間内であれば、３つ以上の画像処理を行ってもよい。この場合、例えば、操作者の操作手によるタッチ操作が検出されるタッチ操作部１２の所定の領域Ｒ１内の位置座標は、撮像部１３による撮像画像の画像処理により識別されてもよい。

【0081】

制御部１４は、上記の画像処理を行うにあたり、タッチ操作部１２の所定の領域Ｒ１及び表示部１１を構成する画面上の操作領域Ｒ２に関する情報を、記憶部１５より参照する。すなわち、制御部１４は、検出情報に対応させた、タッチパッド１２１の所定の領域Ｒ１内の位置座標に関する情報を参照する。制御部１４は、表示部１１を構成する各画面の操作領域Ｒ２内の位置座標に関する情報を参照する。制御部１４は、キャリブレーションなどにより決定された、重畳表示させる操作者の操作手の表示倍率に関する情報を参照する。

【0082】

以下では、図７及び図８を参照して、操作者が車載用情報処理システム１０を用いて行う操作の一例を詳細に説明する。

【0083】

図７は、表示部１１を構成する画面に表示される機能項目とタッチパッド１２１との対応関係を例示した模式図である。制御部１４は、画面上の操作領域Ｒ２内で少なくとも１つのエリアを定めて、操作者が車両に関する情報を制御するための少なくとも１つの機能項目を、エリアごとに対応させて画面上に表示させる。例えば、制御部１４は、その画面の上部に設定された操作領域Ｒ２をさらに７つのエリアＲ２１、Ｒ２２、Ｒ２３、Ｒ２４、Ｒ２５、Ｒ２６、及びＲ２７に分けて、「ＡＰＰＳ」、「ＴＥＬ」、「Ａ／Ｃ」、「ＮＡＶＩ」、「ＡＵＤＩＯ」、「ＨＯＭＥ」、及び「ＲＥＴＵＲＮ」の機能項目をそれぞれのエリアに対応させて表示させる。７つのエリアＲ２１乃至Ｒ２７は、タッチ操作部１２の所定の領域Ｒ１中のエリアＲ１１、Ｒ１２、Ｒ１３、Ｒ１４、Ｒ１５、Ｒ１６、及びＲ１７にそれぞれ対応する。

【0084】

制御部１４が分けるエリアの数は７つに限定されず、少なくとも１つのエリアが定められていればよい。また、各エリアに表示させる機能項目は、上記に限定されず、車両に関する情報を制御するための任意の項目であってよい。各機能項目の表示方法は、図７に示した文字による表示に限定されず、例えば、矢印などのアイコンによる表示など、操作者が視認可能な任意の表示方法であってよい。

【0085】

操作者は、例えば、カーナビゲーションを起動したいときは、エリアＲ１４でタッチ操作を行う。タッチパッド１２１が操作者の操作手の一部による接触をエリアＲ１４で検出した場合、制御部１４は、エリアＲ２４に表示された「ＮＡＶＩ」の項目をハイライトさせる。この時、制御部１４は、撮像部１３により撮像された画像に基づいて、操作者の操作手を対応する位置に重畳表示させる。

【0086】

続いて、操作者の操作手の一部によるタッチパッド１２１の押込みによりタクトスイッチ１２２がオンになった場合、制御部１４は、エリアＲ２４に表示された「ＮＡＶＩ」の項目の選択を確定させる。この時、制御部１４は、エリアＲ１４に接触している操作者の操作手の一部、例えば人差し指の押込みに合わせて、同様の動きを画面上で表示させる。

【0087】

同様に、操作者がエリアＲ１１でタッチ操作を行うと、制御部１４は、エリアＲ２１に表示された「ＡＰＰＳ」に関する処理を行う。操作者がエリアＲ１２でタッチ操作を行うと、制御部１４は、エリアＲ２２に表示された「ＴＥＬ」に関する処理を行う。操作者がエリアＲ１３でタッチ操作を行うと、制御部１４は、エリアＲ２３に表示された「Ａ／Ｃ」に関する処理を行う。操作者がエリアＲ１５でタッチ操作を行うと、制御部１４は、エリアＲ２５に表示された「ＡＵＤＩＯ」に関する処理を行う。操作者がエリアＲ１６でタッチ操作を行うと、制御部１４は、エリアＲ２６に表示された「ＨＯＭＥ」に関する処理を行う。操作者がエリアＲ１７でタッチ操作を行うと、制御部１４は、エリアＲ２７に表示された「ＲＥＴＵＲＮ」に関する処理を行う。

【0088】

図７では、制御部１４は、操作領域Ｒ２内に定められたエリアごとに各機能項目を対応させて表示させるものとして説明したが、これに限定されない。図８に示すとおり、制御部１４は、操作者の操作手の各部にそれぞれ機能を割り当てて、タッチ操作部１２における各部の動作に基づいて、画面上で各種機能を選択実行させてもよい。この場合、制御部１４は、各種機能を選択実行させるためにエリアごとに各機能項目を表示させる必要はない。

【0089】

図８は、画面上に重畳表示された操作者の操作手が仮想的に行う操作の様子を例示した模式図である。制御部１４は、画面上に各機能項目を表示させる代わりに、操作者の操作手の各部、例えば３本の指それぞれに各種機能を割り当てる。より具体的には、制御部１４は、操作者の操作手の親指、人差し指、及び中指に、「ＲＥＴＵＲＮ」、「ＮＡＶＩ」、及び「ＨＯＭＥ」の機能をそれぞれ割り当てる。各種機能を割り当てる指の種類及び本数は上記に限定されず、任意の本数の任意の指に、任意の機能が割り当てられてもよい。

【0090】

例えば、操作者が人差し指をタッチパッド１２１に接触させた場合、制御部１４は、タッチパッド１２１上の接触に関する検出信号を、タッチ操作部１２から取得する。この時、制御部１４は、撮像部１３から取得した撮像画像により、タッチパッド１２１に接触している指の種類を識別する。すなわち、制御部１４は、タッチ操作部１２から取得した検出情報に基づいて、タッチパッド１２１上の接触の位置座標を識別し、撮像部１３から取得した画像情報に基づいて、接触している指の種類を識別する。

【0091】

制御部１４は、操作者の操作手による接触を識別した場合、画面上に任意の合図を表示させてもよい。制御部１４は、操作者の操作手による接触を識別しない場合、画面上に当該合図を表示させない。例えば、制御部１４は、前者の場合、画面上に重畳表示された操作者の人差し指の近傍に「ＮＡＶＩ」という項目を文字で表示させてもよいし、所定のアイコンで表示させてもよい。制御部１４は、さらに、表示した項目をハイライトさせてもよい。また、制御部１４は、操作者の人差し指による接触の識別を操作者に視覚情報としてフィードバックするために、人差し指の周囲をサークル状のポインタなどで囲むように表示させてもよい。以上により、操作者は、どの指がタッチパッド１２１に接触しているかを、視覚情報としても容易に認識することができる。

【0092】

続いて、操作者がタッチパッド１２１を押込み、タクトスイッチ１２２がオンになった場合、制御部１４は、操作者の人差し指の近傍に表示された「ＮＡＶＩ」の項目の選択を確定させる。この時、制御部１４は、タッチパッド１２１上の対応する位置に接触している操作者の人差し指の押込みに合わせて、同様の動きを画面上で表示する。

【0093】

同様に、操作者が親指でタッチ操作を行うと、制御部１４は、「ＲＥＴＵＲＮ」に関する処理を行う。操作者が中指でタッチ操作を行うと、制御部１４は、「ＨＯＭＥ」に関する処理を行う。

【0094】

例えば、操作者が親指、人差し指、及び中指を同時にタッチパッド１２１に接触させた場合、制御部１４は、上記の全ての項目を画面上に同時に表示してもよい。すなわち、制御部１４は、画面上に重畳表示された操作者の親指、人差し指、及び中指の近傍に、「ＲＥＴＵＲＮ」、「ＮＡＶＩ」、及び「ＨＯＭＥ」という項目をそれぞれ文字又はアイコンで同時に表示させてもよい。制御部１４は、さらに、表示した項目をそれぞれハイライトさせてもよい。また、制御部１４は、操作者の各指による接触の識別を操作者に視覚情報としてフィードバックするために、各指の周囲をサークル状のポインタなどでそれぞれ囲むように表示させてもよい。続いて、操作者が特定の指でタッチパッド１２１を押込むと、制御部１４は、その指に割り当てられた機能の選択を確定させる。

【0095】

上記の場合、制御部１４は、例えば、撮像部１３によって撮像された画像情報に基づいて、押込んだ指を識別してもよい。また、より精度良く押込んだ指を識別するために、制御部１４は、例えば、タッチパッド１２１の直下に配置された複数のタクトスイッチ１２２からの検出信号に基づいて、押込んだ指を識別してもよい。すなわち、制御部１４は、操作者が各指を同時にタッチパッド１２１に接触させた時点で、それぞれの位置座標及び指の種類を識別する。その後、制御部１４は、タクトスイッチ１２２によりタッチパッド１２１上のどの位置で押圧があったかを識別する。これにより、制御部１４は、どの指の機能の選択を確定させるかを識別する。

【0096】

図９は、車載用情報処理システム１０の動作の一例を示すフローチャートである。

【0097】

初めに、制御部１４は、キャリブレーションを行う。すなわち、制御部１４は、設定されたタッチ操作部１２の所定の領域Ｒ１内の位置座標と、表示部１１を構成する画面上の操作領域Ｒ２内の位置座標とを対応させる（ステップＳ１０）。

【0098】

続いて、制御部１４は、キャリブレーションなどによって、表示部１１に重畳表示させる操作者の操作手の表示倍率を決定する（ステップＳ１１）。

【0099】

次に、制御部１４は、撮像部１３により撮像された画像に基づいて、タッチ操作部１２上に操作者の操作手が重畳しているかを判別する（ステップＳ１２）。

【0100】

制御部１４は、タッチ操作部１２上に操作者の操作手が重畳していると判別した場合、ステップＳ１３に進む。制御部１４は、タッチ操作部１２上に操作者の操作手が重畳していないと判別した場合、再度ステップＳ１２に戻り、操作者の操作手が重畳するまで待機する。

【0101】

制御部１４は、タッチ操作部１２上に操作者の操作手が重畳していると判別した場合、操作者の操作手の一部又は全体を抽出する画像処理を行う（ステップＳ１３）。

【0102】

続いて、制御部１４は、ステップＳ１１で決定された表示倍率に基づいて、撮像された操作者の操作手を重畳表示させる（ステップＳ１４）。

【0103】

続いて、制御部１４は、タッチ操作部１２からタッチ操作に関する検出情報を取得したかを判別する（ステップＳ１５）。

【0104】

制御部１４は、検出情報を取得した場合、ステップＳ１６に進む。制御部１４は、検出情報を取得しない場合、再度ステップＳ１５に戻り、検出情報を取得するまで待機する。

【0105】

制御部１４は、検出情報を取得した場合、識別したタッチ操作部１２の所定の領域Ｒ１内の位置座標に対応する機能項目をハイライトさせる（ステップＳ１６）。

【0106】

続いて、制御部１４は、タクトスイッチ１２２がオン状態の信号をタッチ操作部１２より取得したかを判別する（ステップＳ１７）。

【0107】

制御部１４は、オン状態の信号を取得した場合、ステップＳ１８に進む。制御部１４は、オン状態の信号を取得しない場合、ステップＳ１５に戻り、検出情報を取得したかを再度判別する。

【0108】

制御部１４は、オン状態の信号を取得した場合、ステップＳ１６でハイライトさせた機能項目の選択を確定させる（ステップＳ１８）。

【0109】

その後、フローは終了する。

【0110】

以上により、本実施形態に係る車載用情報処理システム１０は、表示部１１に表示された操作者の操作手が仮想的に画面上で情報を操作するので、操作者に対して直感的な操作を可能とする。すなわち、操作者は、実際の感覚により近い状態で画面内にアクセスできる。また、操作者は、操作手の実際の位置と画面上の位置関係とを直感的に認識できる。従って、車載用情報処理システム１０は、ポインタなどを表示させる従来の装置と比べて、操作者が画面を注視する時間を低減させることが可能である。

【0111】

車載用情報処理システム１０は、画像処理を行う時間を限定するので、最小限の遅延により、操作者の操作手を重畳表示させることが可能である。すなわち、車載用情報処理システム１０は、実際の操作手と画面上に重畳表示された操作手との間で、時間的な動きのズレを低減することができる。これにより、操作者は、より違和感なく画面上に表示される情報を操作可能である。

【0112】

車載用情報処理システム１０は、撮像部１３により撮像された操作者の操作手を抽出する画像処理を行うので、画面上で操作者の操作手を忠実に重畳表示させることが可能である。これにより、操作者は、画面上に重畳表示された操作手を、自身の手であると直感的に認識することができる。

【0113】

車載用情報処理システム１０は、撮像部１３により撮像された操作者の操作手の表示倍率を変更する画像処理を行うので、画面に合わせた最適な大きさで操作者の操作手を重畳表示させることが可能である。これにより、操作者は、画面上に重畳表示されている操作手にリアリティを感じつつ、その背後に表示された表示内容を容易に視認可能である。

【0114】

車載用情報処理システム１０は、タッチ操作が検出される所定の領域Ｒ１内の位置座標を画像処理により識別する場合と比べて、最小限の遅延により、操作者の操作手を重畳表示させることが可能である。また、車載用情報処理システム１０は、撮像部１３により撮像された画像に基づいて間接的に位置座標を識別するのではなく、タッチ操作部１２により直接識別するので、精度良く位置座標を識別することができる。すなわち、車載用情報処理システム１０は、タッチ操作部１２により操作手が実際に接触している位置を検出するので、操作者が画面上に表示された機能項目などを選択する際に、誤動作を引き起こす可能性が低い。

【0115】

車載用情報処理システム１０では、撮像部１３が操作者の操作手全体を撮像することで、操作者は、画面上に重畳表示された操作手が自身の手であることを容易に認識できる。さらに、操作者は、操作手のどの部分を動かしているのかを、画面上の表示に基づいて容易に認識できる。また、操作者は、実際の操作手の位置と、画面上の位置との関係を正確に認識するので、操作手の移動量及び移動可能な画面上の領域を容易に把握できる。

【0116】

車載用情報処理システム１０は、撮像部１３により操作者の操作手全体を撮像することで、タッチパッド１２１上の操作者の操作手を精度良く識別することが可能である。すなわち、車載用情報処理システム１０は、操作者の操作手を人の手として精度良く認識することが可能である。さらに、車載用情報処理システム１０は、操作者の操作手の各部の識別をより精度良く行うことが可能である。すなわち、車載用情報処理システム１０は、撮像された画像中の指がどの指に対応するかを精度良く識別することが可能である。また、車載用情報処理システム１０は、操作手全体を撮像することで、操作手全体の大きさ、操作手全体に占める各部の大きさの割合などを精度良く識別することが可能である。これにより、車載用情報処理システム１０は、画面中での操作者の操作手の移動量、移動可能な画面上の領域を、タッチパッド１２１上の実際の操作手の動きと対応させて精度良く識別することが可能である。

【0117】

車載用情報処理システム１０は、タッチパッド１２１の奥側に所定の領域Ｒ１を設定し、画面上の上部に操作領域Ｒ２を設定することで、操作者は、必然的にタッチ操作部１２全体に自身の操作手を重畳させることになる。この時、車載用情報処理システム１０は、撮像部１３により、必然的に操作者の操作手全体を撮像可能である。なお、所定の領域Ｒ１以外のタッチパッド１２１上の領域をタッチ操作に対して無反応とすることで、操作者の意識は所定の領域Ｒ１により集中することになる。この時、車載用情報処理システム１０は、より確実に操作者の操作手全体を撮像可能である。

【0118】

車載用情報処理システム１０は、操作領域Ｒ２内に定められたエリアごとに各機能項目を対応させて表示させるので、操作者は、選択したい機能項目を容易に視認可能である。換言すると、操作者は、所定の機能項目を選択する場合に、タッチ操作部１２上のどのエリアでタッチ操作を行うべきかを直感的に認識可能である。

【0119】

一方で、車載用情報処理システム１０は、操作者の操作手の各部にそれぞれ機能を割り当てる場合、画面上の任意の場所で、各種機能を選択実行可能である。すなわち、車載用情報処理システム１０は、タッチ操作において、操作者の動作範囲を最小限に抑えることが可能であり、操作者は、容易にタッチ操作を行うことができる。

【0120】

車載用情報処理システム１０は、操作者が接触により選択した項目をハイライトさせることで、どの指がタッチパッド１２１に接触しているかを、視覚情報としても明瞭に認識することができる。また、操作者は、重畳表示された操作手が画面上のどの位置で接触しているのか、又はどの項目が選択されているのかを容易に視認可能である。

【0121】

車載用情報処理システム１０は、タクトスイッチ１２２がオンになるときに操作者に対してクリック感を与えるので、操作者は、自身の動作による触感的なフィードバックを得ることができ、より直感的な操作が可能である。換言すると、タクトスイッチ１２２が選択の確定に用いられることで、操作者は、自然な動作で選択した項目を確定させることができる。加えて、操作者は、指に働く反力によって、画面上に重畳表示された操作手に対してよりリアリティを感じる。すなわち、操作者は、自身の実際の操作手があたかも直接画面に触れているような錯覚を覚えやすくなる。

【0122】

車載用情報処理システム１０は、重畳表示させる操作者の操作手を半透過にするので、リアリティを確保しつつ、操作者は、画面上に表示される情報を容易に視認可能である。すなわち、操作者は、より直感的に画面上に表示される情報を操作可能である。

【0123】

車載用情報処理システム１０は、タッチ操作部１２の上方に撮像部１３を設置することで、操作者の操作手全体をより容易に撮像可能である。

【0124】

本発明は、その精神又はその本質的な特徴から離れることなく、上述した実施形態以外の他の所定の形態で実現できることは当業者にとって明白である。従って、先の記述は例示的なものであり、これに限定されるものではない。発明の範囲は、先の記述によってではなく、付加した請求項によって定義される。あらゆる変更のうちその均等の範囲内にあるいくつかの変更は、その中に包含されるものとする。

【符号の説明】

【0125】

１０ 車載用情報処理システム
１１ 表示部
１２ タッチ操作部
１２１ タッチパッド
１２２ タクトスイッチ
１３ 撮像部
１４ 制御部
１５ 記憶部
Ｒ１ 所定の領域
Ｒ１１、Ｒ１２、Ｒ１３、Ｒ１４、Ｒ１５、Ｒ１６、Ｒ１７ エリア
Ｒ２ 操作領域
Ｒ２１、Ｒ２２、Ｒ２３、Ｒ２４、Ｒ２５、Ｒ２６、Ｒ２７ エリア
Ｒ３ 領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】