特許 5984651 車載システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5984651

(24)【登録日】2016年8月12日

(45)【発行日】2016年9月6日

(54)【発明の名称】車載システム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20160823BHJP

   G06F 3/0484 20130101ALI20160823BHJP

   G06F 3/0346 20130101ALI20160823BHJP

   G06T 1/00 20060101ALI20160823BHJP

   B60R 11/02 20060101ALI20160823BHJP

   B60R 11/04 20060101ALI20160823BHJP

【ＦＩ】

   G06F3/01 570

   G06F3/0484

   G06F3/0346 422

   G06T1/00 340Z

   B60R11/02 C

   B60R11/04

【請求項の数】17

【全頁数】15

(21)【出願番号】特願2012-267076(P2012-267076)

(22)【出願日】2012年12月6日

(65)【公開番号】特開2014-115699(P2014-115699A)

(43)【公開日】2014年6月26日

【審査請求日】2015年9月11日

(73)【特許権者】

【識別番号】000101732

【氏名又は名称】アルパイン株式会社

(74)【代理人】

【識別番号】100099748

【弁理士】

【氏名又は名称】佐藤 克志

(72)【発明者】

【氏名】三宅 隆

【審査官】 菅原 浩二

(56)【参考文献】

【文献】 特開２００５−２５４８５１（ＪＰ，Ａ）

【文献】 特開２００７−２３７９１９（ＪＰ，Ａ）

【文献】 特開２００１−２１６０６９（ＪＰ，Ａ）

【文献】 特開２００３−１３１７８５（ＪＰ，Ａ）

【文献】 特開２００７−２６０５６２（ＪＰ，Ａ）

【文献】 特開平１０−２９７３９２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｂ６０Ｒ １１／０２

Ｂ６０Ｒ １１／０４

Ｇ０６Ｆ ３／０３４６

Ｇ０６Ｆ ３／０４８−３／０４８９

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

自動車に搭載され、仮想操作子に対するユーザ操作を受け付ける車載システムであって、
前記自動車のハンドルを握るユーザの手を撮影するカメラと、
複数の前記ハンドルに対する指の配置パターンの各々について、当該配置パターンと手の五指のうちのいずれかの指との対応を登録した対応情報を格納した記憶部と、
前記カメラで撮影した画像より、前記ユーザの指のハンドルに対する配置パターンを識別する握持形態識別部と、
前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている指を操作指として設定する操作指設定手段と、
前記カメラで撮影した画像より、ユーザの前記操作指の位置を検出する位置検出部と、
前記位置検出部が検出した前記操作指の位置に前記仮想操作子を設定する仮想操作子設定部と、
前記カメラで撮影した画像より、前記ユーザの指の動きを検出し、検出した前記指の動きに応じて前記設定した仮想操作子の操作を受け付ける操作受付部とを有することを特徴とする車載システム。

【請求項2】

自動車に搭載され、仮想操作子に対するユーザ操作を受け付ける車載システムであって、
前記自動車のハンドルを握るユーザの手を撮影するカメラと、
複数の前記ハンドルに対する指の配置パターンの各々について、当該配置パターンと前記仮想操作子の種別との対応を登録した対応情報を格納した記憶部と、
前記カメラで撮影した画像より、前記ユーザの指のハンドルに対する配置パターンを識別する握持形態識別部と、
前記カメラで撮影した画像より、ユーザの指の位置を検出する位置検出部と、
前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている種別の仮想操作子を、前記位置検出部が検出した指の位置に設定する仮想操作子設定部と、
前記カメラで撮影した画像より、前記ユーザの指の動きを検出し、検出した前記指の動きに応じて前記設定した仮想操作子の操作を受け付ける操作受付部とを有することを特徴とする車載システム。

【請求項3】

自動車に搭載され、仮想操作子に対するユーザ操作を受け付ける車載システムであって、
前記自動車のハンドルを握るユーザの手を撮影するカメラと、
前記仮想操作子で受け付けたユーザ操作に応じて行う機能が各々異なる複数のモードのうちのいずれかのモードを選択的に現用モードとして設定するモード設定部と、
前記複数のモードの各モードについて、当該モードと手の五指のうちのいずれかの指との対応を登録した対応情報を格納した記憶部と、
前記対応情報に、前記モード設定部が現用モードとして設定しているモードとの対応が登録されている指を操作指として設定する操作指設定手段と、
前記カメラで撮影した画像より、ユーザの前記操作指の位置を検出する位置検出部と、
前記位置検出部が検出した前記操作指の位置に前記仮想操作子を設定する仮想操作子設定部と、
前記カメラで撮影した画像より、前記ユーザの指の動きを検出し、検出した前記指の動きに応じて前記設定した仮想操作子の操作を受け付ける操作受付部とを有することを特徴とする車載システム。

【請求項4】

請求項１記載の車載システムであって、
前記対応情報には、複数の前記ハンドルに対する指の配置パターンの各々について、当該配置パターンと前記仮想操作子の種別との対応も登録されており、
前記仮想操作子設定部は、前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている種別の仮想操作子を、前記操作指の位置に設定することを特徴とする車載システム。

【請求項5】

請求項１記載の車載システムであって、
前記仮想操作子で受け付けたユーザ操作に応じて行う機能が各々異なる複数のモードのうちのいずれかのモードを選択的に現用モードとして設定するモード設定部を備え、
前記対応情報は、前記複数のモードの各モード毎に設けられており、
前記操作指設定手段は、前記モード設定部が現用モードとして設定しているモードに対応する前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている指を操作指として設定することを特徴とする車載システム。

【請求項6】

請求項２記載の車載システムであって、
前記仮想操作子で受け付けたユーザ操作に応じて行う機能が各々異なる複数のモードのうちのいずれかのモードを選択的に現用モードとして設定するモード設定部を備え、
前記対応情報は、前記複数のモードの各モード毎に設けられており、
前記仮想操作子設定部は、前記モード設定部が現用モードとして設定しているモードに対応する前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている種別の仮想操作子を、前記位置検出部が検出した指の位置に設定することを特徴とする車載システム。

【請求項7】

請求項４記載の車載システムであって、
前記仮想操作子で受け付けたユーザ操作に応じて行う機能が各々異なる複数のモードのうちのいずれかのモードを選択的に現用モードとして設定するモード設定部を備え、
前記対応情報は、前記複数のモードの各モード毎に設けられており、
前記操作指設定手段は、前記モード設定部が現用モードとして設定しているモードに対応する前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている指を操作指として設定し、
前記仮想操作子設定部は、前記モード設定部が現用モードとして設定しているモードに対応する前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている種別の仮想操作子を、前記位置検出部が検出した前記操作指の位置に設定することを特徴とする車載システム。

【請求項8】

請求項２、４、６または７記載の車載システムであって、
前記仮想操作子は、当該仮想操作子の種別毎に操作動作が異なるものであることを特徴とする車載システム。

【請求項9】

請求項８記載の車載システムであって、
前記仮想操作子の種別は、指のスライド動作によって操作を受け付ける前記仮想操作子の種別と、指の回転動作によって操作を受け付ける前記仮想操作子の種別と、指のプッシュ動作によって操作を受け付ける前記仮想操作子の種別とのうちの、少なくとも二つの種別を含むことを特徴とする車載システム。

【請求項10】

請求項１、２、３、４、５、６、７、８または９記載の車載システムであって、
前記カメラが撮影した画像上の、前記仮想操作子設定部が前記仮想操作子を設定した位置に相当する当該カメラが撮影した画像中の位置に、前記仮想操作子設定部が設定した仮想操作子を表す画像を合成した操作案内画像を表示する前記操作案内画像表示部を有することを特徴とする車載システム。

【請求項11】

請求項１、２、３、４、５、６、７、８または９記載の車載システムであって、
前記仮想操作子設定部が前記仮想操作子を設定した位置に、前記仮想操作子設定部が設定した仮想操作子を表す画像の虚像を表示する仮想操作子表示部を有することを特徴とする車載システム。

【請求項12】

自動車に搭載される、前記自動車のハンドルを握るユーザの手を撮影するカメラを備えたコンピュータによって読み取られ実行されるコンピュータプログラムであって、
前記コンピュータを、
複数の前記ハンドルに対する指の配置パターンの各々について、当該配置パターンと手の五指のうちのいずれかの指との対応を登録した対応情報を格納した記憶部と、
前記カメラで撮影した画像より、前記ユーザの指のハンドルに対する配置パターンを識別する握持形態識別部と、
前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている指を操作指として設定する操作指設定手段と、
前記カメラで撮影した画像より、ユーザの前記操作指の位置を検出する位置検出部と、
前記位置検出部が検出した前記操作指の位置に前記仮想操作子を設定する仮想操作子設定部と、
前記カメラで撮影した画像より、前記ユーザの指の動きを検出し、検出した前記指の動きに応じて前記設定した仮想操作子の操作を受け付ける操作受付部として機能させることを特徴とするコンピュータプログラム。

【請求項13】

自動車に搭載される、前記自動車のハンドルを握るユーザの手を撮影するカメラを備えたコンピュータによって読み取られ実行されるコンピュータプログラムであって、
前記コンピュータを、
複数の前記ハンドルに対する指の配置パターンの各々について、当該配置パターンと前記仮想操作子の種別との対応を登録した対応情報を格納した記憶部と、
前記カメラで撮影した画像より、前記ユーザの指のハンドルに対する配置パターンを識別する握持形態識別部と、
前記カメラで撮影した画像より、ユーザの指の位置を検出する位置検出部と、
前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている種別の仮想操作子を、前記位置検出部が検出した指の位置に設定する仮想操作子設定部と、
前記カメラで撮影した画像より、前記ユーザの指の動きを検出し、検出した前記指の動きに応じて前記設定した仮想操作子の操作を受け付ける操作受付部として機能させることを特徴とするコンピュータプログラム。

【請求項14】

自動車に搭載される、前記自動車のハンドルを握るユーザの手を撮影するカメラを備えたコンピュータによって読み取られ実行されるコンピュータプログラムであって、
前記コンピュータを、
前記仮想操作子で受け付けたユーザ操作に応じて行う機能が各々異なる複数のモードのうちのいずれかのモードを選択的に現用モードとして設定するモード設定部と、
前記複数のモードの各モードについて、当該モードと手の五指のうちのいずれかの指との対応を登録した対応情報を格納した記憶部と、
前記対応情報に、前記モード設定部が現用モードとして設定しているモードとの対応が登録されている指を操作指として、前記カメラで撮影した画像より、ユーザの前記操作指の位置を検出する位置検出部と、
前記位置検出部が検出した前記操作指の位置に前記仮想操作子を設定する仮想操作子設定部と、
前記カメラで撮影した画像より、前記ユーザの指の動きを検出し、検出した前記指の動きに応じて前記設定した仮想操作子の操作を受け付ける操作受付部として機能させることを特徴とするコンピュータプログラム。

【請求項15】

請求項１２、１３または１４記載のコンピュータプログラムであって、
前記仮想操作子は、当該仮想操作子の種別毎に操作動作が異なるものであることを特徴とするコンピュータプログラム。

【請求項16】

請求項１５記載のコンピュータプログラムであって、
前記仮想操作子の種別は、指のスライド動作によって操作を受け付ける前記仮想操作子の種別と、指の回転動作によって操作を受け付ける前記仮想操作子の種別と、指のプッシュ動作によって操作を受け付ける前記仮想操作子の種別とのうちの、少なくとも二つの種別を含むことを特徴とするコンピュータプログラム。

【請求項17】

請求項１２、１３、１４、１５または１６記載のコンピュータプログラムであって、
前記コンピュータプログラムは、前記コンピュータをさらに、
前記カメラが撮影した画像上の、前記仮想操作子設定部が当該仮想操作子を設定した位置に相当する前記カメラが撮影した画像中の位置に、前記仮想操作子設定部が設定した仮想操作子を表す画像を合成した操作案内画像を表示する前記操作案内画像表示部として機能させることを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想操作子に対するユーザ操作を受け付ける車載システムに関するものである。

【背景技術】

【0002】

仮想操作子に対するユーザ操作を受け付ける車載システムとしては、ユーザを撮影するカメラを備え、カメラの撮影画像より求まるユーザの手の位置や向きより算出した手の前方の位置に虚像の仮想操作子を表示すると共に、カメラの撮影画像より検出した仮想操作子に対するユーザの操作を受け付ける技術が知られている、（たとえば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００５-２５４８５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

仮想操作子に対するユーザ操作を受け付ける車載システムにおいて、操作者を運転者とする場合、上述の技術のように、手の前方の位置に仮想操作子を配置することは、仮想操作子の操作のために運転者がハンドル（ステアリングホイール）から手を離さなければならなくなるため適切ではない。

【0005】

また、運転者のハンドルの握り方は個々に異なり、ハンドルの握り方によって、運転者が操作し易い仮想操作子の位置や配置や操作動作が異なることとなるため、手の位置や向きに応じて仮想操作子の配置位置を変えるだけでは、仮想操作子の操作を、必ずしも充分に容易化することはできない。

【0006】

そこで、本発明は、仮想操作子に対する運転者の操作を受け付ける車載システムにおいて、当該仮想操作子に対する操作の容易性を向上することを課題とする。

【課題を解決するための手段】

【0007】

前記課題達成のために、自動車に搭載され、仮想操作子に対するユーザ操作を受け付ける車載システムとして、前記自動車のハンドルを握るユーザの手を撮影するカメラと、複数の前記ハンドルに対する指の配置パターンの各々について、当該配置パターンと手の五指のうちのいずれかの指との対応を登録した対応情報を格納した記憶部と、前記カメラで撮影した画像より、前記ユーザの指のハンドルに対する配置パターンを識別する握持形態識別部と、前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている指を操作指として設定する操作指設定手段と、前記カメラで撮影した画像より、ユーザの前記操作指の位置を検出する位置検出部と、前記位置検出部が検出した前記操作指の位置に前記仮想操作子を設定する仮想操作子設定部と、前記カメラで撮影した画像より、前記ユーザの指の動きを検出し、検出した前記指の動きに応じて前記設定した仮想操作子の操作を受け付ける操作受付部と備えた第１の車載システムを提供する。

【0008】

このような第１の車載システムよれば、ユーザの指のハンドルに対する配置パターン、すなわち、ユーザのハンドルの握り方に応じて定まる指の位置に、仮想操作子を設定することができるので、各時点において、ユーザがハンドルを握ったまま操作を行い易い指の位置に仮想操作子を設定することができるようになる。

【0009】

また、前記課題達成のために、自動車に搭載され、仮想操作子に対するユーザ操作を受け付ける車載システムとして、前記自動車のハンドルを握るユーザの手を撮影するカメラと、複数の前記ハンドルに対する指の配置パターンの各々について、当該配置パターンと前記仮想操作子の種別との対応を登録した対応情報を格納した記憶部と、前記カメラで撮影した画像より、前記ユーザの指のハンドルに対する配置パターンを識別する握持形態識別部と、前記カメラで撮影した画像より、ユーザの指の位置を検出する位置検出部と、前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている種別の仮想操作子を、前記位置検出部が検出した指の位置に設定する仮想操作子設定部と、前記カメラで撮影した画像より、前記指の動きを検出し、検出した前記指の動きに応じて前記設定した仮想操作子の操作を受け付ける操作受付部とを備えた第２の車載システムを提供する。

【0010】

このような第２の車載システムよれば、ユーザの指のハンドルに対する配置パターン、すなわち、ユーザのハンドルの握り方に応じて設定する仮想操作子の種別を変更することができるので、各時点において、ユーザがハンドルを握ったまま操作動作を行い易い種別の仮想操作子を設定することができるようになる。
また、本発明は、前記課題達成のために、自動車に搭載され、仮想操作子に対するユーザ操作を受け付ける車載システムとして、前記自動車のハンドルを握るユーザの手を撮影するカメラと、前記仮想操作子で受け付けたユーザ操作に応じて行う機能が各々異なる複数のモードのうちのいずれかのモードを選択的に現用モードとして設定するモード設定部と、前記複数のモードの各モードについて、当該モードと手の五指のうちのいずれかの指との対応を登録した対応情報を格納した記憶部と、前記対応情報に、前記モード設定部が現用モードとして設定しているモードとの対応が登録されている指を操作指として設定する操作指設定手段と、前記カメラで撮影した画像より、ユーザの前記操作指の位置を検出する位置検出部と、前記位置検出部が検出した前記操作指の位置に前記仮想操作子を設定する仮想操作子設定部と、前記カメラで撮影した画像より、前記ユーザの指の動きを検出し、検出した前記指の動きに応じて前記設定した仮想操作子の操作を受け付ける操作受付部とを備えた第３の車載システムを提供する。

【0011】

このような第３の車載システムによれば、モードに応じて定まる指の位置に、仮想操作子を設定することができるので、各モードにおいて、そのモードにおける操作を行い易い指の位置に仮想操作子を設定することができるようになる。
さて、ここで、以上の第１の車載システム、第２の車載システム、第３の車載システムの構成は、これを組み合わせて実施するようにしてもよい。
すなわち、たとえば、上記第１の車載システムにおいて、前記対応情報に、複数の前記ハンドルに対する指の配置パターンの各々について、当該配置パターンと前記仮想操作子の種別との対応も登録し、前記仮想操作子設定部において、前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている種別の仮想操作子を、前記操作指の位置に設定するようにしてもよい。

【0012】

また、この場合には、車載システムに、さらに、前記仮想操作子で受け付けたユーザ操作に応じて行う機能が各々異なる複数のモードのうちのいずれかのモードを選択的に現用モードとして設定するモード設定部を設けると共に、前記対応情報を、前記複数のモードの各モード毎に設け、前記操作指設定手段において、前記モード設定部が現用モードとして設定しているモードに対応する前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている指を操作指として設定し、前記仮想操作子設定部において、前記モード設定部が現用モードとして設定しているモードに対応する前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている種別の仮想操作子を、前記位置検出部が検出した前記操作指の位置に設定するようにしてもよい。

【0013】

また、たとえば、上記第１の車載システムに、前記仮想操作子で受け付けたユーザ操作に応じて行う機能が各々異なる複数のモードのうちのいずれかのモードを選択的に現用モードとして設定するモード設定部を設けると共に、前記対応情報を、前記複数のモードの各モード毎に設け、前記操作指設定手段において、前記モード設定部が現用モードとして設定しているモードに対応する前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている指を操作指として設定するようにしてもよい。

【0014】

または、上記第２の車載システムに、前記仮想操作子で受け付けたユーザ操作に応じて行う機能が各々異なる複数のモードのうちのいずれかのモードを選択的に現用モードとして設定するモード設定部を設けると共に、前記対応情報を、前記複数のモードの各モード毎に設け、前記仮想操作子設定部において、前記モード設定部が現用モードとして設定しているモードに対応する前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている種別の仮想操作子を、前記位置検出部が検出した指の位置に設定するようにしてもよい。

【0015】

ここで、以上の各車載システムは、前記仮想操作子を、当該仮想操作子の種別毎に操作動作が異なるものとしてよい。また、この場合に、前記仮想操作子の種別は、指のスライド動作によって操作を受け付ける前記仮想操作子の種別と、指の回転動作によって操作を受け付ける前記仮想操作子の種別と、指のプッシュ動作によって操作を受け付ける前記仮想操作子の種別とのうちの、少なくとも二つの種別を含むものとしてよい。

【0016】

また、以上の各車載システムには、さらに、前記カメラが撮影した画像上の、前記仮想操作子設定部が当該仮想操作子を設定した位置に相当する前記カメラが撮影した画像中の位置に、前記仮想操作子設定部が設定した仮想操作子を表す画像を合成した操作案内画像を表示する前記操作案内画像表示部を設けることも好ましい。

【0017】

または、以上の各車載システムに、前記仮想操作子設定部が当該仮想操作子を設定した位置に、前記仮想操作子設定部が設定した仮想操作子を表す画像の虚像を表示する仮想操作子表示部を設けるようにしてもよい。

【発明の効果】

【0018】

以上のように、本発明によれば、仮想操作子に対する運転者の操作を受け付ける車載システムにおいて、当該仮想操作子に対する操作の容易性を向上することができる。

【図面の簡単な説明】

【0019】

【図1】本発明の実施形態に係る車載システムの構成を示すブロック図である。

【図2】本発明の実施形態に係る車載システムの配置を示す図である。

【図3】本発明の実施形態に係る仮想操作子定義テーブルを示す図である。

【図4】本発明の実施形態に係る仮想操作子操作受付処理を示すフローチャートである。

【図5】本発明の実施形態に係る車載システムの表示例を示す図である。

【図6】本発明の実施形態に係る車載システムの表示例を示す図である。

【発明を実施するための形態】

【0020】

以下、本発明に係る車載システムの実施形態について説明する。
図１に、本実施形態に係る車載システムの構成を示す。
ここで、車載システムは、自動車に搭載されるシステムであり、図示するように、メインディスプレイ１０１、マイクロフォン１０２、カメラ１０３、サブディスプレイ１０４、音声認識処理部１０５、画像認識処理部１０６、表示処理部１０７、制御装置１０８、記憶装置１０９、１または複数の機能システム１１０を備えている。

【0021】

ただし、このような車載システムは、ＣＰＵやメモリを備えたコンピュータを用いて構成されるものであってよく、この場合、音声認識処理部１０５や画像認識処理部１０６や表示処理部１０７や制御装置１０８は、コンピュータが所定のコンピュータプログラムを実行することにより実現されるものであってよい。

【0022】

ここで、カメラ１０３は、図２ａに示すように、自動車車内に配置され、自動車のハンドル（ステアリングホイール）およびその周辺を後方上方より撮影する。
次に、図２ｂに示すように、メインディスプレイ１０１は、比較的大型の表示装置であり、自動車のダッシュボードに配置される。また、サブディスプレイ１０４は比較的小型の表示装置であり、メータクラスタ内に配置される。
図１に戻り、画像認識処理部１０６は、以上のように配置されたカメラ１０３の撮影画像に基づいてユーザの手や指のハンドルに対する位置や動きを認識する。
また、音声認識処理部１０５は、マイクロフォン１０２から入力する音声に基づいてユーザの発話内容を認識する。
また、機能システム１１０は、たとえば、ＡＶシステムや、ナビゲーションシステムや、自動車の空調システムなどである。
そして、ＡＶシステムは、ラジオ受信機や、ＣＤなどの記録ディスクを再生するディスクドライブや、スピーカを備えた音声出力装置などを備え、ラジオ受信機で受信した番組音声や記録ディスクから再生した音声を出力音声として、音声出力装置から出力するシステムである。また、ナビゲーションシステムは、ＧＰＳ受信機や、自動車の車速や角速度を検出するセンサなどを備え、記憶装置１０９に格納されている地図データを用いつつ、現在位置の算出や、目的地の設定や、目的地までのルートの設定や、地図上に現在位置や目的地やルートを表したナビゲーション画像のメインディスプレイ１０１への表示を行うシステムである。

【0023】

さて、このような構成において、制御装置１０８は、仮想操作子を設定しつつ、仮想操作子のユーザ操作を受け付ける。
ここで、仮想操作子によって受け付けるユーザ操作としては、ボリューム変更操作、プリセットチャネル選択操作、表示縮尺変更操作、メニュー操作などがある。
そして、制御部は、ユーザからボリューム変更操作を受け付けた場合にはＡＶシステムの出力音声のボリュームを増減する処理を行い、ユーザからプリセットチャネル選択操作を受け付けた場合には、ＡＶシステムのラジオ受信機の受信チャネルをプリセットされているチャネル群のうちで切り替える処理を行い、ユーザから表示縮尺変更操作を受け付けた場合には、ナビゲーションシステムがメインディスプレイ１０１に表示しているナビゲーション画像の地図縮尺を変更する処理を行う。

【0024】

また、メニュー操作は機能システム１１０制御用の任意のメニューを設定しているときに受け付ける操作であり、メニュー操作を受け付けた場合には、ユーザ操作に応じたメニューの切替やユーザ操作で選択されたメニュー項目に応じた処理を行う。ここで、機能システム１１０制御用のメニューとしては、ＡＶシステムにおいて音声出力装置から出力する出力音声のソースをラジオ受信機とＣＤなどの記録ディスクとの間で切り替えるメニューなどがある。

【0025】

以下、このような車載システムにおいて、制御装置１０８が仮想操作子を設定しつつ、仮想操作子のユーザ操作を受け付ける処理の詳細について説明する。
まず、仮想操作子の設定とユーザ操作の受け付けの処理に用いる仮想操作子定義テーブルについて説明する。
ここで、仮想操作子定義テーブルは、予め記憶装置１０９に格納されているものである。
さて、仮想操作子定義テーブルには、図３ａに示すように、複数の入力モードが登録されている。
入力モードとしては、上述したボリューム変更操作を受け付けるボリューム変更操作入力モード、上述したプリセットチャネル選択操作を受け付けるプリセットチャネル選択操作入力モード、上述した表示縮尺変更操作を受け付ける表示縮尺変更操作入力モード、上述したメニュー操作を受け付けるメニュー操作入力モードなどを用いる。

【0026】

そして、仮想操作子定義テーブルには、各入力モード毎に対応して、１または複数の定義データが登録されている。
各定義データは、指配置条件と仮想操作子種別と配置とよりなり、指配置条件はユーザのハンドルに対する指の配置パターンの条件（ハンドルの握り方の条件）が登録される。また、仮想操作子種別には対応する入力モードにおいて、同じ定義データに登録されている指配置条件が満たされたときに設定する仮想操作子の種別が登録され、配置には対応する入力モードにおいて、同じ定義データに登録されている指配置条件が満たされたときに仮想操作子を配置する位置と仮想操作子の配置形態（上下配置、左右配置など）が登録される。

【0027】

ここで、本実施形態では、仮想操作子種別として、図３ｂ１に示す指のスライド操作によりユーザ操作を受け付けるスライダー３１１、図３ｂ２に示す指の回転操作によりユーザ操作を受け付けるロータリ３１２、図３ｂ３に示す、指のプッシュ操作によりユーザ操作を受け付けるUPボタンとDOWNボタンとのセットであるUP/DOWNボタン３１３、図３ｂ４に示す、指のプッシュ操作によりユーザ操作を受け付けるOKボタンとCANCELボタンとのセットであるOK/CANCELボタン３１４などの種別を用いる。

【0028】

以下、制御装置１０８が、仮想操作子の設定とユーザ操作の受け付けのために行う仮想操作子操作受付処理について説明する。
図４に、この仮想操作子操作受付処理の手順を示す。
図示するように、この処理では、音声認識処理部１０５による、ユーザの操作要求音声の認識の発生を監視し（ステップ４０２）、操作要求音声の認識が発生したならば、認識された操作要求音声に応じた入力モードを設定する。
ここで、ステップ４０２、４０４では、たとえば、ユーザの「ボリューム」という音声の認識に応答して入力モードとしてボリューム変更操作入力モードを設定し、ユーザの「チャネル変更」という音声の認識に応答して入力モードとしてプリセットチャネル選択操作入力モードを設定し、ユーザの「縮尺変更」という音声の認識に応答して入力モードとして表示縮尺変更操作入力モードを設定し、ユーザの「メニュー」という音声の認識に応答して入力モードとしてメニュー操作入力モードを設定する。

【0029】

そして、このようにして入力モードを設定したならば、画像認識処理部１０６を用いて、カメラ１０３の撮影画像に基づいてユーザの手、指のハンドルに対する位置、配置を認識する（ステップ４０６）。
そして、仮想操作子定義テーブルに基づいて、現在の入力モードと認識したユーザの手、指のハンドルに対する位置、配置に応じた仮想操作子の種別と配置を決定し、決定した配置に決定した種別の仮想操作子を設定する（ステップ４０８）。
ここで、ステップ４０８では、仮想操作子定義テーブルの現在設定されている入力モードに対応している定義データであって、指配置条件が認識したユーザの手、指のハンドルに対する位置、配置にマッチする定義データのうち、最先に登録されている定義データ（図３において、より上に登録されている定義データ）の仮想操作子種別と配置を、入力モードと認識したユーザの手、指のハンドルに対する位置、配置に応じた仮想操作子の種別と配置として決定する。

【0030】

そして、次に、表示処理部１０７を制御し、カメラ１０３が撮影した画像上に仮想操作子の画像を合成した、操作案内画像をサブディスプレイ１０４に表示する（ステップ４１０）。
ここで、操作案内画像は、拡張現実の手法等により、ステップ４０８で設定した位置に、ステップ４０８で設定した種別の仮想操作子が配置されているようすを表した画像とする。また、操作案内画像には、操作情報５０１の表示を含める。
すなわち、たとえば、入力モードとして、ボリューム操作入力モードが設定されているときに、ユーザの右第１指（右手の親指）の端（指先）がハンドルの内側にあれば、図３ａの仮想操作子定義テーブルの定義データ３０１に従って、種別がスライダー３１１の仮想操作子が、ユーザの右第１指の腹（末節の爪の反対側）の位置に設定される。

【0031】

そして、操作案内画像としては、図５ａ１に示すように、カメラ１０３が撮影した自動車のハンドルを握るユーザの手を表す画像上の、当該画像中におけるユーザの右第１指の腹の位置に、図３ｂ１に示すスライダー３１１の画像が合成された画像が表示される。また、操作案内画像には、操作情報５０１の表示として、現在のボリューム設定値の表示が含まれる。

【0032】

また、たとえば、入力モードとして、ボリューム操作入力モードが設定されているときに、ユーザの右第１指の端がハンドルの内側になく、ハンドル上にある場合には、図３ａの仮想操作子定義テーブルの定義データ３０２に従って、種別がロータリ３１２の仮想操作子が、ユーザの右第１指の腹の位置に設定される。

【0033】

そして、操作案内画像としては、図５ａ２に示すように、カメラ１０３が撮影した自動車のハンドルを握るユーザの手を表す画像上の、当該画像中におけるユーザの右第１指の腹の位置に、図３ｂ２に示すロータリ３１２の画像が合成された画像が表示される。また、操作案内画像には、操作情報５０１の表示として、現在のボリューム設定値の表示が含まれる。

【0034】

次に、たとえば、入力モードとして、プリセットチャネル選択操作入力モードが設定されているときに、ユーザの右第２指と第３指（右手の人差し指と中指）の端がハンドルの内側にあれば、図３ａの仮想操作子定義テーブルの定義データ３０３に従って、種別がUP/DOWNボタン３１３の仮想操作子が、ユーザの右第２指と第３指の腹の位置に設定される。ただし、ここでは、UP/DOWNボタン３１３のUPボタンはユーザの右第２指の腹の位置に、DOWNボタンはユーザの右第３指の腹の位置に設定する。

【0035】

そして、操作案内画像としては、図５ｂ１に示すように、カメラ１０３が撮影した自動車のハンドルを握るユーザの手を表す画像上の、当該画像中におけるユーザの右第２指と第３指の腹位置に、図３ｂ３のUP/DOWNボタン３１３の画像が合成された画像が表示される。また、ここで、UP/DOWNボタン３１３の設定に従って、UP/DOWNボタン３１３のUPボタンはユーザの右第２指の腹の位置に、DOWNボタンはユーザの右第３指の腹の位置に表示される。また、操作案内画像には、操作情報５０１の表示として、現在受信チャネルとして設定されているプリセットチャネルの番号の表示が含まれる。

【0036】

また、たとえば、入力モードとして、プリセットチャネル選択操作入力モードが設定されているときに、ユーザの右第２指と第３指の端がハンドルの内側になく、ユーザの右第１指の端がハンドルの上にある場合には、図３ａの仮想操作子定義テーブルの定義データ３０４に従って、種別がUP/DOWNボタン３１３の仮想操作子が、ユーザの右第１指の腹の位置に設定される。ただし、ここでは、UP/DOWNボタン３１３のUPボタンとDOWNボタンとは仮想操作子定義テーブルの定義データ３０４の配置にしたがって左右に配置される。

【0037】

そして、操作案内画像としては、図５ｂ２に示すように、カメラ１０３が撮影した自動車のハンドルを握るユーザの手を表す画像上の、当該画像中におけるユーザの右第１指の腹位置に、図３ｂ３のUP/DOWNボタン３１３の画像が合成された画像が表示される。ただし、UPボタンとDOWNボタンの設定に従って、操作案内画像においても、UP/DOWNボタン３１３のUPボタンはユーザの右第１指の腹の左側に、DOWNボタンはユーザの右第１指の腹の右側に表示される。また、操作案内画像には、操作情報５０１の表示として、現在受信チャネルとして設定されているプリセットチャネルの番号の表示が含まれる。

【0038】

次に、たとえば、入力モードとして、メニュー操作入力モードが設定されているときに、ユーザの右第１指の端がハンドル上にあり、かつ、右第２指と第３指の端がハンドルの内側にあれば、図３ａの仮想操作子定義テーブルの定義データ３０５に従って、種別がロータリ３１２の仮想操作子がユーザの右第１指の腹の位置に設定されると共に、種別がOK/CANCELボタン３１４の仮想操作子が、ユーザの右第２指と第３指の腹の位置に設定される。ただし、ここでは、OK/CANCELボタン３１４のOKボタンはユーザの右第２指の腹の位置に、CANCELボタンはユーザの右第３指の腹の位置に設定する。

【0039】

そして、操作案内画像としては、図６ａに示すように、カメラ１０３が撮影した自動車のハンドルを握るユーザの手を表す画像上の、当該画像中におけるユーザの右第１指の腹位置に図３ｂ２のロータリ３１２の画像が合成されると共に、当該カメラ１０３が撮影した画像中におけるユーザの右第２指と第３指の腹位置に、図３ｂ４のOK/CANCELボタン３１４の画像が合成された画像が表示される。ただし、OK/CANCELボタン３１４の設定に従って、OK/CANCELボタン３１４ボタンのOKボタンはユーザの右第２指の腹の位置に、CANCELボタンはユーザの右第３指の腹の位置に表示される。

【0040】

また、操作案内画像には、操作情報５０１の表示として、現在OKボタンの操作によって決定可能なメニュー項目の表示が含まれる。
さて、図４に戻り、このようにして操作案内画像をサブディスプレイ１０４に表示したならば、設定した仮想操作子に対する操作受け付けの発生と（ステップ４１２）、仮想操作子に対する操作受け付けシーケンスの終了（ステップ４１４）の発生とを監視する。ここで、ステップ４１２では、画像認識処理部１０６がカメラ１０３の撮影画像に基づいて認識したユーザの指の位置、動きが、設定した仮想操作子の位置での当該仮想操作子の操作動作に該当する場合に、仮想操作子に対する操作を受け付ける。

【0041】

そして、設定した仮想操作子に対する操作が発生したならば、操作された仮想操作子と操作の内容に応じた、操作案内情報の表示の更新や機能システム１１０の動作の制御を行う（ステップ４１６）。
すなわち、たとえば、入力モードがボリューム変更操作入力モードであって、図５ａ１の操作案内画像を表示している状態で、ユーザの右第１指によるスライダー３１１の上方向へのスライド操作が発生したならば、ＡＶシステムの出力音声のボリュームを増加し、右第１指によるスライダー３１１の下方向へのスライド操作が発生したならば、ＡＶシステムの出力音声のボリュームを減少する。また、操作情報５０１として表示しているボリューム設定値を増減後のボリュームの値に更新する。

【0042】

また、たとえば、入力モードがボリューム変更操作入力モードであって、図５ａ２の操作案内画像を表示している状態で、ユーザの右第１指によるロータリ３１２の時計回りの回転操作が発生したならば、ＡＶシステムの出力音声のボリュームを増加し、右第１指によるロータリ３１２の反時計回りの回転操作が発生したならば、ＡＶシステムの出力音声のボリュームを減少する。また、操作情報５０１として表示しているボリューム設定値を増減後のボリュームの値に更新する。

【0043】

また、たとえば、入力モードがプリセットチャネル選択操作入力モードであって、図５ｂ１の操作案内画像を表示している状態で、ユーザの第２指によるUPボタンのプッシュ操作が発生したならば、ＡＶシステムのラジオ受信機の受信チャネルとして設定するプリセットチャネルの番号を一つ増加することにより変更し、ユーザの第３指によるDOWNボタンのプッシュ操作が発生したならば、ＡＶシステムのラジオ受信機の受信チャネルとして設定するプリセットチャネルの番号を一つ減少させることにより変更する。また、操作情報５０１として表示しているプリセットチャネルの番号を、変更後に受信チャネルとして設定されているプリセットチャネルの番号の表示に更新する。

【0044】

また、同様に、入力モードがプリセットチャネル選択操作入力モードであって、図５ｂ２の操作案内画像を表示している状態で、ユーザの第１指によるUPボタンのプッシュ操作が発生したならば、ＡＶシステムのラジオ受信機の受信チャネルとして設定するプリセットチャネルの番号を一つ増加することにより変更し、ユーザの第１指によるDOWNボタンのプッシュ操作が発生したならば、ＡＶシステムのラジオ受信機の受信チャネルとして設定するプリセットチャネルの番号を一つ減少させることにより変更する。また、操作情報５０１として表示しているプリセットチャネルの番号を、変更後に受信チャネルとして設定されているプリセットチャネルの番号の表示に更新する。

【0045】

次に、入力モードがメニュー操作入力モードであって、図６ａの操作案内画像を表示している状態で、ユーザの右第１指によるロータリ３１２の時計回りの回転操作が発生したならば、図６ｂに示すように、操作情報５０１として表示するメニュー項目を順方向に進めていく、ユーザの右第１指によるロータリ３１２の反時計回りの回転操作が発生したならば、操作情報５０１として表示するメニュー項目を逆方向に戻していく。そして、ユーザの右第２指によるOKボタンのプッシュ操作が発生したならば、その時点で操作情報５０１として表示しているメニュー項目の決定操作を受け付け、受け付けたメニュー項目に応じた処理を行う。ここで、図示した例は、ＡＶシステムの出力音声のソースの切替メニューのメニュー操作を受け付ける場合について示したものであり、メニュー項目としてはＡＶシステムの出力音声のソースとなり得るラジオ受信機、ＣＤなどの装置の名称を表示する。そして、OKボタンのプッシュ操作が発生したならば、その時点でメニュー項目として名称を表示している装置にＡＶシステムの出力音声のソースを切り替える。

【0046】

さて、図４に戻り、仮想操作子に対する操作受け付けシーケンスが終了したならば（ステップ４１４）、設定していた入力モードを解除し（ステップ４１８）、操作案内画面を消去して、ステップ４０２からの処理に戻る。ここで、仮想操作子に対する操作受け付けシーケンスは、たとえば、所定期間以上の仮想操作子に対する無操作が発生した場合や、上述したOKボタンやCANCELボタンの操作を受け付けた場合や、操作終了を指示する操作音声の音声認識が発生した場合などに、終了するものとすることができる。

【0047】

以上、本発明の実施形態について説明した。
ところで、以上の実施形態では、サブディスプレイ１０４に操作案内画像を表示することにより仮想操作子の位置や種別をユーザに提示するようにしたが、仮想操作子の位置や種別のユーザに対する提示は、仮想操作子を設定した位置に位置すると認識されるように仮想操作子の虚像を空間中に表示することにより行うようにしてもよい。

【0048】

以上のように、本実施形態によれば、ユーザの指のハンドルに対する配置パターン、すなわち、ユーザのハンドルの握り方に応じて定まる指の位置に、仮想操作子を設定することができるので、各時点において、ユーザがハンドルを握ったまま操作を行い易い指の位置に仮想操作子を設定することができるようになる。また、ユーザのハンドルの握り方に応じて設定する仮想操作子の種別を変更することができるので、各時点において、ユーザがハンドルを握ったまま操作動作を行い易い種別の仮想操作子を設定することができるようになる。また、入力モードに応じて定まる指の位置に、仮想操作子を設定することができるので、各入力モードにおいて、その入力モードにおける操作を行い易い指の位置に仮想操作子を設定することができるようになる。

【符号の説明】

【0049】

１０１…メインディスプレイ、１０２…マイクロフォン、１０３…カメラ、１０４…サブディスプレイ、１０５…音声認識処理部、１０６…画像認識処理部、１０７…表示処理部、１０８…制御装置、１０９…記憶装置、１１０…機能システム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】