特許 5916566 情報システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5916566

(24)【登録日】2016年4月15日

(45)【発行日】2016年5月11日

(54)【発明の名称】情報システム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20160422BHJP

   G01C 21/26 20060101ALI20160422BHJP

【ＦＩ】

   G06F3/01 570

   G01C21/26 A

【請求項の数】10

【全頁数】13

(21)【出願番号】特願2012-188463(P2012-188463)

(22)【出願日】2012年8月29日

(65)【公開番号】特開2014-48680(P2014-48680A)

(43)【公開日】2014年3月17日

【審査請求日】2015年2月27日

(73)【特許権者】

【識別番号】000101732

【氏名又は名称】アルパイン株式会社

(74)【代理人】

【識別番号】100099748

【弁理士】

【氏名又は名称】佐藤 克志

(72)【発明者】

【氏名】安本 貴史

【審査官】 上嶋 裕樹

(56)【参考文献】

【文献】 特表２００６−５２２３９７（ＪＰ，Ａ）

【文献】 特開２００９−１８４５５１（ＪＰ，Ａ）

【文献】 特開２００９−２５２１０５（ＪＰ，Ａ）

【文献】 特開２０１２−１２１３８６（ＪＰ，Ａ）

【文献】 添石幸憲ほか，ロボットハンド制御のための手指形状推定，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，２００１年 ６月２２日，第１０１巻，第１５４号，第２１〜２５ページ(NC2001-25)

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

３／０４８−３／０４８９

Ｇ０１Ｃ ２１／２６

(57)【特許請求の範囲】

【請求項1】

前方を向いて左右に並んだ二人のユーザの前方の、左右方向中央の位置に、後方を撮影するように配置されたカメラを備えた情報システムであって、
前記カメラで撮影された画像に写り込んだユーザの手のジェスチャーを認識するジェスチャー認識部と、
前記ジェスチャー認識部によって認識されたジェスチャーが写り込んでいる画像を対象画像として、当該対象画像に写り込んでいる腕の幅方向の中央の点が、当該対象画像に写り込んでいる手の中心よりも右側を撮影した位置であるか左側を撮影した位置であるかを判定する判定部と、
前記判定部が、当該対象画像に写り込んでいる腕の幅方向の中央の点が、当該対象画像に写り込んでいる手の中心よりも右側を撮影した位置であると判定した場合に、前記ジェスチャーを行った主体が右側のユーザであると特定し、前記判定部が、当該対象画像に写り込んでいる腕の幅方向の中央の点が、当該対象画像に写り込んでいる手の中心よりも左側を撮影した位置であると判定した場合に、前記ジェスチャーを行った主体が左側のユーザであると特定する操作ユーザ特定部とを有することを特徴とする情報システム。

【請求項2】

請求項１記載の情報システムであって、
前記判定部は、前記対象画像に写り込んでいる手の中心から、当該対象画像に写り込んでいる腕の幅方向の中央の点に向かう方向の角度に基づいて、当該対象画像に写り込んでいる腕の幅方向の中央の点が、当該対象画像に写り込んでいる手の中心よりも右側を撮影した位置であるか左側を撮影した位置であるかを判定することを特徴とする情報システム。

【請求項3】

請求項１または２記載の情報システムであって、
表示装置と、
前記カメラで撮影された画像を参照画像として前記表示装置に表示する参照画像表示部とを有し、
前記参照画像表示部は、前記操作ユーザ特定部が、前記ジェスチャーを行った主体が右側のユーザであると判定した場合に、前記参照画像を前記表示装置の表示画面上の右側の位置に表示し、前記操作ユーザ特定部が、前記ジェスチャーを行った主体が左側のユーザであると判定した場合に、前記参照画像を前記表示装置の表示画面上の左側の位置に表示することを特徴とする情報システム。

【請求項4】

請求項１、２または３記載の情報システムであって、
入力開始ジェスチャーとして予め定めた所定のジェスチャーが前記ジェスチャー認識部によって認識されるのを監視し、前記入力開始ジェスチャーが前記ジェスチャー認識部によって認識されたならば、前記ジェスチャー認識部によって認識されたジェスチャーである操作ジェスチャーを当該操作ジェスチャーに予め対応づけたユーザ操作として受け付け、受け付けたユーザ操作に応じた処理を実行する制御部とを有し、
前記制御部は、前記入力開始ジェスチャーを行った主体として前記操作ユーザ特定部が特定したユーザと、前記操作ジェスチャーを行った主体として前記操作ユーザ特定部が特定したユーザとが異なるユーザである場合には、当該操作ジェスチャーをユーザ操作として受け付けないことを特徴とする情報システム。

【請求項5】

請求項１、２、３または４記載の情報システムであって、
当該情報システムは自動車に搭載されており、
前記二人のユーザは、前記自動車の運転席に搭乗したユーザと前記自動車の助手席に搭乗したユーザであり、
前記カメラは、前記運転席と前記助手席の前方の、前記運転席と前記助手席との左右方向について中央の位置に、後方を撮影するように配置されていることを特徴とする情報システム。

【請求項6】

前方を向いて左右に並んだ二人のユーザの前方の、左右方向中央の位置に、後方を撮影するように配置されたカメラを備えたコンピュータによって読み取られ実行されるコンピュータプログラムであって、
前記コンピュータを、
前記カメラで撮影された画像に写り込んだユーザの手のジェスチャーを認識するジェスチャー認識部と、
前記ジェスチャー認識部によって認識されたジェスチャーが写り込んでいる画像を対象画像として、当該対象画像に写り込んでいる腕の幅方向の中央の点が、当該対象画像に写り込んでいる手の中心よりも右側を撮影した位置であるか左側を撮影した位置であるかを判定する判定部と、
前記判定部が、当該対象画像に写り込んでいる腕の幅方向の中央の点が、当該対象画像に写り込んでいる手の中心よりも右側を撮影した位置であると判定した場合に、前記ジェスチャーを行った主体が右側のユーザであると特定し、前記判定部が、当該対象画像に写り込んでいる腕の幅方向の中央の点が、当該対象画像に写り込んでいる手の中心よりも左側を撮影した位置であると判定した場合に、前記ジェスチャーを行った主体が左側のユーザであると特定する操作ユーザ特定部として機能させることを特徴とするコンピュータプログラム。

【請求項7】

請求項６記載のコンピュータプログラムであって、
前記判定部は、前記対象画像に写り込んでいる手の中心から、当該対象画像に写り込んでいる腕の幅方向の中央の点に向かう方向の角度に基づいて、当該対象画像に写り込んでいる腕の幅方向の中央の点が、当該対象画像に写り込んでいる手の中心よりも右側を撮影した位置であるか左側を撮影した位置であるかを判定することを特徴とするコンピュータプログラム。

【請求項8】

表示装置を備えた、請求項６または７記載のコンピュータプログラムであって、
当該コンピュータプログラムは前記コンピュータを、さらに、前記カメラで撮影された画像を参照画像として前記表示装置に表示する参照画像表示部として機能させ、
当該参照画像表示部は、前記操作ユーザ特定部が、前記ジェスチャーを行った主体が右側のユーザであると判定した場合に、前記参照画像を前記表示装置の表示画面上の右側の位置に表示し、前記操作ユーザ特定部が、前記ジェスチャーを行った主体が左側のユーザであると判定した場合に、前記参照画像を前記表示装置の表示画面上の左側の位置に表示することを特徴とするコンピュータプログラム。

【請求項9】

請求項６、７または８記載のコンピュータプログラムであって、
当該コンピュータプログラムは前記コンピュータを、さらに、入力開始ジェスチャーとして予め定めた所定のジェスチャーが前記ジェスチャー認識部によって認識されるのを監視し、前記入力開始ジェスチャーが前記ジェスチャー認識部によって認識されたならば、前記ジェスチャー認識部によって認識されたジェスチャーである操作ジェスチャーを当該操作ジェスチャーに予め対応づけたユーザ操作として受け付け、受け付けたユーザ操作に応じた処理を実行する制御部として機能させ、
当該制御部は、前記入力開始ジェスチャーを行った主体として前記操作ユーザ特定部が特定したユーザと、前記操作ジェスチャーを行った主体として前記操作ユーザ特定部が特定したユーザとが異なるユーザである場合には、当該操作ジェスチャーをユーザ操作として受け付けないことを特徴とするコンピュータプログラム。

【請求項10】

請求項６、７、８または９記載のコンピュータプログラムであって、
前記コンピュータは自動車に搭載されており、
前記二人のユーザは、前記自動車の運転席に搭乗したユーザと前記自動車の助手席に搭乗したユーザであり、
前記カメラは、前記運転席と前記助手席の前方の、前記運転席と前記助手席との左右方向について中央の位置に、後方を撮影するように配置されていることを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザのジェスチャーによる入力を受け付ける情報システムにおいて、入力を行った主体である操作者を識別する技術に関するものである。

【背景技術】

【0002】

ユーザのジェスチャーによる入力を受け付ける情報システムとしては、ユーザの手を撮影するカメラを設け、カメラで撮影した映像からユーザの手のジェスチャーを認識し、認識したジェスチャーに応じた処理を行うシステムが知られている（たとえば、特許文献１）。

【0003】

また、情報システムにおいて、入力を行った主体である操作者を識別する技術としては、自動車に搭載された情報システムにおいて、運転席と助手席との間に配置した入力装置と、入力装置の上方より下方を撮影するカメラとを設け、カメラで撮影した操作者の腕の水平方向の向きより、操作者が運転席のユーザであるか助手席のユーザであるかを判別する技術が知られている（特許文献２）。

【0004】

また、カメラで撮影した画像より手のジェスチャーを認識する技術としては、たとえば、カメラで撮影した手の画像から、当該画像中の手の領域や指の領域や、手の骨格の特徴や、伸びている指の本数などを認識する技術が知られている（特許文献３）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１１-２０４０１９号公報

【特許文献2】特開２００９-２９４８４３号公報

【特許文献3】特開２００３-３４６１６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

自動車に搭載される情報システムにユーザの手を撮影するカメラを設け、当該カメラで撮影した映像に基づいて、運転席のユーザと助手席のユーザとの双方の手によるジェスチャー入力を受け付ける場合には、前記カメラを自動車の前席の前方に配置し、当該カメラで略水平に後方を撮影することが望ましい。なぜならば、このようにすることにより、ユーザの前方に向けた手のジェスチャーを撮影画像に基づいて良好に識別することができ、かつ、このような前方に向けた手のジェスチャーは、ユーザにとって自然なジェスチャーであるからである。

【0007】

一方、このような場合に、上述のように上方より下方を撮影するカメラを設け、カメラで撮影した操作者の腕の水平方向の向きより、操作者が運転席のユーザであるか助手席のユーザであるかを判別するものとすると、前方より後方にユーザの手を撮影するカメラの他に、上方より下方にユーザの腕を撮影するカメラが別途必要となる。

【0008】

そこで、本発明は、ユーザの手をユーザの前方より撮影するカメラで撮影した撮影画像に基づいて、ユーザの手のジェスチャーに加え、入力を行った主体である操作者も識別えきるようにすることを課題とする。

【課題を解決するための手段】

【0009】

前記課題達成のために、本発明は、前方を向いて左右に並んだ二人のユーザの前方の、左右方向中央の位置に、後方を撮影するように配置されたカメラを備えた情報システムに、前記カメラで撮影された画像に写り込んだユーザの手のジェスチャーを認識するジェスチャー認識部と、前記ジェスチャー認識部によって認識されたジェスチャーが写り込んでいる画像を対象画像として、当該対象画像に写り込んでいる腕の幅方向の中央の点が、当該対象画像に写り込んでいる手の中心よりも右側を撮影した位置であるか左側を撮影した位置であるかを判定する判定部と、前記判定部が、当該対象画像に写り込んでいる腕の幅方向の中央の点が、当該対象画像に写り込んでいる手の中心よりも右側を撮影した位置であると判定した場合に、前記ジェスチャーを行った主体が右側のユーザであると特定し、前記判定部が、当該対象画像に写り込んでいる腕の幅方向の中央の点が、当該対象画像に写り込んでいる手の中心よりも左側を撮影した位置であると判定した場合に、前記ジェスチャーを行った主体が左側のユーザであると特定する操作ユーザ特定部とを備えたものである。

【0010】

ここで、このような情報システムは、より具体的には、たとえば、前記判定部において、前記対象画像に写り込んでいる手の中心から、当該対象画像に写り込んでいる腕の幅方向の中央の点に向かう方向の角度に基づいて、当該対象画像に写り込んでいる腕の幅方向の中央の点が、当該対象画像に写り込んでいる手の中心よりも右側を撮影した位置であるか左側を撮影した位置であるかを判定するように構成してもよい。

【0011】

また、前記課題達成のために、本発明は、前方を向いて左右に並んだ二人のユーザの前方の、左右方向中央の位置に、後方を撮影するように配置されたカメラを備えた情報システムに、前記カメラで撮影された画像に写り込んだユーザの手のジェスチャーを認識するジェスチャー認識部と、前記ジェスチャー認識部によって認識された手のジェスチャーが写り込んでいる画像以前に前記カメラに撮影された画像に基づいて、当該ジェスチャーが認識された手が前記カメラの撮影範囲に右側から登場したか左側から登場したかを調べ、右側から登場している場合には、当該ジェスチャーを行った主体が右側のユーザであると特定し、左側から登場している場合には、当該ジェスチャーを行った主体が左側のユーザであると特定する操作ユーザ特定部とを備えたものである。

【0012】

これらのような情報システムによれば、ジェスチャーを認識するために、前方を向いて左右に並んだ二人のユーザの前方に後方を撮影するように設けたカメラの他に、他のカメラやセンサを設けることなく、ジェスチャーの主体を判定することができるようになる。
ここで、以上の情報システムは、当該情報システムに、さらに、表示装置と、前記カメラで撮影された画像を参照画像として前記表示装置に表示する参照画像表示部とを設け、前記参照画像表示部において、前記操作ユーザ特定部が、前記ジェスチャーを行った主体が右側のユーザであると判定した場合に、前記参照画像を前記表示装置の表示画面上の右側の位置に表示し、前記操作ユーザ特定部が、前記ジェスチャーを行った主体が左側のユーザであると判定した場合に、前記参照画像を前記表示装置の表示画面上の左側の位置に表示するように構成してもよい。

【0013】

このように参照画像を表示することにより、ジェスチャーを行うユーザは、ジェスチャーを行う自身の手で遮られることなく参照画像を視認でき、視認した参照画像より、自身の手が適正にカメラの撮影範囲内に位置しているかを把握することができるようになる。
また、以上の情報システムは、当該情報システムに、さらに、入力開始ジェスチャーとして予め定めた所定のジェスチャーが前記ジェスチャー認識部によって認識されるのを監視し、前記入力開始ジェスチャーが前記ジェスチャー認識部によって認識されたならば、前記ジェスチャー認識部によって認識されたジェスチャーである操作ジェスチャーを当該操作ジェスチャーに予め対応づけたユーザ操作として受け付け、受け付けたユーザ操作に応じた処理を実行する制御部を設け、前記制御部において、前記入力開始ジェスチャーを行った主体として前記操作ユーザ特定部が特定したユーザと、前記操作ジェスチャーを行った主体として前記操作ユーザ特定部が特定したユーザとが異なるユーザである場合には、当該操作ジェスチャーをユーザ操作として受け付けないように構成してもよい。

【0014】

このようにすることにより、操作者に応じて受け付ける操作を異ならせる場合に、最初にジェスチャー入力による操作を行った操作者と異なる操作者による操作を、最初にジェスチャー入力による操作を行った操作者による操作として受け付けてしまうことを排除することができる。
また、本発明は、併せて、前方を向いて左右に並んだ二人のユーザの前方の、左右方向中央の位置に、後方を撮影するように配置されたカメラと、表示装置とを備えた情報システムであって、前記カメラで撮影された画像に写り込んだユーザの手のジェスチャーを認識するジェスチャー認識部と、前記ジェスチャー認識部によって認識されたジェスチャーを行った主体が右側のユーザであるか、左側のユーザであるかを特定する操作ユーザ特定部と、前記カメラで撮影された画像を参照画像として前記表示装置に表示する参照画像表示部とを備えた情報システムも提供する。ここで、前記参照画像表示部は、前記操作ユーザ特定部が、前記ジェスチャーを行った主体が右側のユーザであると判定した場合に、前記参照画像を前記表示装置の表示画面上の右側の位置に表示し、前記操作ユーザ特定部が、前記ジェスチャーを行った主体が左側のユーザであると判定した場合に、前記参照画像を前記表示装置の表示画面上の左側の位置に表示するものである。

【0015】

このような情報システムによれば、ジェスチャーを行うユーザは、ジェスチャーを行う自身の手で遮られることなく参照画像を視認でき、視認した参照画像より、自身の手が適正にカメラの撮影範囲内に位置しているかを把握することができるようになる。
また、本発明は、併せて、前方を向いて左右に並んだ二人のユーザの前方に、後方を撮影するように配置されたカメラを備えた情報システムであって、前記カメラで撮影された画像に写り込んだユーザの手のジェスチャーを認識するジェスチャー認識部と、前記ジェスチャー認識部によって認識されたジェスチャーを行った主体が右側のユーザであるか、左側のユーザであるかを特定する操作ユーザ特定部と、入力開始ジェスチャーとして予め定めた所定のジェスチャーが前記ジェスチャー認識部によって認識されるのを監視し、前記入力開始ジェスチャーが前記ジェスチャー認識部によって認識されたならば、前記ジェスチャー認識部によって認識されたジェスチャーである操作ジェスチャーを当該操作ジェスチャーに予め対応づけたユーザ操作として受け付け、受け付けたユーザ操作に応じた処理を実行する制御部とを備えた情報システムを提供する。但し、前記制御部は、前記入力開始ジェスチャーを行った主体として前記操作ユーザ特定部が特定したユーザと、前記操作ジェスチャーを行った主体として前記操作ユーザ特定部が特定したユーザとが異なるユーザである場合には、当該操作ジェスチャーをユーザ操作として受け付けないものである。

【0016】

このような情報システムによれば、操作者に応じて受け付ける操作を異ならせる場合に、最初にジェスチャー入力による操作を行った操作者と異なる操作者による操作を、最初にジェスチャー入力による操作を行った操作者による操作として受け付けてしまうことを排除することができる。
なお、以上の各情報システムは自動車に搭載されたものであってよく、前記二人のユーザを、前記自動車の運転席に搭乗したユーザと前記自動車の助手席に搭乗したユーザとし、前記カメラを、前記運転席と前記助手席の前方の、前記運転席と前記助手席との左右方向について中央の位置に、後方を撮影するように配置するようにしてもよい。

【発明の効果】

【0017】

以上のように、本発明によれば、ユーザの手をユーザの前方より撮影するカメラで撮影した撮影画像に基づいて、ユーザの手のジェスチャーに加え、入力を行った主体である操作者も識別することができる。

【図面の簡単な説明】

【0018】

【図1】本発明の実施形態に係る情報システムの構成を示すブロック図である。

【図2】本発明の実施形態に係るジェスチャー入力受付処理を示すフローチャートである。

【図3】本発明の実施形態に係るジェスチャー主体の判定法を示す図である。

【図4】本発明の実施形態に係る表示装置の表示例を示す図である。

【図5】本発明の実施形態に係るジェスチャー主体の判定法を示す図である。

【発明を実施するための形態】

【0019】

以下、本発明の実施形態について説明する。
図１ａに、本実施形態に係る情報システムの構成を示す。
ここで、情報システムは、自動車に搭載されるシステムであり、当該情報システムは、たとえば、ＡＶシステムやナビゲーションシステムなどを構成するものである。
そして、情報システムは、図示するように赤外カメラ１、赤外カメラ１で撮影した画像を格納する画像メモリ２、ジェスチャー認識部３、表示装置４、表示装置４に表示する画像を格納する表示メモリ５、制御装置６、１つまたは複数の周辺装置７を備えている。
ただし、このような情報システムは、ＣＰＵやメモリを備えたコンピュータを用いて構成されるものであってよく、この場合、制御装置６やジェスチャー認識部３などは、コンピュータが所定のコンピュータプログラムを実行することにより実現されるものであってよい。

【0020】

ここで、表示装置４は、たとえば液晶表示装置であり、図１ｂに示すように、ダッシュボード上の、左右方向について運転席と助手席の中間の位置に配置される。
また、赤外カメラ１は、図１ｂに示すように、表示装置４の上部の、左右方向について中央の位置に、後方を撮影するように配置される。
また、後方を向いた赤外カメラ１で撮影した画像は、左右方向をユーザから見た左右方向に合わせるために、左右を反転して画像メモリ２に格納される。
次に、ジェスチャー認識部３は、当該ジェスチャー認識部３において認識対象とする手のジェスチャーの種別が予め登録されており、ジェスチャー認識部３は、画像メモリ２に格納された画像が表す赤外カメラ１の撮影映像より手のジェスチャーの種別を認識し、認識したジェスチャーの種別を認識ジェスチャーとして制御装置６に出力する。

【0021】

ここで、本情報システムがＡＶシステムを構成するものであれば、周辺装置７は、放送受信機や、ＣＤ/ＤＶＤなどの記録ディスクを再生するディスクドライブや、スピーカを備えた音声出力装置などである。そして、制御装置６は、表示装置４に適当なＧＵＩ画面を表示しつつ、ジェスチャー認識部３から入力する認識ジェスチャーをユーザの操作として受け付けながら、放送受信機やディスクドライブの動作を制御する処理や、放送受信機で受信した音声やディスクドライブ装着された記録ディスクに記録されている音声を音声出力装置に出力する処理や、放送受信機で受信した映像や、ディスクドライブ装着された記録ディスクに記録されている映像を表示装置４に出力する処理などを行う。

【0022】

また、情報システムがナビゲーションシステムを構成するものであれば、周辺装置７は、地図データを記憶した記憶装置や、ＧＰＳ受信機や、自動車の車速や角速度を検出するセンサなどである。そして、制御装置６は、表示装置４に適当なＧＵＩ画面を表示しつつ、ジェスチャー認識部３から入力する認識ジェスチャーをユーザの操作として受け付けながら、現在位置の算出や、目的地の設定や、目的地までのルートの設定や、地図上に現在位置や目的地やルートを表したナビゲーション画像の表示装置４への表示や、ナビゲーション画像のスクロール表示などの処理を行う。

【0023】

以下、このような動作を行うために制御装置６が実行するジェスチャー入力受付処理について説明する。
図２に、ジェスチャー入力受付処理の手順を示す。
図示するように、この処理では、まず、ジェスチャー入力待機モードをジェスチャー認識部３に設定する（ステップ２０２）。
ジェスチャー認識部３は、ジェスチャー入力待機モードが設定されている期間中には、入力開始ジェスチャーとして予め定めた種別のジェスチャーのみを認識対象としてジェスチャーの認識を行い、入力開始ジェスチャーを認識できたときに、認識ジェスチャーとして入力開始ジェスチャーを制御装置６に出力する。

【0024】

ここで、本実施形態では、この入力開始ジェスチャーとしては、全ての指を開いた手（所謂、じゃんけんの「パー」）を用いる。すなわち、ジェスチャー入力待機モードにおいて、ジェスチャー認識部３は、赤外カメラ１によって、全ての指を開いた手の映像が撮影されたならば、これを認識し、認識ジェスチャーとして入力開始ジェスチャーを制御装置６に出力する。

【0025】

そして、制御装置６は、ジェスチャー認識部３が入力開始ジェスチャーを認識し、認識ジェスチャーとして入力開始ジェスチャーが入力されたならば（ステップ２０４）、ジェスチャー入力モードをジェスチャー認識部３に設定する（ステップ２０６）。
ジェスチャー認識部３は、ジェスチャー入力モードが設定されている期間中には、予め登録されている認識対象とする手のジェスチャーの種別の全てを認識対象としてジェスチャーの認識を行い、認識したジェスチャーの種別を認識ジェスチャーとして制御装置６に入力する。

【0026】

そして、次に、制御装置６は、認識された入力開始ジェスチャーの主体（ジェスチャーを行った者）が運転席のユーザであるのか、助手席のユーザであるのかを判定する（ステップ２０８）。
ここで、入力開始ジェスチャーの主体の判定は次のように行う。
すなわち、まず、画像メモリ２から、ジェスチャー認識部３が入力開始ジェスチャーを認識した画像を取得する。
そして、図３ａ、ｂに示すような取得した画像中に含まれる手の映像の、手の中心点３０１と、腕の幅方向についての中央点３０２とを算定する。
ここで、運転席は右座席であり、助手席は左座席であるものして、撮影された手が赤外カメラ１の左側に位置する助手席のユーザの手であれば腕は手より左にあり、撮影された手が赤外カメラ１の右側に位置する運転席のユーザの手であれば腕は手より右にあることとなる。
そこで、手の中心点３０１より腕の中央点３０２が左にある場合には、入力開始ジェスチャーの主体が助手席のユーザであると判定し、手の中心点３０１より腕の中央点３０２が右にあれば入力開始ジェスチャーの主体が運転席のユーザであると判定する。

【0027】

すなわち、たとえば、図３ａ、ｂのように右方向を0度とし反時計回りに角度を測るものとして、図３ａに示すように手の中心点３０１から腕の中央点３０２に向かう方向θが、0度から90度の間、270度から0度の間である場合には、入力開始ジェスチャーの主体が運転席のユーザであると判定する。また、図３ｂに示すように、θが90度から270度の間である場合に、入力開始ジェスチャーの主体が助手席のユーザであると判定する。

【0028】

なお、図３ａ、ｂに示す画像は、上述のように赤外カメラ１で撮影した画像の左右を反転したものとなっており、画像の左右とユーザから見た左右は一致している。
ここで、手の中心点３０１の算定は、様々な手法で行うことができ、図３ｃ１に示すように、ジェスチャー認識部３で手と認識した画像領域３１１の重心を手の中心点３０１としたり、図３ｃ２に示すように、ジェスチャー認識部３で手のひらと認識した画像領域３１２、すなわち、手と認識した画像領域から指と認識した画像領域を除いた画像領域３１２の重心を手の中心点３０１としたりすることができる。

【0029】

また、図３ｃ３に示すように、ジェスチャー認識部３で手の骨格認識を行う場合には、認識した骨格３１３における中指の第３間接位置を手の中心点３０１としたり、図３ｃ４に示すようにジェスチャー認識部３で手と認識した画像部分に外接する領域３１４の重心を手の中心点３０１としたり、図３ｃ５に示すようにジェスチャー認識部３で手と認識した画像部分に外接する四角形３１５の中心を手の中心点３０１としたりすることができる。

【0030】

また、腕の中央点３０２の算定は、図３ｃ２に示すように、手の領域や指の領域に対して、腕が存在し得る領域内にある略平行な二つの直線状のエッジ３２１の直線と垂直な方向についての中間点を腕の中央点３０２として算定することができる。また、図３ｃ３に示すように、ジェスチャー認識部３で腕を含めて骨格認識を行うようにして、腕の骨格３２２の腕の幅方向についての中点を、腕の中央点３０２として算定するようにすることもできる。

【0031】

ここで、以上のように、赤外カメラ１で撮影されたジェスチャーの主体を判定することにより、ジェスチャーを認識するために設けた赤外カメラ１の他に、他のカメラやセンサを設けることなく、ジェスチャーの主体を判定することができるようになる。
さて、図２に戻り、以上のようにして、入力開始ジェスチャーの主体が運転席のユーザであるのか、助手席のユーザであるのかを判定したならば、（ステップ２０８）、入力開始ジェスチャーの主体が運転席のユーザであれば（ステップ２１０）、ステップ２１２以降の処理に進み、入力開始ジェスチャーの主体が助手席のユーザであれば（ステップ２１０）、ステップ２３２以降の処理に進む、
そして、入力開始ジェスチャーの主体が運転席のユーザであると判定されてステップ２１２に進んだならば、図４ａに示すように、表示装置４の表示画面の運転席側（ユーザから見て右側）の位置に撮影画像表示ウインドウ４０２を小画面状に配置し、撮影画像表示ウインドウ４０２への赤外カメラ１で撮影された画像の表示を開始する。

【0032】

また、図４ａに示すように、表示装置４の表示画面上に予め定めた運転席のユーザ用の操作メニューを表示する（ステップ２１４）。ここで、図４ａは、情報システムがナビゲーションシステムを構成している場合の表示装置４の表示例を示しており、この表示例では、上述したナビゲーション画像４００の下方に、ナビゲーション画像の地図の拡大操作を一本指を立てるジェスチャーで受け付けることを示すメニュー４１１と、ナビゲーション画像の地図の縮小操作を二本指を立てるジェスチャーで受け付けることを表すメニュー４１２が表示されている。

【0033】

そして、ジェスチャー認識部３における新たなジェスチャーの認識の発生（新たな認識ジェスチャーの入力の発生）と（ステップ２１６）、ジェスチャー入力モード解除イベントとの発生と（ステップ２１８）を監視する。
ここで、ジェスチャー入力モード解除イベントは、予め定められたイベントであり、所定期間以上の新たな認識ジェスチャーの入力の発生無しや、ジェスチャー入力を介してユーザと対話的に応じて行う一連の処理シーケンス（たとえば、ナビゲーションシステムにおける目的地設定処理シーケンスの終了や、ＡＶシステムにおける再生コンテンツの指定受付処理シーケンスの終了など）の発生などをジェスチャー入力モード解除イベントとして用いる。

【0034】

そして、ジェスチャー認識部３からの新たな認識ジェスチャーの入力が発生したならば（ステップ２１６）、上述のようにジェスチャー認識部３が認識したジェスチャーの主体を判定し（ステップ２２０）、主体が運転席のユーザでなければ（ステップ２２２）、ステップ２１６、２１８の監視に戻り、ジェスチャーの主体が運転席のユーザであれば、入力した認識ジェスチャーで受け付ける操作として予め定めておいた操作を受け付け、受け付けた操作に応じた処理を行って（ステップ２２４）、ステップ２１６、２１８の監視に戻る。

【0035】

一方、ジェスチャー入力モード解除イベントが発生した場合には（ステップ２１８）、撮影画像表示ウインドウ４０２の表示を消去した上で（ステップ２５０）、ステップ２０２からの処理に戻る。
また、ステップ２１０で、入力開始ジェスチャーの主体が助手席のユーザであると判定されてステップ２３２に進んだ場合には、図４ｂに示すように、表示装置４の表示画面の助手席側（ユーザから見て左側）の位置に撮影画像表示ウインドウ４０２を小画面状に配置し、撮影画像表示ウインドウ４０２への赤外カメラ１で撮影された画像の表示を開始する。

【0036】

また、図４ｂに示すように、表示装置４の表示画面上に予め定めた助手席のユーザ用の操作メニューを表示する（ステップ２３４）。ここで、図４ｂは、情報システムがナビゲーションシステムを構成している場合の表示装置４の表示例を示しており、この表示例では、上述したナビゲーション画像の下方に、上述した運転席のユーザ用のメニューに加え、目的地の設定処理の開始操作を三本指を立てるジェスチャーで受け付けることを示すメニューと４１３、その他のメニューの表示操作を４本指を立てるジェスチャーで受け付けることを表すメニュー４１４が表示されている。

【0037】

そして、ジェスチャー認識部３における新たなジェスチャーの認識の発生（新たな認識ジェスチャーの入力の発生）と（ステップ２３６）、ジェスチャー入力モード解除イベントとの発生と（ステップ２３８）を監視する。
そして、ジェスチャー認識部３からの新たな認識ジェスチャーの入力が発生したならば（ステップ２３６）、上述のようにジェスチャー認識部３が認識したジェスチャーの主体を判定し（ステップ２４０）、主体が助手席のユーザでなければ（ステップ２４２）、ステップ２３６、２３８の監視に戻り、ジェスチャーの主体が助手席のユーザであれば、入力した認識ジェスチャーで受け付ける操作として予め定めておいた操作を受け付け、受け付けた操作に応じた処理を行って（ステップ２４４）、ステップ２３６、２３８の監視に戻る。

【0038】

一方、ジェスチャー入力モード解除イベントが発生した場合には（ステップ２３８）、撮影画像表示ウインドウ４０２の表示を消去した上で（ステップ２５０）、ステップ２０２からの処理に戻る。
以上、制御装置６が行うジェスチャー入力受付処理について説明した。
さて、ここで、以上のジェスチャー入力受付処理のステップ２１２、２３２で、撮影画像表示ウインドウ４０２への赤外カメラ１で撮影された画像の表示を開始するのは、ユーザが、以降のジェスチャーを、赤外カメラ１に適正に手が写り込む位置で行えるようにするためである。このように、赤外カメラ１で撮影された画像を表示することにより、たとえば、手を左右に動かすジェスチャーをスクロール操作として受け付けるような場合に、ジェスチャー中にしだいに手が赤外カメラ１に適正に手が写り込む位置からずれていってしまうことなどを抑制することができる。

【0039】

また、以上のジェスチャー入力受付処理のステップ２１２、２３２で、入力開始ジェスチャーの主体が運転席のユーザである場合には図４ａに示すように表示装置４の表示画面の運転席側（ユーザから見て右側）の位置に撮影画像表示ウインドウ４０２を配置し、入力開始ジェスチャーの主体が助手席のユーザである場合には表示装置４の表示画面の助手席側（ユーザから見て左側）の位置に撮影画像表示ウインドウ４０２を配置するのは、このような配置によれば、図４ｃ、ｄに示すように、ジェスチャーを行うユーザ自身の手によって、撮影画像表示ウインドウ４０２がユーザに対して遮られて、撮影画像表示ウインドウ４０２に表示される赤外カメラ１で撮影された画像が視認し難くなったり、視認できなくなってしまうことが避けられるからである。
なお、図４ｃは、入力開始ジェスチャーの主体、すなわち、以降のジェスチャーを行うユーザが運転席のユーザである場合を、図４ｄは、入力開始ジェスチャーの主体、すなわち、以降のジェスチャーを行うユーザが助主席のユーザである場合を示している。

【0040】

また、以上のジェスチャー入力受付処理のステップ２２０-２２２、２４０-２４２で認識ジェスチャーの主体が、ジェスチャー入力モード設定時に認識した入力開始ジェスチャーの主体と異なる場合に、認識ジェスチャーに応じた操作を受け付けないのは、ジェスチャー入力を行う操作者に応じて受け付ける操作を異ならせる場合に、最初にジェスチャー入力による操作を行った操作者と異なる操作者による操作を禁止するためである。すなわち、このようにすることにより、たとえば、助手席のユーザの入力開始ジェスチャーに応答して表示する図４ｂに示す助手席のユーザ用の操作メニューに対する、運転席のユーザのジェスチャー入力による操作は、これを受け付けないようにすることができる。

【0041】

また、以上のジェスチャー入力受付処理のステップ２０６、２２２、２４２の全てのステップまたはその一部のステップでは、ジェスチャーの主体の判定を次のように行うようにしてもよい。
すなわち、まず、画像メモリ２をＦＩＦＯ形式とすることなどにより、画像メモリ２に常の過去十秒程度の間の赤外カメラ１で撮影された画像が常に蓄積されているようにする。そして、ジェスチャー認識部３でジェスチャーを認識しときに、ジェスチャーを認識した手が、過去において、左右のいずれ側から赤外カメラ１の撮影範囲内に登場しているかを画像メモリ２に格納されている過去の撮影画像を用いて調べ、図５ａに示すように右から登場している場合には主体は運転席のユーザであると判定し、図５ｂに示すように左から登場している場合には主体は助手席のユーザであると判定するようにする。

【0042】

以上、本発明の実施形態について説明した。
なお、以上の実施形態は、赤外カメラ１に代えて、可視光用のカメラを用いるようにしてもよい。
また、以上の実施形態は、任意の情報システムにおいて、左右に並んだ二人のユーザからジェスチャー入力を受け付ける場合にも同様に適用することができる。

【符号の説明】

【0043】

１…赤外カメラ、２…画像メモリ、３…ジェスチャー認識部、４…表示装置、５…表示メモリ、６…制御装置、７…周辺装置、４０２…撮影画像表示ウインドウ。

【図1】

【図2】

【図3】

【図4】

【図5】