特許 6014162 入力装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6014162

(24)【登録日】2016年9月30日

(45)【発行日】2016年10月25日

(54)【発明の名称】入力装置

(51)【国際特許分類】

   G06F 3/0487 20130101AFI20161011BHJP

   G06F 3/0354 20130101ALI20161011BHJP

   G06F 3/041 20060101ALI20161011BHJP

【ＦＩ】

   G06F3/0487

   G06F3/0354 453

   G06F3/041 595

【請求項の数】7

【全頁数】22

(21)【出願番号】特願2014-545649(P2014-545649)

(86)(22)【出願日】2013年10月28日

(86)【国際出願番号】JP2013079091

(87)【国際公開番号】WO2014073403

(87)【国際公開日】20140515

【審査請求日】2015年5月14日

(31)【優先権主張番号】特願2012-246162(P2012-246162)

(32)【優先日】2012年11月8日

(33)【優先権主張国】JP

(31)【優先権主張番号】特願2013-55287(P2013-55287)

(32)【優先日】2013年3月18日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000010098

【氏名又は名称】アルプス電気株式会社

(74)【代理人】

【識別番号】100085453

【弁理士】

【氏名又は名称】野▲崎▼ 照夫

(74)【代理人】

【識別番号】100120204

【弁理士】

【氏名又は名称】平山 巌

(74)【代理人】

【識別番号】100108006

【弁理士】

【氏名又は名称】松下 昌弘

(74)【代理人】

【識別番号】100135183

【弁理士】

【氏名又は名称】大窪 克之

(72)【発明者】

【氏名】山下 龍麿

(72)【発明者】

【氏名】菅原 健人

【審査官】 山崎 慎一

(56)【参考文献】

【文献】 特開２００９−２５２１０５（ＪＰ，Ａ）

【文献】 特開２００７−２５７５２６（ＪＰ，Ａ）

【文献】 特開２００８−２０３５３８（ＪＰ，Ａ）

【文献】 特開２０１１−２５８１６１（ＪＰ，Ａ）

【文献】 特開平１１−３１２０５３（ＪＰ，Ａ）

【文献】 特開平０８−０２２３７１（ＪＰ，Ａ）

【文献】 特開平１０−０９７３８０（ＪＰ，Ａ）

【文献】 特開平１０−１５４０３８（ＪＰ，Ａ）

【文献】 特開平０１−１２３３１６（ＪＰ，Ａ）

【文献】 特開平０２−０７７８２７（ＪＰ，Ａ）

【文献】 特開平０８−１２９４５２（ＪＰ，Ａ）

【文献】 特開２０１１−１３１６８６（ＪＰ，Ａ）

【文献】 特開２０１１−１７０４４０（ＪＰ，Ａ）

【文献】 特開２００８−０５２５３６（ＪＰ，Ａ）

【文献】 特開２００４−０８６４７８（ＪＰ，Ａ）

【文献】 特開２００４−２５９１４９（ＪＰ，Ａ）

【文献】 特開２０１２−０３２８７９（ＪＰ，Ａ）

【文献】 特開２０００−３４７８００（ＪＰ，Ａ）

【文献】 特開２００９−２８６１７５（ＪＰ，Ａ）

【文献】 特開２００８−２６０５１９（ＪＰ，Ａ）

【文献】 実開昭６２−１３８２４８（ＪＰ，Ｕ）

【文献】 国際公開第２００６／０１３７８３（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４８７

Ｇ０６Ｆ ３／０３５４

Ｇ０６Ｆ ３／０４１

(57)【特許請求の範囲】

【請求項1】

表面が入力操作面である操作部と、前記操作部に対する入力操作を制御する制御部と、前記操作部の平面を撮像可能な撮像素子と、を有し、
前記制御部は、少なくとも前記操作部の左右両側のいずれかから前記操作部が操作体によって操作されるかを前記撮像素子の画像情報に基づいて判別する判別部と、前記判別部による判別結果に基づいて、前記操作部の平面視における操作基準方向を変更する基準変更部と、を有する入力装置において、
前記判別部は、前記操作体の移動軌跡に応じて操作方向を判別し、前記基準変更部は、前記操作方向に略一致する方向へ前記操作基準方向を傾け、前記基準変更部により変更された前記操作基準方向に基づいて前記入力操作面での入力操作が制御されることを特徴とする入力装置。

【請求項2】

前記撮像素子は、前記操作体が前記操作部との間に位置する状態で前記操作体を撮影可能な場所に設けられ、前記撮像素子によって撮像された前記操作部の平面より広い画像に基づき、前記操作部の平面より広い領域で前記操作体の移動軌跡を追従可能となっており、
前記操作部は、前記入力操作面が表示面を兼ね、前記入力操作面の表示が前記操作基準方向の傾きに応じて変更される請求項１記載の入力装置。

【請求項3】

前記撮像素子によって撮像された画像の画像サイズを縮小し、白黒画像に変換し、フレーム間のオプティカルフローを計算して動きベクトルを検出し、前記動きベクトルを２×２画素で平均化し、各ブロックごとにベクトル長さを計算して所定値より大きい場合に有効ブロックと判定し、前記操作体の輪郭を検出し、前記輪郭から前記操作体の各箇所のサイズを計算して所定値以上の領域を有効領域とし、前記有効領域内で前記輪郭の外接する最小矩形領域を検出し、前記最小矩形領域の縦長さが所定閾値以下であるか判別し、前記所定閾値以下であった場合には前記有効領域内において重心の算出を行い、前記最小矩形領域の縦長さが前記所定閾値より大きい場合には所定距離の範囲で制限して画像を切り出し、切り出された画像において前記輪郭に外接する最小矩形領域を検出して再度前記有効領域の判定を行い、所定の閾値以下となった場合には前記有効領域の中心を前記重心として規定し、前記重心の移動ベクトルを算出することで前記操作体の移動軌跡を追従する請求項１または２に記載の入力装置。

【請求項4】

前記操作部は車両内に配置される請求項１ないし３のいずれかに記載の入力装置。

【請求項5】

前記操作部は、左右方向に配列された運転席と助手席との間に配置されており、記判別部では、少なくとも運転者による操作か、前記助手席の乗員による操作かを判別する請求項４記載の入力装置。

【請求項6】

前記操作部が後部座席側から操作されると判断したときには操作を無効にする請求項５記載の入力装置。

【請求項7】

前記操作部はタッチパッドである請求項１ないし６のいずれかに記載の入力装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、入力装置を構成する操作部の操作基準方向の制御に関する。

【背景技術】

【0002】

下記特許文献１には、車載用入力装置に関する発明が開示されている。特許文献１における車載用入力装置は、運転席と助手席との間に入力操作部が設けられ、光学式スイッチにより、運手席側からの操作か、助手席側からの操作かを検知可能とされている。

【0003】

また下記特許文献２に記載された発明には車両用操作装置に関する発明が開示されている。特許文献２記載の発明によれば、操作部を指で操作したとき、表示部に表示される指を実際よりも小さく表示して操作スイッチを容易に行えるように制御している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００７−３０２１５４号公報

【特許文献1】特開２００８−１５８６７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら特許文献１，２記載の発明では、運転者が操作した場合と、助手席の乗員が操作した場合とで操作感覚は変わらない。

【0006】

例えば操作部が運転席と助手席との間のセンターコンソールに設置された構成では、図１６に示すように、運転者１及び助手席の乗員２からすれば、操作部３は操作者の前方ではなく横方向や斜め横方向に存在することになる。すなわち運転者１から見れば、操作部３は右側に位置し、助手席の乗員２から見れば、操作部３は左側に位置している。なお図１６は模式図であり、運転者１や助手席の乗員２に対して操作部３を誇張して図示している。また図１６は左ハンドルの図であり、右ハンドルであれば、符号２の人物が運転者、符号１の人物が、助手席の乗員である。

【0007】

ところで従来では、図１６に示すように操作部３の操作基準方向３ａは、前後方向（Ｙ１−Ｙ２）に固定されていた。ここで前後方向（Ｙ１−Ｙ２）とは、運転者１（運転席）及び助手席の乗員２（助手席）の並び方向（左右方向；Ｘ１−Ｘ２）に対して平面内にて直交する方向であり、車両の前進・後進方向を指す。また操作基準方向３ａとは、操作部３に対して操作をする際の基準となる方向である。

【0008】

例えば、操作部３はタッチパネルであり、入力操作面３ｂに複数の表示体（アイコンなど）５ａ〜５ｄが表示されているとする。このとき表示体５ａ〜５ｄは、前後方向（Ｙ１−Ｙ２）から見て、見やすいように、操作基準方向３ａに基づいて行列状に配列されている。

【0009】

このため、運転者１や助手席の乗員２からすれば表示体５ａ〜５ｄは斜めに傾いて見え、各表示体５ａ〜５ｄに対する入力操作性が劣る問題があった。

【0010】

また、入力操作面３ｂに文字を入力できるとする。しかし入力の際の文字の縦方向は操作基準方向３ａに設定しているため、例えば図１６に示すように［Ａ］の文字を運転者１が書きやすいように斜めに傾けて入力してしまうと、入力された「Ａ」の文字は、操作基準方向３ａから見て斜めに傾いているため、操作部３では、正しく「Ａ」を認識できず誤入力や誤動作の恐れがあった。よって入力の際には手４の縦方向（指先から手首への方向）が前後方向（Ｙ１−Ｙ２）となるように手４を回転させた状態で入力し、入力の際の文字の縦方向ができる限り操作基準方向３ａに沿うようにしなければならなかった。しかしながら、かかる場合、特に運転者１が入力操作しようとすると運転中に体勢を崩さなければならず安全性が低下する問題があった。

【0011】

このように従来では表示が見難くなり、あるいは誤入力、誤動作しやすいなど操作性に劣るものであった。

【0012】

そこで本発明は上記従来の課題を解決するものであり、特に、操作部の操作基準方向を操作方向に基づいて適宜、変更可能にすることで操作性や、走行中における安全性を従来に比べて向上させた入力装置を提供することを目的としている。

【課題を解決するための手段】

【0013】

本発明における入力装置は、
表面が入力操作面である操作部と、前記操作部に対する入力操作を制御する制御部と、前記操作部の平面を撮像可能な撮像素子と、を有し、
前記制御部は、少なくとも前記操作部の左右両側のいずれかから前記操作部が操作体によって操作されるかを前記撮像素子の画像情報に基づいて判別する判別部と、前記判別部による判別結果に基づいて、前記操作部の平面視における操作基準方向を変更する基準変更部と、を有する入力装置において、
前記判別部は、前記操作体の移動軌跡に応じて操作方向を判別し、前記基準変更部は、前記操作方向に略一致する方向へ前記操作基準方向を傾け、前記基準変更部により変更された前記操作基準方向に基づいて前記入力操作面での入力操作が制御されることを特徴とするものである。

【0014】

ここで「操作基準方向」とは操作部に対して操作をする際の基準となる方向である。例えば、操作基準方向は、操作部を手や指で操作する際の縦方向とされる。従来、操作基準方向は一定の方向に定められていた。通常、操作基準方向は、左右方向に対して平面内にて直交する前後方向に固定されていた。

【0015】

これに対して本発明では、操作部に対して左右両側のいずれかから操作されるかを判別部にて判別し、判別結果に基づいて基準変更部により操作部の操作基準方向を変更できるようにした。

【0016】

このため本発明では、操作部の左側から操作をしようとする場合と、操作部の右側から操作をしようとする場合とで、操作基準方向を変更することができる。このように操作部に対する操作者の位置に基づいて操作部の操作基準方向を適宜変更することで操作性を向上させることが可能になる。

【0017】

本発明では、前記撮像素子は、前記操作体が前記操作部との間に位置する状態で前記操作体を撮影可能な場所に設けられ、前記撮像素子によって撮像された前記操作部の平面より広い画像に基づき、前記操作部の平面より広い領域で前記操作体の移動軌跡を追従可能となっており、
前記操作部は、前記入力操作面が表示面を兼ね、前記入力操作面の表示が前記操作基準方向の傾きに応じて変更されることが好ましい。

【0018】

また本発明では、前記撮像素子によって撮像された画像の画像サイズを縮小し、白黒画像に変換し、フレーム間のオプティカルフローを計算して動きベクトルを検出し、前記動きベクトルを２×２画素で平均化し、各ブロックごとにベクトル長さを計算して所定値より大きい場合に有効ブロックと判定し、前記操作体の輪郭を検出し、前記輪郭から前記操作体の各箇所のサイズを計算して所定値以上の領域を有効領域とし、前記有効領域内で前記輪郭の外接する最小矩形領域を検出し、前記最小矩形領域の縦長さが所定閾値以下であるか判別し、前記所定閾値以下であった場合には前記有効領域内において重心の算出を行い、前記最小矩形領域の縦長さが前記所定閾値より大きい場合には所定距離の範囲で制限して画像を切り出し、切り出された画像において前記輪郭に外接する最小矩形領域を検出して再度前記有効領域の判定を行い、所定の閾値以下となった場合には前記有効領域の中心を前記重心として規定し、前記重心の移動ベクトルを算出することで前記操作体の移動軌跡を追従することが好ましい。

【0026】

また本発明では、前記操作部は車両内に配置される構成にできる。かかる場合、前記操作部は、左右方向に配列された運転席と助手席との間に配置されており、前記判別部では、少なくとも運転者による操作か、前記助手席の乗員による操作かを判別することが好ましい。本発明では、操作者が運転者か助手席の乗員かを判別し、それに基づいて、操作部の操作基準方向を変更できる。したがって操作者が運転者である場合、従来のように操作基準方向が固定されていたときと違って、腕を回すなどの不自然な体勢での入力操作を行うことが必要でなくスムースな操作性を得ることができる。このため良好な操作性とともに走行中の安全性を効果的に向上させることができる。また本発明では、前記操作部が後部座席側から操作されると判断したときには操作を無効にすることが好ましい。

【0027】

また本発明では、前記操作部はタッチパッドであることが好ましい。

【発明の効果】

【0029】

本発明によれば、操作部に対して左右両側のいずれかから操作されるかを判別部にて判別し、判別結果に基づいて基準変更部により操作部の操作基準方向を変更できるようにした。

【0030】

このため本発明では、操作部の左側から操作をしようとする場合と、操作部の右側から操作をしようとする場合とで、操作基準方向を変更することができる。このように操作部に対する操作者の位置に基づいて操作部の操作基準方向を適宜変更することで操作性を向上させることが可能になる。

【図面の簡単な説明】

【0031】

【図1】図１は、本実施形態における入力装置を装備した車両内の部分模式図である。

【図2】図２は、本実施形態における操作部、運転者及び助手席の乗員との位置関係を平面視で示し、特に操作基準方向の変更を説明するための模式図である。

【図3】図３は、操作部の入力操作面に文字を入力した状態を示し、図３（ａ）は、第１の入力モード、図３（ｂ）は第２の入力モード、図３（ｃ）は第３の入力モードを説明するための平面図である。

【図4】図４は、操作部の入力操作面に表示体が表示された状態を示し、図４（ａ）は、第１の入力モード、図４（ｂ）は第２の入力モード、図４（ｃ）は第３の入力モードを説明するための平面図である。

【図5】図５（ａ）は、本実施形態におけるタッチパネルからなる操作部の平面図であり、図５（ｂ）は、図５（ａ）に示す操作部の側面図である。

【図6】図６は、本実施形態における回転スイッチからなる操作部の平面図である。

【図7】図７は、本実施形態におけるシフターからなる操作部の平面図である。

【図8】図８（ａ）は、本実施形態における操作部の側部に操作体（手など）の動作を検知可能なセンサを配置した平面図であり、図８（ｂ）は、実施形態における操作部の側部に操作の切換スイッチを配置した平面図である。

【図9】図９は、ＣＣＤカメラの画像情報により、操作体（手）の操作方向を説明するための模式図（平面図）である。

【図10】図１０は、ＣＣＤカメラの画像情報により、図９とは異なる操作体（手）の操作方向を説明するための模式図（平面図）である。

【図11】図１１は、本実施形態における入力装置のブロック図である。

【図12(a)】図１２（ａ）は、ＣＣＤカメラ（撮像素子）の画像情報の取り込みから操作部の操作基準方向の変更までのステップを説明するためのフローチャート図である。

【図12(b)】図１２（ｂ）は、操作体の動作を予測するステップを説明するためのフローチャート図である。

【図12(c)】図１２（ｃ）は、特に手の部分を推定するステップを示すフローチャート図である。

【図13】図１３（ａ）は、撮像素子及び、撮像素子により撮像される画像範囲を側面から表した模式図であり、図１３（ｂ）は、撮像素子、及び、撮像素子により撮像される画像範囲を正面から表した模式図である。

【図14】図１４は、手の部分を推定するステップを示す模式図である。

【図15】図１５は、指の位置を推定するためのアルゴリズムを説明するための模式図である。

【図16】図１６は、従来における問題点を説明するための、操作部、運転者及び助手席の乗員との位置関係を平面視で示した模式図である。

【発明を実施するための形態】

【0032】

図１は、車両の車内前列付近を示している。図１の車両は左ハンドルであるが、右ハンドルにも本実施形態の入力装置を適用できる。

【0033】

図１に示すように車内の天井１０には、ＣＣＤカメラ（撮像素子）１１が取り付けられている。図１では、ＣＣＤカメラ１１をバックミラー１２付近に配置している。ただしＣＣＤカメラ１１による画像が少なくとも中央操作部１７上を映し出したものであれば、ＣＣＤカメラ１１の設置位置を特に限定するものではない。なおＣＣＤカメラ１１の種類や画素数等については特に限定されない。また、ＣＣＤカメラ１１としているが、赤外線を検知可能なカメラを用いることで夜間でも操作体の動作を検知可能とできる。

【0034】

図１に示すようにセンターコンソール１３には、運転席１４と助手席１５との間の位置に配置された中央操作部１７や、操作パネル１８が配置されている。

【0035】

中央操作部１７は、例えばタッチパッドである。タッチパッドは、例えば静電容量式であり、中央操作部１７の表面に位置する入力操作面１７ａ上を指等（操作体）で入力操作したとき、その操作位置を静電容量変化により求めることができる。また中央操作部１７と操作パネル１８とは連動しており、中央操作部１７への入力が、操作パネル１８に反映されようにしてもよい。また中央操作部１７の入力操作面１７ａが表示面も兼ねたタッチパネル（ここではタッチパッドに表示装置を兼ね備えたものがタッチパネルであると定義する）を構成していてもよい。例えば、中央操作部１７の入力操作面１７ａに車室状態の操作・制御、音楽や動画操作、携帯機器の操作等に関する表示がされており、表示体を必要に応じて指（操作体）等で選択して所定機能を起動させ、また必要な情報を得ることができる。

【0036】

操作パネル１８は、例えば静電容量式タッチパネルであり、カーナビゲーション装置における地図表示や、音楽再生画面等を表示できる。そして操作者は操作パネル１８の画面を直接、指等により入力操作することが可能とされている。

【0037】

図２を用いて、中央操作部１７の操作基準方向に対する制御について説明する。
図２に示す符号５０の人物は、運転席１４（図１参照）に着座した運転者であり、符号５１の人物は、助手席１５（図１参照）に着座した乗員５１である。図２では中央操作部１７を誇張して図示した。なお図２は、中央操作部１７及び運転者５０、助手席の乗員５１を真上から見た平面図である。図２では左ハンドルで示したが当然のことながら右ハンドルにも適用できる。

【0038】

図２に示すＸ１−Ｘ２方向は、運転者５０（運転席１４）と助手席の乗員５１（助手席１５）との並び方向である左右方向（横方向）である。また、Ｙ１−Ｙ２方向は、左右方向に対して平面内にて直交する前後方向である。よってＹ１方向が車両の前進方向であり、Ｙ２方向が後進方向である。

【0039】

中央操作部１７には操作基準方向が定められている。ここで「操作基準方向」とは中央操作部１７に対して操作をする際の基準となる方向である。例えば、操作基準方向は、中央操作部１７を手や指で操作する際の縦方向とされる。

【0040】

今、操作基準方向５２ａが前後方向（Ｙ１−Ｙ２）に一致しているとする。例えば、初期状態（エンジンをかけた直後など）では、操作基準方向５２ａを前後方向に設定することができる。あるいは、前回の操作基準方向５２ａを保持しており、その方向を初期状態（エンジンをかけた直後など）で維持することもできる。ただし、ここでは、説明しやすくするために初期状態での操作基準方向５２ａを前後方向（Ｙ１−Ｙ２）とおく。

【0041】

また、操作基準方向５２ａが前後方向（Ｙ１−Ｙ２）に向いた状態を第１の入力モードとする。

【0042】

例えば、中央操作部１７の入力操作面１７ａに文字を入力できるとする。図３（ａ）に示すように第１の入力モードでは、操作基準方向５２ａが中央操作部１７の前後方向（Ｙ１−Ｙ２）であるため、前後方向を文字の縦方向として、図３（ａ）に示すように例えば、アルファベットの「Ａ」を入力する。すると中央操作部１７では、「Ａ」の文字を認識して車室内等で所定機能を起動させたり、あるいは、その入力情報を操作パネル１８側に送信し、操作パネル１８上で所定機能を起動させたりできる。

【0043】

また図４（ａ）に示すように、中央操作部１７の入力操作面１７ａに複数のアイコン６１ａ〜６１ｃが表示されているとする。図４（ａ）に示すように、各アイコン６１ａ，６１ｂ，６１ｃは、操作基準方向５２ａ（前後方向）を縦方向として表示されている。またこの形態では、各アイコン６１ａ〜６１ｃの並び方向を操作基準方向５２ａ（前後方向）に一致させている。例えば、操作者がアイコン６１ａを操作すると車室内等で所定機能を起動させたり、あるいは、その入力情報を操作パネル１８側に送信し、操作パネル１８上で所定機能を起動させたりできる。

【0044】

図２に示すように今、運転者５０が手４１を伸ばして、中央操作部１７の操作を行おうとしている。

【0045】

このように、運転者５０が手４１を伸ばして中央操作部１７を操作しようとしているか、あるいは、助手席の乗員５１が手４６を伸ばして中央操作部１７を操作しようとしているかは、ＣＣＤカメラ１１の画像情報に基づいて判別することができる。なお、画像情報に基づく判別原理については後で詳述することとする。また本実施形態では、判別を行うための判別部２６を制御部２１内に含んでいるが、ブロック図については図１１を用いて後で詳述する。

【0046】

運転者５０が手４１を伸ばして、中央操作部１７を操作しようとしていると判別したとき、運転者５０が操作しやすいように、中央操作部１７の平面視における操作基準方向５２ｂを前後方向（Ｙ１−Ｙ２）から傾ける。例えば図２に示すように、中央操作部１７の入力操作面１７ａの中心Ｏを回転中心として、前後方向（Ｙ１−Ｙ２）から操作基準方向５２ｂを時計回りにθ１（９０°以下）だけ回転させる。操作基準方向５２ｂが角度θ１だけ傾いた状態を第２の入力モードとする。本実施形態では、操作基準方向を５２ａから５２ｂに変更するための基準変更部２７を制御部２１内に含んでいるが、ブロック図については図１１を用いて後で詳述する。平面視とは、Ｘ１−Ｘ２方向及びＹ１−Ｙ２方向の双方に対して直交する高さ方向からの矢視である。

【0047】

このように運転者５０の操作と判別したら、前後方向（操作基準方向５２ａ）から、操作基準方向５２ｂを運転者５０が操作しやすい方向に傾けて第１の入力モードから第２の入力モードに変更する。すなわち運転者５０の操作方向に略一致する方向に操作基準方向５２ｂを傾けることができる。なお、角度θ１（０°より大きく９０°以下）は、運転者５０の操作と判別した際に予め決められた値としてもよい。

【0048】

第２の入力モードでは、図３（ｂ）に示すように、前後方向（Ｙ１−Ｙ２）に対して斜めに傾いた操作基準方向５２ｂを縦方向として、「Ａ」の文字を入力すると、中央操作部１７では、「Ａ」の文字を認識して車室内等で所定機能を起動させたり、あるいは、その入力情報を操作パネル１８側に送信し、操作パネル１８上で所定機能を起動させたりできる。

【0049】

また、図４（ｂ）に示すように、前後方向（Ｙ１−Ｙ２）に対して斜めに傾いた操作基準方向５２ｂを縦方向として、各アイコン６１ａ〜６１ｃが表示されている。このように操作基準方向５２ｂが、図４（ａ）の前後方向（Ｙ１−Ｙ２）から図４（ｂ）に示すように傾くことで、各アイコン６１ａ〜６１ｃの表示が図４（ａ）から図４（ｂ）に示すように変更される。

【0050】

また、図２に示すように、助手席の乗員５１が手４６を伸ばして、中央操作部１７を操作しようとしていると判別したとき、乗員５１が操作しやすいように、中央操作部１７の平面視における操作基準方向５２ｃを前後方向（Ｙ１−Ｙ２）から傾ける。例えば図２に示すように、中心Ｏを回転中心として、前後方向（Ｙ１−Ｙ２）から操作基準方向５２ｃを反時計回りにθ２（０°より大きく９０°以下）だけ回転させる。操作基準方向５２ｃが角度θ２だけ傾いた状態（操作基準方向５２ｂとは異なる方向に傾いている）を第３の入力モードとする。

【0051】

このように助手席の乗員５１の操作と判別したら、前後方向（操作基準方向５２ａ）から、操作基準方向５２ｃを乗員５１が操作しやすい方向に傾ける。すなわち乗員５１の操作方向に略一致する方向に操作基準方向５２ｃを傾けることができる。なお、角度θ２は、助手席の乗員５１の操作と判別した際に予め決められた値としてもよい。このとき角度θ１と角度θ２とを同じ値とすることが好ましい。

【0052】

第３の入力モードでは、図３（ｃ）に示すように、前後方向（Ｙ１−Ｙ２）に対して斜めに傾いた操作基準方向５２ｃ（操作基準方向５２ｂとは異なる方向に傾いている）を縦方向として、「Ａ」の文字を入力すると、中央操作部１７では、「Ａ」の文字を認識して車室内等で所定機能を起動させたり、あるいは、その入力情報を操作パネル１８側に送信し、操作パネル１８上で所定機能を起動させたりできる。

【0053】

また、図４（ｃ）に示すように、前後方向（Ｙ１−Ｙ２）に対して斜めに傾いた操作基準方向５２ｃ（操作基準方向５２ｂとは異なる方向に傾いている）を縦方向として、各アイコン６１ａ〜６１ｃが表示されている。このように操作基準方向が、図４（ａ）の前後方向（Ｙ１−Ｙ２）から図４（ｃ）に示すように傾くことで、各アイコン６１ａ〜６１ｃの表示が図４（ａ）から図４（ｃ）に示すように変更される。

【0054】

従来、中央操作部１７の操作基準方向は前後方向（Ｙ１−Ｙ２）に定められていた。すなわち操作基準方向５２ａにて固定されていた。このため、中央操作部１７の操作基準方向５２ａの略延長線上に操作者がいる場合には、中央操作部１７の入力操作面１７ａを操作しやすい。

【0055】

しかしながらセンターコンソール１３に中央操作部１７を配置した構成では、中央操作部１７の左右両側に運転者５０や助手席の乗員５１が存在している。したがって従来のように操作基準方向５２ａが前後方向（Ｙ１−Ｙ２）に固定されていると、例えば運転者５０が図３（ａ）に示すように、前後方向（Ｙ１−Ｙ２）の操作基準方向５２ａを縦方向として文字を入力しようとすると、手４１の縦方向（指先から手首への方向）が前後方向（Ｙ１−Ｙ２）に向くように手４１を回転させたり、腕を操作基準方向５２ａ上に回して入力操作を行わないと、うまく文字入力ができない。すなわち、操作基準方向５２ａが前後方向（Ｙ１−Ｙ２）であるのに、図３（ｂ）に示すように文字を斜めに書いてしまうと文字を認識できず、誤操作となり、再入力が必要となるため、上記のように運転者５０は不自然な体勢で操作しなければならなかった。そして、走行中に、運転者５０が中央操作部１７上に手４１（腕）を回して入力操作などすると、運転者５０の体勢が崩れて危険であった。

【0056】

これに対して本実施形態では、操作者が運転者５０か助手席の乗員５１かの別を判別した後、運転者５０からの操作であると判別された場合と助手席の乗員５１からの操作であると判別された場合とで、図２に示すように、操作基準方向５２ｂ，５２ｃを適宜変更できるようにした。

【0057】

これにより、従来に比べて操作性を向上させることができる。また、本実施形態では、運転者５０が腕を回すなどの不自然な体勢で入力操作を行うことが必要でなくスムースな操作性を得ることができる。このため、良好な操作性とともに走行中の安全性を効果的に向上させることができる。

【0058】

図２では、中央操作部１７が平板な矩形状にて構成されるが、中央操作部の構成を限定するものではない。例えば、図５（ａ）の平面図及び図５（ｂ）の側面図に示すように、略半球状の中央操作部６３としてもよい。図５（ｂ）に示すように立体的に形成されたデバイスにおいても、図５（ａ）の平面視にて現れる中央操作部６３の面内での操作基準方向を変更することができる。中央操作部６３は、タッチパッドやタッチパネルで構成できる。

【0059】

あるいは図６に示すように、中央操作部６４を回転スイッチ（ロータリースイッチ）とすることも考えられるが、これは参考例であって本発明の範囲には入らない。図６に示す回転スイッチは、例えば円周３６０°を等角度で分割した８方向に接点６４ａ〜６４ｈが設けられる。そして回転体を回すと回転体側の端子と各接点６４ａ〜６４ｈとが当接して１回転で８つの出力を得ることができる。このとき第１の入力モードでは、前後方向（Ｙ１−Ｙ２）を向く操作基準方向５２ａがスイッチ基準方向であり、符号６４ａを第１の接点として時計回りに、第２の接点、第３の接点・・・と規定されているとする。第１の接点６４ａの出力により、第１の機能が起動する。一方、第２の入力モードでは、前後方向（Ｙ１−Ｙ２）から傾いた操作基準方向５２ｂがスイッチ基準方向であり、第１の接点が６４ｂに変更される。よって第１の接点６４ｂの出力に伴って第１の機能を起動させることができる。ほかの接点についても同様に変更される。また、第３の入力モードでは、前後方向（Ｙ１−Ｙ２）から傾いた操作基準方向５２ｃ（操作基準方向５２ｂとは異なる方向である）がスイッチ基準方向であり、第１の接点が６４ｈに変更される。よって第１の接点６４ｈの出力に伴って第１の機能を起動させることができる。ほかの接点についても同様に変更される。このように操作基準方向（スイッチ基準方向）の変更に合わせて、多入力が可能な回転スイッチ６４の各接点６４ａ〜６４ｈと出力に伴う各機能との関係を変更することができる。

【0060】

また、図７に示すように、中央操作部６５をシフターとすることも考えられるが、これも本発明の範囲には入らない。第１の入力モードでは、前後方向（Ｙ１−Ｙ２）を向く操作基準方向５２ａがシフター基準方向であり、操作基準方向５２ａ（シフター基準方向）に基づいて操作部６５ａを操作することができる。一方、第２の入力モードでは、前後方向（Ｙ１−Ｙ２）から傾いた操作基準方向５２ｂがシフター基準方向であり、操作基準方向５２ｂ（シフター基準方向）に基づいて操作部６５ａを操作することができる。なお第３の入力モードは、助手席の乗員５１用であり、シフターにはそぐわないのでシフターにおける第３の入力モードについては省略した。なお図７においても運転者５０からの操作か、助手席の乗員５１からの操作なのかを判別でき、例えば運転者５０からの操作であると判別されたときに操作基準方向を変更し、助手席の乗員５１からの操作と判別されたときは、操作基準方向を前後方向（Ｙ１−Ｙ２）に向けておくか、あるいは前回の判別結果により、操作基準方向５２ｂとされる場合には、操作基準方向５２ｂを維持してもよい。

【0061】

なお、操作者が変更されても、所定の操作基準方向を維持するようなモードを設けてもよい。すなわち、操作者が変更されたときに操作者に合わせて、操作基準方向を変更可能なモードと、操作者が変更されても操作基準方向を所定方向に設定するモードとを設けておき、操作者が、それらモードを選択できるようにすることが可能である。

【0062】

また、中央操作部１７に対する操作方向の判別が不能とされるような場合、例えば、中央操作部１７に運転者５０と助手席の乗員５１の双方が手４１，４６を伸ばして操作しようとした場合、優先順位をつけられないとき判別不能とされる。かかる場合、前回の判別結果に基づく操作基準方向を維持するように制御できる。例えば、前回の判別結果に基づく操作基準方向が図４（ｂ）に示す操作基準方向５２ｂであれば、判別不能の場合、操作基準方向５２ｂを維持する。このように操作基準方向５２ｂを維持することで、あらためて操作基準方向を算出しなおすことが必要でなくなり制御部への負担を抑制できる。また判別結果に変更がない限り、前回の判別結果に基づく操作基準方向を維持することもできる。例えば、前回の判別結果に基づく操作基準方向が図４（ｂ）に示す操作基準方向５２ｂであるとき、操作者が運転者５０以外と判別されるまで操作基準方向５２ｂを維持し続ける。例えば図４（ａ）の前後方向（Ｙ１−Ｙ２）に向く操作基準方向５２ａが初期状態であるとしたとき、ある程度、時間が経ったら、操作基準方向を初期状態に戻すようにしてもよいが、操作基準方向を前回のまま維持することで、制御部への負担を抑制することができる。

【0063】

中央操作部１７に対してどの方向から操作が及ぶか、その判別を図１に示すＣＣＤカメラ１１を用い、その画像情報に基づいて判別することが可能であるが、参考例として他の方法も示す。例えば図８（ａ）に示すように、中央操作部１７の左右両側（Ｘ１−Ｘ２）に、それぞれ、操作体の動作を検知可能なセンサ７１，７２を設けておき、図２に示す運転者５０の手（操作体）４１の動作をセンサ７１、助手席の乗員５１の手（操作体）４６の動作をセンサ７２により検出することができる。このようにセンサ７１，７２により、少なくとも中央操作部１７の左右両側のいずれかから中央操作部１７が操作されるかを判別できればよい。センサ７１，７２の構成については特に限定されるものではない。例えばセンサ７１，７２は光学センサ、焦電センサ、静電容量式センサなどである。

【0064】

センサ７１により操作体の動作を検知したときは、操作基準方向を図２に示す操作基準方向５２ｂに変更し、またセンサ７２により操作体の動作を検知したときは、操作基準方向を図２に示す操作基準方向５２ｃに変更する。

【0065】

また図８（ｂ）に示すように、中央操作部１７の近傍等に、運転者５０からの操作か、助手席の乗員５１からの操作かを切り換え可能なスイッチ７３が設けられていてもよい。例えばスイッチ７３の第１の押圧部７３ａを押圧したときは、運転者５０からの操作であると判断して、操作基準方向を図２に示す操作基準方向５２ｂに変更し、スイッチ７３の第２の押圧部７３ｂを押圧したときは、助手席の乗員５１からの操作であると判断して、操作基準方向を図２に示す操作基準方向５２ｃに変更する。またスイッチ７３の第３の押圧部７３ｃを押圧したときは、操作基準方向を図２に示す操作基準方向５２ａに変更する（あるいは操作基準方向５２ａに戻す）。

【0066】

次に、図１に示すＣＣＤカメラ１１を用い、その画像情報に基づいて中央操作部１７に対する操作方向を判別し、その判別結果に用いて中央操作部１７の操作基準方向を制御する入力装置２０の構成について詳述する。

【0067】

図１３（ａ）に示すように天井１０に取り付けられたＣＣＤカメラ１１は、少なくとも操作パネル１８の前方に位置する中央操作部１７が撮像される位置に取り付けられる。

【0068】

図１３（ａ）（ｂ）に示す符号１１ａは、ＣＣＤカメラ１１の中心軸（光軸）を示し、撮像範囲をＲで示した。

【0069】

図１３（ａ）に示すように撮像範囲Ｒを横（側面側）から見ると、撮像範囲Ｒには操作パネル１８及び操作パネル１８の前方に位置する空間領域１８ｃが映し出されている。空間領域１８ｃ内に中央操作部１７が映し出されている。また図１３（ｂ）に示すように、撮像範囲Ｒを正面からみると、撮像範囲Ｒの幅（映し出される画像情報の最も広い幅）Ｔ１は、操作部１７の幅Ｔ２よりも広くなっている。

【0070】

図１１に示すように、本実施形態における入力装置２０は、ＣＣＤカメラ（撮像素子）１１と、中央操作部１７と、操作パネル１８と、制御部２１とを有して構成される。

【0071】

図１１に示すように、制御部２１には、画像情報検出部２２、算出部２４、動作予測部２５、判別部２６及び基準変更部２７が含まれている。

【0072】

ここで図１１では制御部２１を一つにまとめて図示したが、例えば制御部２１が複数存在し、図１１に示す画像情報検出部２２、算出部２４、動作予測部２５、判別部２６及び基準変更部２７が複数の制御部に分けて組み込まれていてもよい。

【0073】

すなわち画像情報検出部２２、算出部２４、動作予測部２５、判別部２６及び基準変更部２７を制御部にどのように組み込むかについては適宜選択できる。

【0074】

画像情報検出部２２は、ＣＣＤカメラ１１にて撮像された画像情報を取得する。ここで画像情報とは撮影により得られた画像の電子情報である。図９、図１０は、ＣＣＤカメラ１１にて撮像された画面３４を示している。

【0075】

図１１に示す算出部２４は、操作体の移動方向を算出する部分である。例えば本実施形態によれば、操作体の移動軌跡を算出することができる。算出方法を特に限定するものではないが、例えば、次のような方法で操作体の移動軌跡を算出することができる。

【0076】

図１４（ａ）では、腕４０と手４１との輪郭４２の情報を検出している。輪郭４２をとらえるには、ＣＣＤカメラ１１により撮像された画像を計算量削減のためサイズを縮小し、その後、認識処理を行うため白黒の画像に変換する処理を行う。この際、詳細な画像を用いることで操作体の認識を精度良く行えるが、本実施形態においてはサイズを縮小していることで計算量を削減し、素早い処理が行えるようにしている。その後、画像を白黒に変換した後は、輝度の変化を元に操作体を検出する。また、赤外線検知カメラを用いた場合は画像の白黒変換処理は不要となる。その後、例えば前フレームと今のフレームとを使用しオプティカルフローを計算して動きベクトルを検出する。この際、ノイズの影響を減らすために動きベクトルを２×２画素で平均化する。そしてこの動きベクトルが所定以上のベクトル長（移動量）であったときに、図１４（ａ）に示すように、動作検出領域３０内に現れる腕４０から手４１に至る輪郭４２を操作体として検出する。

【0077】

次に図１４（ａ）に示すように画像の縦長さ（Ｙ１−Ｙ２）を制限して、図１４（ｂ）に示すように画像を切り出して手４１の領域を推定する。この時、輪郭４２から操作体の各箇所のサイズを計算し、決められた値以上の領域を有効領域とする。ここで下限を定めている理由は、一般的に手は腕よりも幅が広いことを利用して、腕を除外するためである。また、上限を設けていない理由は、動作検出領域３０内に身体も撮像された場合、かなりの面積で動きベクトルが発生するため、上限を設けると検出できない場合があるからである。そして、有効領域内において輪郭４２を外接する領域を検出する。例えば、図１４（ｂ）では、全輪郭４２を構成するＸＹ座標を調べ、Ｘ座標の最小、最大値を求めて図１４（ｃ）に示すように有効領域の幅（Ｘ方向の長さ）を縮める。このようにして輪郭４２に外接する最小矩形領域４３を検出し、最小矩形領域４３（有効領域）の縦長さ（Ｙ１−Ｙ２）が所定閾値以下であるかを判別する。所定閾値以下であった場合にはこの有効領域内において重心Ｇの算出を行う。

【0078】

また、最小矩形領域４３（有効領域）の縦長さ（Ｙ１−Ｙ２）が所定閾値より大きい場合には腕が前記下限のサイズ縦長さをＹ１側から所定距離の範囲で制限し、画像を切り出す（図１４（ｄ））。更に切り出された画像において輪郭４２に外接する最小矩形領域４４を検出し、この最小矩形領域４４を全方向に数画素分拡大した領域を手推定領域とする。拡大した領域を手推定領域とすることで、輪郭４２の検出処理過程において意図せずに除外されてしまった手４１の領域を再度認識させることが可能となる。この手推定領域において再度前述した有効領域の判定を行う。所定の閾値以下となった場合には有効領域の中心を手４１の重心Ｇとして規定する。重心Ｇの算出方法は上記に限定するものではなく、従来から存在するアルゴリズムによっても求めることができる。ただし、車両の走行中に行う操作体の動作予測であるので、素早い重心Ｇの算出が必要であり、算出された重心Ｇの位置がきわめて高精度であることを要しない。特に重心Ｇと定義された位置の動きベクトルを連続的に算出できることが重要である。この動きベクトルを用いることで、例えば周囲の照明の状況が逐次変わるような状況下のように、操作体である手の形状が把握し難い場合においても、確実に動作予測を行うことが可能となる。また、上記したように処理においては輪郭４２の情報と輪郭４２に外接する領域情報の２つを用いることで手と腕の区別を確実に行うことが可能である。

【0079】

上記した動きベクトルを検出している間中、移動体（ここでは手４１）の重心Ｇの移動ベクトルを算出し、重心Ｇの移動ベクトルを移動体の移動軌跡として得ることができる。

【0080】

図１１に示す動作予測部２５は、操作体の移動軌跡に基づいて操作体がこの後、どの位置に達するか、どの方向に移動するかを予測する。例えば図９に示すように、手４１の移動軌跡Ｌ１が、その後、中央操作部１７上をＹ１方向とＸ２方向の間の斜め方向に移動するか（点線に示す操作方向Ｌ２）、あるいは、図１０に示すように手７５の移動軌跡Ｌ３が、その後、中央操作部１７上をＹ１方向に向かって移動するか（点線に示す操作方向Ｌ４）を予測する。

【0081】

図１１に示す判別部２６は、画像情報に基づいて中央操作部１７に対する操作体の操作方向を判別する。上記したように本実施形態では、例えば操作体である手の重心Ｇの移動ベクトルの移動軌跡を検出することで、中央操作部１７が左側から操作されるか、右側から操作されるかを判別することができる。判別部２６による判別は、図９や図１０に示す手（操作体）の移動軌跡（移動方向）Ｌ１，Ｌ３や動作予測に基づく操作方向Ｌ２，Ｌ４に基づいて行うことができる。

【0082】

また図８（ａ）では、判別部２６は、センサ７１，７２に該当し、図８（ｂ）では、判別部２６は、スイッチ７３に該当する。また判別部２６としてセンサ７１，７２やスイッチ７３を用いた場合には、図１１に示すＣＣＤカメラ１１、画像情報検出部２２、算出部２４、動作予測部２５は無くてもよいし、あってもよい。

【0083】

図１１に示す基準変更部２７では、判別部２６の判別結果に基づいて中央操作部１７における操作基準方向を適宜変更する。例えば、図９や図１０に示す操作方向Ｌ２，Ｌ４に操作基準方向を一致させることができる。このように操作方向に操作基準方向を合わせることで、操作性をより向上させることができる。

【0084】

あるいは基準変更部２７では、予め何パターンかの操作基準方向を保持しておき、判別部２６の判別結果に基づいて、保持された複数の操作基準方向から適切な操作基準方向を選択できるようにしてもよい。例えば、図２に示す操作基準方向５２ａ，５２ｂ，５２ｃが制御部２１に保存されているとする。そして判別部２６により中央操作部１７の左側からの操作であると判別した場合には、操作基準方向５２ｂを選択し、中央操作部１７の右側からの操作であると判別した場合には、操作基準方向５２ｃを選択する。さらに多くの異なる操作基準方向を保持しており、例えば、図９に示す手４１の移動軌跡Ｌ１や動作予測による操作方向Ｌ２に近い操作基準方向を選択することができる。

【0085】

次に、図１２（ａ）に示すフローチャートを用いて、画像情報の取り込みから、操作基準方向を変更するステップについて説明する。なお図１２（ａ）は、図１１に示す入力装置２０における主要ステップであり、細かいステップについて図１２（ｂ）、図１２（ｃ）を用いて説明する。

【0086】

まず図１２（ａ）に示すステップＳＴ１では、ＣＣＤカメラ１１の画像情報を図１１に示す画像情報検出部２２により取り込む。そしてステップＳＴ２では、その画像情報に基づいて、中央操作部１７に対する操作方向を判別する。すなわち図９に示す移動軌跡Ｌ１や動作予測に基づく操作方向Ｌ２により、操作体である手４１が中央操作部１７の左側から操作されることを判別できる。同様に、中央操作部１７の右側から操作される場合や、中央操作部１７の後方側から前方にかけて（図１０参照）操作される場合について判別できる。

【0087】

次にステップＳＴ３では、ステップＳＴ２における判別部２６の判別結果に基づき基準変更部２７にて、中央操作部の操作基準方向を変更する。今、操作基準方向が図２に示す前後方向（Ｙ１−Ｙ２）に向く操作基準方向５２ａであるとき、中央操作部１７に対して左側から操作されると判別した場合には、操作基準方向５２ｂに変更し、中央操作部１７に対して右側から操作されると判別した場合には、操作基準方向５２ｃに変更する。またステップＳＴ３では、例えば、運転者５０と助手席の乗員５１とが同時に中央操作部１７を操作しようとして、同時に手４１，４６を中央操作部１７上に出した場合等、判別部２６での判別が不能であるような場合、運転者５０の操作を優先するようにしても良いし、前回の操作基準方向を維持するようにしても良い。あるいは前後方向である操作基準方向５２ａが初期状態であるとして、所定時間が経過したら、操作基準方向を初期状態に戻すこともできる。

【0088】

ステップＳＴ３で操作基準方向が適宜変更されたら、図３や図４で説明したように変更された操作基準方向に基づいて表示や入力が制御され、また、図６でのスイッチ基準方向や、図７でのシフター基準方向を変更することができる。また操作パネル１８には、中央操作部１７からの操作信号に基づく表示等がなされる。

【0089】

また、図８（ａ）に示すセンサ７１，７２を設けた構成や図８（ｂ）に示すスイッチ７３を設けた構成では、図１２（ａ）に示すステップＳＴ１はなく、ステップＳＴ２により、センサ７１，７２（判別部）や、スイッチ７３（判別部）により、少なくとも中央操作部１７の左側からの操作か、右側からの操作かを判別でき、その判別結果に基づいて図１２（ａ）に示すステップＳＴ３にて、操作基準方向を適宜変更する。

【0090】

図１２（ｂ）、及び図１２（ｃ）を用いて、図１２（ａ）のステップＳＴ１からステップＳＴ２に至る細かいステップについて説明する。

【0091】

図１２（ｂ）に示すステップＳＴ４では、図１１に示す制御部２１により画像情報検出部２２にて検出された画像情報から動作検出領域３０を特定する。動作検出領域３０は、図９に示すように、複数の辺３０ａ〜３０ｄに囲まれた領域であり、左右両側の領域３５，３６が動作検出領域３０から外されている。図９に示す動作検出領域３０と、その左右両側の領域３５，３６との境界（辺）３０ａ，３０ｂが点線で示されている。また、図９では辺３０ｃ，３０ｄが画面３４の前後方向における端の部分となっているが、前記辺３０ｃ，３０ｄを画面３４の内側に配置してもよい。

【0092】

図９に示す画面３４全体を動作検出領域３０とすることもできる。ただし、かかる場合、操作体の移動軌跡の追従や動作予測に費やす計算量が増えてしまい動作予測の遅延や装置の短寿命に繋がり、また多大な計算を可能とするには生産コストの増大にも繋がる。よって、画面３４全体を使うのではなく、限られた範囲を動作検出領域３０として用いることが好適である。

【0093】

続いて図１２（ｂ）に示すステップＳＴ５では、図１１に示す算出部２４により、動きベクトルの検出を行う。なお動きベクトルの検出については、図１２（ｂ）に示すステップＳＴ５のみに示したが、前のフレームと今のフレームとの間で常に動きベクトルの有無を検出している。

【0094】

図１２（ｂ）に示すステップＳＴ６では、図１４で示したように操作体（手）を特定して、操作体（手）の重心Ｇを図１１に示す算出部２４により算出する。

【0095】

本実施形態では図１４で示したように手の部分を操作体として用いているが、手の部分を推定し、手の重心Ｇを求めるまでのフローチャートを図１２（ｃ）に示す。

【0096】

図１２（ｃ）では、図１２（ａ）に示したようにＣＣＤカメラ１１による画像を取り込んだ後、ステップＳＴ１０で画像サイズを縮小し、その後、ステップＳＴ１１で認識処理を行うため白黒の画像に変換する処理を行う。続いて、ステップＳＴ１２では、例えば前フレームと今のフレームとを使用しオプティカルフローを計算して動きベクトルを検出する。なおこの動きベクトルの検出については図１２（ｂ）のステップＳＴ５にも示されている。なお、図１２（ｃ）では、動きベクトルが検出されたものとして次のステップＳＴ１３に移行する。

【0097】

ステップＳＴ１３では、動きベクトルを２×２画素で平均化する。例えばこの時点で８０×６０ブロックとなる。

【0098】

次にステップＳＴ１４では、各ブロックごとにベクトル長さ（移動量）を計算する。そしてベクトル長さが決められた値よりも大きい場合に、有効な動きをするブロックと判定する。

【0099】

続いて、図１４（ａ）に示したように操作体の輪郭４２を検出する（ステップＳＴ１５）。

【0100】

次に、ステップＳＴ１６では、輪郭４２から操作体の各箇所のサイズを計算し、決められた値以上の領域を有効領域とする。有効領域内において輪郭４２を外接する領域を検出する。図１４（ｂ）で説明したように、例えば、全輪郭４２を構成するＸＹ座標を調べ、Ｘ座標の最小、最大値を求めて図１４（ｃ）に示すように有効領域の幅（Ｘ方向の長さ）を縮める。

【0101】

このようにして輪郭４２に外接する最小矩形領域４３を検出し、ステップＳＴ１７では、最小矩形領域４３（有効領域）の縦長さ（Ｙ１−Ｙ２）が所定閾値以下であるかを判別する。所定閾値以下であった場合には、ステップＳＴ１８に示すように、この有効領域内において重心Ｇの算出を行う。

【0102】

また、ステップＳＴ１７において最小矩形領域４３（有効領域）の縦長さ（Ｙ１−Ｙ２）が所定閾値より大きい場合には、腕の前記下限のサイズ縦長さをＹ１側から所定距離の範囲で制限し、画像を切り出す（図１４（ｄ）参照）。そしてステップＳＴ１９に示すように、切り出された画像において輪郭４２に外接する最小矩形領域４４を検出し、この最小矩形領域４４を全方向に数画素分拡大した領域を手推定領域とする。

【0103】

そして、上記した手推定領域において、ステップＳＴ２０〜ステップＳＴ２２では、ステップＳＴ１４〜ステップＳＴ１６と同様のステップを実行したのち、ステップＳＴ１８で、有効領域の中心を手４１の重心Ｇとして規定する。

【0104】

以上のようにして、操作体（手）の重心Ｇを算出したのち、図１２（ｂ）に示すステップＳＴ７では、操作体（手）の移動軌跡を追従する。ここでは移動軌跡の追従を重心Ｇの移動ベクトルにより求めることができる。追従とは、動作検出領域３０内に進入した手の動きを追い続ける状態を指す。上記のように手の重心Ｇの移動ベクトルにより移動軌跡の追従を可能とするが、重心Ｇの取得は、例えば、前フレームと今のフレームとを使用しオプティカルフローを計算して動きベクトルを検出した際に行うため、重心Ｇの取得間に時間的な間隔を有しているが、このような重心Ｇの取得間の時間的な間隔も含めて本実施形態における追従に該当する。

【0105】

図９は、今、運転者が中央操作部１７を操作しようとして手４１を動作検出領域３０内に伸ばした状態を示している。

【0106】

図９に示す矢印Ｌ１は、動作検出領域３０内における手４１の移動軌跡（以下、移動軌跡Ｌ１と称する）を示している。

【0107】

次に図１２（ｂ）に示すステップＳＴ８では、移動軌跡Ｌ１に基づいて手（操作体）４１の動作予測を実行する。すなわち移動軌跡Ｌ１がこのまま維持されれば、手４１が中央操作部１７上をどのように移動するかを図１１に示す動作予測部２５にて予測する。この動作予測をもとに、中央操作部１７への操作か、あるいは操作パネル１８への操作かを判断することもできる。中央操作部１７への操作と判別した場合には、普段は、消灯状態の中央操作部１７の画面を照光させるなど、多様な対応が可能である。

【0108】

そして図１２（ａ）のステップＳＴ２では、図９に示す手４１の移動軌跡Ｌ１や動作予測に基づく手４１の操作方向Ｌ２により、中央操作部１７が左側から操作されると判別できる。また図２に示すように助手席の乗員５１が中央操作部１７上へ手４６を伸ばした場合も、手４６の移動軌跡や動作予測に基づく手４６の操作方向により、中央操作部１７が右側から操作されると判別できる。

【0109】

また本実施形態では、操作体の高さ位置の算出することも可能である。算出方法を限定するものではないが、例えば、図１４（ｃ）（ｄ）で手４１の輪郭４２が入る最小矩形領域４３，４４の大きさに基づいて手４１の高さ位置を推測することができる。すなわち図９に示すようにＣＣＤカメラ１１で映し出された画面３４は、平面であり、平面情報しか得られないため手４１の高さ位置を知るには、最小矩形領域４３，４４の面積が大きくなるほど手４１が上方に位置する（ＣＣＤカメラ１１に近づく）として検出することができる。この際、手４１の基準の大きさ（例えば操作パネル１８の中心を操作した際の手４１の大きさ）に対して面積変化により高さ位置を算出するために、基準の大きさを測定するための初期設定を行う。これにより手４１の移動軌跡がどの程度の高さ位置にあるかを推測することができる。上記した初期設定における手４１の大きさよりも小さい場合には、操作パネル１８への操作ではなく、中央操作部１７への操作として認識することができる。

【0110】

また本実施形態では、図１２（ａ）に示すステップＳＴ２において、例えば、図１０に示す手７５の移動軌跡Ｌ３に基づいて中央操作部１７が後部座席側から操作されると判断したときは、中央操作部１７への操作を無効にしたり操作を制限することが可能である。安全性を高めるためである。

【0111】

あるいは運転者５０が操作すると判別された場合においても、中央操作部１７への操作を無効にしたり操作を制限することができる。例えば車両が所定以上の速度で走行している場合には、運転者５０における中央操作部１７への操作を制限したり無効となるように制御することが考えられる。

【0112】

このように制御部２１にて、操作者が運転者５０であるか、助手席の乗員５１であるか、後部座席の乗員であるかによって、中央操作部１７への操作を適宜制御することが可能である。なお操作を規制したり無効にしたりできるモードが設けられており、操作者が、前記モードの実行を適宜選択できるようにしてもよい。

【0113】

図１５は、指の検出方法を示している。まず図１４（ｂ）での手４１の輪郭４２の座標を求め、図１５に示すようにもっともＹ１方向に位置する点Ｂ１〜Ｂ５をリストアップする。Ｙ１方向は操作パネル１８方向を指しているから、もっともＹ１方向に位置する点Ｂ１〜Ｂ５は指の先端であると推測される。これらの点Ｂ１〜Ｂ５の中で最もＸ１側の点Ｂ１と最もＸ２側の点Ｂ５を求める。そして、点Ｂ１と点Ｂ５の中間の座標（ここでは点Ｂ３の位置）を指位置と推定する。本実施形態では操作体を指とし、指の移動軌跡を追従することで、動作予測を行うように制御することも可能である。指の移動軌跡を用いることで、より詳細な動作予測を行うことが可能となる。

【0114】

また左手と右手との判別、手の表裏の判別等を行えるようにしてもよい。
また操作体が動作検出領域３０内にて停止状態にあっても、停止状態を重心ベクトル等により随時取得することで、あるいは、停止状態での重心Ｇを所定時間保持することで、その後、操作体が移動を開始してもすぐさま操作体の移動軌跡を追従することができる。

【0115】

本実施形態における入力装置２０は、中央操作部１７と、中央操作部１７に対する入力操作を制御する制御部２１と、を有し、制御部２１は、少なくとも中央操作部１７の左右両側のいずれかから操作部が操作されるかを判別する判別部２６と、判別部２６による判別結果に基づいて、操作部の平面視における操作基準方向を変更する基準変更部２７と、を有するものである。

【0116】

従来、操作基準方向は一定の方向に定められていた。通常、操作基準方向は、左右方向に対して平面内にて直交する前後方向に固定されていた。

【0117】

これに対して本実施形態では、中央操作部１７に対して左右両側のいずれかから操作されるかを判別部２６にて判別し、判別結果に基づいて基準変更部２７により中央操作部１７の操作基準方向を変更できるようにした。

【0118】

このため本実施形態では、中央操作部１７の左側から操作をしようとする場合と、中央操作部１７の右側から操作をしようとする場合とで、操作基準方向を変更することができる。このように中央操作部１７に対する操作方向に基づいて操作部の操作基準方向を適宜変更することで操作性を向上させることが可能になる。

【0119】

本実施形態における入力装置２０は例えば車内用であり、車内に取り付けたＣＣＤカメラ（撮像素子）１１の画像情報に基づいて、中央操作部１７への操作方向を適切かつ容易に操作方向の判別を行うことができる。この結果、スムースに操作基準方向を変更でき、操作性を向上させることができる。

【0120】

上記において、判別部２６の判別は、操作体のベクトル情報に基づいて行われることで、操作方向の判別をスムースに行うことができる。

【0121】

また上記のように画像情報を用いることで、操作体の動作予測が可能になる。そして、判別部２６による判別を、動作予測に基づいて行うことで、より早く判別部２６による判別を行うことができ、操作性を向上させることができる。

【0122】

さらに基準変更部２７では、操作基準方向を、操作体の操作方向に合わせることができる。すなわち図９に示す手４１の操作方向Ｌ２に操作基準方向を合わせることができる。これにより操作性をより効果的に向上させることができる。

【0123】

本実施形態の入力装置２０は車両用と限定するものでないが、車両用として使用することで、制御部２１の判別部２６にて中央操作部１７が少なくとも運転者５０による操作か、助手席の乗員５１による操作かを判別でき、操作者の別に基づいて操作基準方向を適宜変更することで快適な操作性に加え、走行中の安全性を向上させることが可能である。

【符号の説明】

【0124】

Ｇ 重心
Ｌ１、Ｌ３ 移動軌跡
Ｌ２、Ｌ４ 動作予測に基づく移動方向
１１ ＣＣＤカメラ
１７、６５ 中央操作部
１８ 操作パネル
２０ 入力装置
２１ 制御部
２２ 画像情報検出部
２４ 算出部
２５ 動作予測部
２６ 判別部
２７ 基準変更部
３０ 操作領域
３４ 画像
４１、４６、７５ 手
４２ 輪郭
５０ 運転者
５１ 助手席の乗員
５２ａ、５２ｂ、５２ｃ 操作基準方向
６１ａ〜６１ｃ アイコン
６４ 回転スイッチ（中央操作部）
７１、７２ センサ
７３ スイッチ

【図2】

【図8】

【図12(b)】

【図12(c)】

【図13】

【図1】

【図3】

【図4】

【図5】

【図6】

【図7】

【図9】

【図10】

【図11】

【図12(a)】

【図14】

【図15】

【図16】