(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0004】
自車両に乗車する乗員が他車両に乗車しているものと勘違いをすると、乗員は車載装置を操作する際に他車両におけるスイッチの存在位置に手を伸ばしてスイッチの操作をしようとすることがある。自車両におけるその位置にスイッチが無い場合、乗員はスイッチ操作で迷う。特許文献1の装置では乗員の視線方向や手指の位置にスイッチが存在しない場合に操作対象の車載装置を検知することができない。
【0005】
本発明はこのような課題を考慮してなされたものであり、乗員がスイッチ操作で迷っているときに車載装置の操作を適切に補助することができる操作補助システムおよび操作補助方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の第1の態様は、
第1車両の車載装置に対する操作を補助する操作補助システムであって、
前記第1車両に乗車する乗員の手元の所定動作を認識する動作認識部と、
前記乗員の手の前記第1車両に対する相対位置である第1相対位置を認識する位置認識部と、
第2車両の操作部の前記第2車両に対する相対位置と、当該操作部を用いて操作される前記第2車両の車載装置と、を対応付けて記録する記録部と、
前記記録部の記録に基づいて、前記第2車両に対する相対位置であって前記第1相対位置に相当する第2相対位置に設けられる前記第2車両の前記操作部を用いて操作される、前記第2車両の第2車載装置を特定する特定部と、
前記第2車載装置と共通する機能を有する、前記第1車両の第1車載装置に対する操作を補助する制御部とを備える。
【0007】
本発明の第2の態様は、
第1車両の車載装置に対する操作を補助する操作補助方法であって、
記録部を用いて、第2車両の操作部の前記第2車両に対する相対位置と、当該操作部を用いて操作される前記第2車両の車載装置と、を対応付けて記録する工程と、
演算部を用いて、
前記第1車両に乗車する乗員の手元の所定動作を認識する動作認識工程と、
前記乗員の手の前記第1車両に対する相対位置である第1相対位置を認識する位置認識工程と、
前記記録部の記録に基づいて、前記第2車両に対する相対位置であって前記第1相対位置に相当する第2相対位置に設けられる前記第2車両の前記操作部を用いて操作される、前記第2車両の第2車載装置を特定する特定工程と、
前記第2車載装置と共通する機能を有する、前記第1車両の第1車載装置に対する操作を補助する制御工程と、
を行う。
【発明の効果】
【0008】
本発明によれば、乗員がスイッチ操作で迷っているときに車載装置20の操作を適切に補助することができる。
【発明を実施するための形態】
【0010】
以下、本発明に係る操作補助システムおよび操作補助方法について、好適な実施形態を挙げ、添付の図面を参照して詳細に説明する。
【0011】
[1.操作補助システム200の構成]
図1に示されるように、操作補助システム200は、第1車両10とサーバ102を含む。
【0012】
[1.1.第1車両10]
図1を用いて第1車両10の構成を説明する。本明細書では、説明の主体となる乗員が乗車する自車両を第1車両10といい、自車両以外の他車両を第2車両110(
図7B)という。以下の説明において、第1車両10は、乗員と車両がそれぞれ複数存在することを前提とする形態で使用される車両、例えばレンタカーやカーシェアリング等で使用される車両、社用車、公用車等を想定する。
【0013】
第1車両10は、カメラ12と、識別情報センサ14と、通信装置16と、操作補助装置18と、各種の車載装置20と、を有する。また、
図2に示されるように、第1車両10のダッシュボード58およびステアリングホイール60には、車載装置20を制御するための各種の操作部38が設けられる。操作部38は、ボタン、レバー等のスイッチである。
【0014】
カメラ12は、1以上の操作部38と各操作部38周辺とが含まれる所定範囲を撮像することができる位置、例えば天井に設けられる。第1車両10の室内に複数の操作部38が存在する場合、1つのカメラ12が複数の操作部38を撮像してもよいし、複数のカメラ12が個別に操作部38を撮像してもよい。カメラ12は、操作部38と操作部38周辺を撮像して画像情報を取得し、取得した画像情報を操作補助装置18に出力する。
【0015】
識別情報センサ14は、乗員を識別するための情報(以下、識別情報70(
図3)という。)を検出する。識別情報センサ14は、乗員の生体情報70a(
図3)を検出する生体情報センサや、乗員が入力する暗証番号70b(
図3)の入力装置等である。生体情報センサとしては、乗員の顔、眼、血管、指紋、掌、声の生体情報70aを検出するセンサが少なくとも一つ設けられる。識別情報センサ14は、識別情報70を操作補助装置18に出力する。
【0016】
通信装置16は、通信回路とアンテナ等を備えており、通信回線100を介してサーバ102とデータ通信を行い、また、第1車両10内の通信線を介して操作補助装置18とデータ通信を行う。
【0017】
操作補助装置18は、演算部24と、記録部25と、入出力インターフェース(不図示)等を有する電子制御ユニット(ECU)である。演算部24は、CPU等を備えるプロセッサを有し、プロセッサが記録部25に記録されるプログラムを実行することにより各種機能を実現する。本実施形態において、演算部24は、乗員認識部26と動作認識部27と位置認識部28と特定部29と制御部30として機能する。各種機能に関しては下記[2.]で説明する。
【0018】
記録部25は、ROMとRAM等のメモリを有する。記録部25には、座標情報32と、個人識別データベース34(以下、個人識別DB34という。)と、乗員−車載装置データベース36(以下、乗員−車載装置DB36という。)と、が記録される。
【0019】
座標情報32は、
図2に示されるように、ダッシュボード58およびステアリングホイール60の正面を座標面64とした場合の相対位置を定義する。本実施形態において、座標面64は、ステアリングホイール60の中心位置を原点とし、車両の上下方向に延びる直線と車両の幅方向に延びる直線とを座標軸とする。更に、本実施形態では、座標面64を、上下方向と幅方向に所定間隔で区切り、各マス目の位置を上下方向の座標位置Vnと幅方向の座標位置Hnで表す。各マス目の座標位置Vn−Hnはステアリングホイール60の中心位置を基準位置とする相対位置となる。座標面64は、第1車両10および第2車両110で共通して使用される。
【0020】
個人識別DB34は、
図3に示される個人情報66を格納する。個人情報66は、乗員の識別番号68と乗員の識別情報70とを紐付ける。前述したように、識別情報70は、乗員を識別するための情報、例えば生体情報70aと暗証番号70bの少なくとも1つを示す情報である。
【0021】
乗員−車載装置DB36は、
図4に示される乗員−車両情報72を格納する。乗員−車両情報72は、乗員の識別番号68と車両型式情報74と乗車情報76と車載装置情報78とを紐付ける。車両型式情報74は、車両(第1車両10、第2車両110を含む。)に関する情報であり、車両の生産者(生産会社)を示す生産者情報80と、車両の生産国を示す生産国情報82と、車両の車種を示す車種情報84と、を含む。乗車情報76は、乗員が車両に乗車したことがあるか否かを示す。更に、乗車情報76は、乗車したことがあることを示す情報の他に、最新の乗車日時や乗車回数等を示す情報も含む。車載装置情報78は、車載装置20に関する情報であり、車載装置20の種類を示す装置種類情報86と、その車両において車載装置20の操作部38が配置される相対位置を示す位置情報88と、を含む。
【0022】
なお、記録部25は、乗員−車載装置DB36とは別に、車両自体(ここでは第1車両10)の車両型式情報74を記録する。
【0023】
図1に戻り説明を続ける。車載装置20には、エアコン装置40とハザードランプ装置42とワイパー装置44と報知装置46等が含まれる。エアコン装置40は、車内に冷気または暖気を送風する本体と、本体の制御を行うエアコンECUと、エアコンスイッチ48(操作部38)と、を有する。エアコン装置40は、乗員がエアコンスイッチ48を操作するか、または、操作補助装置18から出力される動作指示に応じて起動、停止、設定温度の変更等の動作を行う。ハザードランプ装置42は、ランプと、ハザード回路と、ハザード回路の通電制御を行うハザードコントローラと、ハザードスイッチ50(操作部38)とを有する。ハザードランプ装置42は、乗員がハザードスイッチ50を操作するか、または、操作補助装置18から出力される動作指示に応じて起動、停止の動作を行う。ワイパー装置44は、ワイパーアームと、ワイパーアームを駆動するモータを含むワイパー回路と、ワイパー回路の通電制御を行うワイパーコントローラと、ワイパースイッチ52(操作部38)と、を有する。ワイパー装置44は、乗員がワイパースイッチ52を操作するか、または、操作補助装置18から出力される動作指示に応じて起動、停止の動作を行う。報知装置46は、乗員に対して視覚情報を提供する表示装置54と、乗員に対して音声情報を提供する音響装置56と、を有する。
【0024】
[1.2.サーバ102]
サーバ102は、レンタカー等のシステム管理者の施設内に設置されており、サーバ側記録部104を有する。サーバ側記録部104は、各乗員の個人情報66(
図3)と乗員−車両情報72(
図4)を記録する。個人情報66と乗員−車両情報72は、システム管理者のオペレータ等が入力装置を操作することによりサーバ側記録部104に登録される。
【0025】
[2.操作補助装置18の動作]
[2.1.主処理]
図5を用いて操作補助装置18が行う主処理を説明する。
【0026】
ステップS1において、制御部30は、所定のタイミングで通信装置16を介してサーバ102に対して個人情報66と乗員−車両情報72の送信を要求する。例えば、制御部30は、第1車両10のイグニッションスイッチやスタートスイッチ(いずれも不図示)が操作されて電源がオフからオンに切り替えられることをトリガとして、各情報(個人情報66、乗員−車両情報72)の要求指示を出力する。通信装置16は、要求指示をサーバ102に送信し、サーバ102から個人情報66と乗員−車両情報72をダウンロードして記録部25に格納する。
【0027】
ステップS2において、乗員認識部26は、識別情報センサ14により検出される識別情報70を取得する。
【0028】
ステップS3において、乗員認識部26は、取得した識別情報70を個人識別DB34に記録される個人情報66の識別情報70と照合する。そして、乗員認識部26は、個人識別DB34に一致または類似する識別情報70がある場合に、第1車両10に乗車する乗員を、識別情報70に紐付けられる識別番号68の乗員であるとして識別する。
【0029】
ステップS3で乗員を識別することができた場合(ステップS4:YES)、処理はステップS5に移行する。一方、ステップS3で乗員を識別することができなかった場合(ステップS4:NO)、主処理は終了する。
【0030】
ステップS4からステップS5に移行すると、
図6に示される操作補助処理が行われる。ステップS5の操作補助処理は、第1車両10の電源がオンである場合(ステップS6:YES)に繰り返し行われ、第1車両10の電源がオフに切り替えられる場合(ステップS6:NO)に終了する。操作補助処理の終了と共に主処理は終了する。
【0031】
[2.2.操作補助処理]
図6を用いて
図5のステップS5で行われる操作補助処理を説明する。
【0032】
ステップS11において、動作認識部27および位置認識部28は、カメラ12が出力する画像情報を取得する。
【0033】
ステップS12において、動作認識部27は、画像情報を用いて公知の画像認識処理を行い、乗員の手元の所定動作を認識する。動作認識部27は、所定動作として、乗員が操作に迷っている状態として識別される動作、例えば、乗員の手H(
図7A)の小刻みな動きを認識する。本明細書において、手Hの小刻みな動きを手Hの迷い動作ともいう。動作認識部27は、公知のジェスチャ認識技術(例えば特開2014−174776号公報の技術)を用いて乗員の手Hが迷い動作をしていることを認識することができる。または、動作認識部27は、乗員の手Hが所定時間内に一定の範囲内で同じ動きを繰り返し行うことを認識する場合に、手Hが迷い動作をしているものとして認識する。本実施形態では、この状態を、第1車両10に乗車する乗員が第2車両110に乗車していると勘違いをしてスイッチ操作をしようとしているものと想定する。
【0034】
動作認識部27が手Hの迷い動作を認識する場合(ステップS13:YES)、処理はステップS14に移行する。一方、動作認識部27が手Hの迷い動作を認識しない場合(ステップS13:NO)、操作補助処理は終了する。
【0035】
ステップS13からステップS14に移行すると、位置認識部28は、画像情報と座標情報32に基づいて、手Hの第1車両10に対する相対位置を認識する。この相対位置を第1相対位置90という。例えば、
図7Aに示される状況では、位置認識部28は、手Hの第1相対位置90を座標位置V2−H2、V3−H2と認識する。
【0036】
ステップS15において、特定部29は、乗員が乗車していると勘違いをしていると推測される第2車両110を特定する。ここで特定部29は、ステップS2で識別した乗員の識別番号68を用いて乗員−車載装置DB36を検索し、識別番号68が一致する乗員−車両情報72を抽出する。特定部29は、抽出した乗員−車両情報72に含まれる車両型式情報74に基づいて第2車両110を特定する。
【0037】
このとき、特定部29は、抽出した乗員−車両情報72が1つのみの場合にはその乗員−車両情報72を使用する。一方、特定部29は、抽出した乗員−車両情報72が複数ある場合には、1つの乗員−車両情報72を選択する。その際、特定部29は、車両型式情報74に含まれる少なくとも1つの情報が第1車両10の車両型式情報74と異なる乗員−車両情報72を選択する。好ましくは、乗車情報76が「あり」である乗員−車両情報72を選択する。それでもなお複数の乗員−車両情報72が選択される場合、制御部30は、所定の規則に基づいて1つの乗員−車両情報72を選択する。例えば、車両型式情報74に含まれる生産者情報80、生産国情報82、車種情報84、乗車情報76の優先順位を設定しておく。そして、優先順位の高い情報の比較結果を優先的に使用する。または、乗車情報76の乗車日時が最も新しい乗員−車両情報72を、または乗車回数が最も多い乗員−車両情報72を選択する。なお、当然ではあるが、乗員−車両情報72に含まれる車両型式情報74と第1車両10の車両型式情報74とが一致する場合、特定部29は、その乗員−車両情報72を使用しない。その乗員−車両情報72は、乗員が乗車する第1車両10に関する情報であるためである。
【0038】
ステップS16において、特定部29は、乗員が操作しようとしていると推測される第1車両10の車載装置20(第1車載装置)を特定する。ここで特定部29は、記録部25に記録される乗員−車両情報72に基づいて、第2車両110に対する相対位置であって第1相対位置90に相当する第2相対位置92に設けられる第2車両110の操作部38を用いて操作される第2車両110の車載装置20(第2車載装置)を特定する。具体的には、特定部29は、ステップS14で位置認識部28が認識した第1相対位置90を、ステップS15で特定した第2車両110の乗員−車両情報72に含まれる位置情報88と照合する。そして、一致する位置情報88がある場合、特定部29は、その位置情報88に紐付けられる車載装置20(第2車載装置)と共通する機能を有する第1車両10の車載装置20(第1車載装置)を特定する。例えば、
図7Bに示されるように、第1相対位置90(座標位置V2−H2、V3−H2)に相当する第2相対位置92(座標位置V2−H2、V3−H2)には、エアコン装置40のエアコンスイッチ48(操作部38)が配置される。この場合、特定部29は、エアコンスイッチ48を用いて操作される第2車両110の車載装置20はエアコン装置40であると特定する。そして、特定部29は、第2車両110の車載装置20と共通の機能を有する第1車両10の車載装置20、すなわちエアコン装置40を、乗員が操作しようとしている車載装置20であると特定する。
【0039】
ステップS17において、制御部30は、車載装置20に対する操作を補助する。例えば、制御部30は、報知装置46に対して報知指示を出力する。報知装置46は、車載装置20(第1車載装置)の操作部38の第1相対位置90を画像または音声で案内する。または、制御部30は、乗員に対して車載装置20の起動または停止等の問い合わせを行い、乗員の声等の応答に応じて車載装置20の起動または停止等の制御を行う。
【0040】
[3.変形例]
本発明は前述した実施形態の他に様々な変形例が考えられる。
【0041】
前述した実施形態では、第1車両10として、レンタカーやカーシェアリング等で使用される車両、社用車、公用車等を想定したが、第1車両10が個人所有の車両であってもよい。この場合、記録部25が予め特定の乗員の個人情報66を記録するようにし、
図5に示されるステップS3(乗員の識別)、および、ステップS4で行われる処理(識別の可否判定)を省略してもよい。更に、記録部25が予め特定の乗員に対応する乗員−車両情報72を記録するようにし、
図5に示されるステップS1で行われる処理(各情報の送信の要求)、および、ステップS2で行われる処理(識別情報70の取得)を省略してもよい。
【0042】
前述した実施形態では、第1車両10が備える操作補助装置18の演算部24が特定部29として機能する。これに代わり、第1車両10の外部のプロセッサ、例えばサーバ102に設けられるプロセッサが特定部29として機能するようにしてもよい。更に、座標情報32および乗車−車載装置DB36が、サーバ側記録部104に記録されるようにしてもよい。
【0043】
この場合、操作補助処理において、位置認識部28が第1相対位置90を認識すると、第1相対位置90の情報が第1車両10からサーバ102に送信される。また、サーバ102の特定部29が、乗員が操作しようとしている車載装置20(第1車載装置)を特定すると、車載装置20の情報がサーバ102から第1車両10に送信される。
【0044】
図6に示されるステップS16において、車載装置20を特定できない場合に、ステップS15に戻り、他の第2車両110を特定するようにしてもよい。
【0045】
[4.実施形態から得られる発明]
上記実施形態および変形例から把握しうる発明について、以下に記載する。
【0046】
本発明は、
第1車両10の車載装置20に対する操作を補助する操作補助システム200であって、
第1車両10に乗車する乗員の手元の所定動作を認識する動作認識部27と、
乗員の手Hの第1車両10に対する相対位置である第1相対位置90を認識する位置認識部28と、
第2車両110の操作部38の第2車両110に対する相対位置と、操作部38を用いて操作される第2車両110の車載装置20と、を対応付けて記録する記録部25(乗車−車載装置DB36)と、
記録部25の記録に基づいて、第2車両110に対する相対位置であって第1相対位置90に相当する第2相対位置92に設けられる第2車両110の操作部38を用いて操作される、第2車両110の第2車載装置(車載装置20)を特定する特定部29と、
第2車載装置と共通する機能を有する、第1車両10の第1車載装置(車載装置20)に対する操作を補助する制御部30と、
を備える。
【0047】
上記構成によれば、乗員が操作部38の操作で迷っているときに行う手Hの動作を認識し、手Hの相対位置に基づいて制御対象である車載装置20を特定し、その車載装置20の操作を補助するため、乗員がスイッチ操作で迷っているときに車載装置20の操作を適切に補助することができる。
【0048】
本発明において、
動作認識部27は、乗員が操作に迷っている状態として識別される動作を、所定動作として認識し、
制御部30は、動作認識部27により、乗員が操作に迷っている状態として識別される動作が認識された場合に、第1車載装置(車載装置20)に対する操作を補助してもよい。
【0049】
本発明において、
記録部25は、乗員が過去に乗車したことがある第2車両110に対して、第2車両110の操作部38の第2車両110に対する相対位置と、操作部38を用いて操作される第2車両110の車載装置20と、を対応付けて記録してもよい。
【0050】
乗員は、現在乗車している第1車両10を、過去に乗車したことがある第2車両110と勘違いする場合がある。上記構成によれば、乗員が乗車したことがあることを示す乗車情報76に対応付けられる装置種類情報86に基づいて車載装置20を特定するため、適切な車載装置20を特定して操作を補助することができる。
【0051】
本発明において、
記録部25は、乗員が過去に乗車したことがある第2車両110に対する、第2車両110の生産者を示す生産者情報80と、第2車両110の生産国を示す生産国情報82と、第2車両110の車種を示す車種情報84の少なくとも1つである車両型式情報74を、乗員と対応付けて記録し、
制御部30は、第1車両10についての車両型式情報74の少なくとも一部が、乗員が過去に乗車したことがある車両についての車両型式情報74に合致しない場合に、第1車載装置(車載装置20)に対する操作を補助してもよい。
【0052】
第1車両10と第2車両110は、生産者、生産国、車種の少なくとも1つが異なると、操作部38の相対位置が異なる。上記構成によれば、生産者情報80、生産国情報82、車種情報84に対応付けられる装置種類情報86に基づいて車載装置20を特定するため、適切な車載装置20を特定して操作を補助することができる。
【0053】
本発明において、
第1車載装置(車載装置20)および第2車載装置(車載装置20)は、エアコン装置40、ハザードランプ装置42、ワイパー装置44の少なくとも1つである。
【0054】
上記構成によれば、エアコン装置40、ハザードランプ装置42、ワイパー装置44の操作を補助することができる。
【0055】
また、本発明は、
第1車両の車載装置に対する操作を補助する操作補助方法であって、
記録部25を用いて、第2車両110の操作部38の第2車両110に対する相対位置と、操作部38を用いて操作される第2車両110の車載装置20と、を対応付けて記録する工程と、
演算部24を用いて、
第1車両10に乗車する乗員の手元の所定動作を認識する動作認識工程(ステップS12)と、
乗員の手Hの第1車両10に対する相対位置である第1相対位置90を認識する位置認識工程(ステップS14)と、
記録部25の記録に基づいて、第2車両110に対する相対位置であって第1相対位置90に相当する第2相対位置92に設けられる第2車両110の操作部38を用いて操作される、第2車両110の第2車載装置(車載装置20)を特定する特定工程(ステップS15、ステップS16)と、
第2車載装置(車載装置20)と共通する機能を有する、第1車両10の第1車載装置(車載装置20)に対する操作を補助する制御工程(ステップS17)と、
を行う。
【0056】
上記構成によれば、乗員が操作部38の操作で迷っているときに行う手Hの動作を認識し、手Hの相対位置に基づいて制御対象である車載装置20を特定し、その車載装置20の操作を補助するため、乗員がスイッチ操作で迷っているときに車載装置20の操作を適切に補助することができる。
【0057】
なお、本発明に係る操作補助システムおよび操作補助方法は、上述の実施形態に限らず、本発明の要旨を逸脱することなく、種々の構成を採り得ることはもちろんである。