【解決手段】車両のドアを開くように指示する信号を受信する通信部と、前記ドアの周辺の雨滴量に関する情報を前記複数のドアごとに取得する雨滴量情報取得部と、前記信号によって開くように指示されたドアの周辺と、その他のドアの周辺との雨滴量の差を前記雨滴量に関する情報に基づいて求め、当該雨滴量の差が所定の閾値以上かどうかに基いて、前記開くように指示されたドアを開くべきかどうかを判定する判定部と、を備える。
前記判定部は、前記雨滴量の差が前記所定の閾値以上の場合、前記開くように指示されたドアの周辺の雨滴量が他のドアの周辺の雨滴量よりも小さいとき、前記開くように指示されたドアを開くべきであると判定する
ことを特徴とする請求項1に記載の情報処理装置。
前記判定部は、前記報知装置によって報知が行われた後、前記ドアを開くように指示する信号が再度取得されたとき、当該信号によって指示されたドアを開放すると判定する
ことを特徴とする請求項6に記載の情報処理装置。
【発明を実施するための形態】
【0008】
以下、図面を参照して本発明の実施形態について説明する。
図1は、本発明の実施形態に係る情報処理システム1の構成を示す図であり、
図2は、情報処理システム1の概略構成を示す図である。
図1では、車両10の前方向を符号FRで示し、後方向を符号RRで示し、上方向を符号UPで示し、下方向をDNで示す。これらの方向は、
図3、
図4において共通である。
本実施形態の情報処理システム1は、車両10の周辺の環境に応じて、当該車両10の各側面に設けられた一対のスライドドア14を適切に開くことを支援するシステムである。なお、本実施形態では、スライドドア14を開く動作を中心に説明するが、情報処理システム1がスライドドア14を閉じる動作を行うことが可能であってもよい。また、情報処理システム1は、各スライドドア14に限らず他のドアやリアハッチ、トランクリッド等、車両10に開閉可能に設けられた各種の部材の開閉の制御に用いられてもよい。
【0009】
図1、
図2に示すように、情報処理システム1は、車両10に設けられた車両制御ユニット12と、周辺確認カメラ16と、後方確認カメラ17と、報知装置18と、ユーザUが所持するリモコン装置30とを備えている。なお、ユーザUは、リモコン装置を操作可能な人であれば特に限定されない。また、ユーザUは、車両10の車内と車外とのいずれにいてもよい。
車両制御ユニット12は、CPUやMPUなどのプロセッサと、ROMやRAMなどのメモリデバイスとを有したコンピュータを備え、車両10の各部の制御を行うユニットである。この車両制御ユニット12は、情報処理装置として機能する。本実施形態の車両制御ユニット12は、所謂ECU(Electronic Control Unit)である。
【0010】
図3は、周辺確認カメラ16と、一対の後方確認カメラ17との撮像範囲A1、A2を示した車両10の上面図であり、
図4は、周辺確認カメラ16と、後方確認カメラ17と、の撮像範囲A1、A2を示した車両10の側面図である。
図4では、車両10の左方向を符号LHで示し、右方向をRHで示す。
周辺確認カメラ16は、車両10に搭載され、路面を含む車両10の周囲を撮像する撮像装置である。本実施形態の周辺確認カメラ16は、例えば、車両10の前方を撮像するフロントカメラと、車両10の右側面を撮像する右サイドカメラと、車両10の左側面を撮像する左サイドカメラと、車両10の後方を撮像するリアカメラの4台のカメラで構成されている。なお、周辺確認カメラ16の位置は、
図3に示した位置に限定されず、それぞれのカメラが周辺を認識可能な位置に取り付けられていればよい。
これらのカメラはいずれも水平方向に180度以上の画角のレンズを備えている。このため、周辺確認カメラ16が撮像可能な範囲である撮像範囲A1は、
図3に示すように、車両10を中心に、車両10の全周囲(360度)が含まれている。
また、周辺確認カメラ16は、上述の通り、路面を含む車両10の周囲を撮像する。このため、本実施形態では、撮像範囲A1は、
図4に示すように、ドアミラー19よりも下方に位置している。
【0011】
一対の後方確認カメラ17は、左右のドアミラー19のそれぞれに設けられ、車両10の各側面に沿って、これらのドアミラー19より車両10の後方を撮像する撮像装置である。
図3に示すように、車両10の左右方向、及び前後方向において、各後方確認カメラ17が撮像可能な範囲である撮像範囲A2は、いずれも各ドアミラー19よりも後方側の車両の側面の周辺を含んでいる。
また、各スライドドア14は、閉止状態、及び解放状態のいずれの状態においても、撮像範囲A2の内部に位置している。すなわち、一対の後方確認カメラ17は、各スライドドア14が閉止状態、及び解放状態のいずれの状態であっても、各スライドドア14の撮像が可能である。
【0012】
図4に示すように、各スライドドア14は、閉止状態、及び解放状態のいずれの状態においても、上下方向全体が撮像範囲A2の内部に位置している。
すなわち、各後方確認カメラ17は、周辺確認カメラ16の撮像範囲A2の外部に位置する各スライドドア14の上下方向全体を撮像可能となっている。また、
図3、
図4に示すように、各後方確認カメラ17は、上下方向、左右方向、及び前後方向において、各スライドドア14の周辺を撮像可能である。
【0013】
報知装置18は、車両10に搭載され、車両の乗員に各種の情報を報知する装置である。報知装置18は、例えば、車両10に搭載されたスピーカ等の音声出力装置や、ディスプレイなどの画像表示装置等が該当する。
リモコン装置30は、ユーザUが携行可能で、各スライドドア14を開くように指示する信号をリモートで車両制御ユニット12に送信する、指示信号出力装置として機能する装置である。
【0014】
次いで、車両制御ユニット12について詳述する。
図2に示すように、車両制御ユニット12は、画像認識部22と、スライドドア開放範囲情報部24と、スライドドア開放判定部26と、スライドドア制御部28と、通信制御部29と、通信部27とを備えている。
【0015】
画像認識部22は、周辺確認カメラ16と、後方確認カメラ17とが撮像した画像を取得し、画像認識を実行する。具体的には、本実施形態の画像認識部22は、周辺確認カメラ16や、各後方確認カメラ17が撮像した画像を所得すると、当該画像から、各スライドドア14の周辺に存在する人や障害物等を検出する。
すなわち、画像認識部22は、各スライドドア14の外の周辺に人がいることを示す検知信号として、周辺確認カメラ16と、後方確認カメラ17とが撮像した画像を取得する検知信号取得部として機能する。
また、画像認識部22は、各後方確認カメラ17が撮像した画像から、雨滴を検出し、当該画像内の雨滴量を測定する雨滴量情報取得部として機能する。
【0016】
スライドドア開放範囲情報部24は、各スライドドア14の開閉の動作に関する情報を記憶する。本実施形態の各スライドドア14は、
図3に示すように、車両10の左右方向に沿って車両10の外方に移動した後に、後方へと移動することで開放状態となる。スライドドア開放範囲情報部24には、このような各スライドドア14を開くときの移動範囲と、移動量(繰り出し量)とが記録されている。
スライドドア開放範囲情報部24は、各スライドドア14の移動範囲と移動量とを画像認識部22に提供する。
画像認識部22は、取得した各スライドドア14の移動範囲と移動量とに基づいて、取得した画像に所定のエリアを設定する。このエリアは、各スライドドア14が開放状態で位置することが想定されるエリアである。
【0017】
スライドドア開放判定部26は、スライドドア14を開くように指示する信号を通信制御部29から受信すると、各周辺確認カメラ16と、後方確認カメラ17に画像を撮像するように指示し、画像認識部22の画像認識の結果を取得し、各スライドドア14のそれぞれが開くことができるか否かを判定する。
具体的には、スライドドア開放判定部26は、画像認識部22が設定した所定のエリア内に、障害物が存在するか否かを判定する。
スライドドア開放判定部26は、所定のエリア内に障害物が存在すると判定した場合には、当該障害物にスライドドア14が接触することを避けるために、当該障害物が存在する側のスライドドア14を開くことが不可能であると判定する。
スライドドア開放判定部26は、所定のエリア内に障害物が存在しないと判定した場合には、障害物が存在しないスライドドア14を開くことが可能であると判定する。
【0018】
また、スライドドア開放判定部26は、画像認識部22の画像処理の結果を取得し、当該画像処理の結果から、車両10の外側において、通信部27を介して開くように指示されたスライドドア14の周辺に所定時間以上待機している人がいるか否かを判定する。
【0019】
また、スライドドア開放判定部26は、画像認識部22が検出した雨滴量を比較し、左右の後方確認カメラ17で撮像された画像のそれぞれで検出された雨滴量に閾値以上の差があるか否かを判定する。
それぞれの雨滴量に閾値以上の差がある場合、スライドドア開放判定部26は、より雨滴量の少ない画像を撮像した後方確認カメラ17の側に位置するスライドドア14を開くべきスライドドア14であると判定する。また、スライドドア開放判定部26は、より雨滴量の多い画像を撮像した後方確認カメラ17の側に位置するスライドドア14を開くべきではないスライドドアであると判定する。
【0020】
さらに、スライドドア開放判定部26は、スライドドア14を開くことが不可能、または開くべきではないと判定した信号を受信した場合、開くように指示されたスライドドア14は、開くことが不可能、または開くべきではない旨を、報知装置18を介してユーザに報知装置18を報知する。すなわち、スライドドア開放判定部26は、報知制御部としても機能する。
【0021】
スライドドア制御部28は、スライドドア開放判定部26、及び通信制御部29からの信号を受信し、各スライドドア14を開く動作を行う。
【0022】
通信部27は、リモコン装置30からのスライドドア14を開くように指示する信号を受信する。
通信制御部29は、通信部27がリモコン装置30から信号を受信すると、報知装置18による報知がまだ行われていない場合、スライドドア14を開くように指示されたことと、開くように指示されたスライドドア14を特定可能な情報とを含む信号をスライドドア開放判定部26に送信する。
さらに、通信制御部29は、通信部27がリモコン装置30から信号を受信したときに、報知装置18による報知がすでに行われていた場合、当該信号に従って、各スライドドア14を開くようにスライドドア制御部28に信号を送信する。
【0023】
また、通信制御部29は、報知装置18による報知が既に行われているかどうかに関わらず、スライドドア開放判定部26に各スライドドア14を開くように指示する信号を受信した旨を送信してもよい。
この場合、スライドドア開放判定部26は、報知装置18による報知がまだ行われていない場合、スライドドア14を開くことが可能か否かを判定し、スライドドアを開くべきか否かを判定する。スライドドア開放判定部26は、報知装置18による報知が既に行われていた場合、リモコン装置30からの指示に従ってスライドドア14を開放する。
【0024】
次いで、
図5、
図6を参照しながら情報処理システム1の動作を説明する。
図5、及び
図6は、情報処理システム1の動作を示すフローチャートである。
本実施形態の情報処理システム1では、リモコン装置30からの信号を通信部27が受信可能な範囲外に当該リモコン装置30が位置する場合、車両制御ユニット12が備える画像認識部22と、スライドドア開放範囲情報部24と、スライドドア開放判定部26と、スライドドア制御部28と、通信制御部29とが休止状態となる。また、通信制御部29がリモコン装置30からの信号を受信可能な範囲内に当該リモコン装置30が到達すると、上述した車両制御ユニット12が備える各部が休止状態から起動する。
これによって、情報処理システム1が作動していないときに、車両制御ユニット12が車両10のバッテリを消費することが抑制される。
【0025】
図5に示すように、通信部27がリモコン装置30からの信号を受信可能な範囲内にリモコン装置30を携行したユーザUが到達すると(ステップSa1)、車両制御ユニット12が備える各部が休止状態から起動し、情報処理システム1が起動する(ステップSa2)。
この情報処理システム1が起動すると、車両制御ユニット12が周辺確認カメラ16と、各後方確認カメラ17とに車両10の周囲の画像を撮像させる(ステップSa3)。
【0026】
ユーザUがリモコン装置30を操作して、スライドドア14のいずれか一方を開くように指示する信号が送信され(ステップSa4)、当該信号を通信部27が受信すると、周辺確認カメラ16と、各後方確認カメラ17とが撮像した画像を画像認識部22が取得する。また、画像認識部22は、スライドドア開放範囲情報部24から各スライドドア14の移動範囲と移動量とを取得する(ステップSa5)。
そして、画像認識部22は、取得した各画像に所定のエリアを設定し、また、当該画像に撮像された人や障害物を検出する画像認識を行う(ステップSa6)。
【0027】
スライドドア開放判定部26は、当該画像において、このエリアに相当する箇所に障害物や人が存在するか否かを判定し、開くように指示されたスライドドア14を開くことが可能か否かを判定する(ステップSa7)。
スライドドア開放判定部26は、開くように指示されたスライドドア14を開くことが不可能であると判定した場合(ステップSa7:NO)、報知装置18に指示されたスライドドア14の周辺に障害物があり、当該スライドドア14を開くことが不可能であることをユーザUに対して報知させる(ステップSa15)。
この報知装置18による報知の後に、さらにユーザUがリモコン装置30を操作し、各スライドドア14のいずれかを開くように指示する信号を通信部27が受信すると(ステップSa16)、当該受信した信号に従って、スライドドア制御部28が当該スライドドア14を開く(ステップSa17)。これによって、スライドドア14の開放が不可能、または後述の処理によって開くべきではないスライドドアであると判定された場合であっても、ユーザUは、再度指示して、所望のスライドドア14を開放させることができる。
【0028】
スライドドア開放判定部26は、開くように指示されたスライドドア14を開くことが可能であると判定した場合(ステップSa7:YES)、車両制御ユニット12は、車両周辺の状況の認識を実施する(ステップSa8)。具体的には、画像認識部22の画像処理の結果をスライドドア開放判定部26が取得する。スライドドア開放判定部26は、当該画像処理の結果から、車両10の外側において、開くことを指示されたスライドドア14の周辺に所定時間以上待機している人がいるか否かを判定する(ステップSa9)。
スライドドア開放判定部26は、開くことを指示されたスライドドア14の周辺に所定時間以上待機している人がいると判定した場合(ステップSa9:NO)、スライドドア開放判定部26は、当該スライドドア14を開くべきスライドドアであると判定し、スライドドア制御部28に当該スライドドア14を開くように指示する信号を送信する(ステップSa13)。
【0029】
詳述すると、開くように指示されたスライドドア14の周辺に所定時間以上待機している人がいる場合、当該人が車両10に乗り込むために、当該スライドドア14を開くように指示する信号が送信されたと推定される。また、雨が降っている車両10の外側に、所定時間以上人が待機している場合、当該人は、傘などの雨具を使用している可能性が高いと推定される。このため、当該人が濡れることを考慮せずに、当該スライドドア14を開くことが可能であると推定され、スライドドア開放判定部26は、スライドドア制御部28に当該スライドドア14を開くように指示する信号を送信することとなる。
【0030】
スライドドア制御部28は、当該スライドドア14を開くように指示する信号を受信すると、当該スライドドア14を開く(ステップSa14)。
【0031】
スライドドア開放判定部26は、開くように指示されたスライドドア14の周辺に所定時間以上待機している人がいないと判定した場合(ステップSa9:YES)、取得した画像認識の結果から、画像認識部22が検出した各スライドドア14の周辺における雨滴量を各ドアごとに比較し、各雨滴量の差が閾値以上か否かを判定する(ステップSa10)。
【0032】
スライドドア開放判定部26は、各スライドドア14のそれぞれの周辺における雨滴量の差が閾値よりも小さい判定した場合(ステップSa10:NO)、スライドドア制御部28に、ステップSa4で受信したスライドドア14を開く指示に従って、当該スライドドア14を開くように指示する信号を送信する(ステップSa13)。
すなわち、各スライドドア14のそれぞれの周辺における雨滴量の差が閾値よりも小さいとスライドドア開放判定部26が判定した場合、各スライドドア14のそれぞれの周辺における雨滴量は略同一であると推定される。このため、スライドドア開放判定部26は、いずれのスライドドア14を開いた場合であっても、人や車両10の内部が雨に濡れる可能性が略同一であると推定される。このため、スライドドア開放判定部26は、ユーザUの指示に基づく動作を実施させる。
【0033】
そして、スライドドア制御部28は、当該スライドドア14を開くように指示する信号を受信すると、当該スライドドア14を開く(ステップSa14)。
なお、スライドドア開放判定部26は、画像認識部22が雨滴を検出しなかった場合においても、同様の判定を行う。
【0034】
スライドドア開放判定部26は、各スライドドア14のそれぞれの周辺における雨滴量の差が閾値以上であると判定した場合(ステップSa10:NO)、周辺における雨滴量が最も少ないスライドドア14を開くべきスライドドアであると判定し、開くべきスライドドアとして決定されたスライドドア以外のスライドドアを開くべきでないスライドドアと判定する(ステップSa11)。
次いで、スライドドア開放判定部26は、周辺における雨滴量が最も少ないスライドドア14、すなわちステップSa11において開くべきであると判定されたスライドドア14が開くように指示されたスライドドア14と同一か否かを判定する(ステップSa12)。
【0035】
スライドドア開放判定部26は、周辺における雨滴量が最も少ないスライドドア14と、開くように指示されたスライドドア14とが同一のスライドドア14であると判定した場合(ステップSa7:YES)、スライドドア制御部28に当該スライドドア14を開くように指示する信号を送信する(ステップSa13)。スライドドア制御部28は、当該スライドドア14を開くように指示する信号を受信すると、当該スライドドア14を開く(ステップSa14)。
【0036】
スライドドア開放判定部26は、周辺における雨滴量が最も少ないスライドドアと、開くように指示されたスライドドア14とが同一のスライドドア14でない、すなわちユーザUによって開くように指示されたスライドドア14が開くべきではないと判定されたスライドドアであると判定した場合(ステップSa7:NO)、報知装置18に、指示されたスライドドア14の周辺における雨滴量が他方のスライドドア14よりも多く、指示されたスライドドア14を開くべきではないことをユーザUに対して報知させる(ステップSa15)。
【0037】
この報知装置18による報知の後に、さらにユーザUがリモコン装置30を操作し、各スライドドア14のいずれかを開くように指示する信号が送信され、当該信号を受信した場合には(ステップSa16)、受信した信号に従って、スライドドア制御部28が当該スライドドア14を開く(ステップSa17)。
【0038】
このように、情報処理システム1では、スライドドア開放判定部26が各スライドドア14の周辺における雨滴量を比較し、閾値以上の差がある場合に、最も周辺における雨滴量が少ないスライドドア14を決定する。これによって、例えば、雨天時に一方のスライドドア14のみが庇等の遮蔽物の下に位置して駐停車する車両10において、ユーザUは、スライドドア14が開くときに乗降する人や、車両10の内部がより濡れにくいスライドドア14を選択して開くことができる。このため、情報処理システム1は、ユーザUがスライドドア14を適切に開くことを支援することができる。
【0039】
以上説明したように、本実施形態によれば、車両制御ユニット12は、各スライドドア14のそれぞれの周辺の雨滴量に関する情報を取得する画像認識部22を備えている。また、車両制御ユニット12は、開放が指示されているスライドドア14の周辺と、その他のドアの周辺との雨滴量の差を画像認識部22による画像認識結果に基づいて求め、当該雨滴量の差が所定の閾値以上のとき、開放が指示されたスライドドア14を開放すべきか否かを判定するスライドドア開放判定部26を備えている構成とした。
【0040】
これによって、開くように指示されているスライドドア14の周辺と、他方のスライドドア14の周辺との雨滴量の差が大きく、他方のスライドドア14に比べて、開放が指示されたスライドドア14の周辺の雨滴量が多い場合、当該指示されたスライドドア14を開くべきか否かが判定される。
このため、情報処理システム1は、乗降するときに、人や車両10の内部が雨に濡れる可能性があるスライドドア14の開放を抑制することができる。
【0041】
また、本実施形態によれば、スライドドア開放判定部26は、雨滴量の差が閾値以上である場合、開くように指示されたスライドドア14の周辺の雨滴量が他のスライドドア14の周辺の雨滴量よりも小さいとき、開くように指示されたスライドドア14を開くべきであると判定する構成とした。
これによって、スライドドア開放判定部26は、いずれのスライドドア14を開いても人や車両10の内部が雨に濡れる可能性が略同一であるとき、ユーザUの指示に基づく動作を優先して実施させることができ、ユーザの不快感を軽減できる。
【0042】
また、本実施形態によれば、画像認識部22は、開放が指示されたスライドドア14の外の周辺に人がいることを検知し、スライドドア開放判定部26は、開放が指示されたスライドドア14の外の周辺に人がいる場合、雨滴量の差に関わらず、開放が指示されたスライドドア14を開くべきスライドドアであると判定する構成とした。
これによって、例えば、雨天時において、車両10のスライドドア14の外で人が待っている場合、当該人は、傘などの雨具を所持している可能性が高く、雨滴量が少ないスライドドア14を敢えて選択して開放する必要性は乏しい。そこで、スライドドア14の外で待っている人を乗車させるために、当該スライドドア14の開放の指示をユーザが与える場合には、当該ユーザUが指示したスライドドア14を開放させる構成とすることで、スライドドア14の外で待っている人をスムーズに乗車させることができる。
【0043】
また、本実施形態によれば、雨滴量に関する情報は、複数のスライドドア14のそれぞれの周辺を各後方確認カメラ17によって撮像した画像に基づいて得られた情報である構成とした。
これによって、雨滴量に関する情報を画像に基づいて得るため、例えば、既設の車載カメラである各後方確認カメラ17が撮像した画像を用いることができ、別途にカメラを追加せずとも、雨滴量に関する情報を得ることができる。
【0044】
また、本実施形態によれば、スライドドア開放判定部26は、開放が指示されたスライドドア14の開放が不可能、または開くべきではないスライドドアであるとスライドドア開放判定部26によって判定されたことを報知装置18に報知させる構成とした。
これによって、スライドドア14の開放が不可能、または開くべきではないスライドドアであると判定されたことを、報知手段からの報知を通じてユーザU等が把握できる。
【0045】
また、本実施形態によれば、スライドドア開放判定部26は、報知装置18によって報知が行われた後に、開放させるスライドドア14の指示信号が再度取得されたとき、当該指示信号によって指示されたスライドドア14を開放すると判定する。
これによって、スライドドア14の開放が不可能、または開くべきではないスライドドアであると判定された場合でも、ユーザUは、再度指示して、所望のスライドドア14を開放させることができる。
【0046】
上述した実施形態は、本発明の一態様を例示したものであって、本発明の趣旨を逸脱しない範囲で任意に変形、及び応用が可能である。
【0047】
例えば、上述した実施形態では、リモコン装置30を指示信号出力装置として説明したがこれに限らず、スマートフォン等の各種の端末あってもよい。また、車両10に一体に設けられた車載装置であってもよい。
【0048】
また例えば、上述した実施形態では、雨滴量に関する情報の取得する手段や、障害物、及び人がいることを検知する手段として周辺確認カメラ16、及び後方確認カメラ17を用いたが、このようなカメラに限らず、ミリ波レーダや、レーザレーダ、ソナーなどであってもよい。
【0049】
また例えば、上述した実施形態では、リモコン装置30は携行可能なものとしたが、リモコン装置は車両内に備え付けられてドアを開くことを指示可能なスイッチであってもよい。スイッチは例えば、ドアを開くことを指示可能であればよく、物理的なボタンであってもよく、ジェスチャ等による操作を受け付けるジェスチャスイッチであってもよい。