【実施例1】
【0014】
本実施例は、本発明を、車両の後側方を監視して、車両の後側方に他車両や人間等の移動物体が存在するときに、車両の運転者が、その移動物体がドアの開放に影響しないと判断したと推定されるときには、ドアのロックを解除(アンロック)してドアを開くことができるようにするドア開閉制御装置に適用したものである。
【0015】
なお、本実施例は、ドアミラーの代わりに、車両に設置されたカメラによって車両の後側方を撮影して、撮影された映像をリアルタイムで車室内に設置された表示部に表示する、いわゆる電子式ミラー装置に適用した例である。
(ドア開閉制御装置の構成の説明)
【0016】
まず、
図1を用いて、本発明の一実施形態であるドア開閉制御装置20の構成を説明する。
図1は、本実施例に係るドア開閉制御装置20を車両Vに実装したときの機能ブロック図を示す。
【0017】
実施例1に係るドア開閉制御装置20は、
図1に示すように、車両Vに備えられた運転席ドア38(
図2)のロック/アンロックを制御するものであり、車両Vの後側方を観測して、道路および路肩に存在する車両や自転車,人間等の移動物体のうち、車両Vに接近する方向に動く移動物体のみを検出する移動物体検出部22と、必要に応じて、車両Vの運転席ドア38のロックとアンロックを制御するドアロック/アンロック制御部24と、移動物体検出部22が検出した移動物体が車両Vの運転席ドア38の開放に影響するか否かについて、運転者が判断するために利用するタッチパネル26(ドア開放可能性推定部)と、車両Vの車速を検出する車速検出部28と、運転席ドア38の開閉を行うドアハンドル30と、ドアハンドル30が操作されたことを検出するドアハンドル操作検出部32と、ドアロックが働いている最中にドアハンドル30の操作が検出されたとき警告を出力する、スピーカで構成された警告出力部34と、運転席ドア38のロックとアンロックを行うドアロックアクチュエータ36と、を備えている。
【0018】
移動物体検出部22は、さらに、車両Vの後側方の映像を撮影するカメラと、カメラ22aで撮影された画像を処理して、車両Vに接近する方向に移動している他車両や人間等の移動物体を検出する画像処理部22cと、からなる。
【0019】
ドアロック/アンロック制御部24は、さらに、ドアロック(施錠)制御を行うドアロック制御部24aと、ドアアンロック(開錠)制御を行うドアアンロック制御部24bと、からなる。
【0020】
タッチパネル26(ドア開放可能性推定部)は、映像をモニタできるモニタ機能を有して、車両Vの運転者が視認かつ操作可能な位置に設置されて、移動物体検出部22が撮影した車両Vの後側方の映像の上に、車両Vに接近する移動物体を表す情報を重畳表示する移動物体表示部26aと、運転者が、移動物体表示部26aに表示された移動物体を表す表示にタッチしたことを検出する移動物体安全確認部26bと、からなる。なお、このタッチパネル26は、前述したように、カメラで撮影された映像をリアルタイムで車室内に表示している。
【0021】
ドアハンドル操作検出部32は、運転者が運転席ドア38のドアハンドル30を触る動きを検出する。具体的には、ドアハンドル30に静電容量式のタッチセンサを組み込んで、このタッチセンサの出力に基づいて、運転席ドア38のドアハンドル30を触る動きを検出する。なお、その他にも、ドアハンドル30の周辺に発光ダイオードと光センサーを設置して、発光ダイオードの光が遮られたときに、運転席ドア38のドアハンドル30を触る動きを検出してもよい。
(移動物体検出方法の説明)
【0022】
次に、移動物体検出部22で行われる移動物体の検出方法について、
図1,
図2を用いて説明する。移動物体検出部22は、カメラ22aで撮影された画像の中から、車両Vの右後側方の所定の範囲内に存在して、なおかつ、車両Vに接近している移動物体を検出する。
【0023】
カメラ22aは、
図2に示すように、左ハンドルの車両Vの左ドアミラーの近傍に、左ドアミラーの代替として設置されて、車両Vの左後側方の領域R1の内部を監視している。
【0024】
そして、画像処理部22cは、カメラ22aで撮影された車両Vの左後側方の画像の中から、時間的に連続して撮影された画像同士の差分(フレーム差分)や輝度分布の分析、またはテンプレートマッチング等の画像処理を実行して他車両や人間等の検出を行う。そして、検出された物体の動きの方向を分析することによって、時系列で観測された複数の画像の中から、車両Vに接近している移動物体を検出する。なお、画像処理によって、観測された画像の中から移動物体のみを検出することは、近年、広く一般に行われているため、詳細な説明は省略する。
(ドア開放可能性推定方法の説明)
【0025】
次に、車両Vの運転者が、移動物体検出部22が検出した移動物体が車両Vの運転席ドア38の開放に影響するか否かを推定する方法について、
図3を用いて説明する。
【0026】
車両Vの左後側方の映像、および、画像処理部22cにおいて移動物体が検出された結果は、
図3に示すように、移動物体表示部26aに、画像I
Lとして表示される。
【0027】
画像I
Lの中には、車両Vの他に、車両Vに接近している他車両O1(移動物体),歩行者O2(移動物体)が映っている。そして、画像処理部22cで検出された、車両Vに接近している移動物体の位置には、移動物体であることを示すマーカM1,M2が重畳表示されている。なお、
図3には2つの移動物体のみを示すが、実際には検出された数に応じた移動物体の位置に、それぞれ、マーカM1,M2,…が重畳表示される。なお、この画像I
Lは随時最新の画像に更新されてリアルタイムで表示されるため、車両Vの運転者は、画像I
Lを監視することによって、移動物体の動く方向や速度を継続的に認識することができる。
【0028】
車両Vの運転者は、移動物体表示部26aに表示された画像I
Lを見て、車両Vと移動物体との位置関係を認識する。そして、車両Vの運転席ドア38を開放したときに、他車両O1,歩行者O2等の移動物体が、車両Vの運転席ドア38と衝突しないか否かを判断する。
【0029】
図3に示した画像I
Lの場合、運転者は、歩行者O2はガードレールの外側にいるため開放した運転席ドア38とは衝突しないと判断する。また、他車両O1は、移動速度が遅く距離も遠いため、開放した運転席ドア38と衝突する可能性は低いと判断する。
【0030】
運転者は、画像I
L上で、運転席ドア38を開放しても衝突しないと判断した移動物体に重畳表示されたマーカM1,M2,…に手指で順にタッチする。すると、タッチパネル26(ドア開放可能性推定部)の移動物体安全確認部26bは、マーカM1,M2,…がそれぞれタッチされたことを検出して、タッチされたマーカM1,M2,…を、それぞれ消去する。
【0031】
そして、ドアアンロック制御部24bは、画像I
L上に重畳表示されたマーカM1,M2,…が全て消去されたことと、車両Vが停止している(車速が0)ことを確認して、車両Vの運転者が、車両後側方に存在する移動物体がドアの開放に影響しないと判断したと推定して、ドアロックアクチュエータ36に対して運転席ドア38のロックを解除する指令を出す。そして、この指令に基づいて、運転席ドア38のロックが解除される。
(ドアロック/アンロック状態の遷移の説明)
【0032】
次に、ドア開閉制御装置20で行われるドアロック/アンロック状態の遷移について、
図4を用いて説明する。
【0033】
(ノードN1:ドアアンロック状態)運転席ドア38がドアアンロック状態にあるときに、車速が0でないことが検出される、または、車両Vに接近する移動物体があることが検出されると、アークA1を経てノードN2(ドアロック状態)に遷移する。また、運転席ドア38がドアアンロック状態にあるときに、ドアハンドル30が操作されると、アークA5を経てノードN4(ドア開放状態)に遷移して、運転席ドア38が開く。
【0034】
(ノードN2:ドアロック状態)運転席ドア38がドアロック状態にあるときに、「車速が0でなく、なおかつ、車両Vに接近する移動物体がないことが検出されたとき」または、「車速が0でなく、かつ車両Vに接近する移動物体が存在し、なおかつ、車両Vに接近する移動物体が存在するが運転席ドア38を開いても安全であると運転者が判断したと推定されるとき」は、アークA4を経てノードN1(ドアアンロック状態)に遷移する。また、運転席ドア38がドアロック状態にあるときに、ドアハンドル30が操作されると、アークA2を経てノードN3(警告出力状態)に遷移して、警告出力部34から、ロック状態にあるため運転席ドア38を開くことはできない旨が告知される。
【0035】
(ノードN3:警告出力状態)警告が出力された状態にあるときに、ドアハンドル30から手を離してドアハンドル30の操作を中止すると、アークA3を経てノードN2(ドアロック状態)に遷移する。
【0036】
(ノードN4:ドア開放状態)ドア開放状態にあるときに、運転席ドア38が閉じられると、アークA6を経てノードN1(ドアアンロック状態)に遷移する。
(ドア開閉制御装置で行われる処理の流れの説明)
【0037】
次に、実施例1に係るドア開閉制御装置20で行われる一連の処理の流れについて、
図5のフローチャート、および
図2の機能ブロック図を用いて説明する。
【0038】
(ステップS10)車両Vに接近する移動物体が検知されたか否かを判断する。移動物体が検出されたときはステップS12に進み、それ以外のときはステップS22に進む。
【0039】
(ステップS12)検出された移動物体にマーカ(M1,M2,…(
図3))を重畳表示してタッチパネル26の移動物体表示部26aに表示する。
【0040】
(ステップS14)ドアロック制御部24aが運転席ドア38をロックする。
【0041】
(ステップS16)移動物体安全確認部26bにおいて、移動物体表示部26aに重畳表示されたマーカ(M1,M2,…(
図3))に、運転者がタッチしたか否かを判断する。運転者がマーカにタッチしたときはステップS18に進み、それ以外のときはステップS10に戻る。
【0042】
(ステップS18)タッチされたマーカ(M1,M2,…(
図3))を移動物体表示部26aから消去する。
【0043】
(ステップS20)移動物体表示部26aに表示された画像I
Lの中に、残りのマーカ(M1,M2,…(
図3))があるか否かを判断する。残りのマーカがあるときはステップS30に進み、残りのマーカがないときはステップS22に進む。
【0044】
(ステップS22)車速検出部28において、車両Vの車速が0であるか否かを判断する。車速が0であるときはステップS24に進み、車速が0でないときはステップS10に戻る。
【0045】
(ステップS24)ドアロックアクチュエータ36を作動させて、運転席ドア38をアンロック(開錠)する。
【0046】
(ステップS26)ドアハンドル操作検出部32において、運転者がドアハンドル30を操作したか否かを検出する。運転者がドアハンドル30を操作したことが検出されたときはステップS28に進み、それ以外のときはステップS10に戻る。
【0047】
(ステップS28)運転席ドア38を開放する。そして、
図5の処理を終了する。
【0048】
(ステップS30)車速検出部28において、車両Vの車速が0であるか否かを判断する。車速が0であるときはステップS32に進み、車速が0でないときはステップS10に戻る。
【0049】
(ステップS32)ドアハンドル操作検出部32において、運転者がドアハンドル30を操作したか否かを検出する。運転者がドアハンドル30を操作したことが検出されたときはステップS34に進み、それ以外のときはステップS10に戻る。
【0050】
(ステップS34)警告出力部34から、運転席ドア38がロックされていることを告知する警告を出力する。その後、ステップS10に戻る。
【0051】
なお、車両Vの後側方に多数の移動物体が存在するときには、前述したマーカ(M1,M2,…(
図3))を消去する操作を行うのは手間がかかる。そのため、例えば、
図6に示すように、移動物体表示部26aに確認ボタンCを表示してもよい。すなわち、運転者が全ての移動物体を確認して、ドアの開放に問題ないと判断したときには、この確認ボタンCを押すことによって、全てのマーカを同時に消去することができるようにしてもよい。
(実施例1の変形例の説明)
【0052】
次に、実施例1の変形例について
図7,
図8を用いて説明する。この変形例は、
図7に示すように、移動物体検出部22(
図1)を構成するカメラ22aに加えて、車両の右ドアミラーの近傍に、右ドアミラーの代替として、車両Vの右後側方の領域R2の内部を監視するカメラ22bを装着した例である。
【0053】
この変形例は、カメラの台数が2台に増えることと、運転席ドア38に加えて助手席ドア39(
図7)が制御対象になること以外は、実施例1の構成(
図1)と変わらないため、構成図の記載は省略する。以下、この変形例の作用について、実施例1との相違点のみ説明する。
【0054】
各カメラ22a,22bは、それぞれ、実施例1で説明した内容と同様に作用して、車両Vの左後側方と右後側方に存在する、車両Vに接近している移動物体をそれぞれ検出する。
【0055】
そして、検出された移動物体は、例えば、
図8に示す形態で、移動物体表示部26aに表示される。すなわち、移動物体表示部26aには、車両の右後側方を観測した画像I
Rと、車両の左後側方を観測した画像I
Lが同時に表示される。
【0056】
移動物体表示部26aに表示された画像I
Lの中には、検出された移動物体にマーカM1
L,M2
L,…が重畳表示されて、画像I
Rの中には、検出された移動物体にマーカM1
R,…が重畳表示される。
【0057】
車両Vの運転者は、移動物体表示部26aに表示された画像I
Lと画像I
Rを確認して、検出された、車両Vに接近する移動物体が、運転席ドア38,助手席ドア39の開放に影響するか否かを判断する。そして、運転席ドア38,助手席ドア39の開放に影響しないと判断された移動物体に重畳表示されたマーカに順にタッチする。
【0058】
すると、タッチされたマーカが消去される。このようにして画像I
Lの中の全てのマーカ(M1
L,M2
L,…)が消去されたときには、車速が0であることを確認して運転席ドア38のロックを解除する。
【0059】
また、画像I
Rの中の全てのマーカ(M1
R,…)が消去されたときには、車速が0であることを確認して助手席ドア39のロックを解除する。
【0060】
このようにして、運転席ドア38のみならず、他のドアの開閉制御も併せて行うことができる。
【実施例2】
【0061】
次に、本発明の第2の実施例について、
図9を用いて説明する。本実施例は、実施例1で説明したタッチパネルで構成されたタッチパネル26(ドア開放可能性推定部)の代わりに、運転者が、移動物体表示部26aに映った接近物体を注視したことを検出する運転者注視行動分析部27(ドア開放可能性推定部)を用いて、運転者が、車両後側方に存在する移動物体がドアの開放に影響しないと判断したか否かを推定するものである。
【0062】
すなわち、実施例2に係るドア開閉制御装置21は、
図9に示すように、実施例1で説明したタッチパネル26で構成された開放可能性推定部の代わりに、運転者注視行動分析部27で構成されたドア開放可能性推定部を備えている。
【0063】
運転者注視行動分析部27は、さらに、移動物体表示部26aと、移動物体安全確認部27dを備えている。
【0064】
移動物体表示部26aは、移動物体検出部22が撮影した車両Vの後側方の映像の上に、車両Vに接近する移動物体を表す情報を重畳表示するモニタであり、実施例1で説明したものと同じ構成を有する。
【0065】
移動物体安全確認部27dは、運転者モニタカメラ27aと、注視位置検出部27bと、確認情報入力部27cを備えている。
【0066】
運転者モニタカメラ27aは、車両Vに設置されたカメラであり、運転者の顔面を監視する。
【0067】
注視位置検出部27bは、運転者モニタカメラ27aで撮影された運転者の顔面を含む画像を処理して、撮影された画像の中から運転者の眼球位置を検出し、運転者の注視位置を判定する。
【0068】
確認情報入力部27cは、車両Vのステアリングに設置されたスイッチである。このスイッチは、運転者が、移動物体表示部26aに表示された、マーカが重畳された移動物体を注視して、注視した移動物体がドアの開放に影響しないと判断したときに押下することによって、重畳されたマーカを消去する機能を有する。
(実施例2の作用の説明)
【0069】
次に、移動物体安全確認部27dの作用について説明する。運転者モニタカメラ27aは、運転者の顔面を含む画像を撮影する。そして、注視位置検出部27bが、撮影された運転者の顔面を含む画像の中から眼球の検出を行う。
【0070】
運転者の顔面を含む画像の中から眼球を検出する画像処理方法は、眼球の形状モデルを用いたテンプレートマッチング等、様々な方法が提案されている。そのいずれの方法を適用して行ってもよい。
【0071】
注視位置検出部27bは、さらに、検出された眼球の中の黒目領域(瞳孔と虹彩)と白目領域(強膜)の見え方に基づいて、運転者の注視位置を特定する。運転者の注視位置と眼球の見え方の関係は、運転者モニタカメラ27aと移動物体表示部26aと運転者の位置関係に応じて変化するため、予めキャリブレーションを行って、注視位置検出部27bに注視位置と眼球の見え方の関係を記憶しておく。
【0072】
例えば、運転者モニタカメラ27aを移動物体表示部26aのごく近傍に設置した場合を考える。このとき、運転者が移動物体表示部26aの中央付近を注視すると、黒目領域の左右両側にほぼ等しい面積の白目領域が観測される。そして、そこから注視位置が左右に動くに従って、黒目領域の左右両側に観測される白目領域の比率が変化する。また、注視位置が上下に動くに従って、黒目領域の面積が変化する。注視位置検出部27bは、キャリブレーションを行って、このような眼球の見え方を白目領域と黒目領域の面積に基づいて数値化して記憶しておく。
【0073】
注視位置検出部27bは、キャリブレーションを行って得た情報と、実際に撮影された画像の中から検出された運転者の眼球の見え方とを比較して、運転者の注視位置を特定する。そして、移動物体表示部26aをいくつかの小領域に分割したときに、運転者がどの小領域を注視しているかを特定する。
【0074】
運転者は、移動物体表示部26aに表示された移動物体O1,O2,…に重畳されたマーカM1,M2,…をそれぞれ注視して、その移動物体O1,O2,…が運転席ドア38の開放に影響するか否かを判断する。
【0075】
そして、注視した移動物体O1,O2,…が運転席ドア38の開放に影響しないものと判断したときに、運転者は確認情報入力部27cを押下する。すると、確認情報入力部27cが押下されたタイミングで、注視位置検出部27bが検出した注視位置が属する小領域に重畳されたマーカM1,M2,…が消去される。
【0076】
以後、同様の処理を繰り返し行って、移動物体表示部26aに表示されたマーカM1,M2,…が全て消去されたときに、車両Vの車速が0であることが確認されて、ドアロックが解除される。なお、その他の作用は、実施例1と同様である。
【0077】
以上説明したように、このように構成された本発明の実施例1に係るドア開閉制御装置20によれば、ドアロック制御部24aが車両Vの運転席ドア38を施錠しているときであっても、車速検出部28が車両Vの車速が0であることを検出して、なおかつ、タッチパネル26(ドア開放可能性推定部)が操作されて、移動物体検出部22によって検出されて移動物体表示部26aに表示された、車両Vに接近する移動物体O1,O2,…が運転席ドア38の開放に影響しないと運転者が判断したものと推定したときには、ドアアンロック制御部24bが車両Vの運転席ドア38のロックを解除(アンロック)して運転席ドア38を開くため、運転者自身が安全と判断したときには、自らの意思で運転席ドア38を開くことができるようになる。したがってドア開閉制御装置20の利便性を高めることができる。
【0078】
また、このように構成された本発明の実施例1に係るドア開閉制御装置20によれば、タッチパネル26(ドア開放可能性推定部)が、移動物体検出部22が検出した移動物体O1,O2,…に関する情報を表示する移動物体表示部26aと、車両Vの運転者が、移動物体表示部26aに表示された移動物体O1,O2,…の情報に基づいて、各々の移動物体が車両Vの運転席ドア38を開く妨げにならないことを確認する移動物体安全確認部26bと、を有して、運転者が、移動物体表示部26aに表示された全ての移動物体O1,O2,…に対して、車両Vの運転席ドア38を開く妨げにならないことを確認したときに、運転者は前記車両Vの運転席ドア38を開くことができると判断したものと推定するため、簡単な手続きで運転者の意思を推定することができる。
【0079】
さらに、このように構成された本発明の実施例1に係るドア開閉制御装置20によれば、移動物体表示部26aは、モニタ機能を有するタッチパネル26で構成されて、車両Vの後側方の範囲を映した映像の上に移動物体検出部22が検出した移動物体O1,O2,…を示すマーカM1,M2,…を重畳表示して、移動物体安全確認部26bは、車両Vの運転者が、移動物体表示部26aに表示された移動物体O1,O2,…が車両Vのドアを開く妨げにならないと判断したときに、手指で、移動物体O1,O2,…に重畳されたマーカM1,M2,…に触れたことを検出するため、検出された移動物体O1,O2,…に対する安全確認を容易かつ確実に行うことができる。
【0080】
また、このように構成された本発明の実施例2に係るドア開閉制御装置21によれば、移動物体表示部26aはモニタで構成されて、車両Vの後側方の範囲を映した映像の上に移動物体検出部22が検出した移動物体O1,O2,…を示すマーカM1,M2,…を重畳表示して、移動物体安全確認部27dは、車両Vの運転者が、マーカM1,M2,…をそれぞれ注視したことを検出する注視位置検出部27bと、確認情報を入力する確認情報入力部27cと、を有して、注視位置検出部27bが、運転者がマーカM1,M2,…をそれぞれ注視していることを検出したときに、確認情報入力部27cから確認情報が入力されたときには、運転者が、マーカM1,M2,…が重畳された移動物体O1,O2,…は車両Vのドアを開く妨げにならないと判断したものと推定するため、検出された移動物体に対する安全確認を容易かつ確実に行うことができる。
【0081】
以上、実施例1,実施例2において、車両Vの前席ドアのロック/アンロック制御について説明したが、車両Vの後席ドアについては、前席ドアと連動してロック/アンロック制御を行うようにすることができる。すなわち、運転席ドア38(
図2)がアンロックされたときは、運転席側後席ドアも同様にアンロックして、運転席ドア38がロックされたときは、運転席側後席ドアも同様にロックすればよい。
【0082】
また、助手席ドア39がアンロックされたときは、助手席側後席ドアも同様にアンロックして、助手席ドア39がロックされたときは、助手席側後席ドアも同様にロックすればよい。
【0083】
以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。