(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024038607
(43)【公開日】2024-03-21
(54)【発明の名称】車両の周辺監視装置
(51)【国際特許分類】
H04N 7/18 20060101AFI20240313BHJP
G08G 1/16 20060101ALI20240313BHJP
【FI】
H04N7/18 J
G08G1/16 C
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2022142733
(22)【出願日】2022-09-08
(71)【出願人】
【識別番号】000004695
【氏名又は名称】株式会社SOKEN
(71)【出願人】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(74)【代理人】
【識別番号】100121821
【弁理士】
【氏名又は名称】山田 強
(74)【代理人】
【識別番号】100139480
【弁理士】
【氏名又は名称】日野 京子
(74)【代理人】
【識別番号】100125575
【弁理士】
【氏名又は名称】松田 洋
(74)【代理人】
【識別番号】100175134
【弁理士】
【氏名又は名称】北 裕介
(74)【代理人】
【識別番号】100207859
【弁理士】
【氏名又は名称】塩谷 尚人
(72)【発明者】
【氏名】石神 裕丈
(72)【発明者】
【氏名】夏目 充啓
【テーマコード(参考)】
5C054
5H181
【Fターム(参考)】
5C054CA04
5C054CC02
5C054EA01
5C054EA05
5C054EA07
5C054FC12
5C054FC15
5C054FD07
5C054FE26
5C054FE28
5C054FF03
5C054GB01
5C054HA30
5H181AA01
5H181CC04
5H181CC27
5H181FF32
5H181LL01
5H181LL02
5H181LL04
5H181LL08
(57)【要約】
【課題】車両の周辺監視装置において、広角カメラとは別に障害物を検出するセンサを必要とせず、さらに、検出した障害物を運転者が画像から認識しやすくする。
【解決手段】車両の周辺監視装置は、車両の周辺を撮影する1つの広角カメラ(11)と、画像を表示する表示部(17)と、広角カメラにより撮影された撮影画像に基づいて、障害物を検出する障害物検出部(12)と、障害物検出部により検出された障害物の位置に基づいて、撮影画像から障害物を含む範囲の画像である障害物画像を切り出して、障害物画像を拡大して表示部により表示させる画像処理部(15)と、を備える。
【選択図】
図2
【特許請求の範囲】
【請求項1】
車両の周辺を撮影する1つの広角カメラ(11)と、
画像を表示する表示部(17)と、
前記広角カメラにより撮影された撮影画像に基づいて、障害物を検出する障害物検出部(12)と、
前記障害物検出部により検出された前記障害物の位置に基づいて、前記撮影画像から前記障害物を含む範囲の画像である障害物画像を切り出して、前記障害物画像を拡大して前記表示部により表示させる画像処理部(15)と、
を備える車両の周辺監視装置(10)。
【請求項2】
前記画像処理部は、前記障害物画像を前記表示部により表示させる際に、切り出した前記障害物画像の歪みを補正する、請求項1に記載の車両の周辺監視装置。
【請求項3】
前記車両の速度を取得する車速取得部(13)を備え、
前記画像処理部は、前記車速取得部により取得された前記速度が高いほど、前記撮影画像から前記障害物画像を切り出す際の切り出し画角を狭くし且つ前記障害物画像を拡大する際の拡大率を大きくする、請求項1又は2に記載の車両の周辺監視装置。
【請求項4】
前記車速取得部により取得された前記速度が高いほど、前記車両の前方方向に広く且つ幅方向に狭い範囲を衝突判定範囲に設定し、前記障害物検出部により検出された前記障害物が前記衝突判定範囲に含まれる場合に衝突可能性が高いと判定する衝突判定部(14)を備え、
前記画像処理部は、前記衝突判定部により衝突可能性が高いと判定されたことを条件として、前記撮影画像から前記障害物画像を切り出して、前記障害物画像を拡大して前記表示部により表示させる、請求項3に記載の車両の周辺監視装置。
【請求項5】
前記広角カメラは、前記車両において運転者よりも前方に配置されるものであって、前記運転者の顔を撮影可能であり、
前記撮影画像に基づいて、前記運転者の顔の向きが正常であるか異常であるかを判定する顔向き判定部(18)を備え、
前記表示部は、前記顔向き判定部により前記運転者の顔の向きが異常であると判定された場合に警告表示を表示する、請求項1又は2に記載の車両の周辺監視装置。
【請求項6】
前記撮影画像を記録する記録部(19)を備える、請求項5に記載の車両の周辺監視装置。
【請求項7】
前記広角カメラは、水平画角360[°]の範囲を撮影可能である、請求項5に記載の車両の周辺監視装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両の周辺を広角カメラにより監視する装置に関する。
【背景技術】
【0002】
従来、駐車支援用に設定された駐車支援画角に含まれない障害物検出範囲の障害物を検出する超音波ソナーと、駐車支援画角よりも広い画角であり且つ障害物検出範囲を撮影範囲として含む広角カメラと、障害物が検出されていない場合に駐車支援画角の画像を表示させ、障害物が検出された場合に駐車支援画角を含み且つ検出された障害物が含まれる広角画角の画像を表示させる画像表示制御部と、を備える駐車支援装置がある(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、特許文献1に記載の装置では、障害物を検出する超音波ソナーが広角カメラとは別に必要である。さらに、障害物が検出された場合に、駐車支援画角を含み且つ検出された障害物が含まれる広角画角の画像を表示させるだけでは、運転者は広角画角の画像から障害物を認識しにくい。
【0005】
本発明は、上記課題を解決するためになされたものであり、その主たる目的は、車両の周辺監視装置において、広角カメラとは別に障害物を検出するセンサを必要とせず、さらに、検出した障害物を運転者が画像から認識しやすくすることにある。
【課題を解決するための手段】
【0006】
上記課題を解決するための第1の手段は、車両の周辺監視装置(10)であって、
車両の周辺を撮影する1つの広角カメラ(11)と、
画像を表示する表示部(17)と、
前記広角カメラにより撮影された撮影画像に基づいて、障害物を検出する障害物検出部(12)と、
前記障害物検出部により検出された前記障害物の位置に基づいて、前記撮影画像から前記障害物を含む範囲の画像である障害物画像を切り出して、前記障害物画像を拡大して前記表示部により表示させる画像処理部(15)と、
を備える。
【0007】
上記構成によれば、1つの広角カメラは車両の周辺を撮影する。表示部は画像を表示する。このため、広角カメラにより撮影された車両の周辺の画像等を、表示部により表示することができる。
【0008】
ここで、障害物検出部は、前記広角カメラにより撮影された撮影画像に基づいて、障害物を検出する。このため、障害物を検出するセンサとして広角カメラのみを用いて障害物を検出することができ、広角カメラとは別に障害物を検出するセンサを必要としない。
【0009】
さらに、画像処理部は、前記障害物検出部により検出された前記障害物の位置に基づいて、前記撮影画像から前記障害物を含む範囲の画像である障害物画像を切り出して、前記障害物画像を拡大して前記表示部により表示させる。このため、障害物が含まれる広角画角の画像を表示させるだけの場合と比較して、撮影画像から障害物画像を切り出してさらに拡大して表示させることができる。したがって、検出した障害物を運転者が画像から認識しやすくすることができる。
【0010】
一般的に、広角カメラで撮影した画像は歪んでいる。このため、撮影した画像をそのまま表示すると、画像内の障害物を運転者が認識しにくいおそれがある。
【0011】
この点、第2の手段では、前記画像処理部は、前記障害物画像を前記表示部により表示させる際に、切り出した前記障害物画像の歪みを補正する。こうした構成によれば、撮影画像から障害物画像を切り出して拡大することに加えて、障害物画像の歪みを補正するため、検出した障害物を運転者が画像からさらに認識しやすくすることができる。
【0012】
車両が障害物を回避するためには、車両の速度が高くなるほど遠くの障害物を検出して運転者に認識させる必要がある。遠くの障害物は撮影画像に小さく映るので、運転者に認識させるためには、撮影画像から障害物画像を適切に切り出して拡大する必要がある。
【0013】
この点、第3の手段では、前記車両の速度を取得する車速取得部(13)を備え、前記画像処理部は、前記車速取得部により取得された前記速度が高いほど、前記撮影画像から前記障害物画像を切り出す際の切り出し画角を狭くし且つ前記障害物画像を拡大する際の拡大率を大きくする。こうした構成によれば、車両の速度が高いほど、狭い画角の障害物画像に映る遠くの障害物を拡大して表示することができ、検出した障害物を運転者が画像から認識しやすくすることができる。
【0014】
第4の手段では、前記車速取得部により取得された前記速度が高いほど、前記車両の前方方向に広く且つ幅方向に狭い範囲を衝突判定範囲に設定し、前記障害物検出部により検出された前記障害物が前記衝突判定範囲に含まれる場合に衝突可能性が高いと判定する衝突判定部(14)を備え、前記画像処理部は、前記衝突判定部により衝突可能性が高いと判定されたことを条件として、前記撮影画像から前記障害物画像を切り出して、前記障害物画像を拡大して前記表示部により表示させる。
【0015】
上記構成によれば、衝突判定部は、前記車速取得部により取得された前記速度が高いほど、前記車両の前方方向に広く且つ幅方向に狭い範囲を衝突判定範囲に設定し、前記障害物検出部により検出された前記障害物が前記衝突判定範囲に含まれる場合に衝突可能性が高いと判定する。このため、車両の速度が低い場合は、車両の前方に狭く且つ幅方向に広い範囲を衝突判定範囲に設定して、実際に衝突の可能性がある障害物を衝突可能性が高いと判定することができる。また、車両の速度が高い場合は、車両の前方に広く且つ幅方向に狭い範囲を衝突判定範囲に設定して、実際に衝突の可能性がある障害物を衝突可能性が高いと判定することができる。
【0016】
そして、前記画像処理部は、前記衝突判定部により衝突可能性が高いと判定されたことを条件として、前記撮影画像から前記障害物画像を切り出して、前記障害物画像を拡大して前記表示部により表示させる。このため、撮影画像から障害物画像を切り出し拡大して表示させる対象を、実際に衝突の可能性がある障害物に限定することができる。したがって、実際に衝突の可能性がない障害物が切り出し拡大されて表示されることを抑制することができ、障害物画像を切り出し拡大して表示させることによる警報効果を高めることができる。
【0017】
第5の手段では、前記広角カメラは、前記車両において運転者よりも前方に配置されるものであって、前記運転者の顔を撮影可能であり、前記撮影画像に基づいて、前記運転者の顔の向きが正常であるか異常であるかを判定する顔向き判定部(18)を備え、前記表示部は、前記顔向き判定部により前記運転者の顔の向きが異常であると判定された場合に警告表示を表示する。こうした構成によれば、車両の周辺を撮影するカメラの機能だけでなく、運転者の顔を撮影するカメラの機能を、広角カメラにより実現することができる。そして、車両の周辺の障害物を検出して表示する機能だけでなく、運転者の顔の向きを判定する機能を、車両の周辺監視装置により実現することができる。さらに、検出した障害物を表示する機能だけでなく、運転者の顔の向きが異常である場合に警告表示を表示する機能を、表示部により実現することができる。
【0018】
第6の手段では、第5の手段において、前記撮影画像を記録する記録部(19)を備える。こうした構成によれば、車両の周辺の障害物を検出して表示する機能、及び運転者の顔の向きを判定する機能に加えて、車両運転時の撮影画像を記録するドライブレコーダの機能を、車両の周辺監視装置により実現することができる。
【0019】
第7の手段では、第5の手段において、前記広角カメラは、水平画角360[°]の範囲を撮影可能である。こうした構成によれば、車両の前方の障害物、運転者の顔、車両の後方の障害物、及び車両の斜め後方(運転者の死角)の障害物等を、1つの広角カメラにより撮影することができる。
【図面の簡単な説明】
【0020】
【発明を実施するための形態】
【0021】
以下、車両に後付けされた周辺監視装置に具現化した一実施形態について、図面を参照しつつ説明する。
【0022】
図1に示すように、車両Cの周辺監視装置10は、車両Cのルームミラー(図示略)付近に取り付けられている。車両Cは、例えば乗用車である。周辺監視装置10は、ルームミラーに取り付けられていてもよいし、フロントガラスFWの内側上部に取り付けられていてもよい。すなわち、周辺監視装置10は、車両Cにおいて運転者(図示略)よりも前方に取り付けられている(配置されている)。
【0023】
図2に示すように、周辺監視装置10は、広角単眼カメラ11、障害物検出部12、車両信号取得部13、衝突判定部14、画像処理部15、画像歪みパラメータ記憶部16、及び表示部17等を備えている。
【0024】
広角単眼カメラ11(広角カメラ)は、水平画角360[°]の範囲を撮影可能な1つのカメラである。
図1に示すように、広角単眼カメラ11は、車両Cの前方R1、後方R2、左斜め後方R3(運転者の死角)、右斜め後方R4(運転者の死角)、運転者の顔方向R5等を撮影可能である。車両Cの前方R1、後方R2、左斜め後方R3、及び右斜め後方R4は、車両Cの周辺に相当する。
【0025】
障害物検出部12は、広角単眼カメラ11により撮影された撮影画像に基づいて、障害物を検出する。例えば、障害物検出部12は、予め登録した障害物のテンプレートを撮影画像上で移動させながら、一致度(類似度)等に基づいて障害物を検出する。障害物は、例えば乗用車、トラック、二輪車、歩行者等である。
【0026】
車両信号取得部13(車速取得部)は、車両Cの制御装置(図示略)と通信可能であり、車両Cの制御装置と信号を送受信する。車両信号取得部13は、車両Cの制御装置から受信した信号に基づいて、車速、ハンドル角度、アクセルペダルの踏み込み量(アクセル操作部材の操作量)、ウインカーの操作状態等を取得する。
【0027】
衝突判定部14は、障害物検出部12により検出された障害物が衝突判定範囲に含まれる場合に衝突可能性が高いと判定する。衝突判定部14は、車両信号取得部13により取得された車速が高いほど、車両Cの前方方向に広く且つ幅方向に狭い範囲を衝突判定範囲に設定する。例えば、
図3に示すように、高速時の衝突判定範囲C1は、低速時の衝突判定範囲C2よりも、車両Cの前方方向に広く且つ幅方向に狭い。衝突判定部14は、例えば検出された障害物の一部が衝突判定範囲C1,C2に含まれた場合に、衝突可能性が高いと判定する。衝突判定部14は、衝突可能性の判定結果を画像処理部15に送信する。なお、障害物検出部12、車両信号取得部13、衝突判定部14、及び画像処理部15の機能は、マイクロコンピュータ等のハードウェアやハードウェアに読み込まれたプログラムにより実現される。
【0028】
表示部17は、画像処理部15からの指示に基づいて画像を表示する。表示部17は、周辺監視装置10に一体的に組み込まれたディスプレイでもよいし、画像処理部15に接続されたカーナビゲーションシステムのディスプレイでもよい。画像処理部15とカーナビゲーションシステムとは、無線で通信してもよいし、有線で通信してもよい。
【0029】
図4は、広角単眼カメラ11により撮影されて表示部17により表示された撮影画像の一例を示す模式図である。同図に示すように、広角単眼カメラ11で撮影した撮影画像は歪んでいる。このため、撮影画像をそのまま表示するだけでは、撮影画像内の障害物を運転者が認識しにくいおそれがある。そこで、画像処理部15は、撮影画像の歪みを補正して表示部17により表示させる。
【0030】
図5は、画像の歪み補正の概要を示す模式図である。広角単眼カメラ11により撮影された撮影画像I1は、半球状の画像として取得される。破線矢印Prで示すように、撮影画像I1を円形の撮像面S1に投影して表示部17により表示させることにより、
図4で示す撮影画像となる。撮影画像の歪みを補正する際には、撮影画像I1の一部を撮像面S2に投影して表示部17により表示させる。撮像面S2の中心を通り且つ撮像面S2に垂直な線は、半球状の撮影画像I1(撮像面S1)の中心Oを通る。画像歪みパラメータ記憶部16は、周知の記憶装置や記憶媒体により構成されており、撮影画像I1の一部を撮像面S2に投影する際に用いるパラメータを記憶している。画像処理部15は、画像歪みパラメータ記憶部16に記憶されたパラメータに基づいて、撮影画像の歪みを補正する。
【0031】
画像処理部15は、障害物検出部12により検出された障害物の位置に基づいて、撮影画像から障害物を含む範囲の画像である障害物画像を切り出して、障害物画像を拡大して表示部17により表示させる。例えば、検出された障害物の位置及び大きさを特定して、撮影画像から障害物を含むように障害物画像を切り出す。そして、切り出した障害物画像の大きさに応じて、障害物画像を拡大する。この際に、画像処理部15は、車両信号取得部13により取得された車速が高いほど、撮影画像から障害物画像を切り出す際の切り出し画角を狭くし且つ障害物画像を拡大する際の拡大率を大きくする。
図6は高速時の障害物画像の一例を示す模式図であり、
図7は低速時の障害物画像の一例を示す模式図である。なお、
図6,7の障害物画像は歪みが補正された後の画像である。
図6の高速時の障害物画像の撮影画像からの切り出し画角は、
図7の低速時の障害物画像の撮影画像からの切り出し画角よりも狭くなっている。
図6の高速時の障害物画像の撮影画像からの拡大率は、
図7の低速時の障害物画像の撮影画像からの拡大率よりも高くなっている。
【0032】
さらに、画像処理部15は、衝突判定部14により衝突可能性が高いと判定されたことを条件として、撮影画像から障害物画像を切り出して、障害物画像を拡大して表示部17により表示させる。すなわち、画像処理部15は、衝突判定部14により衝突可能性が高いと判定された場合に撮影画像から障害物画像を切り出して拡大して表示部17により表示させ、衝突判定部14により衝突可能性が高いと判定されていない場合には撮影画像から障害物画像を切り出して拡大して表示部17により表示させることを行わない。
【0033】
以上詳述した本実施形態は、以下の利点を有する。
【0034】
・障害物検出部12は、広角単眼カメラ11により撮影された撮影画像に基づいて、障害物を検出する。このため、障害物を検出するセンサとして広角単眼カメラ11のみを用いて障害物を検出することができ、広角単眼カメラ11とは別に障害物を検出するセンサを必要としない。
【0035】
・画像処理部15は、障害物検出部12により検出された障害物の位置に基づいて、撮影画像から障害物を含む範囲の画像である障害物画像を切り出して、障害物画像を拡大して表示部17により表示させる。このため、障害物が含まれる広角画角の画像を表示させるだけの場合と比較して、撮影画像から障害物画像を切り出してさらに拡大して表示させることができる。したがって、検出した障害物を運転者が画像から認識しやすくすることができる。
【0036】
・画像処理部15は、障害物画像を表示部17により表示させる際に、切り出した障害物画像の歪みを補正する。こうした構成によれば、撮影画像から障害物画像を切り出して拡大することに加えて、障害物画像の歪みを補正するため、検出した障害物を運転者が障害物画像からさらに認識しやすくすることができる。
【0037】
・車両Cの車速を取得する車両信号取得部13を備え、画像処理部15は、車両信号取得部13により取得された車速が高いほど、撮影画像から障害物画像を切り出す際の切り出し画角を狭くし且つ障害物画像を拡大する際の拡大率を大きくする。こうした構成によれば、車両Cの速度が高いほど、狭い画角の障害物画像に映る遠くの障害物を拡大して表示することができ、検出した障害物を運転者が画像から認識しやすくすることができる。
【0038】
・衝突判定部14は、車両信号取得部13により取得された車速が高いほど、車両Cの前方方向に広く且つ幅方向に狭い範囲を衝突判定範囲C1,C2に設定し、障害物検出部12により検出された障害物が衝突判定範囲C1,C2に含まれる場合に衝突可能性が高いと判定する。このため、車両Cの速度が低い場合は、車両Cの前方に狭く且つ幅方向に広い範囲を衝突判定範囲C2に設定して、実際に衝突の可能性がある障害物を衝突可能性が高いと判定することができる。また、車両Cの速度が高い場合は、車両Cの前方に広く且つ幅方向に狭い範囲を衝突判定範囲C1に設定して、実際に衝突の可能性がある障害物を衝突可能性が高いと判定することができる。
【0039】
・画像処理部15は、衝突判定部14により衝突可能性が高いと判定されたことを条件として、撮影画像から障害物画像を切り出して、障害物画像を拡大して表示部17により表示させる。このため、撮影画像から障害物画像を切り出し拡大して表示させる対象を、実際に衝突の可能性がある障害物に限定することができる。したがって、実際に衝突の可能性がない障害物が切り出し拡大されて表示されることを抑制することができ、障害物画像を切り出し拡大して表示させることによる警報効果を高めることができる。
【0040】
・広角単眼カメラ11は、水平画角360[°]の範囲を撮影可能である。こうした構成によれば、車両Cの前方の障害物、運転者の顔、車両Cの後方の障害物、及び車両Cの斜め後方(運転者の死角)の障害物等を、1つの広角単眼カメラ11により撮影することができる。
【0041】
なお、上記実施形態を、以下のように変更して実施することもできる。上記実施形態と同一の部分については、同一の符号を付すことにより説明を省略する。
【0042】
・衝突判定部14は、車両信号取得部13により取得したウインカーの操作状態に基づいて、ウインカーにより指示された方向の車両C側方を衝突判定範囲に設定してもよい。また、衝突判定部14は、車両信号取得部13により取得された車速にかかわらず、車両Cの前方ほど広がる一定の扇型の範囲を衝突判定範囲に設定してもよい。
【0043】
・
図8に示すように、車両Cの周辺監視装置10は、撮影画像に基づいて、運転者の顔の向きが正常であるか異常であるかを判定する顔向き判定部18を備え、表示部17は、顔向き判定部18により運転者の顔の向きが異常であると判定された場合に警告表示を表示してもよい。例えば、顔向き判定部18は、予め登録した運転者(人間)の顔のテンプレートを撮影画像上で移動させながら、一致度(類似度)等に基づいて運転者の顔の向きを判定する。こうした構成によれば、車両Cの周辺を撮影するカメラの機能だけでなく、運転者の顔を撮影するカメラの機能を、広角単眼カメラ11により実現することができる。そして、車両Cの周辺の障害物を検出して表示する機能だけでなく、運転者の顔の向きを判定する機能を、車両Cの周辺監視装置10により実現することができる。さらに、検出した障害物を表示する機能だけでなく、運転者の顔の向きが異常である場合に警告表示を表示する機能を、表示部17により実現することができる。
【0044】
さらに、車両Cの周辺監視装置10は、撮影画像を記録する画像記録部19を備えていてもよい。画像記録部19(記録部)は、周知の記憶装置等により構成されている。こうした構成によれば、車両Cの周辺の障害物を検出して表示する機能、及び運転者の顔の向きを判定する機能に加えて、車両C運転時の撮影画像を記録するドライブレコーダの機能を、車両Cの周辺監視装置10により実現することができる。なお、車両信号取得部13により取得された車速、ハンドル角度、アクセルペダルの踏み込み量(アクセル操作部材の操作量)等を、撮影画像に対応させて(撮影画像と共に)画像記録部19に記録することもできる。
【0045】
図8に示すように、衝突判定部14を省略することもできる。その場合、障害物検出部12により障害物が検出された場合に、画像処理部15は、常に撮影画像から障害物画像を切り出して、障害物画像を拡大して表示部17により表示させてもよい。また、画像歪みパラメータ記憶部16を省略することもできる。その場合、画像処理部15は、撮影画像から障害物画像を切り出して、障害物画像の歪みを補正せず、障害物画像を拡大して表示部17により表示させてもよい。また、車両信号取得部13を省略することもできる。その場合、画像処理部15は、車両Cの車速にかかわらず、撮影画像から障害物画像を切り出す際の切り出し画角を一定にし且つ障害物画像を拡大する際の拡大率を一定にしてもよい。
【0046】
・広角単眼カメラ11は、水平画角180[°]の範囲を撮影可能であってもよい。その場合、広角単眼カメラ11は、車両Cの前方180[°]画角の範囲のみを撮影してもよい。
【0047】
・車両Cは、トラックや、二輪車であってもよい。車両Cの周辺監視装置10は、車両Cに後付けするものに限らず、車両Cに最初から搭載されているものでもよい。
【0048】
なお、上記の各変更例を組み合わせて実施することもできる。
【符号の説明】
【0049】
10…車両の周辺監視装置、11…広角単眼カメラ、12…障害物検出部、15…画像処理部、17…表示部。