(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023062813
(43)【公開日】2023-05-09
(54)【発明の名称】画像処理装置、システム及びプログラム
(51)【国際特許分類】
G08G 1/16 20060101AFI20230427BHJP
H04N 7/18 20060101ALI20230427BHJP
G06T 1/00 20060101ALI20230427BHJP
【FI】
G08G1/16 C
H04N7/18 J
G06T1/00 330B
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2021172926
(22)【出願日】2021-10-22
(71)【出願人】
【識別番号】000148689
【氏名又は名称】株式会社村上開明堂
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100154759
【弁理士】
【氏名又は名称】高木 貴子
(72)【発明者】
【氏名】渡部 祥
【テーマコード(参考)】
5B057
5C054
5H181
【Fターム(参考)】
5B057BA02
5B057BA13
5B057CA12
5B057CA16
5B057CB12
5B057CB16
5B057CE08
5B057DA08
5B057DC16
5B057DC32
5C054FC12
5C054FD00
5C054FE02
5C054FE11
5C054HA30
5H181AA01
5H181CC04
5H181CC27
5H181LL01
5H181LL02
5H181LL04
5H181LL08
(57)【要約】
【課題】撮影画像間における後方物体の表示を自然に切り替える。
【解決手段】画像処理装置10は、車両の後方を撮影したリア画像を、左の後側方及び右の後側方をそれぞれ撮影した2つのサイド画像の車両側の一部に重ねることにより、合成画像を生成する合成部14と、リア画像及びサイド画像から物体を検出する検出部12と、物体の検出結果に基づいて、リア画像又はサイド画像のブレンド処理の対象領域から検出された対象物体の有無を判定する判定部13と、を備える。合成部14は、対象物体があると判定された場合、リア画像中の対象物体とサイド画像中の対象物体の各画像領域をそれぞれ異なる透過率で透過処理するブレンド処理を実行する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
車両後方の複数の撮影画像から1つの合成画像を生成する画像処理装置であって、
前記車両の後方を撮影したリア画像を、左の後側方及び右の後側方をそれぞれ撮影した2つのサイド画像の前記車両側の一部に重ねることにより、前記合成画像を生成する合成部と、
前記リア画像及び前記サイド画像から物体を検出する検出部と、
前記物体の検出結果に基づいて、前記リア画像又は前記サイド画像のブレンド処理の対象領域から検出された対象物体の有無を判定する判定部と、を備え、
前記合成部は、前記対象物体があると判定された場合、前記リア画像中の前記対象物体と前記サイド画像中の前記対象物体の各画像領域をそれぞれ異なる透過率で透過処理するブレンド処理を実行する
画像処理装置。
【請求項2】
前記判定部は、前記対象領域から検出された前記物体の危険度を判定し、前記対象領域から検出され、かつ前記危険度が高い前記物体を前記対象物体として決定する
請求項1に記載の画像処理装置。
【請求項3】
前記判定部は、前記対象領域から検出された前記物体の進行方向が前記車両の進行方向と同じか否かを判定し、前記対象領域から検出され、かつ前記進行方向が同じである前記物体を前記対象物体として決定する
請求項1又は2に記載の画像処理装置。
【請求項4】
前記判定部は、前記リア画像及び前記サイド画像の両方に同一の前記対象物体があるか、又は前記対象物体が前記リア画像及び前記サイド画像の一方にのみあるかを判定し、
前記合成部は、前記リア画像及び前記サイド画像の両方に同一の前記対象物体があると判定された場合、前記ブレンド処理において、
前記リア画像中の前記対象物体の画像領域をブレンド領域として決定し、前記ブレンド領域を透過処理し、その透過率を前記車両側から前記車両と反対側に向かうほど減らし、
前記サイド画像中の前記対象物体の画像領域をブレンド領域として決定し、前記ブレンド領域を透過処理し、その透過率を前記車両側から前記車両と反対側に向かうほど増やす
請求項1~3のいずれか一項に記載の画像処理装置。
【請求項5】
前記合成部は、前記対象物体が前記リア画像及び前記サイド画像の一方にのみあると判定された場合、前記ブレンド処理において、
前記対象物体の画像領域を前記車両と反対側にn倍拡張した領域をブレンド領域として決定し、
前記リア画像中の前記ブレンド領域を透過処理し、その透過率を前記車両側から前記車両と反対側に向かうほど増やし、
前記サイド画像中の前記ブレンド領域を透過処理し、その透過率を前記車両側から前記車両と反対側に向かうほど減らす
請求項4に記載の画像処理装置。
【請求項6】
前記合成部は、
前記合成画像における前記リア画像と前記サイド画像の境界線の位置を、前記ブレンド領域の水平方向中心に決定し、
前記境界線における前記リア画像及び前記サイド画像の透過率をそれぞれ50%に設定する
請求項4又は5に記載の画像処理装置。
【請求項7】
車両後方の撮影画像を提供するシステムであって、
前記車両後方の複数の撮影画像から1つの合成画像を生成する画像処理装置と、
前記合成画像を表示する表示装置と、を備え、
前記画像処理装置は、
前記車両の後方を撮影したリア画像を、左の後側方及び右の後側方をそれぞれ撮影した2つのサイド画像の前記車両側の一部に重ねることにより、前記合成画像を生成する合成部と、
前記リア画像及び前記サイド画像から物体を検出する検出部と、
前記物体の検出結果に基づいて、前記リア画像又は前記サイド画像のブレンド処理の対象領域から検出された対象物体の有無を判定する判定部と、を備え、
前記合成部は、前記対象物体があると判定された場合、前記リア画像中の前記対象物体と前記サイド画像中の前記対象物体の各画像領域をそれぞれ異なる透過率で透過処理するブレンド処理を実行する
システム。
【請求項8】
コンピュータに、
車両の後方を撮影したリア画像を、左の後側方及び右の後側方をそれぞれ撮影した2つのサイド画像の前記車両側の一部に重ねることにより、1つの合成画像を生成するステップと、
前記リア画像及び前記サイド画像から物体を検出するステップと、
前記物体の検出結果に基づいて、前記リア画像又は前記サイド画像のブレンド処理の対象領域から検出された対象物体の有無を判定するステップと、
前記対象物体があると判定された場合、前記リア画像中の前記対象物体と前記サイド画像中の前記対象物体の各画像領域をそれぞれ異なる透過率で透過処理するブレンド処理を実行するステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、システム及びプログラムに関する。
【背景技術】
【0002】
従来、車両の後方及び左右の後側方を撮影し、それらを車両内部のディスプレイに表示する運転支援システムが利用されている。各カメラの撮影範囲が一部重なるため、後方の撮影画像と後側方の撮影画像とを合成する際、各画像を一部重ねる画像処理を施すことがある。
【0003】
例えば、特許文献1では、1つの仮想的な視点から自車後方を表すように後方と後側方の各撮影画像が配置され、重なる画像部分がトリミングされる。このとき、各撮影画像の境界上に後方車両が位置すると、表示される後方車両が歪むことがある。このような歪みを避けるため、特許文献1では各撮影画像の境界を移動させることにより、後方車両が後方と後側方のいずれかの撮影画像側に位置させている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、後方と後側方のカメラの位置の違いにより、同一の車両であっても後方の撮影画像と後側方の撮影画像とではそのサイズが異なる。各撮影画像の境界が移動したときに後方車両のサイズが急に変化するため、ドライバは後方車両の遠近感が分からなくなる可能性がある。また境界の移動が頻繁に生じると、後方車両も大きくなったり小さくなったりを繰り返すため、画面がちらつき、ドライバが違和感を覚える可能性もある。
【0006】
本発明は、撮影画像間における後方物体の表示を自然に切り替えることを目的とする。
【課題を解決するための手段】
【0007】
[1]車両後方の複数の撮影画像から1つの合成画像を生成する画像処理装置であって、
前記車両の後方を撮影したリア画像を、左の後側方及び右の後側方をそれぞれ撮影した2つのサイド画像の前記車両側の一部に重ねることにより、前記合成画像を生成する合成部と、
前記リア画像及び前記サイド画像から物体を検出する検出部と、
前記物体の検出結果に基づいて、前記リア画像又は前記サイド画像のブレンド処理の対象領域から検出された対象物体の有無を判定する判定部と、を備え、
前記合成部は、前記対象物体があると判定された場合、前記リア画像中の前記対象物体と前記サイド画像中の前記対象物体の各画像領域をそれぞれ異なる透過率で透過処理するブレンド処理を実行する
画像処理装置。
【0008】
上記[1]によれば、リア画像の対象物体の画像領域とサイド画像の対象物体の画像領域とが異なる透過率で透過処理される。透過処理された各画像領域が重ねられると、対象物体の輪郭がぼやけてリア画像とサイド画像の対象物体のサイズの違いが認識されづらくなる。リア画像とサイド画像のいずれの対象物体も表示されるので、いずれか一方のみに対象物体の表示が切り替わった場合でも、サイズが急に変化することがないため、ちらつきが減り違和感が少ない。よって撮影画像間における後方物体の表示を自然に切り替えることができる。
【0009】
[2]前記判定部は、前記対象領域から検出された前記物体の危険度を判定し、前記対象領域から検出され、かつ前記危険度が高い前記物体を前記対象物体として決定する
上記[1]に記載の画像処理装置。
【0010】
上記[2]によれば、すべての対象物体ではなく危険度が高い後方物体をブレンド処理の対象とすることができる。合成画像を表示するまでの処理時間を減らすことができる。
【0011】
[3]前記判定部は、前記対象領域から検出された前記物体の進行方向が前記車両の進行方向と同じか否かを判定し、前記対象領域から検出され、かつ前記進行方向が同じである前記物体を前記対象物体として決定する
上記[1]又は[2]に記載の画像処理装置。
【0012】
上記[3]によれば、進行方向が同じであり、リア画像とサイド画像間を跨ぐ可能性のある後方物体をブレンド処理の対象とすることができる。
【0013】
[4]前記判定部は、前記リア画像及び前記サイド画像の両方に同一の前記対象物体があるか、又は前記対象物体が前記リア画像及び前記サイド画像の一方にのみあるかを判定し、
前記合成部は、前記リア画像及び前記サイド画像の両方に同一の前記対象物体があると判定された場合、前記ブレンド処理において、
前記リア画像中の前記対象物体の画像領域をブレンド領域として決定し、前記ブレンド領域を透過処理し、その透過率を前記車両側から前記車両と反対側に向かうほど減らし、
前記サイド画像中の前記対象物体の画像領域をブレンド領域として決定し、前記ブレンド領域を透過処理し、その透過率を前記車両側から前記車両と反対側に向かうほど増やす
上記[1]~[3]のいずれかに記載の画像処理装置。
【0014】
上記[4]によれば、リア画像及びサイド画像の両方に対象物体がある場合は、車両に近いほどサイド画像の対象物体が強く現れ、車両と反対側に近いほどリア画像の対象物体が強く現れる。よって、両方の対象物体を透過状態で表示することができる。
【0015】
[5]前記合成部は、前記対象物体が前記リア画像及び前記サイド画像の一方にのみあると判定された場合、前記ブレンド処理において、
前記対象物体の画像領域を前記車両と反対側にn倍拡張した領域をブレンド領域として決定し、
前記リア画像中の前記ブレンド領域を透過処理し、その透過率を前記車両側から前記車両と反対側に向かうほど増やし、
前記サイド画像中の前記ブレンド領域を透過処理し、その透過率を前記車両側から前記車両と反対側に向かうほど減らす
上記[4]に記載の画像処理装置。
【0016】
上記[5]によれば、リア画像及びサイド画像の一方のみに対象物体がある場合は、車両に近いほどリア画像の対象物体が強く現れ、車両と反対側に近いほどサイド画像の対象物体が強く現れる。また、ブレンド領域の拡張によって、撮影はされたが検出されなかった対象物体も透過処理対象となるように図ることができる。よって、検出された一方の対象物体だけでなく、検出されなかったが撮影されたであろう、もう一方の対象物体も、透過状態で表示することができる。
【0017】
[6]前記合成部は、
前記合成画像における前記リア画像と前記サイド画像の境界線の位置を、前記ブレンド領域の水平方向中心に決定し、
前記境界線における前記リア画像及び前記サイド画像の透過率をそれぞれ50%に設定する
上記[4]又は[5]に記載の画像処理装置。
【0018】
上記[6]によれば、ブレンド領域の中心でリア画像とサイド画像を半分ずつ重ねることができ、ブレンド領域での対象物体の現れ方が偏らず、自然となる。
【0019】
[7]車両後方の撮影画像を提供するシステムであって、
前記車両後方の複数の撮影画像から1つの合成画像を生成する画像処理装置と、
前記合成画像を表示する表示装置と、を備え、
前記画像処理装置は、
前記車両の後方を撮影したリア画像を、左の後側方及び右の後側方をそれぞれ撮影した2つのサイド画像の前記車両側の一部に重ねることにより、前記合成画像を生成する合成部と、
前記リア画像及び前記サイド画像から物体を検出する検出部と、
前記物体の検出結果に基づいて、前記リア画像又は前記サイド画像のブレンド処理の対象領域から検出された対象物体の有無を判定する判定部と、を備え、
前記合成部は、前記対象物体があると判定された場合、前記リア画像中の前記対象物体と前記サイド画像中の前記対象物体の各画像領域をそれぞれ異なる透過率で透過処理するブレンド処理を実行する
システム。
【0020】
上記[7]によれば、リア画像の対象物体の画像領域とサイド画像の対象物体の画像領域とが異なる透過率で透過処理される。透過処理された各画像領域が重ねられると、対象物体の輪郭がぼやけてリア画像とサイド画像の対象物体のサイズの違いが認識されづらくなる。リア画像とサイド画像のいずれの対象物体も表示されるので、いずれか一方のみに対象物体の表示が切り替わった場合でも、サイズが急に変化することがないため、ちらつきが減り違和感が少ない。よって撮影画像間における後方物体の表示を自然に切り替えることができる。
【0021】
[8]コンピュータに、
車両の後方を撮影したリア画像を、左の後側方及び右の後側方をそれぞれ撮影した2つのサイド画像の前記車両側の一部に重ねることにより、1つの合成画像を生成するステップと、
前記リア画像及び前記サイド画像から物体を検出するステップと、
前記物体の検出結果に基づいて、前記リア画像又は前記サイド画像のブレンド処理の対象領域から検出された対象物体の有無を判定するステップと、
前記対象物体があると判定された場合、前記リア画像中の前記対象物体と前記サイド画像中の前記対象物体の各画像領域をそれぞれ異なる透過率で透過処理するブレンド処理を実行するステップと、
を実行させるためのプログラム。
【0022】
上記[8]によれば、リア画像の対象物体の画像領域とサイド画像の対象物体の画像領域とが異なる透過率で透過処理される。透過処理された各画像領域が重ねられると、対象物体の輪郭がぼやけてリア画像とサイド画像の対象物体のサイズの違いが認識されづらくなる。リア画像とサイド画像のいずれの対象物体も表示されるので、いずれか一方のみに対象物体の表示が切り替わった場合でも、サイズが急に変化することがないため、ちらつきが減り違和感が少ない。よって撮影画像間における後方物体の表示を自然に切り替えることができる。
【発明の効果】
【0023】
本発明によれば、撮影画像間における後方物体の表示を自然に切り替えることができる。
【図面の簡単な説明】
【0024】
【
図1】一実施形態の運転支援システムの構成を示すブロック図である。
【
図5】撮影画像間でサイズが異なる後方車両を説明する図である。
【
図7A】リア画像とサイド画像の両方に対象物体がある場合のブレンド処理を説明する図である。
【
図7B】リア画像とサイド画像の両方に対象物体がある場合のブレンド処理を説明する図である。
【
図8】ブレンド処理された場合の合成画像の一例を示す図である。
【
図9A】リア画像とサイド画像の一方に対象物体がある場合のブレンド処理を説明する図である。
【
図9B】リア画像とサイド画像の一方に対象物体がある場合のブレンド処理を説明する図である。
【
図10A】ブレンド処理された場合の合成画像の一例を示す図である。
【
図10B】ブレンド処理された場合の合成画像の一例を示す図である。
【
図10C】ブレンド処理された場合の合成画像の一例を示す図である。
【発明を実施するための形態】
【0025】
以下、本発明の画像処理装置、システム及びプログラムの実施の形態について、図面を参照して説明する。
【0026】
図1は、一実施形態の運転支援システム100の構成を示す。
運転支援システム100は、車両に搭載され、当該車両の後方及び後側方の撮影画像を表示することによって、ドライバの運転を支援する。
【0027】
図1に示すように、運転支援システム100は、画像表示システム25、3つのカメラ3C、3L及び3R、各種センサ4及び計測装置5等を備える。画像表示システム25は、画像処理装置10及び表示装置20を備える。
【0028】
カメラ3C、3L及び3Rは、それぞれ車両の後方、左の後側方及び右の後側方を連続的に撮影し、時系列の撮影画像を順次生成する。以下、後方の撮影画像をリア画像、後側方の撮影画像をサイド画像という。後方を撮影するカメラ3Cは、例えばナンバープレート付近に配置される。左右の後側方を撮影するカメラ3L及び3Rは、例えば左右のサイドミラーの位置にそれぞれ設けられる。
【0029】
センサ4は、車両の状態を検出する。センサ4としては、例えば車速センサ、舵角センサ、ウィンカーセンサ等の車両に搭載された各種センサが挙げられる。運転支援システム100は、これらセンサ4からの検出信号を車両の状態を示す情報として取得することができる。
【0030】
計測装置5は、車両周辺の物体、例えば車両、人等の位置、方向、物体までの距離、物体の移動速度等を計測する。計測装置5としては、例えば超音波ソナー又はミリ波レーダー等が挙げられる。運転支援システム100は、これら計測装置5から車両周辺の物体の計測情報を取得することができる。
【0031】
(表示装置)
表示装置20は、画像処理装置10によって生成された合成画像を表示する。表示装置20は、一般的な縦横比を有する車載用ディスプレイであってもよいし、縦に対する横の比率が長いルームミラー型のディスプレイであってもよい。
【0032】
図2は、車両における表示装置20の配置例を示す。
表示装置20は、車両の室内のダッシュボード21上か、又はフロントウインドウ22の上部中央付近にインナーミラーに代えて設置される。
図2において、表示装置20は、横長の単一の液晶ディスプレイ等により構成され、これに1つの合成画像Jが表示される。
【0033】
カメラ3C、3L及び3Rにより撮影された画像(映像)は合成され、表示装置20には1つの合成画像Jが表示される。合成画像Jにおいて、左側にはカメラ3Lの撮影画像JLが表示され、中央にはカメラ3Cの撮影画像JCが表示され、右側にはカメラ3Rの撮影画像JRが表示される。
【0034】
なお、表示装置20は、一列に連結された複数台のディスプレイにより構成されてもよい。この場合、1つの合成画像Jが分割され、各分割画像が各ディスプレイの表示領域に表示される。
【0035】
(画像処理装置)
画像処理装置10は、カメラ3Cにより撮影されたリア画像と、カメラ3L及び3Rにより撮影されたサイド画像とを1つの画像に合成する。
【0036】
画像処理装置10は、補正部11、検出部12、判定部13、合成部14及び表示制御部15を備える。画像処理装置10の各部の機能は、車両に搭載されるECU(Electronic Control Unit)、マイクロコンピュータ等のコンピュータによりプログラムを読み取って実行されるソフトウェア処理により実現されてもよい。また画像処理装置10の各部が、FPGA(field-programmable gate array)のようなハードウェアによって構成されてもよい。
【0037】
補正部11は、リア画像及びサイド画像に歪み補正、色補正等の補正処理を施す。
【0038】
検出部12は、補正処理後の各画像に含まれる物体を検出する。検出対象の物体としては、例えば車両、人、動物、ガードレール、又は建物等が挙げられる。検出方法は特に限定されないが、例えば深層学習(ディープラーニング)を用いた検出を行うことができる。
【0039】
深層学習では、検出部12は、車種や遠近感が異なる車両、人等の検出対象を様々な方向から撮影した複数の撮影画像を訓練データとして使用し、検出対象の物体の特徴を学習する。例えば、検出部12は、バスや乗用車の特徴を学習し、これらと類似する特徴を有する画像部分を車両として検出することができる。車種ごとの特徴を学習することにより、車両の車種も判別することができる。このように、検出部12は、物体の種別を検出することも可能である。
【0040】
検出部12は、検出した物体を囲む検出枠を画像中に設定することができる。本実施形態において、検出枠は四角形状であるが、検出枠のサイズが物体のサイズと略一致するのであれば、形状は四角形状に限られない。例えば、検出枠は物体の輪郭を縁取る形状であってもよいし、水平方向及び垂直方向のサイズが物体と同じ楕円形状等であってもよい。
【0041】
判定部13は、検出部12の検出結果に基づいて、リア画像又はサイド画像のブレンド処理の対象領域から検出された対象物体の有無を判定する。判定部13は、対象物体の危険度及び進行方向を判定することができる。判定部13は、センサ4により検出される車両の状態又は計測装置5により計測された物体の位置や速度等の情報を、判定に使用することができる。
【0042】
合成部14は、補正処理後のリア画像及びサイド画像を合成して、1つの合成画像を生成する。
【0043】
表示制御部15は、合成部14により生成された合成画像を表示装置20により表示させる。
【0044】
図3は、画像処理装置が合成画像を生成する合成処理を示す。この合成処理は、各カメラ3C、3L及び3Rにより生成された撮影画像が入力されるごとに繰り返される。
【0045】
各カメラ3C、3L及び3Rによりリア画像及びサイド画像が撮影されると、画像処理装置10では、補正部11が各画像を補正処理する(ステップS1)。検出部12は、補正処理後のリア画像及びサイド画像に含まれる物体及びその種別を検出し、物体の周囲に検出枠を設定する(ステップS2)。
【0046】
また、合成部14は、補正処理後のリア画像JCを連結したサイド画像JL及びJRの中央部に重ねて合成画像Jを生成する(ステップS3)。
【0047】
図4A及び
図4Bは、通常の合成方法を説明する。
図4Aに示すように、カメラ3Cの撮影範囲61Cは、カメラ3L及び3Rの撮影範囲61L及び61Rと一部が重複する。合成部14は、車両50の後方n(m)(例えば、n=15)の合成面L3においてリア画像JC、サイド画像JL及びJRがシームレスに合成されるように、リア画像JC、サイド画像JL及びJRのトリミング範囲62C、62L及び62R、パン、チルト及びロールを調整する。
【0048】
合成部14は、左右のサイド画像JL及びJRを車両50側において連結し、その中央にリア画像JCを重ねることにより、レイヤ構造の合成画像Jを生成する。合成部14は、リア画像JCの左右両側の端部Csを100%の透過率で透過処理することにより、合成画像Jにおけるリア画像JCの表示範囲63Cを狭めて、サイド画像JL及びJRの表示範囲63L及び63Rを広げる。
【0049】
合成部14は、合成画像Jにおいてリア画像JCの表示範囲63Cを決定する境界線L1の位置を、リア画像JC中の後方車両51の位置に応じて決定することができる。例えば、
図4Bに示すように、後方車両51が車両50側に接近しつつ右の後側方の位置に移動した場合、合成部14は、リア画像JCから検出された後方車両51の検出枠がリア画像JC中に含まれるように、境界線L1の位置を車両50側に移動することができる。その結果、リア画像JCにおいて透過処理する右側の端部Csの範囲を減らすことができる。
【0050】
いずれのトリミング範囲62C、62L及び62Rにもない領域は合成画像J上の死角となるが、上記のように境界線L1を移動してリア画像JCの表示範囲63Cを変更できる。これにより、合成画像Jの死角の位置をずらし、合成画像Jからの後方車両51の消失を減らすことができる。
【0051】
上記合成画像Jでは、リア画像JCとサイド画像JL又はJRの境界線L1に物体が跨ると、後方の物体の表示が不自然になることがある。
図5は、物体が境界線L1に跨る場合の合成画像Jの例を示す。
図5に示すように、車両50の隣の車線を走行する後側方車両52が、リア画像JCとサイド画像JRのいずれにも含まれる。
【0052】
リア画像JCとサイド画像JRの境界線L1に後側方車両52が跨ると、リア画像JC上の後側方車両52の左部分とサイド画像JR上の後側方車両52の右部分とが境界線L1上で繋がる。しかし、カメラ位置の違いにより、リア画像JCとサイド画像JRとでは後側方車両52のサイズが異なる。そのため、後側方車両52のサイズが部分的に異なる不自然な合成画像Jとなってしまう。
【0053】
このような部分的なサイズの違いは、後側方車両52が境界線L1を超えて、リア画像JCとサイド画像JL又はJR間を移動するときに一時的に生じる。後側方車両52が境界線L1を超えるたびにサイズの変化が一時的に生じるため、後側方車両52がちらついて見え、遠近感も把握しづらくなる。
【0054】
上記の不自然な表示を減らすため、合成部14は合成時にブレンド処理を実行することができる。ブレンド処理は、リア画像JC中の物体とサイド画像JL又はJR中の物体の各画像領域をそれぞれ異なる透過率で透過処理して重ねる処理である。これにより、各画像間における物体の表示を自然に切り替えることができる。ブレンド処理する物体(以下、対象物体という)は、判定部13により判定することができる。
【0055】
判定部13は、合成画像Jのブレンド処理の対象領域に位置する物体の有無を判定する(ステップS4)。
図6Aは、対象領域の一例を示す。
図6Aに示すように、判定部13は、検出部12による物体の検出結果に基づいて、合成画像J上の対象領域81に物体が位置するか否かを判定する。
【0056】
対象領域81は、合成画像J中の地平線の中央を始点として左右に延びる三角形状の領域である。合成画像J上の対象領域81の位置とサイズは、一般的な車線の幅に基づいて予め決められていてもよいし、合成画像Jの解析によりその都度決定されてもよい。例えば、検出部12によって合成画像Jから地平線の中央と車線を区切る白線とを検出し、その中央から車両50の左側又は右側に延びる2本の白線によって囲まれる領域を対象領域81とすることができる。
【0057】
例えば、判定部13は、検出部12により設定された物体の検出枠72の下辺の中心P1が対象領域81内に位置する場合、当該物体が対象領域81に位置すると判定する。
図6Aにおいては、3つの物体の中心P1~P3が対象領域81に位置すると判定される。
【0058】
対象領域81に物体が位置する場合(ステップS4:YES)、判定部13は当該物体の方向ベクトルを計算する。計算された方向ベクトルは、物体の進行方向を表す。判定部13は、計算した方向ベクトルにより物体の進行方向が車両50と同じか否かを判定する(ステップS5)。
【0059】
判定部13は、1フレーム前と現在のフレームの合成画像Jにおいて、物体の位置、つまり検出枠72の中心P1の水平方向x及び垂直方向yの位置座標(x,y)を求める。1フレーム前の中心P1の位置座標が(x1,y1)、現在の中心P1の位置座標が(x2,y2)であり、水平方向xに対してなす角度がθである場合、その方向ベクトルβ1は次式[1]のように計算できる。
β1=(x2-x1)/cosθ [1]
【0060】
図6Bは、
図6A中の各物体の方向ベクトルを示す。
車両50の進行方向は合成画像Jの垂直方向y下側である。判定部13は、計算された方向ベクトルが垂直方向yから一定角度、例えば0~70度の範囲内にある物体が、車両50の進行方向と同じ物体であると決定する。
図6Bにおいて、各中心P1~P3の方向ベクトルβ1~β3のうち、方向ベクトルβ1及びβ3を有する物体が車両50と進行方向が同じ物体であると判定される。
【0061】
対象領域81から物体が検出されない場合(ステップS4:NO)、検出された場合でも物体の進行方向が車両50と異なる場合(ステップS5:NO)、合成部14は通常の透過処理を施す(ステップS6)。つまり、リア画像JCの境界線L1より車両50と反対側の端部Csが100%の透過率で透過処理される。
【0062】
一方、対象領域81から物体が検出され(ステップS4:YES)、かつその進行方向が車両50と同じである場合(ステップS5:YES)、当該物体はブレンド処理の対象物体の候補である。判定部13は、ブレンド処理の対象物体の候補が1つか複数かを判定する(ステップS7)。候補が1つの場合(ステップS7:YES)、判定部13は当該候補をブレンド処理の対象物体として決定する。
【0063】
1つではなく、複数の対象物体の候補がある場合(ステップS7:NO)、判定部13は各候補の危険度を判定する。判定部13は、危険度が最も高い候補を対象物体として決定する(ステップS8)。判定部13は、物体の危険度を、物体の車両50への接近レベル又は種別によって判定することができる。
【0064】
接近レベルは、物体から車両50までの距離、到達時間又は移動速度によって判定することができる。距離、到達時間又は移動速度は、計測装置5によって計測することもできるし、判定部13が合成画像J中の各物体の位置やサイズ等から解析することもできる。
【0065】
判定部13は、上記距離、到達時間又は移動速度を複数の閾値と比較することにより、危険度の高さを判定する。例えば、判定部13は、移動速度が速いほど危険度も高く判定する。同様に距離又は到達時間が短いほど危険度も高くなる。
【0066】
また、判定部13は、検出部12によって検出された対象物体の種別から、例えば人>二輪車>大型車両>普通車両>軽車両の順に危険度を高いと判定することができる。この順番はドライバに注意喚起が求められる順番として予め定められ、通常は人が最も危険度が高いと定められる。
【0067】
次いで、判定部13は、リア画像JCとサイド画像JL又はJRの両方に同一の対象物体があるか否かを判定する(ステップS9)。例えば、サイド画像JRに対象物体があると判定された場合、判定部13は、リア画像JCの対象領域81に位置する物体の方向ベクトルを求める。判定部13は、リア画像JC中の物体のうち、サイド画像JR中の対象物体の方向ベクトルとの差が閾値以下の方向ベクトルを有する物体を、対象物体と同一と判定することができる。
【0068】
両方に同一の対象物体があると判定された場合(ステップS9:YES)、合成部14は合成画像Jにブレンド処理を実行する。ブレンド処理において、合成部14は、対象物体の画像領域をブレンド領域に決定し、当該ブレンド領域を各画像で異なる透過率で透過処理する(ステップS10)。
【0069】
図7A及び
図7Bは、対象物体のブレンド処理を説明する。
図7Aに示すように、合成部14は、対象物体の検出枠72に対応するリア画像JCの画像領域をブレンド領域82Cとして決定する。また合成部14はサイド画像JRの検出枠72の領域をブレンド領域82Rとして決定する。合成部14は、ブレンド領域82C及び82Rの水平方向xの中心線までリア画像JCとサイド画像JRの境界線L1を移動する。
【0070】
図7Bに示すように、合成部14は、リア画像JCのブレンド領域82Cのうち、境界線L1より車両50側(左側)半分の領域を透過処理する。このとき、合成部14は、車両50側の左端における透過率FCを100%、境界線L1における透過率FCを50%に設定し、車両50側から車両50と反対側の境界線L1に向かうほど透過率FCを減らす。なお、合成部14は、ブレンド領域82C以外の境界線L1より車両50と反対側の端部Csの領域を、100%の透過率で透過処理する。
【0071】
また、合成部14は、サイド画像JRのブレンド領域82Rを透過処理する。合成部14は、車両50側の左端における透過率FRを0%、車両50と反対側の右端における透過率FRを100%に設定し、車両50側からその反対側に向かうほど透過率FRを増やす。
【0072】
図8は、ブレンド処理が実行された場合の合成画像Jの例を示す。
図8に示すように、合成画像Jの検出枠72内では車両50側に近いほどサイド画像JRの対象物体が濃く現れ、境界線L1に向かうにつれて徐々にリア画像JCの対象物体が現れる。対象物体の輪郭がぼやけるため、各画像のサイズの違いが視認されづらくなる。リア画像JCとサイド画像JRの両方の対象物体が表示されるため、いずれか一方の画像のみの表示に切り替わった際にも、サイズの変化によるちらつきが減る。
【0073】
一方、対象物体がリア画像JCとサイド画像JL又はJRの両方ではなく、いずれか一方にのみあると判定された場合(ステップS9:NO)、合成部14は合成画像Jにブレンド処理を実行する。ブレンド処理において、合成部14は、対象物体の画像領域をn倍拡張した領域をブレンド領域に決定し、当該ブレンド領域を各画像で異なる透過率で透過処理する(ステップS11)。
【0074】
図9A及び
図9Bは、対象物体のブレンド処理を説明する。
図9Aに示すように、リア画像JCでもサイド画像JRでも物体は撮影されたが、サイド画像JRでは物体として検出されず、リア画像JCのみから物体が検出されて検出枠72が設定されている。この場合、合成部14は、検出枠72の領域を水平方向xにおいて車両50と反対側にn倍拡張した領域83を、リア画像JCのブレンド領域83Cとして決定する。また合成部14は、ブレンド領域83Cの水平方向xの中心の位置までリア画像JCとサイド画像JRの境界線L1を移動する。合成部14は、ブレンド領域83Cと位置が同じサイド画像JRの画像領域をブレンド領域83Rとして決定する。
【0075】
図9Bに示すように、合成部14は、リア画像JCのブレンド領域83Cを透過処理する。このとき、合成部14は、車両50側の左端における透過率FCを0%、境界線L1における透過率FCを50%、車両50と反対側の右端における透過率FCを100%に設定し、車両50側からその反対側に向かうにつれて透過率FCを増やす。なお、合成部14は、ブレンド領域83C以外の境界線L1より車両50と反対側の端部Csの領域を、100%の透過率で透過処理する。
【0076】
また、合成部14は、サイド画像JRのブレンド領域83Rを透過処理する。合成部14は、車両50側の左端における透過率FRを100%、境界線L1における透過率FRを50%、車両50と反対側の右端における透過率FRを0%に設定し、車両50側からその反対側に向かうほど透過率FRを減らす。
【0077】
このように、リア画像JCとサイド画像JL又はJRの一方で対象物体が検出されない場合も、両方から検出された場合と同様に、ブレンド処理によって対象物体のちらつきを減らすことができる。リア画像JC及びサイド画像JL又はJRの一方のみに対象物体がある場合は、車両50に近いほどリア画像JCの対象物体が強く現れ、車両50と反対側に近いほどサイド画像JL又はJRの対象物体が強く現れる。また、ブレンド領域の拡張によって検出されなかった対象物体も透過処理対象となるように図ることができる。よって、検出された一方の対象物体だけでなく、検出されなかったが撮影されたであろうもう一方の対象物体も、透過状態で表示することができる。
【0078】
図10A~
図10Cは、ブレンド処理が実行された場合の合成画像Jの例を示す。
図10Aに示すように、リア画像JC中に後方車両51の検出枠72が含まれる場合、ブレンド処理は実行されない。
図10Bに示すように、車線変更により後方車両51が境界線L1を跨ぐと、検出枠72内がブレンド処理され、リア画像JCとサイド画像JRとにおいて後方車両51が透過状態で表示される。さらに後方車両51が近づき、
図10Cに示すように、境界線L1を超えて後方車両51の全部がサイド画像JR側へ移動すると、ブレンド処理が解除される。
【0079】
通常、後方車両51がリア画像JCからサイド画像JRへ境界線L1を跨いで移動すると、後方車両51のサイズが急に変化するため、ちらつきが生じる。しかし、ブレンド処理によれば、境界線L1って後方車両51の輪郭がぼやけ、リア画像JCとサイド画像JRのサイズの違いが視認されづらくなるため、このようなちらつきが減る。
【0080】
以上のように、本実施形態によれば、リア画像JC又はサイド画像JL,JRの対象領域81から検出された対象物体がある場合、ブレンド処理によってリア画像JCの対象物体の画像領域とサイド画像JL又はJRの対象物体の画像領域とが異なる透過率で透過処理される。
【0081】
透過処理された各画像領域が重ねられると、対象物体の輪郭がぼやけてリア画像JCとサイド画像JL又はJRの対象物体のサイズの違いが認識されづらくなる。リア画像JCとサイド画像JL又はJRのいずれの対象物体も表示されるので、いずれか一方のみに対象物体の表示が切り替わった場合でも、サイズが急に変化することがないため、ちらつきが減り違和感が少ない。よって撮影画像間における後方物体の表示を自然に切り替えることができる。
【0082】
上記実施形態は本発明の好適な一例であり、これに限定されず、適宜変更可能である。
例えば、上述のように境界線L1の位置をブレンド領域の水平方向xの中心に移動し、境界線L1における透過率を50%とすると、半分ずつリア画像JCとサイド画像JL又はJRをブレンドすることができ、より自然な合成画像が得られて好ましい。しかし、ブレンド処理によって自然な合成画像Jが得られるのであれば、境界線L1の位置は水平方向x中心に限られず、中心付近で中心から一定距離だけ離れていてもよい。また一定勾配で透過率を増減するのではなく、曲線状に透過率を増減してもよい。
【符号の説明】
【0083】
100 運転支援システム
25 画像表示システム
10 画像処理装置
12 検出部
13 判定部
14 合成部
15 表示制御部
20 表示装置
3C、3L、3R カメラ