知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023062835
(43)【公開日】2023-05-09
(54)【発明の名称】画像処理装置、システム及びプログラム
(51)【国際特許分類】
G08G 1/16 20060101AFI20230427BHJP
G06T 1/00 20060101ALI20230427BHJP
【ＦＩ】
G08G1/16 C
G06T1/00 330B
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2021172964
(22)【出願日】2021-10-22
(71)【出願人】
【識別番号】000148689
【氏名又は名称】株式会社村上開明堂
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100154759
【弁理士】
【氏名又は名称】高木 貴子
(72)【発明者】
【氏名】渡部 祥
(72)【発明者】
【氏名】中村 俊也
(72)【発明者】
【氏名】福地 一真
【テーマコード（参考）】
5B057
5H181
【Ｆターム（参考）】
5B057AA16
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CE08
5H181AA01
5H181CC04
5H181CC11
5H181CC14
5H181CC27
5H181LL01
5H181LL02
5H181LL04
(57)【要約】
【課題】合成画像からの物体の消失を減らす。
【解決手段】画像処理装置１０は、車両後方のリア画像と、左の後側方及び右の後側方のサイド画像とを合成する合成部１４と、各画像から後方車両を含む物体を検出する検出部１２と、リア画像から検出された後方車両が車両に接近したか否かを判定する判定部１３と、を備える。合成部１４は、後方車両が接近したと判定されるまでは第１モードによって、後方車両が接近したと判定されると特定の合成モードによって、合成画像を生成する。第１モードではサイド画像の一部にリア画像が重ねられ、後方車両が接近するほどリア画像を重ねる領域が広がる。特定の合成モードでは、サイド画像の一部にリア画像が重ねられるが、サイド画像から検出された物体とリア画像の重なりが第１モードよりも少ないか、又はサイド画像にリア画像が重ねられない。
【選択図】図１
【解決手段】画像処理装置１０は、車両後方のリア画像と、左の後側方及び右の後側方のサイド画像とを合成する合成部１４と、各画像から後方車両を含む物体を検出する検出部１２と、リア画像から検出された後方車両が車両に接近したか否かを判定する判定部１３と、を備える。合成部１４は、後方車両が接近したと判定されるまでは第１モードによって、後方車両が接近したと判定されると特定の合成モードによって、合成画像を生成する。第１モードではサイド画像の一部にリア画像が重ねられ、後方車両が接近するほどリア画像を重ねる領域が広がる。特定の合成モードでは、サイド画像の一部にリア画像が重ねられるが、サイド画像から検出された物体とリア画像の重なりが第１モードよりも少ないか、又はサイド画像にリア画像が重ねられない。
【選択図】図１
【特許請求の範囲】
【請求項1】
車両後方の複数の撮影画像から１つの合成画像を生成する画像処理装置であって、
前記車両の後方を撮影したリア画像と、左の後側方及び右の後側方をそれぞれ撮影した２つのサイド画像とを合成し、前記合成画像を生成する合成部と、
前記リア画像及び前記サイド画像から後方車両を含む物体を検出する検出部と、
前記リア画像から検出された前記後方車両が前記車両に接近したか否かを判定する判定部と、を備え、
前記合成部は、
前記後方車両が接近したと判定されるまでは第１モードによって前記合成画像を生成し、前記後方車両が接近したと判定されると前記第１モードを特定の合成モードに切り替えて前記合成画像を生成し、
前記第１モードにおいて、前記サイド画像の一部に前記リア画像を重ね、前記後方車両が接近するほど前記リア画像を重ねる領域を広げ、
前記特定の合成モードにおいて、前記サイド画像の一部に前記リア画像を重ねるが、前記サイド画像から検出された前記物体と前記リア画像の重なりが前記第１モードよりも少ないか、又は前記サイド画像に前記リア画像を重ねない
画像処理装置。
前記車両の後方を撮影したリア画像と、左の後側方及び右の後側方をそれぞれ撮影した２つのサイド画像とを合成し、前記合成画像を生成する合成部と、
前記リア画像及び前記サイド画像から後方車両を含む物体を検出する検出部と、
前記リア画像から検出された前記後方車両が前記車両に接近したか否かを判定する判定部と、を備え、
前記合成部は、
前記後方車両が接近したと判定されるまでは第１モードによって前記合成画像を生成し、前記後方車両が接近したと判定されると前記第１モードを特定の合成モードに切り替えて前記合成画像を生成し、
前記第１モードにおいて、前記サイド画像の一部に前記リア画像を重ね、前記後方車両が接近するほど前記リア画像を重ねる領域を広げ、
前記特定の合成モードにおいて、前記サイド画像の一部に前記リア画像を重ねるが、前記サイド画像から検出された前記物体と前記リア画像の重なりが前記第１モードよりも少ないか、又は前記サイド画像に前記リア画像を重ねない
画像処理装置。
【請求項2】
前記特定の合成モードは、第２モードを含み、
前記合成部は、前記第２モードにおいて、前記リア画像の縮小画像を生成し、連結した２つの前記サイド画像の中央あるいは前記物体に重ならない位置に前記縮小画像を重ねるか、又は２つの前記各サイド画像の間に前記縮小画像を配置して各画像を連結することにより、前記合成画像を生成する
請求項１に記載の画像処理装置。
前記合成部は、前記第２モードにおいて、前記リア画像の縮小画像を生成し、連結した２つの前記サイド画像の中央あるいは前記物体に重ならない位置に前記縮小画像を重ねるか、又は２つの前記各サイド画像の間に前記縮小画像を配置して各画像を連結することにより、前記合成画像を生成する
請求項１に記載の画像処理装置。
【請求項3】
前記合成部は、前記縮小画像を透過処理する
請求項２に記載の画像処理装置。
請求項２に記載の画像処理装置。
【請求項4】
前記合成部は、前記サイド画像を垂直方向に拡大し、その拡大率を水平方向において前記車両側に近いほど大きくする
請求項２又は３に記載の画像処理装置。
請求項２又は３に記載の画像処理装置。
【請求項5】
前記特定の合成モードは、第３モードを含み、
前記合成部は、前記第３モードにおいて、前記サイド画像の縮小画像を生成し、前記縮小画像を前記リア画像中の前記後方車両の左右にそれぞれ配置することにより、前記合成画像を生成する
請求項１に記載の画像処理装置。
前記合成部は、前記第３モードにおいて、前記サイド画像の縮小画像を生成し、前記縮小画像を前記リア画像中の前記後方車両の左右にそれぞれ配置することにより、前記合成画像を生成する
請求項１に記載の画像処理装置。
【請求項6】
前記特定のモードは、第４モードを含み、
前記合成部は、前記第４モードにおいて、前記リア画像の両端部を透過処理し、連結した２つの前記サイド画像の中央に透過処理した前記リア画像を重ねることにより、前記合成画像を生成し、
前記リア画像の両端部のうち、前記物体が検出されていないサイド画像側の端部の透過処理範囲を前記リア画像中の前記後方車両の位置に応じて変更し、前記物体が検出されたサイド画像側の端部の透過処理範囲を固定する
請求項１に記載の画像処理装置。
前記合成部は、前記第４モードにおいて、前記リア画像の両端部を透過処理し、連結した２つの前記サイド画像の中央に透過処理した前記リア画像を重ねることにより、前記合成画像を生成し、
前記リア画像の両端部のうち、前記物体が検出されていないサイド画像側の端部の透過処理範囲を前記リア画像中の前記後方車両の位置に応じて変更し、前記物体が検出されたサイド画像側の端部の透過処理範囲を固定する
請求項１に記載の画像処理装置。
【請求項7】
前記判定部は、前記サイド画像の特定領域から前記物体が検出されたか否かをさらに判定し、
前記合成部は、前記リア画像中の前記後方車両が前記車両に接近し、かつ前記特定領域から前記物体が検出されたと判定された場合に、前記第１モードを前記特定の合成モードに切り替える
請求項１～６のいずれか一項に記載の画像処理装置。
前記合成部は、前記リア画像中の前記後方車両が前記車両に接近し、かつ前記特定領域から前記物体が検出されたと判定された場合に、前記第１モードを前記特定の合成モードに切り替える
請求項１～６のいずれか一項に記載の画像処理装置。
【請求項8】
前記特定領域は、前記サイド画像の前記車両側の端部に位置し、
前記判定部は、前記車両と前記後方車両との接近レベルを判定し、前記接近レベルに応じて前記特定領域のサイズを変更する
請求項７に記載の画像処理装置。
前記判定部は、前記車両と前記後方車両との接近レベルを判定し、前記接近レベルに応じて前記特定領域のサイズを変更する
請求項７に記載の画像処理装置。
【請求項9】
前記合成部は、前記第１モードにおいて、前記リア画像の両端部を透過処理し、連結した２つの前記サイド画像の中央に透過処理した前記リア画像を重ねることにより、前記合成画像を生成し、前記リア画像の両端部の透過処理範囲を前記リア画像中の前記後方車両の位置に応じて変更する
請求項１～８のいずれか一項に記載の画像処理装置。
請求項１～８のいずれか一項に記載の画像処理装置。
【請求項10】
前記判定部は、前記リア画像から検出された前記後方車両の端部の位置が、前記リア画像の水平方向又は垂直方向に配置された基準線を超える場合に、前記車両に前記後方車両が接近したと判定する
請求項１～９のいずれか一項に記載の画像処理装置。
請求項１～９のいずれか一項に記載の画像処理装置。
【請求項11】
前記検出部は、前記物体の種別を検出し、
前記判定部は、前記後方車両の種別によって前記基準線の位置を移動する
請求項１０に記載の画像処理装置。
前記判定部は、前記後方車両の種別によって前記基準線の位置を移動する
請求項１０に記載の画像処理装置。
【請求項12】
車両後方の撮影画像を提供するシステムであって、
前記車両後方の複数の撮影画像から１つの合成画像を生成する画像処理装置と、
前記合成画像を表示する表示装置と、を備え、
前記画像処理装置は、
前記車両の後方を撮影したリア画像と、左の後側方及び右の後側方をそれぞれ撮影した２つのサイド画像とを合成し、前記合成画像を生成する合成部と、
前記リア画像及び前記サイド画像から後方車両を含む物体を検出する検出部と、
前記リア画像から検出された前記後方車両が前記車両に接近したか否かを判定する判定部と、を備え、
前記合成部は、
前記後方車両が接近したと判定されるまでは第１モードによって前記合成画像を生成し、前記後方車両が接近したと判定されると前記第１モードを特定の合成モードに切り替えて前記合成画像を生成し、
前記第１モードにおいて、前記サイド画像の一部に前記リア画像を重ね、前記後方車両が接近するほど前記リア画像を重ねる領域を広げ、
前記特定の合成モードにおいて、前記サイド画像の一部に前記リア画像を重ねるが、前記サイド画像から検出された前記物体と前記リア画像の重なりが前記第１モードよりも少ないか、又は前記サイド画像に前記リア画像を重ねない
システム。
前記車両後方の複数の撮影画像から１つの合成画像を生成する画像処理装置と、
前記合成画像を表示する表示装置と、を備え、
前記画像処理装置は、
前記車両の後方を撮影したリア画像と、左の後側方及び右の後側方をそれぞれ撮影した２つのサイド画像とを合成し、前記合成画像を生成する合成部と、
前記リア画像及び前記サイド画像から後方車両を含む物体を検出する検出部と、
前記リア画像から検出された前記後方車両が前記車両に接近したか否かを判定する判定部と、を備え、
前記合成部は、
前記後方車両が接近したと判定されるまでは第１モードによって前記合成画像を生成し、前記後方車両が接近したと判定されると前記第１モードを特定の合成モードに切り替えて前記合成画像を生成し、
前記第１モードにおいて、前記サイド画像の一部に前記リア画像を重ね、前記後方車両が接近するほど前記リア画像を重ねる領域を広げ、
前記特定の合成モードにおいて、前記サイド画像の一部に前記リア画像を重ねるが、前記サイド画像から検出された前記物体と前記リア画像の重なりが前記第１モードよりも少ないか、又は前記サイド画像に前記リア画像を重ねない
システム。
【請求項13】
コンピュータに、
車両の後方を撮影したリア画像と、左の後側方及び右の後側方をそれぞれ撮影した２つのサイド画像とを合成し、１つの合成画像を生成するステップと、
前記リア画像及び前記サイド画像から後方車両を含む物体を検出するステップと、
前記リア画像から検出された前記後方車両が前記車両に接近したか否かを判定するステップと、を実行させるためのプログラムであり、
前記合成画像を生成するステップは、前記後方車両が接近したと判定されるまでは第１モードによって前記合成画像を生成するステップと、前記後方車両が接近したと判定されると前記第１モードを特定の合成モードに切り替えるステップと、前記特定の合成モードによって前記合成画像を生成するステップと、を含み、
前記第１モードによって前記合成画像を生成するステップは、前記サイド画像の一部に前記リア画像を重ね、前記後方車両が接近するほど前記リア画像を重ねる領域を広げ、
前記特定の合成モードによって前記合成画像を生成するステップは、前記サイド画像の一部に前記リア画像を重ねるが、前記サイド画像から検出された前記物体と前記リア画像の重なりが前記第１モードよりも少ないか、又は前記サイド画像に前記リア画像を重ねない
プログラム。
車両の後方を撮影したリア画像と、左の後側方及び右の後側方をそれぞれ撮影した２つのサイド画像とを合成し、１つの合成画像を生成するステップと、
前記リア画像及び前記サイド画像から後方車両を含む物体を検出するステップと、
前記リア画像から検出された前記後方車両が前記車両に接近したか否かを判定するステップと、を実行させるためのプログラムであり、
前記合成画像を生成するステップは、前記後方車両が接近したと判定されるまでは第１モードによって前記合成画像を生成するステップと、前記後方車両が接近したと判定されると前記第１モードを特定の合成モードに切り替えるステップと、前記特定の合成モードによって前記合成画像を生成するステップと、を含み、
前記第１モードによって前記合成画像を生成するステップは、前記サイド画像の一部に前記リア画像を重ね、前記後方車両が接近するほど前記リア画像を重ねる領域を広げ、
前記特定の合成モードによって前記合成画像を生成するステップは、前記サイド画像の一部に前記リア画像を重ねるが、前記サイド画像から検出された前記物体と前記リア画像の重なりが前記第１モードよりも少ないか、又は前記サイド画像に前記リア画像を重ねない
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、システム及びプログラムに関する。
【背景技術】
【0002】
従来、カメラによって車両の後方と左右の後側方とを撮影し、それらを車両内部のディスプレイに表示する運転支援システムが利用されている。後方と後側方とではカメラの位置や画角が異なるため、各撮影画像を単純に連結して１つの画像に合成しただけの合成画像からは、後方車両との距離感がわかりにくいことがある。
【0003】
そこで、視認したときと同様に合成画像を観察できるように、合成時に各撮影画像に画像処理が施されることが一般的である。例えば特許文献１によれば、後方車両との距離感を把握しやすいように、後方の撮影画像が縮小される。また、後方と後側方の各撮影画像間で車線及び地平線が連続するように左右の後側方の撮影画像が変形される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第４７６２６９８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記特許文献１では、各撮影画像中の車線の位置が一致するように、後側方の撮影画像上に後方の撮影画像を重ねる画像処理が行われる。後側方の撮影画像に隣の車線を走行する後方車両が含まれる場合、この後方車両上に後方の撮影画像が重ねられ、合成画像から後側方の後方車両が消失することがある。そのため、後方車両の存在にドライバが気付くのが遅れてしまう可能性がある。
【0006】
本発明は、合成画像からの物体の消失を減らすことを目的とする。
【課題を解決するための手段】
【0007】
本発明は、以下の態様を包含する。
［１］車両後方の複数の撮影画像から１つの合成画像を生成する画像処理装置であって、
前記車両の後方を撮影したリア画像と、左の後側方及び右の後側方をそれぞれ撮影した２つのサイド画像とを合成し、前記合成画像を生成する合成部と、
前記リア画像及び前記サイド画像から後方車両を含む物体を検出する検出部と、
前記リア画像から検出された前記後方車両が前記車両に接近したか否かを判定する判定部と、を備え、
前記合成部は、
前記後方車両が接近したと判定されるまでは第１モードによって前記合成画像を生成し、前記後方車両が接近したと判定されると前記第１モードを特定の合成モードに切り替えて前記合成画像を生成し、
前記第１モードにおいて、前記サイド画像の一部に前記リア画像を重ね、前記後方車両が接近するほど前記リア画像を重ねる領域を広げ、
前記特定の合成モードにおいて、前記サイド画像の一部に前記リア画像を重ねるが、前記サイド画像から検出された前記物体と前記リア画像の重なりが前記第１モードよりも少ないか、又は前記サイド画像に前記リア画像を重ねない
画像処理装置。
［１］車両後方の複数の撮影画像から１つの合成画像を生成する画像処理装置であって、
前記車両の後方を撮影したリア画像と、左の後側方及び右の後側方をそれぞれ撮影した２つのサイド画像とを合成し、前記合成画像を生成する合成部と、
前記リア画像及び前記サイド画像から後方車両を含む物体を検出する検出部と、
前記リア画像から検出された前記後方車両が前記車両に接近したか否かを判定する判定部と、を備え、
前記合成部は、
前記後方車両が接近したと判定されるまでは第１モードによって前記合成画像を生成し、前記後方車両が接近したと判定されると前記第１モードを特定の合成モードに切り替えて前記合成画像を生成し、
前記第１モードにおいて、前記サイド画像の一部に前記リア画像を重ね、前記後方車両が接近するほど前記リア画像を重ねる領域を広げ、
前記特定の合成モードにおいて、前記サイド画像の一部に前記リア画像を重ねるが、前記サイド画像から検出された前記物体と前記リア画像の重なりが前記第１モードよりも少ないか、又は前記サイド画像に前記リア画像を重ねない
画像処理装置。
【0008】
上記［１］によれば、後方車両が接近するまでは第１モードで合成が行われる。第１モードではサイド画像の一部にリア画像が一部重ねられるが、後方車両の位置が遠く、リア画像が重ねられる領域が小さいため、サイド画像中の物体の消失は少ない。一方、後方車両が接近すると特定の合成モードで合成が行われる。特定の合成モードでは、第１モードよりもリア画像が重ねられる領域が小さいか、リア画像が重ねられない。よって、サイド画像中の物体の消失を減らすことができる。
【0009】
［２］前記特定の合成モードは、第２モードを含み、
前記合成部は、前記第２モードにおいて、前記リア画像の縮小画像を生成し、連結した２つの前記サイド画像の中央あるいは前記物体に重ならない位置に前記縮小画像を重ねるか、又は２つの前記各サイド画像の間に前記縮小画像を配置して各画像を連結することにより、前記合成画像を生成する
上記[１]に記載の画像処理装置。
前記合成部は、前記第２モードにおいて、前記リア画像の縮小画像を生成し、連結した２つの前記サイド画像の中央あるいは前記物体に重ならない位置に前記縮小画像を重ねるか、又は２つの前記各サイド画像の間に前記縮小画像を配置して各画像を連結することにより、前記合成画像を生成する
上記[１]に記載の画像処理装置。
【0010】
上記［２］によれば、第２モードの合成により生成された合成画像においてリア画像は縮小されるため、サイド画像に重ねられるリア画像の領域が減る。また縮小画像は、サイド画像上の物体と重なりにくい位置か、又は重ならない位置に配置される。よって、サイド画像中の物体の消失を減らすことができる。
【0011】
［３］前記合成部は、前記縮小画像を透過処理する
上記[２]に記載の画像処理装置。
上記[２]に記載の画像処理装置。
【0012】
上記［３］によれば、縮小画像は透過率が高いため、サイド画像の物体上に縮小画像が重ねられた場合でも、合成画像からの当該物体の消失を防ぐことができる。
【0013】
［４］前記合成部は、前記サイド画像を垂直方向に拡大し、その拡大率を水平方向において前記車両側に近いほど大きくする
上記[２]又は[３]に記載の画像処理装置。
上記[２]又は[３]に記載の画像処理装置。
【0014】
上記［４］によれば、サイド画像は車両に近いほど垂直方向に大きく拡大される。サイド画像中の物体も拡大されるため、リア画像が重ねられたときにも消失しにくくなる。またサイド画像に奥行きを生じさせることができ、視認したときと同じような自然な合成画像を提供できる。
【0015】
［５］前記特定の合成モードは、第３モードを含み、
前記合成部は、前記第３モードにおいて、前記サイド画像の縮小画像を生成し、前記縮小画像を前記リア画像中の前記後方車両の左右にそれぞれ配置することにより、前記合成画像を生成する
上記[１]に記載の画像処理装置。
前記合成部は、前記第３モードにおいて、前記サイド画像の縮小画像を生成し、前記縮小画像を前記リア画像中の前記後方車両の左右にそれぞれ配置することにより、前記合成画像を生成する
上記[１]に記載の画像処理装置。
【0016】
上記［５］によれば、第３モードの合成によりサイド画像が縮小されてリア画像上の左右に重ねられた合成画像が生成される。サイド画像上にリア画像が重ねられないため、リア画像によるサイド画像の物体の消失を減らすことができる。またリア画像中の後方車両は通常、リア画像の中央に位置するため、サイド画像をリア画像上に重ねることによりリア画像の物体の消失も減らすことができる。
【0017】
［６］前記特定のモードは、第４モードを含み、
前記合成部は、前記第４モードにおいて、前記リア画像の両端部を透過処理し、連結した２つの前記サイド画像の中央に透過処理した前記リア画像を重ねることにより、前記合成画像を生成し、
前記リア画像の両端部のうち、前記物体が検出されていないサイド画像側の端部の透過処理範囲を前記リア画像中の前記後方車両の位置に応じて変更し、前記物体が検出されたサイド画像側の端部の透過処理範囲を固定する
上記[１]に記載の画像処理装置。
前記合成部は、前記第４モードにおいて、前記リア画像の両端部を透過処理し、連結した２つの前記サイド画像の中央に透過処理した前記リア画像を重ねることにより、前記合成画像を生成し、
前記リア画像の両端部のうち、前記物体が検出されていないサイド画像側の端部の透過処理範囲を前記リア画像中の前記後方車両の位置に応じて変更し、前記物体が検出されたサイド画像側の端部の透過処理範囲を固定する
上記[１]に記載の画像処理装置。
【0018】
上記［６］によれば、第４モードの合成により、サイド画像同士を連結した中央に両端部が透過処理されたリア画像が配置される。リア画像の端部の透過処理される範囲は、リア画像中の後方車両の接近レベルによって狭められるが、物体が検出されたサイド画像側の端部については透過処理される範囲は固定され、狭められない。透過処理される範囲が広いままであるため、サイド画像中の物体の消失を減らすことができる。
【0019】
［７］前記判定部は、前記サイド画像の特定領域から前記物体が検出されたか否かをさらに判定し、
前記合成部は、前記リア画像中の前記後方車両が前記車両に接近し、かつ前記特定領域から前記物体が検出されたと判定された場合に、前記第１モードを前記特定の合成モードに切り替える
上記[１]～[６]のいずれかに記載の画像処理装置。
前記合成部は、前記リア画像中の前記後方車両が前記車両に接近し、かつ前記特定領域から前記物体が検出されたと判定された場合に、前記第１モードを前記特定の合成モードに切り替える
上記[１]～[６]のいずれかに記載の画像処理装置。
【0020】
上記［７］によれば、サイド画像の車両側の端部にリア画像が重ねられる場合、特定領域に物体が位置するか否かを判定することにより、重ねられたリア画像によって消失しやすい物体か否かを判定することができる。
【0021】
［８］前記特定領域は、前記サイド画像の前記車両側の端部に位置し、
前記判定部は、前記車両と前記後方車両との接近レベルを判定し、前記接近レベルに応じて前記特定領域のサイズを変更する
上記[７]に記載の画像処理装置。
前記判定部は、前記車両と前記後方車両との接近レベルを判定し、前記接近レベルに応じて前記特定領域のサイズを変更する
上記[７]に記載の画像処理装置。
【0022】
上記[８]によれば、後方車両が接近し、リア画像の表示範囲が拡張された場合に合成画像から消失する物体を検出しやすくすることができる。
【0023】
［９］前記合成部は、前記第１モードにおいて、前記リア画像の両端部を透過処理し、連結した２つの前記サイド画像の中央に透過処理した前記リア画像を重ねることにより、前記合成画像を生成し、前記リア画像の両端部の透過処理範囲を前記リア画像中の前記後方車両の位置に応じて変更する
上記[１]～[８]のいずれかに記載の画像処理装置。
上記[１]～[８]のいずれかに記載の画像処理装置。
【0024】
上記［９］によれば、第１モードにおいて、サイド画像上にリア画像を重ねる領域を拡張し、リア画像中に後方車両を含めることができる。よってリア画像中の後方車両が合成画像から消失することを減らすことができる。
【0025】
［１０］前記判定部は、前記リア画像から検出された前記後方車両の端部の位置が、前記リア画像の水平方向又は垂直方向に配置された基準線を超える場合に、前記車両に前記後方車両が接近したと判定する
上記[１]～[９]のいずれかに記載の画像処理装置。
上記[１]～[９]のいずれかに記載の画像処理装置。
【0026】
上記［１０］によれば、基準線との照合によって後方車両の接近を簡易に判定することができる。
【0027】
［１１］前記検出部は、前記物体の種別を検出し、
前記判定部は、前記後方車両の種別によって前記基準線の位置を移動する
上記[１０]に記載の画像処理装置。
前記判定部は、前記後方車両の種別によって前記基準線の位置を移動する
上記[１０]に記載の画像処理装置。
【0028】
上記［１１］によれば、後方車両の種別によって基準線の位置を変更することにより、後方車両の接近を判定するタイミングを簡易に調整することができる。
【0029】
［１２］車両後方の撮影画像を提供するシステムであって、
前記車両後方の複数の撮影画像から１つの合成画像を生成する画像処理装置と、
前記合成画像を表示する表示装置と、を備え、
前記画像処理装置は、
前記車両の後方を撮影したリア画像と、左の後側方及び右の後側方をそれぞれ撮影した２つのサイド画像とを合成し、前記合成画像を生成する合成部と、
前記リア画像及び前記サイド画像から後方車両を含む物体を検出する検出部と、
前記リア画像から検出された前記後方車両が前記車両に接近したか否かを判定する判定部と、を備え、
前記合成部は、
前記後方車両が接近したと判定されるまでは第１モードによって前記合成画像を生成し、前記後方車両が接近したと判定されると前記第１モードを特定の合成モードに切り替えて前記合成画像を生成し、
前記第１モードにおいて、前記サイド画像の一部に前記リア画像を重ね、前記後方車両が接近するほど前記リア画像を重ねる領域を広げ、
前記特定の合成モードにおいて、前記サイド画像の一部に前記リア画像を重ねるが、前記サイド画像から検出された前記物体と前記リア画像の重なりが前記第１モードよりも少ないか、又は前記サイド画像に前記リア画像を重ねない
システム。
前記車両後方の複数の撮影画像から１つの合成画像を生成する画像処理装置と、
前記合成画像を表示する表示装置と、を備え、
前記画像処理装置は、
前記車両の後方を撮影したリア画像と、左の後側方及び右の後側方をそれぞれ撮影した２つのサイド画像とを合成し、前記合成画像を生成する合成部と、
前記リア画像及び前記サイド画像から後方車両を含む物体を検出する検出部と、
前記リア画像から検出された前記後方車両が前記車両に接近したか否かを判定する判定部と、を備え、
前記合成部は、
前記後方車両が接近したと判定されるまでは第１モードによって前記合成画像を生成し、前記後方車両が接近したと判定されると前記第１モードを特定の合成モードに切り替えて前記合成画像を生成し、
前記第１モードにおいて、前記サイド画像の一部に前記リア画像を重ね、前記後方車両が接近するほど前記リア画像を重ねる領域を広げ、
前記特定の合成モードにおいて、前記サイド画像の一部に前記リア画像を重ねるが、前記サイド画像から検出された前記物体と前記リア画像の重なりが前記第１モードよりも少ないか、又は前記サイド画像に前記リア画像を重ねない
システム。
【0030】
上記［１２］によれば、後方車両が接近するまでは第１モードで合成が行われる。第１モードではサイド画像の一部にリア画像が一部重ねられるが、後方車両の位置が遠く、リア画像が重ねられる領域が小さいため、サイド画像中の物体の消失は少ない。一方、後方車両が接近すると特定の合成モードで合成が行われる。特定の合成モードでは、第１モードよりもリア画像が重ねられる領域が小さいか、リア画像が重ねられない。よって、サイド画像中の物体の消失を減らすことができる。
【0031】
［１３］コンピュータに、
車両の後方を撮影したリア画像と、左の後側方及び右の後側方をそれぞれ撮影した２つのサイド画像とを合成し、１つの合成画像を生成するステップと、
前記リア画像及び前記サイド画像から後方車両を含む物体を検出するステップと、
前記リア画像から検出された前記後方車両が前記車両に接近したか否かを判定するステップと、を実行させるためのプログラムであり、
前記合成画像を生成するステップは、前記後方車両が接近したと判定されるまでは第１モードによって前記合成画像を生成するステップと、前記後方車両が接近したと判定されると前記第１モードを特定の合成モードに切り替えるステップと、前記特定の合成モードによって前記合成画像を生成するステップと、を含み、
前記第１モードによって前記合成画像を生成するステップは、前記サイド画像の一部に前記リア画像を重ね、前記後方車両が接近するほど前記リア画像を重ねる領域を広げ、
前記特定の合成モードによって前記合成画像を生成するステップは、前記サイド画像の一部に前記リア画像を重ねるが、前記サイド画像から検出された前記物体と前記リア画像の重なりが前記第１モードよりも少ないか、又は前記サイド画像に前記リア画像を重ねない
プログラム。
車両の後方を撮影したリア画像と、左の後側方及び右の後側方をそれぞれ撮影した２つのサイド画像とを合成し、１つの合成画像を生成するステップと、
前記リア画像及び前記サイド画像から後方車両を含む物体を検出するステップと、
前記リア画像から検出された前記後方車両が前記車両に接近したか否かを判定するステップと、を実行させるためのプログラムであり、
前記合成画像を生成するステップは、前記後方車両が接近したと判定されるまでは第１モードによって前記合成画像を生成するステップと、前記後方車両が接近したと判定されると前記第１モードを特定の合成モードに切り替えるステップと、前記特定の合成モードによって前記合成画像を生成するステップと、を含み、
前記第１モードによって前記合成画像を生成するステップは、前記サイド画像の一部に前記リア画像を重ね、前記後方車両が接近するほど前記リア画像を重ねる領域を広げ、
前記特定の合成モードによって前記合成画像を生成するステップは、前記サイド画像の一部に前記リア画像を重ねるが、前記サイド画像から検出された前記物体と前記リア画像の重なりが前記第１モードよりも少ないか、又は前記サイド画像に前記リア画像を重ねない
プログラム。
【0032】
上記［１３］によれば、後方車両が接近するまでは第１モードで合成が行われる。第１モードではサイド画像の一部にリア画像が一部重ねられるが、後方車両の位置が遠く、リア画像が重ねられる領域が小さいため、サイド画像中の物体の消失は少ない。一方、後方車両が接近すると特定の合成モードで合成が行われる。特定の合成モードでは、第１モードよりもリア画像が重ねられる領域が小さいか、リア画像が重ねられない。よって、サイド画像中の物体の消失を減らすことができる。
【発明の効果】
【0033】
本発明によれば、合成画像からの物体の消失を減らすことができる。
【図面の簡単な説明】
【0034】
【図1】一実施形態の運転支援システムの構成を示すブロック図である。
【図2】車内での表示装置の配置例を示す図である。
【図3】第１実施形態における合成画像を生成する合成処理を示すフローチャートである。
【図4A】後方車両の接近の判定方法を説明する図である。
【図4B】後方車両の接近の判定方法を説明する図である。
【図5A】第１モードの合成方法を説明する図である。
【図5B】第１モードの合成方法を説明する図である。
【図6A】合成画像からの後側方車両の消失を説明する図である
【図6B】第２モードの合成画像の例を示す図である。
【図7A】第２モードの合成画像の他の例を示す図である。
【図7B】第２モードの合成画像の他の例を示す図である。
【図7C】第２モードの合成画像の他の例を示す図である。
【図8】第２実施形態における合成処理を示すフローチャートである。
【図9】特定領域の例を示す図である。
【図10】第３モードの合成画像の例を示す図である。
【図11】第３実施形態における合成処理を示すフローチャートである。
【図12】第４モードの合成画像の例を示す図である。
【発明を実施するための形態】
【0035】
以下、本発明の画像処理装置、システム及びプログラムの実施の形態について、図面を参照して説明する。
【0036】
＜第１実施形態＞
図１は、第１実施形態の運転支援システム１００の構成を示す。
運転支援システム１００は、車両に搭載され、当該車両の後方及び後側方の撮影画像を表示することによって、ドライバの運転を支援する。
図１は、第１実施形態の運転支援システム１００の構成を示す。
運転支援システム１００は、車両に搭載され、当該車両の後方及び後側方の撮影画像を表示することによって、ドライバの運転を支援する。
【0037】
図１に示すように、運転支援システム１００は、画像表示システム２５、３つのカメラ３Ｃ、３Ｌ及び３Ｒ、各種センサ４及び計測装置５等を備える。画像表示システム２５は、画像処理装置１０及び表示装置２０を備える。
【0038】
カメラ３Ｃ、３Ｌ及び３Ｒは、それぞれ車両の後方、左の後側方及び右の後側方を連続的に撮影し、時系列の撮影画像を順次生成する。以下、後方の撮影画像をリア画像、後側方の撮影画像をサイド画像という。後方を撮影するカメラ３Ｃは、例えばナンバープレート付近に配置される。左右の後側方を撮影するカメラ３Ｌ及び３Ｒは、例えば左右のサイドミラーの位置にそれぞれ設けられる。
【0039】
計測装置５は、車両周辺の物体、例えば車両、人等の位置、方向、物体までの距離、物体の移動速度等を計測する。計測装置５としては、例えば超音波ソナー又はミリ波レーダー等が挙げられる。運転支援システム１００は、これら計測装置５から車両周辺の物体の計測情報を取得することができる。
【0040】
センサ４は、車両の状態を検出する。センサ４としては、例えば車速センサ、舵角センサ、ウィンカーセンサ等の車両に搭載された各種センサが挙げられる。運転支援システム１００は、これらセンサ４からの検出信号を車両の状態を示す情報として取得することができる。
【0041】
（表示装置）
表示装置２０は、画像処理装置１０によって生成された合成画像を表示する。表示装置２０は、一般的な縦横比を有する車載用ディスプレイであってもよいし、縦に対する横の比率が長いルームミラー型のディスプレイであってもよい。
表示装置２０は、画像処理装置１０によって生成された合成画像を表示する。表示装置２０は、一般的な縦横比を有する車載用ディスプレイであってもよいし、縦に対する横の比率が長いルームミラー型のディスプレイであってもよい。
【0042】
図２は、車両における表示装置２０の配置例を示す。
表示装置２０は、車両の室内のダッシュボード２１上か、又はフロントウインドウ２２の上部中央付近にインナーミラーに代えて設置される。図２において、表示装置２０は、横長の単一の液晶ディスプレイ等により構成され、これに１つの合成画像Ｊが表示される。
表示装置２０は、車両の室内のダッシュボード２１上か、又はフロントウインドウ２２の上部中央付近にインナーミラーに代えて設置される。図２において、表示装置２０は、横長の単一の液晶ディスプレイ等により構成され、これに１つの合成画像Ｊが表示される。
【0043】
カメラ３Ｃ、３Ｌ及び３Ｒにより撮影された画像（映像）は合成され、表示装置２０には１つの合成画像Ｊが表示される。合成画像Ｊにおいて、左側にはカメラ３Ｌの撮影画像ＪＬが表示され、中央にはカメラ３Ｃの撮影画像ＪＣが表示され、右側にはカメラ３Ｒの撮影画像ＪＲが表示される。
【0044】
なお、表示装置２０は、一列に連結された複数台のディスプレイにより構成されてもよい。この場合、１つの合成画像Ｊが分割され、各分割画像が各ディスプレイの表示領域に表示される。
【0045】
（画像処理装置）
画像処理装置１０は、カメラ３Ｃにより撮影されたリア画像と、カメラ３Ｌ及び３Ｒにより撮影されたサイド画像とを１つの画像に合成する。
画像処理装置１０は、カメラ３Ｃにより撮影されたリア画像と、カメラ３Ｌ及び３Ｒにより撮影されたサイド画像とを１つの画像に合成する。
【0046】
画像処理装置１０は、補正部１１、検出部１２、判定部１３、合成部１４及び表示制御部１５を備える。画像処理装置１０の各部の機能は、車両に搭載されるＥＣＵ（Electronic Control Unit）、マイクロコンピュータ等のコンピュータによりプログラムを読み取って実行されるソフトウェア処理により実現されてもよい。また画像処理装置１０の各部が、ＦＰＧＡ（field-programmable gate array）のようなハードウェアによって構成されてもよい。
【0047】
補正部１１は、リア画像及びサイド画像に歪み補正、色補正等の補正処理を施す。
【0048】
検出部１２は、補正処理後の各画像に含まれる物体を検出する。検出対象の物体としては、例えば車両、人、動物、ガードレール、又は建物等が挙げられる。検出方法は特に限定されないが、例えば深層学習（ディープラーニング）を用いた検出を行うことができる。
【0049】
深層学習では、検出部１２は、車種や遠近感が異なる車両、人等の検出対象を様々な方向から撮影した複数の撮影画像を訓練データとして使用し、検出対象の物体の特徴を学習する。例えば、検出部１２は、バスや乗用車の特徴を学習し、これらと類似する特徴を有する画像部分を車両として検出することができる。車種ごとの特徴を学習することにより、車両の車種も判別することができる。
【0050】
検出部１２は、検出した物体を囲む検出枠を画像中に設定することができる。本実施形態において、検出枠は四角形状であるが、検出枠のサイズが物体のサイズと略一致するのであれば、形状は四角形状に限られない。例えば、検出枠は物体の輪郭を縁取る形状であってもよいし、水平方向及び垂直方向のサイズが物体と同じ楕円形状等であってもよい。
【0051】
判定部１３は、検出部１２によりリア画像から検出された後方車両が、車両に接近したか否かを判定する。判定部１３は、センサ４により検出される車両の状態又は計測装置５により計測された物体の位置や速度等の情報を、判定に使用することができる。
【0052】
合成部１４は、補正処理後のリア画像及びサイド画像を合成して、１つの合成画像を生成する。合成部１４は、複数の合成モードを有し、判定部１３の判定結果に応じて合成モードを切り替える。
【0053】
表示制御部１５は、合成部１４により生成された合成画像を表示装置２０により表示させる。
【0054】
図３は、画像処理装置が合成画像を生成する合成処理を示す。この合成処理は、各カメラ３Ｃ、３Ｌ及び３Ｒにより１フレームの撮影画像が入力されるごとに繰り返される。
各カメラ３Ｃ、３Ｌ及び３Ｒによりリア画像及びサイド画像が撮影されると、画像処理装置１０では、補正部１１が各画像を補正処理する（ステップＳ１１）。検出部１２は、補正処理後のリア画像及びサイド画像に含まれる物体及びその種別を検出する（ステップＳ１２）。
各カメラ３Ｃ、３Ｌ及び３Ｒによりリア画像及びサイド画像が撮影されると、画像処理装置１０では、補正部１１が各画像を補正処理する（ステップＳ１１）。検出部１２は、補正処理後のリア画像及びサイド画像に含まれる物体及びその種別を検出する（ステップＳ１２）。
【0055】
リア画像から検出された物体のなかに車両が含まれる場合、つまりリア画像から後方車両が検出された場合、判定部１３は当該後方車両が車両に接近したか否かを判定する（ステップＳ１３）。判定部１３は、計測装置５から取得した計測情報に基づいて後方車両の接近を判定することもできるし、リア画像を解析することによって後方車両の接近を判定することもできる。
【0056】
図４Ａ及び図４Ｂは、リア画像の解析による後方車両の接近の判定方法を説明する。
図４Ａに示すように、判定部１３は、垂直方向ｙに平行な２本の基準線Ｌ１１と、水平方向ｘに平行な２本の基準線Ｌ２１とを、リア画像ＪＣ上に配置する。２本の基準線Ｌ１１は、水平方向ｘにおけるリア画像ＪＣの中心線から一定距離離れた左右の位置にそれぞれ配置される。２本の基準線Ｌ２１は、リア画像ＪＣの下端からそれぞれ所定の距離離れた位置に配置される。
図４Ａに示すように、判定部１３は、垂直方向ｙに平行な２本の基準線Ｌ１１と、水平方向ｘに平行な２本の基準線Ｌ２１とを、リア画像ＪＣ上に配置する。２本の基準線Ｌ１１は、水平方向ｘにおけるリア画像ＪＣの中心線から一定距離離れた左右の位置にそれぞれ配置される。２本の基準線Ｌ２１は、リア画像ＪＣの下端からそれぞれ所定の距離離れた位置に配置される。
【0057】
後方車両５１が車両に接近するほど、後方車両５１はリア画像ＪＣの下側に位置し、画像中のサイズも大きくなる。よって、判定部１３は、リア画像ＪＣにおいて検出された後方車両５１の端部の位置、例えば後方車両５１に設定された検出枠の４辺の位置がすべての基準線Ｌ１１及びＬ２１を超えてその外側にある場合、後方車両５１が車両に接近したと判定することができる。このように、基準線Ｌ１１及びＬ２１との照合によって後方車両５１の接近を簡易に判定することができる。
【0058】
基準線Ｌ１１及びＬ２１の位置は、あらかじめ計測して決定することができる。例えば車両の後方１５ｍの位置まで後方車両５１が接近したときのリア画像ＪＣにおいて、後方車両５１の水平方向ｘの両端と垂直方向ｙの両端の位置を計測し、これを基準線Ｌ１１及びＬ２１の位置として決定することができる。
【0059】
本実施形態のように、基準線Ｌ１１及びＬ２１を用いて水平方向ｘ及び垂直方向ｙの両方で判定することが判定の精度が高く、好ましい。簡易に判定する場合は、基準線Ｌ１１及びＬ２１のいずれかを用いて水平方向ｘ及び垂直方向ｙの一方のみで判定することができる。
【0060】
判定部１３は、基準線Ｌ１１及びＬ２１の位置を、後方車両５１の車種によって移動することができる。例えば、トラックやバス等の大型車両は普通車両及び軽車両に比べて車幅が大きい。よって、図４Ｂに示すように、基準線Ｌ１１よりも間隔が狭い基準線Ｌ１２か、又は基準線Ｌ２１よりも上側に位置する基準線Ｌ２２を用いて接近を判定することにより、接近したと判定するタイミングを早めることができる。基準線Ｌ１１及びＬ２１の位置を変更する簡単な操作によって後方車両５１の接近を判定するタイミングを簡易に調整することができる。
【0061】
後方車両５１が接近していないと判定された場合（ステップＳ１３：ＮＯ）、合成部１４は合成モードを第１モードに切り替える（ステップＳ１４）。後方車両５１が接近したと判定された場合（ステップＳ１３：ＹＥＳ）、合成部１４は合成モードを第２モードに切り替える（ステップＳ１７）。合成部１４は、補正処理後のリア画像ＪＣ、サイド画像ＪＬ及びＪＲを用いて、切り替えた合成モードにより合成画像を生成する。
【0062】
図５Ａ及び図５Ｂは、第１モードによる合成方法を説明する。
図５Ａに示すように、カメラ３Ｃの撮影範囲６１Ｃは、カメラ３Ｌ及び３Ｒの撮影範囲６１Ｌ及び６１Ｒと一部が重複する。合成部１４は、車両５０の後方ｎ（ｍ）（例えば、ｎ＝１５）の合成面Ｌ３においてリア画像ＪＣ、サイド画像ＪＬ及びＪＲがシームレスに合成されるように、リア画像ＪＣ、サイド画像ＪＬ及びＪＲの各トリミング範囲６２Ｃ、６２Ｌ及び６２Ｒ、パン、チルト及びロールを調整する。
図５Ａに示すように、カメラ３Ｃの撮影範囲６１Ｃは、カメラ３Ｌ及び３Ｒの撮影範囲６１Ｌ及び６１Ｒと一部が重複する。合成部１４は、車両５０の後方ｎ（ｍ）（例えば、ｎ＝１５）の合成面Ｌ３においてリア画像ＪＣ、サイド画像ＪＬ及びＪＲがシームレスに合成されるように、リア画像ＪＣ、サイド画像ＪＬ及びＪＲの各トリミング範囲６２Ｃ、６２Ｌ及び６２Ｒ、パン、チルト及びロールを調整する。
【0063】
合成部１４は、左右のサイド画像ＪＬ及びＪＲを連結し、その中央にリア画像ＪＣを重ねたレイヤ構造の合成画像Ｊを生成する（ステップＳ１５）。合成部１４は、リア画像ＪＣの両端部Ｃｓを透過処理することにより、合成画像Ｊにおけるリア画像ＪＣの表示範囲６３Ｃを狭めて、サイド画像ＪＬ及びＪＲの表示範囲６３Ｌ及び６３Ｒを広げる（ステップＳ１６）。
【0064】
図５Ａにおいて、いずれのトリミング範囲６２Ｃ、６２Ｌ及び６２Ｒにもない領域は合成画像Ｊ上の死角となる。リア画像ＪＣ中に検出された後方車両５１が車線変更等によりこの死角に移動すると、後方車両５１が合成画像Ｊから消失する。このような消失を防ぐため、第１モードにおいて、合成部１４は、合成画像Ｊにおいてリア画像ＪＣの表示範囲６３Ｃを決定する境界線Ｌ１の位置を、リア画像ＪＣ中の後方車両５１の位置に応じて変更する。
【0065】
図５Ｂに示すように、後方車両５１が車両５０側に接近しつつ右の後側方の位置に移動した場合、合成部１４は、リア画像ＪＣから検出された後方車両５１の検出枠のすべてがリア画像ＪＣ中に含まれるように、境界線Ｌ１の位置を車両５０側に移動することができる。その結果、リア画像ＪＣにおいて透過処理する右側の端部Ｃｓの範囲を減らすことができる。これにより、トリミング範囲６２Ｃ、６２Ｌ及び６２Ｒが変わり、合成画像Ｊにおけるリア画像ＪＣの表示範囲６３Ｃが右側に広がって、その分だけ右のサイド画像ＪＲの表示範囲６３Ｒが減る。このように、リア画像ＪＣの表示範囲６３Ｃを変更することで、合成画像Ｊの死角の位置をずらし、後方車両５１の消失を減らしている。
【0066】
第１モードでは、リア画像ＪＣの表示範囲６３Ｃの変更によって、サイド画像ＪＬ及びＪＲ中の後側方車両が合成画像Ｊから消失することがある。
図６Ａは、第１モードの合成画像の例を示す。
図６Ａに示すように、リア画像ＪＣ中に車両５０と同一車線を走行中の後方車両５１が検出され、左のサイド画像ＪＬ中に隣の車線を走行中の後側方車両５２が検出されている。
図６Ａは、第１モードの合成画像の例を示す。
図６Ａに示すように、リア画像ＪＣ中に車両５０と同一車線を走行中の後方車両５１が検出され、左のサイド画像ＪＬ中に隣の車線を走行中の後側方車両５２が検出されている。
【0067】
第１モードでは、後方車両５１が車両５０に接近するほど、後方車両５１の消失を防ぐためにリア画像ＪＣの表示範囲６３Ｃが広がっていく。つまり、サイド画像ＪＬ及びＪＲに重なるリア画像ＪＣの領域が広がる。その結果、サイド画像ＪＬ中の後側方車両５２上にもリア画像ＪＣが重なると、後側方車両５２が合成画像Ｊから消失する。このような消失を防ぐため、リア画像ＪＣ中の後方車両５１が接近したと判定されると、合成部１４は第２モードに切り替える。
【0068】
【0069】
合成部１４は、左右のサイド画像ＪＬ及びＪＲを連結する。このとき、合成部１４は、左右のサイド画像ＪＬ及びＪＲを拡大することができる。これにより、サイド画像ＪＬ及びＪＲ中の後側方車両５２のサイズも拡大され、後側方車両５２の確認が容易になる。合成部１４は、連結したサイド画像ＪＬ及びＪＲの中央にリア画像ＪＣの縮小画像ＪＣａを重ねて、合成画像Ｊを生成する（ステップＳ１９）。縮小によってリア画像ＪＣが重ねられる領域が減るため、後側方車両５２にリア画像ＪＣが重ならず、後側方車両５２が合成画像Ｊから消失していない。
【0070】
合成部１４は、合成画像Jの下部中央に車両５０のアイコン画像５０ａを表示し、その上部にリア画像ＪＣの縮小画像ＪＣａを配置することができる。リア画像ＪＣの縮小により後方車両５１との距離感が把握しづらくなるが、アイコン画像５０ａにより車両５０と後方車両５１との位置関係が明確となる。
【0071】
図７Ａ～図７Ｃは、第２モードによる合成画像の他の例を示す。
図７Ａに示すように、合成部１４は、リア画像ＪＣの縮小画像ＪＣａを透過処理することができる。縮小画像ＪＣａは透過率が高いため、サイド画像ＪＬ中の後側方車両５２上に縮小画像ＪＣａが重ねられた場合でも後側方車両５２が合成画像Ｊから消失することを防ぐことができる。
図７Ａに示すように、合成部１４は、リア画像ＪＣの縮小画像ＪＣａを透過処理することができる。縮小画像ＪＣａは透過率が高いため、サイド画像ＪＬ中の後側方車両５２上に縮小画像ＪＣａが重ねられた場合でも後側方車両５２が合成画像Ｊから消失することを防ぐことができる。
【0072】
透過処理する場合は、透過処理しない場合よりも縮小画像ＪＣａの縮小率を小さくしてもよい。縮小画像ＪＣａのサイズが大きくなるため、ドライバは後方車両５１を把握しやすくなる。サイズが大きくても透過処理されているため、後側方車両５２の視認も可能である。
【0073】
図７Ｂに示すように、合成部１４は、リア画像ＪＣの縮小画像ＪＣａを、サイド画像ＪＬ中の後側方車両５２と重ならない位置に重ねることができる。例えば、合成部１４は、サイド画像ＪＬ中の地平線又は車線を検出し、これらよりも上部の道路ではない領域に縮小画像ＪＣａを配置することができる。縮小画像ＪＣａが後側方車両５２上に重なることがないため、合成画像Ｊからの後側方車両５２の消失を防ぐことができる。
【0074】
図７Ｃに示すように、合成部１４は、各サイド画像ＪＬ及びＪＲの間にリア画像ＪＣの縮小画像ＪＣａを配置して各画像を連結してもよい。リア画像ＪＣがサイド画像ＪＬ及びＪＲと重ならないため、合成画像Ｊからの後側方車両５２の消失を防ぐことができる。
【0075】
合成部１４は、自然な合成画像Ｊを提供するため、サイド画像ＪＬ及びＪＲを変形してもよい。具体的には、図７Ｃに示すように、合成部１４は、サイド画像ＪＬ及びＪＲを垂直方向ｙに拡大し、その拡大率を車両５０側に近いほど大きくする。さらに合成部１４は、サイド画像ＪＬ及びＪＲを水平方向ｘに縮小することが好ましい。このように変形されたサイド画像ＪＬ及びＪＲでは無限遠点がより遠くなり、奥行きのある自然な画像となる。後側方車両５２の距離感を把握しやすい合成画像Ｊを提供でき、合成画像Ｊ上の車両５０近傍の死角も減る。
【0076】
以上のように、第１実施形態によれば、リア画像ＪＣ中の後方車両５１の接近が判定され、接近するまでは第１モードにより、接近した場合には第２モードにより、合成画像Ｊが生成される。第２モードでは、リア画像ＪＣが縮小されるため、リア画像ＪＣがサイド画像ＪＬ又はＪＲの一部に重ねられても、その重なりが第1モードよりも小さい。または、リア画像ＪＣがサイド画像ＪＬ又はＪＲに重ねられない。よって、リア画像ＪＣがサイド画像ＪＬ及びＪＲ中の後側方車両５２に重なって消失することを減らすことができる。
【0077】
＜第２実施形態＞
第２実施形態では、画像処理装置１０において次のような合成処理が行われる。合成処理の内容が異なるのみで、第１実施形態と第２実施形態における画像処理装置１０及び運転支援システム１００の構成は同じである。
第２実施形態では、画像処理装置１０において次のような合成処理が行われる。合成処理の内容が異なるのみで、第１実施形態と第２実施形態における画像処理装置１０及び運転支援システム１００の構成は同じである。
【0078】
図８は、第２実施形態における合成処理を示す。この合成処理は、各カメラ３Ｃ、３Ｌ及び３Ｒからリア画像ＪＣ、サイド画像ＪＬ及びＪＲが入力されるごとに繰り返される。
各カメラ３Ｃ、３Ｌ及び３Ｒによりリア画像ＪＣ、サイド画像ＪＬ及びＪＲが生成されると、画像処理装置１０では、補正部１１が各画像を補正処理する（ステップＳ２１）。検出部１２は、補正処理後のリア画像ＪＣ、サイド画像ＪＬ及びＪＲに含まれる物体及びその種別を検出する（ステップＳ２２）。
各カメラ３Ｃ、３Ｌ及び３Ｒによりリア画像ＪＣ、サイド画像ＪＬ及びＪＲが生成されると、画像処理装置１０では、補正部１１が各画像を補正処理する（ステップＳ２１）。検出部１２は、補正処理後のリア画像ＪＣ、サイド画像ＪＬ及びＪＲに含まれる物体及びその種別を検出する（ステップＳ２２）。
【0079】
リア画像ＪＣから後方車両５１が検出された場合、判定部１３は当該後方車両５１が車両５０に接近したか否かを判定する（ステップＳ２３）。判定方法は、第１実施形態と同じであるので、ここでは詳細な説明を省略する。
【0080】
リア画像ＪＣ中の後方車両５１が接近したと判定された場合（ステップＳ２３：ＹＥＳ）、判定部１３はさらにサイド画像ＪＬ及びＪＲの特定領域において物体が検出されたか否かを判定する（ステップＳ２４）。特定領域は、第１モードにおいてリア画像ＪＣが重ねられる領域である。すなわち、ステップＳ２４では、リア画像ＪＣによって合成画像Ｊから消失する可能性があるサイド画像ＪＬ及びＪＲ中の物体の有無が判定される。ここで判定対象となる物体は、車両、人、又は二輪車等のドライバに注意を促すべき物体である。
【0081】
図９は、特定領域の例を示す。
特定領域６６は、左のサイド画像ＪＬ及び右のサイド画像ＪＲの車両５０側の端部に位置する。判定部１３は、特定領域６６のサイズを、リア画像ＪＣ中の後方車両５１の接近レベルに応じて変更することができる。後方車両５１が車両５０から遠い位置にある場合、リア画像ＪＣの表示範囲６３Ｃの拡張もないため、特定領域６６のサイズも小さくてよい。逆に後方車両５１が車両５０に近いと表示範囲６３Ｃが拡張されるため、特定領域６６のサイズを大きくすることにより、サイド画像ＪＬ中の後側方車両５２のように合成画像Ｊから消失する物体を検出しやすくすることができる。
特定領域６６は、左のサイド画像ＪＬ及び右のサイド画像ＪＲの車両５０側の端部に位置する。判定部１３は、特定領域６６のサイズを、リア画像ＪＣ中の後方車両５１の接近レベルに応じて変更することができる。後方車両５１が車両５０から遠い位置にある場合、リア画像ＪＣの表示範囲６３Ｃの拡張もないため、特定領域６６のサイズも小さくてよい。逆に後方車両５１が車両５０に近いと表示範囲６３Ｃが拡張されるため、特定領域６６のサイズを大きくすることにより、サイド画像ＪＬ中の後側方車両５２のように合成画像Ｊから消失する物体を検出しやすくすることができる。
【0082】
後方車両５１の接近レベルは、後方車両５１の車両５０からの距離、移動速度、又は車両５０に到達するまでの時間等によって判定することができる。距離、移動速度又は到達時間は、計測装置５によって計測することもできるし、判定部１３がリア画像ＪＣ中の後方車両５１の位置やサイズ等から解析することもできる。例えば、車両５０からの距離が１５ｍ未満、１５ｍ以上３０ｍ未満、及び３０ｍ以上の３つの接近レベルに対して、それぞれ大、中及び小サイズの特定領域６６が割り当てられる。判定部１３は、計測装置５により計測された距離から接近レベルを判定し、当該接近レベルに割り当てられたサイズの特定領域６６を使用することができる。
【0083】
リア画像ＪＣ中の後方車両５１が接近していない場合（ステップＳ２３：ＮＯ）、合成部１４は合成モードを第１モードに切り替える（ステップＳ２５）。リア画像ＪＣ中の後方車両５１が接近していても（ステップＳ２３：ＹＥＳ）、サイド画像ＪＬ又はＪＲの特定領域６６に物体が検出されていない場合（ステップＳ２４：ＮＯ）、合成部１４は第１モードに切り替える（ステップＳ２５）。
【0084】
合成部１４は、第１モードにおいて、サイド画像ＪＬ及びＪＲを連結し、その中央にリア画像ＪＣを重ねて合成画像Ｊを生成する（ステップＳ２６）。さらに合成部１４は、リア画像ＪＣの両端部Ｃｓを透過処理する（ステップＳ２７）。第１モードによる合成方法は、第１実施形態で説明した方法と同じであるので、ここでは詳細な説明を省略する。
【0085】
一方、リア画像ＪＣ中の後方車両５１が接近し（ステップＳ２３：ＹＥＳ）、かつサイド画像ＪＬ及びＪＲの特定領域６６の物体が検出された場合（ステップＳ２４：ＹＥＳ）、合成部１４は合成モードを第３モードに切り替える（ステップＳ２８）。
【0086】
図１０は、第３モードによる合成画像の例を示す。
第３モードでは、合成部１４は、リア画像ＪＣを表示装置２０の表示領域全体に拡大する（ステップＳ２９）。次いで、合成部１４は、サイド画像ＪＬ及びＪＲの縮小画像ＪＬａ及びＪＲａを生成してリア画像ＪＣ上の左右に重ね、合成画像Ｊを生成する（ステップＳ３０）。合成部１４は、縮小画像ＪＬａ及びＪＲａをリア画像ＪＣ中の後方車両５１の左右、例えばドアミラーの位置に配置することができる。これにより、後方車両５１と左右側方の物体、例えば後側方車両５２の位置関係と距離感の把握が容易となる。
第３モードでは、合成部１４は、リア画像ＪＣを表示装置２０の表示領域全体に拡大する（ステップＳ２９）。次いで、合成部１４は、サイド画像ＪＬ及びＪＲの縮小画像ＪＬａ及びＪＲａを生成してリア画像ＪＣ上の左右に重ね、合成画像Ｊを生成する（ステップＳ３０）。合成部１４は、縮小画像ＪＬａ及びＪＲａをリア画像ＪＣ中の後方車両５１の左右、例えばドアミラーの位置に配置することができる。これにより、後方車両５１と左右側方の物体、例えば後側方車両５２の位置関係と距離感の把握が容易となる。
【0087】
以上のように、第２実施形態によれば、リア画像ＪＣ中の後方車両５１の接近と、サイド画像ＪＬ及びＪＲ中の物体（例えば、後側方車両５２等）が判定され、後方車両５１が接近し、かつ物体が検出されるまでは第１モードにより、後方車両５１が接近し、かつ物体が検出された場合には第３モードにより、合成画像Ｊが生成される。
【0088】
第３モードでは、サイド画像ＪＬ及びＪＲ上にリア画像ＪＣが重ねられないため、サイド画像ＪＬ及びＪＲ中の後側方車両５２が消失することがない。また、リア画像ＪＣ中の後方車両５１は通常、リア画像ＪＣの中央に位置するため、サイド画像ＪＬ及びＪＲによる後方車両５１の消失も減らすことができる。
【0089】
＜第３実施形態＞
第３実施形態では、画像処理装置１０において次のような合成処理が行われる。合成処理の内容が異なるのみで、第１実施形態と第３実施形態における画像処理装置１０及び運転支援システム１００の構成は同じである。
第３実施形態では、画像処理装置１０において次のような合成処理が行われる。合成処理の内容が異なるのみで、第１実施形態と第３実施形態における画像処理装置１０及び運転支援システム１００の構成は同じである。
【0090】
図１１は、第３実施形態における合成処理を示す。この合成処理は、各カメラ３Ｃ、３Ｌ及び３Ｒからリア画像ＪＣ、サイド画像ＪＬ及びＪＲが入力されるごとに繰り返される。
各カメラ３Ｃ、３Ｌ及び３Ｒによりリア画像ＪＣ、サイド画像ＪＬ及びＪＲが生成されると、画像処理装置１０では、補正部１１が各画像を補正処理する（ステップＳ４１）。検出部１２は、補正処理後のリア画像ＪＣ、サイド画像ＪＬ及びＪＲに含まれる物体及びその種別を検出する（ステップＳ４２）。
各カメラ３Ｃ、３Ｌ及び３Ｒによりリア画像ＪＣ、サイド画像ＪＬ及びＪＲが生成されると、画像処理装置１０では、補正部１１が各画像を補正処理する（ステップＳ４１）。検出部１２は、補正処理後のリア画像ＪＣ、サイド画像ＪＬ及びＪＲに含まれる物体及びその種別を検出する（ステップＳ４２）。
【0091】
リア画像ＪＣから後方車両５１が検出された場合、判定部１３は当該後方車両５１が車両５０に接近したか否かを判定する（ステップＳ４３）。判定方法は、第１実施形態と同じであるので、ここでは詳細な説明を省略する。
【0092】
リア画像ＪＣ中の後方車両５１が接近したと判定された場合（ステップＳ４３：ＹＥＳ）、判定部１３はさらにサイド画像ＪＬ及びＪＲの特定領域６６において物体が検出されたか否かを判定する（ステップＳ４４）。判定方法は、第２実施形態と同じであるので、ここでは詳細な説明を省略する。
【0093】
リア画像ＪＣ中の後方車両５１が接近していない場合（ステップＳ４３：ＮＯ）、合成部１４は合成モードを第１モードに切り替える（ステップＳ４５）。またリア画像ＪＣ中の後方車両５１が接近していても（ステップＳ４３：ＹＥＳ）、サイド画像ＪＬ又はＪＲの特定領域６６に物体が検出されていない場合（ステップＳ４４：ＮＯ）、合成部１４は第１モードに切り替える（ステップＳ４５）。
【0094】
合成部１４は、第１モードにおいて、サイド画像ＪＬ及びＪＲを連結し、その中央にリア画像ＪＣを重ねて合成画像Ｊを生成する（ステップＳ４６）。さらに合成部１４は、リア画像ＪＣの両端部Ｃｓを透過処理する（ステップＳ４７）。第１モードによる合成方法は、第１実施形態で説明した方法と同じであるので、ここでは詳細な説明を省略する。
【0095】
一方、リア画像ＪＣ中の後方車両５１が接近し（ステップＳ４３：ＹＥＳ）、かつサイド画像ＪＬ及びＪＲの特定領域６６の物体が検出された場合（ステップＳ４４：ＹＥＳ）、合成部１４は合成モードを第４モードに切り替える（ステップＳ４８）。
【0096】
図１２は、第４モードの合成画像の例を示す。
第４モードにおいて、合成部１４は、第１モードと同様にサイド画像ＪＬ及びＪＲ上にリア画像ＪＣを重ねて合成する（ステップＳ４９）。また合成部１４は、リア画像ＪＣの端部Ｃｓを透過処理する（ステップＳ５０）。
第４モードにおいて、合成部１４は、第１モードと同様にサイド画像ＪＬ及びＪＲ上にリア画像ＪＣを重ねて合成する（ステップＳ４９）。また合成部１４は、リア画像ＪＣの端部Ｃｓを透過処理する（ステップＳ５０）。
【0097】
第１モードでは、透過処理する端部Ｃｓの範囲がリア画像ＪＣ中の後方車両５１の位置によって変動する。第４モードでも、合成部１４は、後側方車両５２が検出されたサイド画像ＪＬ又はＪＲ側の端部Ｃｓの透過処理範囲をリア画像ＪＣ中の後方車両５１の位置に応じて変更する。
【0098】
しかし、第４モードでは、合成部１４は、図１２に示すように、後側方車両５２が検出されたサイド画像ＪＬ側の端部Ｃｓの透過処理範囲を固定する。これにより、後方車両５１が接近してもサイド画像ＪＬ上にリア画像ＪＣが重ねられる領域は拡張されないため、リア画像ＪＣの重なりによる後側方車両５２の消失を減らすことができる。
【0099】
以上のように、第３実施形態によれば、リア画像ＪＣ中の後方車両５１の接近と、サイド画像ＪＬ及びＪＲ中の消失する可能性がある物体が判定される。後方車両５１が接近し、かつ物体があると判定されるまでは第１モードにより、後方車両５１が接近し、かつ物体があると判定された場合には第４モードにより、合成画像Ｊが生成される。
【0100】
第４モードでは、物体が検出されたサイド画像ＪＬ又はＪＲ側へのリア画像ＪＣの表示範囲６３Ｃの拡張はなく、サイド画像ＪＬ又はＪＲの表示範囲６３Ｌ又は６３Ｒが固定される。リア画像ＪＣがサイド画像ＪＬ又はＪＲの一部に重ねられるが、その重なりが広がることはなく、第1モードよりも重なる領域が小さい。よって、リア画像ＪＣによりサイド画像ＪＬ又はＬＲ中の後側方車両５２が合成画像Ｊから消失することを減らすことができる。
【0101】
上記実施形態は本発明の好適な一例であり、これに限定されず、適宜変更可能である。
例えば、上記第２及び第３実施形態では、後方車両５１が接近し、かつサイド画像ＪＬ又はＪＲの特定領域６６に物体がある場合に第３モード又は第４モードに切り替えられた。これにより、特定領域６６に物体がない場合は、当該物体の消失もないため、不要な合成モードの切り替えを避けることができるが、後方車両５１が接近したと判定された段階で、特定領域６６の物体の有無によらず第３モード又は第４モードに切り替えてもよい。
例えば、上記第２及び第３実施形態では、後方車両５１が接近し、かつサイド画像ＪＬ又はＪＲの特定領域６６に物体がある場合に第３モード又は第４モードに切り替えられた。これにより、特定領域６６に物体がない場合は、当該物体の消失もないため、不要な合成モードの切り替えを避けることができるが、後方車両５１が接近したと判定された段階で、特定領域６６の物体の有無によらず第３モード又は第４モードに切り替えてもよい。
【0102】
また第１実施形態では、後方車両５１の接近のみが判定されたが、第２及び第３実施形態のように、さらにサイド画像ＪＬ又はＪＲの特定領域６６に物体の有無が判定されてもよい。後方車両５１が接近し、かつ特定領域６６に物体があると判定された場合に第２モードに切り替えられてもよい。
【符号の説明】
【0103】
１００ 運転支援システム
２５ 画像表示システム
１０ 画像処理装置
１２ 検出部
１３ 判定部
１４ 合成部
１５ 表示制御部
２０ 表示装置
３Ｃ、３Ｌ、３Ｒ カメラ
２５ 画像表示システム
１０ 画像処理装置
１２ 検出部
１３ 判定部
１４ 合成部
１５ 表示制御部
２０ 表示装置
３Ｃ、３Ｌ、３Ｒ カメラ
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5A】
【図5B】
【図6A】
【図6B】
【図7A】
【図7B】
【図7C】
【図8】
【図9】
【図10】
【図11】
【図12】