特許 7280006 画像処理装置、画像処理方法および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-15

(45)【発行日】2023-05-23

(54)【発明の名称】画像処理装置、画像処理方法および画像処理プログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20230516BHJP

   B60R 1/26 20220101ALI20230516BHJP

   G03B 15/00 20210101ALI20230516BHJP

   G06T 1/00 20060101ALI20230516BHJP

   H04N 7/18 20060101ALI20230516BHJP

   H04N 23/55 20230101ALI20230516BHJP

【ＦＩ】

H04N23/60 500

B60R1/26

G03B15/00 V

G03B15/00 W

G06T1/00 330B

H04N7/18 J

H04N7/18 V

H04N23/55

【請求項の数】 20

(21)【出願番号】P 2019144115

(22)【出願日】2019-08-06

(65)【公開番号】P2021027469

(43)【公開日】2021-02-22

【審査請求日】2022-06-17

(73)【特許権者】

【識別番号】000101732

【氏名又は名称】アルパイン株式会社

(74)【代理人】

【識別番号】100098497

【弁理士】

【氏名又は名称】片寄 恭三

(74)【代理人】

【識別番号】100099748

【弁理士】

【氏名又は名称】佐藤 克志

(74)【代理人】

【識別番号】100103171

【弁理士】

【氏名又は名称】雨貝 正彦

(74)【代理人】

【識別番号】100105784

【弁理士】

【氏名又は名称】橘 和之

(72)【発明者】

【氏名】須田 亮平

(72)【発明者】

【氏名】本田 圭助

(72)【発明者】

【氏名】松▲崎▼ 千絵

【審査官】佐藤 直樹

(56)【参考文献】

【文献】特開２０１８－１１７３２０（ＪＰ，Ａ）

【文献】特開２０１４－２３６４１５（ＪＰ，Ａ）

【文献】特開２０１５－０７４４３６（ＪＰ，Ａ）

【文献】特開２００７－２９５３５７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｂ６０Ｒ １／２６

Ｇ０３Ｂ １５／００

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２３／５５

(57)【特許請求の範囲】

【請求項1】

車両の側部に取り付けられ、車体領域を含む側部後方を撮像した第１の画像を提供する第１の撮像手段と、
車両の後部に取り付けられ、第１の画角で撮像された車両後方を含む第２の画像を提供する第２の撮像手段と、
車両の後部に取り付けられ、第１の画角よりも狭い第２の画角で撮像された車両後方を含む第３の画像を提供する第３の撮像手段と、
第１の画像の車体領域に、当該車体領域に対応する第２の画像と第３の画像とを合成可能な合成手段とを有し、
前記合成手段は、第３の画像の死角領域が予め決められた条件を満足するとき、当該死角領域を第２の画像で補完する、画像処理装置。

【請求項2】

前記合成手段は、第３の画像の死角領域が前記予め決められた条件を満足しないとき、当該死角領域を第２の画像で補完することなく第１の画像の車体領域に第２の画像のみを合成する、請求項１に記載の画像処理装置。

【請求項3】

前記予め決められた条件は、死角領域が生じる位置を規定する、請求項１または２に記載の画像処理装置。

【請求項4】

前記予め決められた条件は、死角領域が生じる個数を規定する、請求項１または２に記載の画像処理装置。

【請求項5】

前記予め決められた条件は、死角領域が生じる大きさを規定する、請求項１または２に記載の画像処理装置。

【請求項6】

前記予め決められた条件は、車両の後方物体までの距離を規定する、請求項１または２に記載の画像処理装置。

【請求項7】

前記合成手段は、第３の画像の死角領域が後方物体の下側にのみ生じる場合には、当該死角領域を第２の画像によって補完する、請求項１ないし６いずれか１つに記載の画像処理装置。

【請求項8】

前記合成手段は、第３の画像の死角領域が後方物体の下側以外にも生じる場合には、当該死角領域を第２の画像で補完することなく第１の画像の車体領域に第２の画像のみを合成する、請求項１ないし７いずれか１つに記載の画像処理装置。

【請求項9】

前記合成手段は、第３の画像の死角領域の動的な変化に応答して当該死角領域を第２の画像で補完し、または第２の画像で補完することなく第１の画像の車体領域に第２の画像のみを合成する、請求項１ないし８いずれか１つに記載の画像処理装置。

【請求項10】

前記合成手段は、第２の画像および第３の画像を用いた合成から第２の画像を用いた合成に遷移するとき、第２の画像と第３の画像の重複領域において第２の画像の透過率が徐々に大きくなるように画像の合成を制御する、請求項９に記載の画像処理装置。

【請求項11】

画像処理装置はさらに、後方物体までの距離を算出する算出手段を含み、
前記合成手段は、前記算出された距離に基づき投影面を設定し、設定される投影面に第１の画像、第２の画像および第３の画像の座標を変換し、変換された第１の画像の車体領域に、変換された第２の画像および第３の画像を合成する、請求項１ないし１０いずれか１つに記載の画像処理装置。

【請求項12】

前記算出手段は、第２の画像と第３の画像とをステレオ視したときの視差から後方物体までの距離を算出する、請求項１１に記載の画像処理装置。

【請求項13】

前記算出手段は、レーダーまたはLiDAR等の距離センサにより後方物体までの距離を算出する、請求項１１に記載の画像処理装置。

【請求項14】

第２の画像は、車両が後進するときのリアビュー用の画像として利用可能であり、第３の画像は、ルームミラー用の画像として利用可能である、請求項１ないし１３いずれか１つに記載の画像処理装置。

【請求項15】

画像処理装置はさらに、前記合成手段によって合成された画像を表示する表示手段を含む、請求項１ないし１４いずれか１つに記載の画像処理装置。

【請求項16】

前記第２の撮像手段は、撮像範囲が広角である魚眼レンズを含み、前記第３の撮像手段は、魚眼レンズよりも撮像範囲が相対的に狭い挟角レンズを含む、請求項１ないし１５いずれか１つに記載の画像処理装置。

【請求項17】

車両の側部に取り付けられ、車体領域を含む側部後方を撮像した第１の画像を提供する第１の撮像手段と、車両の後部に取り付けられ、第１の画角で撮像された車両後方を含む第２の画像を提供する第２の撮像手段と、車両の後部に取り付けられ、第１の画角よりも狭い第２の画角で撮像された車両後方を含む第３の画像を提供する第３の撮像手段とを含む画像処理装置における画像処理方法であって、
第１の画像の車体領域に、当該車体領域に対応する第２の画像および第３の画像を合成可能な合成ステップを含み、
前記合成ステップは、第３の画像の死角領域が予め決められた条件を満足するとき、当該死角領域を第２の画像で補完する、画像処理方法。

【請求項18】

前記合成ステップは、第３の画像の死角領域が前記予め決められた条件を満足しないとき、当該死角領域を第２の画像で補完することなく第１の画像の車体領域に第２の画像のみを合成する、請求項１７の画像処理方法。

【請求項19】

車両の側部に取り付けられ、車体領域を含む側部後方を撮像した第１の画像を提供する第１の撮像手段と、車両の後部に取り付けられ、第１の画角で撮像された車両後方を含む第２の画像を提供する第２の撮像手段と、車両の後部に取り付けられ、第１の画角よりも狭い第２の画角で撮像された車両後方を含む第３の画像を提供する第３の撮像手段とを含む画像処理装置が実行する画像処理プログラムであって、
第１の画像の車体領域に、当該車体領域に対応する第２の画像および第３の画像を合成可能な合成ステップを含み、
前記合成ステップは、第３の画像の死角領域が予め決められた条件を満足するとき、当該死角領域を第２の画像で補完する、画像処理プログラム。

【請求項20】

前記合成ステップは、第３の画像の死角領域が前記予め決められた条件を満足しないとき、当該死角領域を第２の画像で補完することなく第１の画像の車体領域に第２の画像のみを合成する、請求項１９に記載の画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車載カメラで撮像された画像を処理する画像処理装置に関し、特に、サイドカメラで撮像された画像にリアカメラで撮像された画像を合成する方法に関する。

【背景技術】

【0002】

運転者の運転支援や視認性の向上を図るため、車載カメラで撮像された画像をディスプレイに表示するＣＭＳ（Camera Monitor System）が車両に搭載されている。例えば、サイドミラーの代替手段としてサイドカメラが車両の側部に取り付けられ、サイドカメラで撮像された車両の側部後方の画像がディスプレイに表示される。サイドカメラで撮像された画像には、光学式のサイドミラーの画像と同様に自車の車体の一部が含まれるが、この車体により死角となる領域を、リアカメラの画像と合成して、車体が透けているように見せる手法がある（以後、これをシースルービューと呼ぶ）。

【0003】

特許文献１は、図１に示すように、サイドカメラの画像とリアカメラの画像とを合成するに際して、右カメラ３Ｒにより撮像された右カメラ画像と右カメラ３Ｒの基準車体マスク画像とを第１視野変換処理して視野変換画像Ｒと視野変換した車体マスク画像を生成し、後方カメラ３Ｂで撮像された後方カメラ画像を第２視野変換処理して視野変換画像Ｂ^Ｒを生成し、視野変換した車体マスク画像の画素値に基づいて、視野変換画像Ｒと視野変換画像Ｂ^Ｒとを合成する。こうして、視野変換画像Ｒの車体領域に後方カメラ３Ｂで撮像された後方カメラ画像が合成され、車体による死角を補完するシースルービューが生成される。なお、特許文献１では、超音波やレーザー等の距離センサを用いて自車後方の投影面の位置を算出し、その投影面で画像の合成を行っている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１５－７４４３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来のシースルービューの生成方法の概略工程を図２に示す。図２（Ａ）は、サイドカメラで車両の側部後方の画像が撮像されることを示し、図２（Ｂ）は、魚眼レンズのリアカメラで車両の後方の画像が撮像されることを示し、図２（Ｃ）は、リアカメラで撮像された画像の認識処理により後方車両を検出し、後方車両までの距離を算出することを示し、図２（Ｄ）は、算出された距離に従いバーチャルプレーン（投影面）をセットし、かつバーチャルプレーン上にリアカメラで撮像された画像を投影することを示し、図２（Ｅ）は、サイドカメラの画像と投影された画像との合成を示している。

【0006】

リアカメラは、通常、車両後部に取り付けられ、リアカメラで撮像された後方画像は、自車が後進するときの駐車支援や障害物検知等に利用される。このため、リアカメラは、自車の後端付近の路面を撮像することができるように、画角の大きな魚眼レンズを用いている（例えば、画角は１８０度かそれ以上）。一方、サイドカメラは、ドアミラー近傍の車両側部に取り付けられ、車両の側部後方の遠方まで撮像することができるように、その画角はリアカメラの画角よりも小さい（例えば、９０度以下）。

【0007】

図３は、リアカメラに、視野角Ｓ１が大きい魚眼カメラを用いたときの撮像範囲と、視野角Ｓ２が狭い挟角カメラを用いたときの撮像範囲を模式的に示している。Ｐは、シースルービューを生成するために設定される投影面であり、サイドカメラで撮像された画像およびリアカメラで撮像された画像は投影面Ｐに投影されるように座標変換される。投影面Ｐは、後方車両１０の位置によって動的に変化し、後方車両１０が自車Ｍに接近すると、魚眼カメラでは画質が上がり、他方、挟角カメラでは死角が大きくなる傾向にある。

【0008】

リアカメラに魚眼カメラを用いた場合、視野範囲が広いため車両後端付近の真下の路面まで撮像することができる。つまり、後方車両１０が自車Ｍに接近しても、後方車両１０を満遍なく撮像することができる、死角（撮像できない範囲）は少ない。しかし、視野範囲が広いため画質が低くなりかつ収差が大きいため、後方車両１０までの距離が大きくなると、その画像が不鮮明になりかつ歪みが大きくなる。これに対して、リアカメラに挟角カメラを用いた場合、視野範囲が狭いため画質が高くなりかつ収差が小さいために、後方車両１０までの距離が大きくてもその画像は鮮明である。しかし、後方車両１０が自車Ｍに接近すると、挟角カメラで撮像することができなくなる死角が大きくなる。このように魚眼カメラと挟角カメラには一長一短がある。

【0009】

図４（Ａ）は、リアカメラに魚眼カメラを用いてシースルービューを生成したときの表示例である。この場合、サイドカメラの画像の車体領域のシースルー部分、つまり魚眼カメラの画像で合成された部分の画質が低下する。図４（Ｂ）は、リアカメラに挟角カメラを用いてシースルービューを生成したときの表示例である。この場合、シースルー部の画質は良好であるが、後方車両１０が接近すると、死角領域ＢＬが生じてしまう。図４（Ｂ）には、後方車両の上側、側部、下側の３か所の死角領域ＢＬが示されている。このように従来のシースルービューの生成では、サイドカメラで撮像された画像に魚眼カメラまたは挟角カメラで撮像された画像を合成したとき、鮮明な画像を得ることができないという課題があった。

【0010】

本発明は、このような従来の課題を解決し、複数の撮像手段で撮像された画像の合成を鮮明にすることができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明に係る画像処理装置は、車両の側部に取り付けられ、車体領域を含む側部後方を撮像した第１の画像を提供する第１の撮像手段と、車両の後部に取り付けられ、第１の画角で撮像された車両後方を含む第２の画像を提供する第２の撮像手段と、車両の後部に取り付けられ、第１の画角よりも狭い第２の画角で撮像された車両後方を含む第３の画像を提供する第３の撮像手段と、第１の画像の車体領域に、当該車体領域に対応する第２の画像と第３の画像とを合成可能な合成手段とを有する。

【0012】

ある実施態様では、前記合成手段は、第３の画像の死角領域を第２の画像で補完する。ある実施態様では、前記合成手段は、第３の画像の死角領域が予め決められた条件を満足するとき、当該死角領域を第２の画像で補完する。ある実施態様では、前記合成手段は、第３の画像の死角領域が前記予め決められた条件を満足しないとき、当該死角領域を第２の画像で補完することなく第１の画像の車体領域に第２の画像のみを合成する。ある実施態様では、前記予め決められた条件は、死角領域が生じる位置、死角領域が生じる個数、死角領域が生じる大きさ、または車両の後方物体までの距離を規定する。ある実施態様では、前記合成手段は、第３の画像の死角領域が後方物体の下側にのみ生じる場合には、当該死角領域を第２の画像によって補完する。ある実施態様では、前記合成手段は、第３の画像の死角領域が後方物体の下側以外にも生じる場合には、当該死角領域を第２の画像で補完することなく第１の画像の車体領域に第２の画像のみを合成する。ある実施態様では、前記合成手段は、第３の画像の死角領域の動的な変化に応答して当該死角領域を第２の画像で補完し、または第２の画像で補完することなく第１の画像の車体領域に第２の画像のみを合成する。ある実施態様では、前記合成手段は、第２の画像および第３の画像を用いた合成から第２の画像を用いた合成に遷移するとき、第２の画像と第３の画像の重複領域において第２の画像の透過率が徐々に大きくなるように画像の合成を制御する。ある実施態様では、画像処理装置はさらに、後方物体までの距離を算出する算出手段を含み、前記合成手段は、前記算出された距離に基づき投影面を設定し、設定される投影面に第１の画像、第２の画像および第３の画像の座標を変換し、変換された第１の画像の車体領域に、変換された第２の画像および第３の画像を合成する。ある実施態様では、前記算出手段は、第２の画像と第３の画像とをステレオ視したときの視差から後方物体までの距離を算出する。ある実施態様では、前記算出手段は、レーダーまたはLiDAR等の距離センサにより後方物体までの距離を算出する。ある実施態様では、第２の画像は、車両が後進するときのリアビュー用の画像として利用可能であり、第３の画像は、ルームミラー用の画像として利用可能である。ある実施態様では、画像処理装置はさらに、前記合成手段によって合成された画像を表示する表示手段を含む。ある実施態様では、前記第２の撮像手段は、撮像範囲が広角である魚眼レンズを含み、前記第３の撮像手段は、魚眼レンズよりも撮像範囲が相対的に狭い挟角レンズを含む。

【0013】

本発明に係る画像処理方法は、車両の側部に取り付けられ、車体領域を含む側部後方を撮像した第１の画像を提供する第１の撮像手段と、車両の後部に取り付けられ、第１の画角で撮像された車両後方を含む第２の画像を提供する第２の撮像手段と、車両の後部に取り付けられ、第１の画角よりも狭い第２の画角で撮像された車両後方を含む第３の画像を提供する第３の撮像手段とを含む画像処理装置におけるものであって、第１の画像の車体領域に、当該車体領域に対応する第２の画像および第３の画像を合成可能な合成ステップを含む。

【0014】

ある実施態様では、前記合成ステップは、第３の画像の死角領域が予め決められた条件を満足するとき、当該死角領域を第２の画像で補完する。ある実施態様では、前記合成ステップは、第３の画像の死角領域が前記予め決められた条件を満足しないとき、当該死角領域を第２の画像で補完することなく第１の画像の車体領域に第２の画像のみを合成する。

【0015】

本発明に係る画像処理プログラムは、車両の側部に取り付けられ、車体領域を含む側部後方を撮像した第１の画像を提供する第１の撮像手段と、車両の後部に取り付けられ、第１の画角で撮像された車両後方を含む第２の画像を提供する第２の撮像手段と、車両の後部に取り付けられ、第１の画角よりも狭い第２の画角で撮像された車両後方を含む第３の画像を提供する第３の撮像手段とを含む画像処理装置が実行するものであって、第１の画像の車体領域に、当該車体領域に対応する第２の画像および第３の画像を合成可能な合成ステップを含む。

【0016】

ある実施態様では、前記合成ステップは、第３の画像の死角領域が予め決められた条件を満足するとき、当該死角領域を第２の画像で補完する。ある実施態様では、前記合成ステップは、第３の画像の死角領域が前記予め決められた条件を満足しないとき、当該死角領域を第２の画像で補完することなく第１の画像の車体領域に第２の画像のみを合成する。

【発明の効果】

【0017】

本発明によれば、第１の画角で撮像された第２の画像と第１の画角よりも狭い第２の画角で撮像された第３の画像を、第１の画像の車体領域に合成可能としたことにより、第１の画角で撮像された画像と第２の画角で撮像された画像のそれぞれの利点（すなわち、第１の画角で撮像された画像は撮像範囲が広く死角が生じ難く、第２の画角で撮像された画像は画質が高い）を合成画像に活かし、鮮明な合成画像を得ることができる。

【図面の簡単な説明】

【0018】

【図1】従来のサイドカメラで撮像された画像にリアカメラで撮像された画像を合成する例を示す図である。

【図2】従来のシースルービューの生成方法を説明する図である。

【図3】リアカメラに魚眼カメラと挟角カメラを用いたときの視野範囲の模式図である。

【図4】図４（Ａ）は、魚眼カメラを用いたときのシースルービューの表示例、図４（Ｂ）は、挟角カメラを用いたときのシースルービューの表示例である。

【図5】本発明の実施例に係る画像処理装置の構成を示すブロック図である。

【図6】本発明の実施例に係る撮像カメラの取り付け例を示す平面図である。

【図7】本発明の実施例に係るシースルービューの生成動作を説明するフローである。

【図8】本発明の実施例に係る挟角カメラの画像の死角領域を魚眼カメラの画像で補完し、これをサイドカメラの画像に合成してシースルービューを生成する例を示す図である。

【図9】本発明の実施例に係る魚眼カメラの画像のみをサイドカメラの画像に合成してシースルービューを生成する例を示す図である。

【図10】本発明の変形例に係る挟角カメラの画像と魚眼カメラの画像との合成方法を説明する図である。

【発明を実施するための形態】

【0019】

本発明に係る画像処理装置は、移動体等に取り付けられた撮像カメラで撮像された画像を合成する機能を有する。合成された画像は、ＣＭＳ(Camera Monitor System)に用いられ、ディスプレイに表示される。１つの好ましい態様では、画像処理装置は、サイドカメラで撮像された画像に含まれる車体の死角となる領域に、リアカメラで撮像された画像を合成し、シースルービューを生成する。

【実施例】

【0020】

図５は、本発明の実施例に係る画像処理装置の構成を示すブロック図である。本実施例の画像処理装置１００は、車両に取り付けられた複数の撮像カメラ１１０Ｌ、１１０Ｒ、１２０、１３０と、これら撮像カメラで撮像された画像を受け取り、画像処理等を含む種々の制御を行う制御部１４０と、自車の後方の対象物（例えば、後方車両など）までの距離を算出する距離算出部１５０と、制御部１４０で画像処理された画像を表示する表示部１６０とを備えている。本実施例の画像処理装置は、車両に搭載された車載装置（例えば、オーディオ・ビジュアル・ナビゲーション機能等を備えた電子装置）と連携した動作をすることも可能である。

【0021】

図６は、撮像カメラの取り付け例を示す車両の平面図である。撮像カメラ１１０～１３０は、例えば、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子と撮像レンズとを含む。撮像カメラ１１０Ｌ、１１０Ｒは、サイドミラーを代替するサイドカメラであり、車両Ｍの左右のサイドミラー内またはその近傍にそれぞれ取り付けられ、あるいはサイドミラーに置換される（以後、サイドカメラ１１０Ｌ、１１０Ｒという）。サイドカメラ１１０Ｌ、１１０Ｒの撮像レンズの画角θ１、すなわち撮像範囲は、例えば光軸から９０度かそれ以下である。光学式のサイドミラーに映される画像には、車両Ｍの周辺物体との位置関係を把握し易くするため車体の側部が映される。このため、サイドカメラ１１０Ｌ、１１０Ｒの光軸は、少なくとも光学式のサイドミラーと同様に、車体の側部の一部が撮像されるように調整される。

【0022】

車両Ｍの後部には、２つの撮像カメラ１２０、１３０が取り付けられる。撮像カメラ１２０は、車両Ｍの後部の左右のほぼ中央であって、例えば、ナンバープレートやバンパーの高さ近傍に取り付けられる。撮像カメラ１２０は、広い視野角の魚眼レンズを含み、その画角θ２は、約１８０度かそれよりも大きい（以後、魚眼カメラという）。魚眼カメラ１２０は、車両Ｍの後方を広範囲で撮像し、撮像された画像は、車両Ｍの後端の路面を含む。魚眼レンズ１２０で撮像された画像は、車両Ｍが後進するとき（つまり、ギアポジションがバックのとき）、表示部１６０にリアビューとして表示される。運転者は、リアビューを視認しながら後方の障害物を確認したり、駐車を行う。また、魚眼カメラ１２０で撮像された画像は、後述するように、サイドカメラ１１０Ｌ、１１０Ｒで撮像された画像の合成にも利用される。

【0023】

もう１つの撮像カメラ１３０は、車両Ｍの後部の魚眼カメラ１２０とほぼ同じ高さに、魚眼カメラ１２０から一定距離だけ離れた位置に取り付けられる。撮像カメラ１３０は、魚眼レンズよりも画角が小さい撮像レンズを含み、その画角θ３は、約９０度かそれ以下である（以下、挟角カメラという）。挟角カメラ１３０は、ルームミラーの代替として利用することが可能であり、この場合、ルームミラーで映される画像と同様の撮像範囲で車両Ｍの後方を撮像する。挟角カメラ１３０で撮像された画像は、車両が前進するときなどに表示部１５０にリアビューとして表示される。また、挟角カメラ１３０は、魚眼カメラ１２０とともに、サイトカメラ１１０Ｌ、１１０Ｒで撮像された画像の合成にも利用される。

【0024】

制御部１４０は、サイドカメラ１１０Ｌ、１１０Ｒ、魚眼カメラ１２０、挟角カメラ１３０で撮像された画像を受け取り、受け取った画像を処理し、これを表示部１６０に表示させる。制御部１４０は、距離算出部１５０で算出された後方の対象物までの距離に基づき投影面Ｐ（図３を参照）を設定し、投影面Ｐ上に、それぞれ取り付け位置や画角が異なる各カメラ１１０～１３０で撮像された画像を投影するため、これらの画像の座標変換を行う。制御部１４０は、投影面Ｐにおいて、サイドカメラ１１０Ｌ、１１０Ｒ、魚眼カメラ１２０、挟角カメラ１３０の変換された各画像の画素間の対応関係を算出する。シースルービューを生成する場合、制御部１４０は、投影面Ｐ上のサイドカメラ１１０Ｌ、１１０Ｒの画像において、車体領域の画像に対応する魚眼カメラ１２０および挟角カメラ１３０の画像を識別または抽出し、識別または抽出した画像を車体領域に合成する。さらに、制御部１４０は、サイドカメラの取付け位置、光軸の方向、撮像範囲、車体形状等から、投影面Ｐ上のサイドカメラ１１０Ｌ、１１０Ｒの画像において、どの領域が車体領域に対応するかを算出する。

【0025】

制御部１４０は、例えば、画像処理を行うためのプロセッサ、マイクロコンピュータ、ＲＯＭ／ＲＡＭ等を含み、１つの好ましい例では、制御部１４０は、ＲＯＭ／ＲＡＭに格納された画像処理プログラムを実行することで、ハードウエアを制御し、シースルービューやリアビュー等の画像を生成するために必要な画像処理を行う。

【0026】

距離算出部１５０は、自車Ｍの後方の対象物までの距離を算出する。算出は、例えば、一定周期で行われる。対象物は、例えば、自車の後方を走行する後方車両、あるいは自車の後方に存在する障害物や道路などである。距離の算出方法は、例えば、レーダーやLiDRAのような距離センサを用いて対象物までの距離を算出したり、あるいは、魚眼カメラ１２０と挟角カメラ１３０の２つの画像をステレオ視することで対象物の距離を算出する。後者の場合、距離算出部１５０は、投影面Ｐに変換された２つの画像をステレオ視し、その示唆から対象物の距離を算出する。距離算出部１５０は、距離を算出する都度、これを制御部１４０へ提供する。制御部１４０は、距離算出部１５０から受け取った距離に基づきシースルービューを生成するための投影面Ｐを設定する。この投影面Ｐの位置は、対象物までの距離に応じてその都度変化する。

【0027】

表示部１６０は、制御部１４０で処理された画像データを受け取り、これを表示する。表示部１６０は、液晶ディスプレイ、有機ＥＬディスプレイ、投射装置（ＨＵＤ）等の表示媒体を１つまたは複数含む。表示部１６０の取り付け位置は特に限定されないが、例えば、インスツルメンツパネル内の液晶表示モジュールであったり、車載装置用のディスプレイであったり、フロントガラス等への投射画像である。１つの好ましい例では、表示部１６０は、サイドミラー１１０Ｌ、１１０Ｒで撮像された車両の側部後方の画像を表示（シースルービュー表示）したり、魚眼カメラ１２０で撮像された車両の後方画像を表示（リアビュー表示）したり、挟角カメラ１３０で撮像された車両の後方画像を表示（ルームミラービュー表示）する。

【0028】

次に、本実施例のシースルービューの生成について説明する。図７は、本実施例によるシースルービューの生成動作を説明するフローである。シースルービューの生成は、サイドカメラ１１０Ｌ、１１０Ｒに共通に行われるので、ここでは、サイドカメラ１１０Ｌについて説明する。

【0029】

制御部１４０は、サイドカメラ１１０Ｌで撮像された画像、魚眼カメラ１２０で撮像された画像、および挟角カメラ１３０で撮像された画像を受け取る（Ｓ１００）。また、距離算出部１５０は、車両後方の対象物までの距離を算出し（Ｓ１１０）、算出した距離を制御部１４０へ提供する。

【0030】

制御部１４０は、距離算出部１５０から距離を受け取ると、距離に基づき投影面Ｐを設定し、投影面Ｐ上に、サイドカメラ１１０Ｌ、魚眼カメラ１２０および挟角カメラ１３０で撮像された画像の座標を変換する（Ｓ１２０）。

【0031】

次に、制御部１４０は、サイドカメラ１１０Ｌの画像の車体領域に挟角カメラ１３０の画像を合成する場合に、挟角カメラ１３０の画像に死角が生じるか否かを判定する（Ｓ１３０）。挟角カメラ１３０は、例えば、画角θ３（または撮像範囲）が約９０度であり、車両のバンパー近傍に取り付けられ、自車から後方物体までの距離が、例えば約１．４ｍ程度になると、後方物体の全体を撮像することができない死角が発生し得る。制御部１４０は、投影面Ｐにおいて、サイドミラー１１０Ｌの車体領域の座標空間を算出しており、この座標空間に対応する画素の全てを挟角カメラ１３０で撮像することができれば、死角が発生しないと判定し、撮像することができなければ、死角が発生すると判定する。

【0032】

制御部１４０は、車体領域に合成すべき挟角カメラ１３０の画像に死角が発生しない場合には、挟角カメラ１３０の画像をサイドミラー１１０Ｌの画像の車体領域に合成する（Ｓ１５０）。車体領域が挟角カメラ１３０の高画質な画像で合成されるため、シースルービューをより鮮明に表示させることができる。

【0033】

一方、合成すべき挟角カメラ１３０の画像に死角が発生する場合には、制御部１４０は、その死角が予め決められた条件に合致するか否かを判定する（Ｓ１６０）。予め決められた条件とは、挟角カメラ１３０の画像の死角領域を、魚眼カメラ１２０の画像で補完するか否かを決定するための条件である。例えば、死角領域が比較的目立たないよう位置、大きさ、個数であれば、これを画質の低い魚眼カメラ１２０の画像で補完しても、画像の鮮明さに大きな影響を及ぼさない。他方、死角領域が後方車両の一部に重複したり、サイズが相対的に大きかったり、あるいは多数発生した場合、これを魚眼カメラ１２０の画像で補完すると、却って画像が不鮮明になる。この場合は、死角領域を魚眼カメラ１２０の画像で補完するよりも、むしろ挟角カメラ１３０の画像を使用せず、魚眼カメラ１２０の画像のみを合成させた方が合成画像を鮮明にすることができる。

【0034】

予め決められた条件は、上記のように死角領域が発生する位置、大きさ、個数を規定するものであってもよいし、あるいは、死角領域の発生は、距離算出部１５０で算出された距離の関数でもあるので、この距離を条件にしてもよい。この場合、自車から後方物体までの距離が閾値以上であれば条件に合致し、それ未満であれば条件に合致しないと判定する。

【0035】

制御部１４０は、死角が予め決められた条件に合致する場合には（Ｓ１６０）、挟角カメラ１３０の死角領域を、魚眼カメラ１２０の対応する画像で補完し、この補完された挟角カメラ１３０の画像と魚眼カメラ１２０の画像とを、サイドカメラ１１０Ｌの画像の車体領域に合成する（Ｓ１７０）。投影面Ｐにおいて、挟角カメラ１３０と魚眼カメラ１２０との画素の対応関係は分かるため、死角領域に対応する魚眼カメラ１３０の画像が抽出されまたは切り出され、これが死角領域に合成される。

【0036】

死角領域を魚眼カメラ１３０の画像で補完する例を図８に示す。この例では、挟角カメラの画像の死角領域ＢＬは、後方車両の下側のあまり目立たない部分に発生している。それ故、制御部１４０は、死角領域が条件に合致すると判定し、死角領域ＢＬに対応する画像を魚眼カメラ１３０から抽出または切り出し、これを死角領域ＢＬに合成することで死角領域ＢＬを補完する。そして、死角領域ＢＬが補完された画像が、サイドカメラ１１０Ｌの画像の車体領域に合成し、シースルービューが生成される。

【0037】

シースルービューの「Ｑ」は、サイドカメラの車体領域の境界を示し、「Ｔ」は、挟角カメラ１３０の画像と魚眼カメラ１２０の画像との境界を示している。この境界Ｔは、後方車両と路面との近傍にあるため、あまり目立たない。また、挟角カメラ１２０の画像を合成しているため、サイドカメラ１１０Ｌの画像と同程度の画質を得ることができ、かつ死角領域が魚眼カメラ１３０の画像で補完されおり、比較的鮮明な高画質のシースルービューを得ることができる。

【0038】

一方、死角が予め決められた条件に合致しない場合には（Ｓ１６０）、制御部１４０は、挟角カメラ１３０の死角領域を魚眼カメラ１２０の画像で補完することなく、魚眼カメラ１２０の画像のみをサイドカメラ１１０Ｌの画像の車体領域に合成する（Ｓ１８０）。この合成の様子を図９に示す。ここでは、挟角カメラ１３０の画像には、後方車両の下側、側部および上側の複数個所に死角領域ＢＬが発生している。また、下側の死角領域は、後方車両の一部に重複するぐらい大きいものである。それ故、制御部１４０は、死角領域が条件に合致しないと判定し、魚眼カメラ１２０の画像で死角領域ＢＬを補完することなく、魚眼カメラ１２０の画像を、サイドカメラ１１０Ｌの画像の車体領域に合成し、シースルービューを生成する。ここで留意すべきは、シースルービューにおいて死角領域が出現する前に魚眼カメラの画像に置き換えられる。こうして、魚眼カメラ１３０の画像を用いるため、幾分画質は低下するが、後方車両が接近したシースルービューにおいて死角領域の表示を無くすことができる。

【0039】

図７に示すステップは、車両の走行中（前進や後進）あるいは停車中に繰り返し実行され、シースルービューが連続的に生成される。また、距離算出部１５０により算出される後方物体までの距離が変化すると、投影面Ｐが変化し、それに応じて死角領域の発生が動的に変化し、サイドカメラの画像の車体領域に合成すべき画像は、魚眼カメラ１２０の画像および／または挟角カメラ１３０の画像に適宜切替われる。

【0040】

このように本実施例によれば、ルームミラーの代替機能をもつ挟角カメラの画像とリアビューに利用される魚眼カメラの画像とを、サイドカメラの画像に合成可能にしたことで、挟角カメラと魚眼カメラの長所を利用した鮮明なシースルービューを生成することができる。

【0041】

次に、本発明の変形例について説明する。上記したように距離算出部１５０で算出された距離すなわち投影面に応じて、挟角カメラ１３０の画像に発生する死角領域が動的に変化し、これにより、合成に用いる画像が挟角カメラ１３０と魚眼カメラ１２０との画像から、魚眼カメラ１２０のみの画像に移行する。この移行時の画像の切替わりをスムーズにするため、変形例では、魚眼カメラ１２０と挟角カメラ１３０の重複する範囲において、魚眼カメラ１２０の画像の透過率を徐々に高くし、あるいはその判定に挟角カメラ１３０の画像の透過率を徐々に低くなるように、両画像の合成を制御する。

【0042】

この画像合成の様子を図１０に示す。時刻Ｔ１のとき、挟角カメラ１３０の死角領域が魚眼カメラ１２０の画像で補完され、時刻Ｔ５のとき、死角領域が魚眼カメラ１２０の画像に置換されるとする。制御部１４０は、時刻Ｔ２のとき、例えば、７：３の割合で透過される挟角カメラの画像と魚眼カメラの画像とを合成し、時刻Ｔ３のとき、５：５の割合で合成し、時刻Ｔ４のとき、３：７の割合で合成する。このような合成をすることで、急激に画質が変化するのを防止することができる。

【0043】

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。

【符号の説明】

【0044】

１００：画像処理装置
１１０Ｌ、１１０Ｒ：撮像カメラ（サイドカメラ）
１２０：撮像カメラ（魚眼カメラ）
１３０：撮像カメラ（挟角カメラ）
１４０：制御部
１５０：距離算出部
１６０：表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】