特開 2024-39101 車両用後側方画像表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024039101

(43)【公開日】2024-03-22

(54)【発明の名称】車両用後側方画像表示装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240314BHJP

【ＦＩ】

H04N7/18 J

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022143403

(22)【出願日】2022-09-09

(71)【出願人】

【識別番号】000010098

【氏名又は名称】アルプスアルパイン株式会社

(74)【代理人】

【識別番号】100103171

【弁理士】

【氏名又は名称】雨貝 正彦

(74)【代理人】

【識別番号】100105784

【弁理士】

【氏名又は名称】橘 和之

(74)【代理人】

【識別番号】100098497

【弁理士】

【氏名又は名称】片寄 恭三

(74)【代理人】

【識別番号】100099748

【弁理士】

【氏名又は名称】佐藤 克志

(72)【発明者】

【氏名】本田 圭助

【テーマコード（参考）】

5C054

【Ｆターム（参考）】

5C054EJ00

5C054FC12

5C054HA30

(57)【要約】

【課題】カメラで撮像した車両後側方の画像を表示する際の奥行き感喪失を防止し、違和感のない画像を表示することができる車両用後側方画像表示装置を提供すること。
【解決手段】車両用後側方画像表示装置１は、自車両の後側方を撮像する左カメラ１０Ｌ、右カメラ１０Ｒと、撮像された画像の一部であって、撮像位置に近い撮像範囲に対応する部分画像を抽出する左部分画像抽出手段３０Ｌ、右部分画像抽出部３０Ｒと、抽出した部分画像についてぼかし処理を行う左ぼかし処理部３２Ｌ、右ぼかし処理部３２Ｒと、ぼかし処理後の画像とそれ以外の画像とが含まれる全体後方画像を合成して表示する左画像合成部４０Ｌ、右画像合成部４０Ｒ、左表示処理部５０Ｌ、右表示処理部５０Ｒ、左表示部６０Ｌ、右表示部６０Ｒとを備えている。
【選択図】図１

【特許請求の範囲】

【請求項1】

自車両の後側方を撮像する撮像手段と、
前記撮像手段によって撮像された画像の一部であって、前記撮像手段に近い撮像範囲に対応する部分画像を抽出する部分抽出手段と、
前記部分画像についてぼかし処理を行うぼかし処理手段と、
前記ぼかし処理手段によるぼかし処理後の画像と、前記撮像手段によって撮像された画像の一部であって前記部分画像以外の画像とが含まれる全体後方画像を表示する表示手段と、
を備えることを特徴とする車両用後側方画像表示装置。

【請求項2】

前記ぼかし処理は、画像の解像度を低下させる処理であることを特徴とする請求項１に記載の車両用後側方画像表示装置。

【請求項3】

前記部分画像は、前記撮像手段が取り付けられた自車両の車体側面に対応する画像であることを特徴とする請求項１に記載の車両用後側方画像表示装置。

【請求項4】

前記ぼかし処理手段によるぼかし処理の対象となる前記部分画像は、前記車体側面の端部を除く領域に対応する画像であることを特徴とする請求項３に記載の車両用後側方画像表示装置。

【請求項5】

前記部分画像にタイヤが含まれる場合に、前記ぼかし処理手段は、前記タイヤを除く前記部分画像を対象にぼかし処理を行うことを特徴とする請求項１に記載の車両用後側方画像表示装置。

【請求項6】

前記ぼかし処理手段は、前記撮像手段に近づくほど、前記部分画像のぼかしの程度を大きくすることを特徴とする請求項１に記載の車両用後側方画像表示装置。

【請求項7】

前記ぼかし処理手段は、自車両の速度が速いほど、前記部分画像のぼかしの程度を大きくすることを特徴とする請求項１に記載の車両用後側方画像表示装置。

【請求項8】

前記ぼかし処理手段は、自車両の後退時に、前進時に比べて、前記部分画像のぼかしの程度を小さくすることを特徴とする請求項１に記載の車両用後側方画像表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両に搭載されて後側方を撮像して表示する車両用後側方画像表示装置に関する。

【背景技術】

【0002】

従来から、ドアミラーの反射像に対応する後側方映像を車室内のディスプレイに表示するようにした電子ミラーとしての周辺監視システムが知られている（例えば、特許文献１参照。）。この周辺監視システムでは、運転者が実景と自車両の車体側面に映り込んだ反射像とを判別できるようにするために、車体側に境界を明瞭にする画像処理を施すことが行われている。具体的には、（１）車体側の画素全ての輝度を低下させる、（２）車体色に対応するＲＧＢ値を書き込む、（３）車体のエッジ領域のみ画像処理を施す、などが行われている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－１１６７５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、鏡面を有するドアミラー越しに後方を確認する場合には、車両後方の遠方を見ている場合（遠方にピントが合っている場合）には、ドアミラー近くの車体側面にはピントが合わずにぼやけて見えることになる。

【0005】

一方、電子ミラーの場合には、車両後方を撮像するカメラの被写体深度（被写界深度）は約１ｍ～∞と深いものが通常は用いられるため、撮像範囲に含まれる車両後方から車体側面までの広い範囲についてピントが合うことになり、撮像範囲の全体について鮮明な映像が得られることになる。したがって、撮像範囲に含まれる車体側面に映り込んだ後方車両等についてもそれ以外の後方車両等と同様にピントが合ってしまい、奥行き感を喪失するという問題があった。このため、鏡面を有するドアミラーが備わった車両に乗りなれている利用者（運転者）が電子ミラー式のドアミラーが備わった車両に乗り換える場合には、慣れるまで違和感を感じることになる。

【0006】

本発明は、このような点に鑑みて創作されたものであり、その目的は、カメラで撮像した車両後側方の画像を表示する際の奥行き感喪失を防止し、違和感のない画像を表示することができる車両用後側方画像表示装置を提供することにある。

【課題を解決するための手段】

【0007】

上述した課題を解決するために、本発明の車両用後側方画像表示装置は、自車両の後側方を撮像する撮像手段と、撮像手段によって撮像された画像の一部であって、撮像手段に近い撮像範囲に対応する部分画像を抽出する部分抽出手段と、部分画像についてぼかし処理を行うぼかし処理手段と、ぼかし処理手段によるぼかし処理後の画像と、撮像手段によって撮像された画像の一部であって部分画像以外の画像とが含まれる全体後方画像を表示する表示手段とを備えている。

【0008】

撮像手段で撮像した後側方画像を表示する際に、撮像範囲の全体についてピントが合った画像を表示するのではなく、利用者（運転者）が見ようとしている遠景に対応する領域を鮮明に、それより近い領域（部分画像）をぼかして表示することにより、鏡面を有するドアミラーを利用者が見た場合と同じような遠近に応じたぼかし方の表示画像とすることができ、奥行き感喪失を防止して違和感のない画像を表示することが可能となる。

【0009】

また、上述したぼかし処理は、画像の解像度を低下させる処理であることが望ましい。解像度を低下させるという簡単な処理によって部分画像をぼかすことが可能となる。

【0010】

また、上述した部分画像は、撮像手段が取り付けられた自車両の車体側面に対応する画像であることが望ましい。これにより、車体側面に鮮明な後方車両等が反射して利用者の注意を引くことを回避することができる。

【0011】

また、上述したぼかし処理手段によるぼかし処理の対象となる部分画像は、車体側面の端部を除く領域に対応する画像であることが望ましい。車体側面の端部を鮮明な画像とすることにより、車体側面とそれ以外との間の境界がわかりやすくなり、自車両とその後方を走行する後方車両との間の相対距離の把握が容易となる。

【0012】

また、上述した部分画像にタイヤが含まれる場合に、ぼかし処理手段は、タイヤを除く部分画像を対象にぼかし処理を行うことが望ましい。タイヤの鮮明な画像が見えることにより、自車両の幅寄せ時や後退時の運転操作がしやすくなる。

【0013】

また、上述したぼかし処理手段は、撮像手段に近づくほど、部分画像のぼかしの程度を大きくすることが望ましい。人間の目の特性に合わせたぼかし方とすることにより、画像を見た際の違和感をさらに低減することが可能となる。

【0014】

また、上述したぼかし処理手段は、自車両の速度が速いほど、部分画像のぼかしの程度を大きくすることが望ましい。速度が速いほど、特に高速走行時などでは、遠方の後方車両の接近に注意をはらう必要があるため、自車両近傍の画像のぼかしの程度を大きくすることにより、遠方の後続車両等への注視を促すことができる。

【0015】

また、上述したぼかし処理手段は、自車両の後退時に、前進時に比べて、部分画像のぼかしの程度を小さくすることが望ましい。自車両の後退時には自車両の近傍に対する注視も必要になるため、この領域についてのぼかしの程度を小さくすることで、後退時の運転操作がしやすくなる。

【図面の簡単な説明】

【0016】

【図1】一実施形態の車両用後側方画像表示装置の構成を示す図である。

【図2】全体左後側方画像の一例を示す図である。

【図3】変形例の全体左後側方画像の一例を示す図である。

【図4】他の変形例の全体左後側方画像の一例を示す図である。

【図5】他の変形例の全体左後側方画像の一例を示す図である。

【図6】他の変形例の車両用後側方画像表示装置の構成を示す図である。

【発明を実施するための形態】

【0017】

以下、本発明を適用した一実施形態の車両用後側方画像表示装置について、図面を参照しながら説明する。

【0018】

図１は、一実施形態の車両用後側方画像表示装置の構成を示す図である。図１に示すように、本実施形態の車両用後側方画像表示装置１は、左カメラ１０Ｌ、右カメラ１０Ｒ、左画像格納部２０Ｌ、右画像格納部２０Ｒ、左部分画像抽出部３０Ｌ、左ぼかし処理部３２Ｌ、右部分画像抽出部３０Ｒ、右ぼかし処理部３２Ｒ、左画像合成部４０Ｌ、右画像合成部４０Ｒ、左表示処理部５０Ｌ、右表示処理部５０Ｒ、左表示部６０Ｌ、右表示部６０Ｒを備えている。

【0019】

左カメラ１０Ｌは、物理的な左側のドアミラーが備わっていると仮定したときに、車両の運転者から見てこのドアミラーに映る領域が撮像範囲に含まれるように車両左側の後側方を撮像する。右カメラ１０Ｒは、物理的な右側のドアミラーが備わっていると仮定したときに、車両の運転者から見てこのドアミラーに映る領域が撮像範囲に含まれるように車両右側の後側方を撮像する。これらの左カメラ１０Ｌ、右カメラ１０Ｒは、被写体深度がともに深いものが用いられており、自車両の車体側面を含む近景から後続車両や建物、樹木などを含む遠景までの広い範囲の被写体について、ピントが合った状態で撮像することができる。なお、本実施形態の車両には左右のドアミラーは備わっておらず、代わりに、左カメラ１０Ｌと右カメラ１０Ｒの撮像によって得られた画像が表示される。

【0020】

左カメラ１０Ｌによる撮像によって得られた画像（左後側方画像）は左画像格納部２０Ｌに格納される。また、右カメラ１０Ｒによる撮像によって得られた画像（右後側方画像）は右画像格納部２０Ｒに格納される。

【0021】

左部分画像抽出部３０Ｌは、左カメラ１０Ｌで撮像されて左画像格納部２０Ｌに格納された左後側方画像の中から、左カメラ１０Ｌに近い撮像範囲に対応する左部分画像を抽出する。例えば、この左部分画像は、左カメラ１０Ｌが取り付けられた自車両の車体左側面に対応する画像（左カメラ１０Ｌを用いて車体左側面を撮像して得られた画像）である。

【0022】

また、部分画像の抽出方法としてはいくつかのケースが考えられる。本実施形態では、車両用後側方画像表示装置１を左右のドアミラーの代わりの電子ミラーとして使用することを想定している。このため、左カメラ１０Ｌと右カメラ１０Ｒは、車種ごとに取付位置が決まっており、これらの撮像範囲に含まれる車体側面の範囲も車両ごとに変動しない。したがって、この範囲をあらかじめ調べておくことにより、この範囲に対応する部分画像を抽出することができる。あるいは、車両側面の範囲を色などの特徴量に基づいて、納車時やエンジン始動時などのその都度決定するようにしてもよい。

【0023】

左ぼかし処理部３２Ｌは、左部分画像抽出部３０Ｌによって抽出した左部分画像に対してぼかし処理を行う。例えば、このぼかし処理は、部分画像の解像度を低下させる処理である。例えば、ガウス関数を用いて画像をぼかすガウシアンぼかしを用いる場合が考えられる。但し、それ以外のぼかし処理である、モザイク加工により画像をぼかすモザイク処理などを用いるようにしてもよい。なお、ぼかしの程度は、ガウシアンぼかしの場合には、使用するガウス関数の幅を設定値（３σ、１０σなど）を可変することで変更（調整）することができる。また、モザイク加工の場合には、モザイク１個分の面積を可変することで変更（調整）することができる。

【0024】

左画像合成部４０Ｌは、左ぼかし処理部３２Ｌによるぼかし処理後の画像（左部分画像に対応する画像）と、それ以外の左後側方画像とを合成した全体左後側方画像を生成する。左表示処理部５０Ｌは、合成された全体左後側方画像を左表示部６０Ｌに表示する処理を行う。例えば、左表示部６０Ｌは、液晶表示装置によって構成されており、ダッシュボードの左側端部近傍に配置されている。

【0025】

このようにして左カメラ１０Ｌによって撮像された画像に基づいて全体左後側方画像が表示されるが、全体右後側方画像についても同様にして表示が行われる。

【0026】

右部分画像抽出部３０Ｒは、右カメラ１０Ｒで撮像されて右画像格納部２０Ｒに格納された右後側方画像の中から、右カメラ１０Ｒに近い撮像範囲に対応する右部分画像を抽出する。例えば、この右部分画像は、右カメラ１０Ｒが取り付けられた自車両の車体右側面に対応する画像（右カメラ１０Ｒを用いて車体右側面を撮像して得られた画像）である。

【0027】

右ぼかし処理部３２Ｒは、右部分画像抽出部３０Ｒによって抽出した右部分画像に対してぼかし処理を行う。例えば、このぼかし処理は、部分画像の解像度を低下させる処理（ガウシアンぼかしやモザイク処理など）である。

【0028】

右画像合成部４０Ｒは、右ぼかし処理部３２Ｒによるぼかし処理後の画像（右部分画像に対応する画像）と、それ以外の右後側方画像とを合成した全体右後側方画像を生成する。右表示処理部５０Ｒは、合成された全体右後側方画像を右表示部６０Ｒに表示する処理を行う。例えば、右表示部６０Ｒは、液晶表示装置によって構成されており、ダッシュボードの右側端部近傍に配置されている。

【0029】

図２は、全体左後側方画像の一例を示す図である。図２（Ａ）にはぼかし処理前の画像が、図２（Ｂ）にはぼかし処理後の画像がそれぞれ示されている。これらの図において、Ｓは全体左側方画像に含まれる左部分画像を示している。また、図２（Ｂ）では、ハッチングを付けることにより、左部分画像Ｓにぼかし処理が行われたことが示されている。

【0030】

左カメラ１０Ｌの被写体深度が深いため、ぼかし処理前の左部分画像Ｓ（図２（Ａ））には、ドアノブや車体側面で反射した後続車両や建物などが鮮明に映っている。このような左部分画像Ｓに対して左ぼかし処理部３２Ｌによるぼかし処理（ガウシアンぼかし等）を行うことにより、左部分画像Ｓの解像度を低下させて、ドアノブや反射した後続車両や建物などの鮮明な境界線が含まれないぼやけた画像（図２（Ｂ））とすることができる。

【0031】

このように、本実施形態の車両用後側方画像表示装置１では、左カメラ１０Ｌ、右カメラ１０Ｒで撮像した後側方画像を表示する際に、全体左後側方画像や全体右後側方画像の全体についてピントが合った画像を表示するのではなく、利用者（運転者）が見ようとしている後続車両等が含まれる遠景に対応する領域を鮮明に、それより近い領域（左部分画像、右部分画像）をぼかして表示することにより、鏡面を有するドアミラーを利用者が見た場合と同じような遠近に応じたぼかし方の表示画像とすることができ、奥行き感喪失を防止して違和感のない画像を表示することが可能となる。

【0032】

特に、画像の解像度を低下させるぼかし処理を用いており、解像度を低下させるという簡単な処理によって部分画像をぼかすことが可能となる。

【0033】

また、ぼかし処理の対象となる部分画像を、左カメラ１０Ｌ、右カメラ１０Ｒが取り付けられた自車両の車体側面に対応する画像とすることにより、車体側面に鮮明な後方車両等が反射して利用者の注意を引くことを回避することができる。

【0034】

なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、ぼかし処理の対象を車体側面に対応する部分画像（左部分画像、右部分画像）全体としたが、この部分画像を、車体側面の端部を除く領域に限定するようにしてもよい。

【0035】

図３は、変形例の全体左後側方画像の一例を示す図である。図３に示す変形例（変形例１）では、車体左側面の遠景側（左カメラ１０Ｌから遠い側）の端部Ｓ１を除く左部分画像Ｓ２がぼかし処理の対象になっている。これらの端部Ｓ１と左部分画像Ｓ２とを合わせた全体が、図２に示した左部分画像Ｓに対応している。この端部Ｓ１について、自車両より後方の遠景と同様にピントが合った鮮明な画像とすることにより、車体左側面とそれ以外との間の境界がわかりやすくなり、自車両とその後方を走行する後方車両との間の相対距離の把握が容易となる。

【0036】

図４は、他の変形例の全体左後側方画像の一例を示す図である。図４に示す変形例（変形例２）では、車体左側面のタイヤＳ３を除く左部分画像Ｓ４がぼかし処理の対象になっている。これらのタイヤＳ３と左部分画像Ｓ４とを合わせた全体が、図２に示した左部分画像Ｓに対応している。全体左後側方画像を表示したときに、運転者の視界に入ったタイヤの鮮明な画像が見えることにより、自車両の幅寄せ時や後退時の運転操作がしやすくなる。

【0037】

図５は、他の変形例の全体左後側方画像の一例を示す図である。図５に示す変形例（変形例３）では、車体左側面に対応する左部分画像が３つの左部分画像Ｓ５１、Ｓ５２、Ｓ５３からなり、左カメラ１０Ｌに近づくほどぼかしの程度を大きくしている。すなわち、左カメラ１０Ｌに最も近い左部分画像Ｓ５１のぼかしの程度が最も大きく、次に近い左部分画像Ｓ５２のぼかしの程度が次に大きく、最も遠い左部分画像Ｓ５３のぼかしの程度が最も小さくなっている。運転者が遠くの車両等を見ているときには、運転者に近い物体ほど焦点が合わなくなるため、このような人間の目の特性に合わせたぼかし方とすることにより、全体左後側方画像を見た際の違和感をさらに低減することが可能となる。なお、この例では、ぼかしの程度を３段階変化させたが、２段階や４段階以上あるいは連続的に変化させるようにしてもよい。

【0038】

図６は、他の変形例の車両用後側方画像表示装置の構成を示す図である。図６に示す変形例（変形例４）の車両用後側方画像表示装置１Ａでは、図１に示した車両用後側方画像表示装置１に対して、左ぼかし処理部３２Ｌと右ぼかし処理部３２Ｒのそれぞれに、車両の走行速度やシフトレバー位置などを含む車両情報が入力されている点が異なっている。この車両情報は、例えば、車両を総合的に制御する車両制御装置によって作成されて入力される場合が考えられるが、走行速度やシフトレバー位置などを個別に検出した結果を直接入力するようにしてもよい。

【0039】

このような車両情報が入力される左ぼかし処理部３２Ｌ、右ぼかし処理部３２Ｒは、自車両の速度が速いほど、左右の部分画像のぼかしの程度を大きく設定してぼかし処理を行う。速度が速いほど、特に高速走行時などでは、遠方の後方車両の接近に注意をはらう必要があるため、自車両近傍の画像のぼかしの程度を大きくすることにより、遠方の後続車両等への注視を促すことができる。

【0040】

あるいは、このような車両情報が入力される左ぼかし処理部３２Ｌ、右ぼかし処理部３２Ｒは、自車両の後退時に、前進時に比べて、左右の部分画像のぼかしの程度を小さく設定してぼかし処理を行う。自車両の後退時には自車両の近傍に対する注視も必要になるため、この領域についてのぼかしの程度を小さくすることで、後退時の運転操作がしやすくなる。

【0041】

なお、上述した４つの変形例１～４は、適宜組み合わせて用いるようにしてもよい。

【産業上の利用可能性】

【0042】

上述したように、本発明によれば、撮像手段で撮像した後側方画像を表示する際に、撮像範囲の全体についてピントが合った画像を表示するのではなく、利用者（運転者）が見ようとしている遠景に対応する領域を鮮明に、それより近い領域をぼかして表示することにより、鏡面を有するドアミラーを利用者が見た場合と同じような遠近に応じたぼかし方の表示画像とすることができ、奥行き感喪失を防止して違和感のない画像を表示することが可能となる。

【符号の説明】

【0043】

１ 車両用後側方画像表示装置
１０Ｌ 左カメラ
１０Ｒ 右カメラ
２０Ｌ 左画像格納部
２０Ｒ 右画像格納部
３０Ｌ 左部分画像抽出部
３０Ｒ 右部分画像抽出部
３２Ｌ 左ぼかし処理部
３２Ｒ 右ぼかし処理部
４０Ｌ 左画像合成部
４０Ｒ 右画像合成部
５０Ｌ 左表示処理部
５０Ｒ 右表示処理部
６０Ｌ 左表示部
６０Ｒ 右表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】