(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2021-12-10
(45)【発行日】2022-01-12
(54)【発明の名称】撮影画像表示システム及び電子ミラーシステム
(51)【国際特許分類】
H04N 7/18 20060101AFI20220104BHJP
H04N 5/235 20060101ALI20220104BHJP
H04N 5/232 20060101ALI20220104BHJP
B60R 11/02 20060101ALI20220104BHJP
B60R 1/00 20220101ALI20220104BHJP
【FI】
H04N7/18 J
H04N5/235 200
H04N5/235 300
H04N5/232 290
B60R11/02 C
B60R1/00
(21)【出願番号】P 2018008130
(22)【出願日】2018-01-22
【審査請求日】2020-08-27
(73)【特許権者】
【識別番号】000101732
【氏名又は名称】アルパイン株式会社
(74)【代理人】
【識別番号】100099748
【氏名又は名称】佐藤 克志
(74)【代理人】
【識別番号】100103171
【氏名又は名称】雨貝 正彦
(74)【代理人】
【識別番号】100105784
【氏名又は名称】橘 和之
(74)【代理人】
【識別番号】100098497
【氏名又は名称】片寄 恭三
(72)【発明者】
【氏名】勝山 佳洋
(72)【発明者】
【氏名】谷口 敬大
【審査官】秦野 孝一郎
(56)【参考文献】
【文献】特開2015-198302(JP,A)
【文献】特開2009-177250(JP,A)
【文献】特開2013-93786(JP,A)
【文献】特開2015-19222(JP,A)
【文献】特開2017-5678(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
H04N 5/222-5/257
B60R 9/00-11/06
B60R 1/00
(57)【特許請求の範囲】
【請求項1】
カメラで撮影した画像をディスプレイに表示する撮影画像表示システムであって、
前記カメラのゲイン×前記カメラの露出時間を撮影設定値として、相互に異なる複数の撮影設定値で前記カメラに画像を撮影させる撮影制御手段と、
第1の撮影設定値で撮影された画像である第1画像中に、高輝度の像が現れている領域である高輝度領域が存在し、前記第1の撮影設定値と異なる、当該第1の撮影設定値も小さな撮影設定値で撮影された画像である第2画像中の前記高輝度領域に対応する領域である対応領域に、複数の分離された高輝度の像が現れている場合に、前記第1画像の前記高輝度領域の画像部分を、前記第2画像の前記対応領域の画像部分を用いて、当該高輝度領域の画像部分が、複数の分離された高輝度の像を表すように修正し、修正後の前記第1画像を前記ディスプレイに表示する修正画像表示手段とを有することを特徴とする撮影画像表示システム。
【請求項2】
請求項1記載の撮影画像表示システムであって、
前記撮影制御手段は、3以上の異なる撮影設定値で前記カメラに画像を撮影させ、
前記第1の撮影設定値は、最大の撮影設定値であり、
前記修正画像表示手段は、前記第1の撮影設定値で撮影された画像である第1画像中に、高輝度の像が現れている領域である高輝度領域が存在し、前記第1の撮影設定値と異なる撮影設定値のいずれかについて、当該撮影設定値で撮影された画像中の前記高輝度領域に対応する領域である対応領域に、複数の分離された高輝度の像が現れている場合に、前記対応領域に複数の分離された高輝度の像が現れている画像のうちの最も大きい撮影設定値で撮影された画像を前記第2画像として、前記第1画像の前記高輝度領域の画像部分を、前記第2画像の前記対応領域の画像部分を用いて、当該高輝度領域の画像部分が、複数の分離された高輝度の像を表すように修正し、
修正後の前記第1画像を前記ディスプレイに表示することを特徴とする撮影画像表示システム。
【請求項3】
請求項1または2記載の撮影画像表示システムであって、
前記修正画像表示手段は、前記修正を、前記第1画像の前記高輝度領域の画像部分を、前記第2画像の前記対応領域の画像部分に置換することにより行うことを特徴とする撮影画像表示システム。
【請求項4】
請求項1または2記載の撮影画像表示システムであって、
前記修正画像表示手段は、前記修正を、前記第1画像の前記高輝度領域の画像部分に、前記第2画像の前記対応領域の画像部分を合成することにより行うことを特徴とする撮影画像表示システム。
【請求項5】
請求項1または2記載の撮影画像表示システムであって、
前記修正画像表示手段は、前記修正を、前記第1画像の前記高輝度領域の画像部分を、前記第2画像の前記対応領域の画像部分で、当該画像部分の高輝度な画素部分ほど、前記第1画像の画素色が現れるようにマスクすることにより行うことを特徴とする撮影画像表示システム。
【請求項6】
請求項1、2、3、4または5記載の撮影画像表示システムを備えた電子ミラーシステムであって、
前記カメラは自動車に搭載された自動車の後方もしくは左後方もしくは右後方を撮影するカメラであり、
前記ディスプレイは、前記自動車の運転者から視認可能な位置に配置されていることを特徴とする電子ミラーシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラで撮影した画像を表示する撮影画像表示システムに関するものである。
【背景技術】
【0002】
カメラで撮影した画像を表示する撮影画像表示システムとしては、ルームミラーに代えてフロントウインドシールドの上方の位置に配置したディスプレイに、自動車後方を撮影するカメラで撮影した画像を表示する電子ミラーシステムが知られている(たとえば、特許文献1、2)。
【0003】
また、撮影画像表示システムにおける技術としては、自動車のヘッドライトを含む画像を撮影するシステムにおいて、カメラの撮影した画像中に輝度値が飽和した画素の領域が存在する場合に、カメラのゲインを小さくしたり、カメラのシャッタースピードを早くして、ヘッドライトの像がサチュレーションによって滲んで、二つのヘッドライトが一つの光源として現れてしまうことを抑制する技術が知られている(たとえば、特許文献3)。
【0004】
また、撮影画像表示システムにおける技術としては、カメラとして、ゲインが画素毎に調整可能なカメラを用い、標準的なゲインによって撮影した画像中に輝度値が飽和した画素の領域が発生した場合に、当該輝度値が飽和した画素の領域内の画素についてのみゲインを小さくして撮影を行うことにより、二つのヘッドライトが一つの光源として現れてしまうことを抑制する技術も知られている(たとえば、同特許文献3)。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2016- 60411号公報
【文献】特開2007-214749号公報
【文献】特開2006-339994号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述したカメラの撮影した画像中に輝度値が飽和した画素の領域が存在する場合に、カメラのゲインを小さくしたり、カメラのシャッタースピードを早くすることにより、二つのヘッドライトが一つの光源として現れてしまうことを抑制する技術によれば、画像の全体が暗くなるため、被撮影領域の暗い部分が黒く潰れてしまい、視認できなくなってしまうことがある。
【0007】
また、上述した輝度値が飽和した画素の領域内の画素についてのみゲインを小さくして撮影を行う技術によれば、画素毎にゲインが調整可能な特殊なカメラを用いることが必要となる。
【0008】
また、いずれの技術においても、輝度値が飽和した画素の領域が、複数の光源によるものでなく、単一の光源によるものである場合にも、ゲインを低化させてしまう場合があり、このような場合には、メリット無く表示画像の明るさを低下させて、表示画像の視認性を劣化させてしまうこととなる
そこで、本発明は、カメラで撮影した画像を表示する撮影画像表示システムにおいて、表示画像の視認性をできるだけ低化することなく、二つの光源が一つの光源として表れてしまうことを抑制することを課題とする。
【課題を解決するための手段】
【0009】
前記課題達成のために、本発明は、カメラで撮影した画像をディスプレイに表示する撮影画像表示システムに、前記カメラのゲイン×前記カメラの露出時間を撮影設定値として、相互に異なる複数の撮影設定値で前記カメラに画像を撮影させる撮影制御手段と、第1の撮影設定値で撮影された画像である第1画像中に、高輝度の像が現れている領域である高輝度領域が存在し、前記第1の撮影設定値と異なる、当該第1の撮影設定値も小さな撮影設定値で撮影された画像である第2画像中の前記高輝度領域に対応する領域である対応領域に、複数の分離された高輝度の像が現れている場合に、前記第1画像の前記高輝度領域の画像部分を、前記第2画像の前記対応領域の画像部分を用いて、当該高輝度領域の画像部分が、複数の分離された高輝度の像を表すように修正し、修正後の前記第1画像を前記ディスプレイに表示する修正画像表示手段とを備えたものである。
【0010】
ここで、このような撮影画像表示システムは、前記撮影制御手段を、3以上の異なる撮影設定値で前記カメラに画像を撮影させるものとし、前記第1の撮影設定値を、最大の撮影設定値とすると共に、前記修正画像表示手段において、前記第1の撮影設定値で撮影された画像である第1画像中に、高輝度の像が現れている領域である高輝度領域が存在し、前記第1の撮影設定値と異なる撮影設定値のいずれかについて、当該撮影設定値で撮影された画像中の前記高輝度領域に対応する領域である対応領域に、複数の分離された高輝度の像が現れている場合に、前記対応領域に複数の分離された高輝度の像が現れている画像のうちの最も大きい撮影設定値で撮影された画像を前記第2画像として、前記第1画像の前記高輝度領域の画像部分を、前記第2画像の前記対応領域の画像部分を用いて、当該高輝度領域の画像部分が、複数の分離された高輝度の像を表すように修正し、修正後の前記大画像を前記ディスプレイに表示するようにしてもよい。
【0011】
ここで、以上の撮影画像表示システムは、前記修正画像表示手段において、前記修正を、前記第1画像の前記高輝度領域の画像部分を、前記第2画像の前記対応領域の画像部分に置換することにより行うように構成してもよい。
【0012】
または、以上の撮影画像表示システムは、前記修正画像表示手段において、前記修正を、前記第1画像の前記高輝度領域の画像部分に、前記第2画像の前記対応領域の画像部分を合成することにより行うように構成してもよい。
【0013】
または、以上の撮影画像表示システムは、前記修正画像表示手段において、前記修正を、前記第1画像の前記高輝度領域の画像部分を、前記第2画像の前記対応領域の画像部分で、当該画像部分の高輝度な画素部分ほど、前記第1画像の画素色が現れるようにマスクすることにより行うように構成してもよい。
【0014】
また、併せて、本発明は、以上のような撮影画像表示システムを備えた電子ミラーシステムを提供する。ここで、当該電子ミラーシステムにおいて、前記カメラは自動車に搭載された自動車の後方もしくは左後方もしくは右後方を撮影するカメラであり、前記ディスプレイは、前記自動車の運転者から視認可能な位置に配置されている。
【0015】
以上のような撮影画像表示システムや電子ミラーシステムによれば、カメラのゲイン×前記カメラの露出時間を撮影設定値として、相互に異なる複数の撮影設定値で前記カメラに画像を撮影し、第1の撮影設定値で撮影された画像である第1画像中の、高輝度の像が現れている領域である高輝度領域が、単一の光源によるものなのか、複数の光源がサチュレーションによって滲んで一つの光源状に表れたものであるのかを、第1の撮影設定値より小さな撮影設定値で撮影された画像である第2画像中の前記高輝度領域に対応する領域である対応領域に、複数の分離された高輝度の像が現れているかどうかより識別する。
【0016】
そして、第1画像中の高輝度領域が、複数の光源がサチュレーションによって滲んで一つの光源状に表れたものであると識別した場合に、第1画像中の高輝度領域を、複数の分離された高輝度の像が現れている第2画像を用いて、第1画像の高輝度領域の画像部分を、当該画像部分が、複数の分離された高輝度の像を表すように修正して表示する。
【0017】
よって、第1画像の複数の光源がサチュレーションによって滲んで一つの光源状に表れた高輝度領域の画像部分については、複数の分離された光源の像を表すように修正することができると共に、第1画像の複数の単一の光源による高輝度領域の画像部分の明るさを、メリット無く低下させて、表示画像の視認性を劣化させてしまうことも抑止できる。
【発明の効果】
【0018】
以上のように、本発明によれば、カメラで撮影した画像を表示する撮影画像表示システムにおいて、表示画像の視認性をできるだけ低化することなく、二つの光源が一つの光源として表れてしまうことを抑制することができる。
【図面の簡単な説明】
【0019】
【
図1】本発明の実施形態に係る電子ミラーシステムの構成を示すブロック図である。
【
図2】本発明に係る夜間表示処理を示すフローチャートである。
【
図3】本発明に係る夜間表示処理の処理例を示す図である。
【
図4】本発明に係る夜間表示処理の処理例を示す図である。
【発明を実施するための形態】
【0020】
以下、本発明の実施形態について説明する。
図1aに、本実施形態に係る電子ミラーシステムの構成を示す。
電子ミラーシステムは自動車に搭載されているシステムであり、図示するように、カメラ1、表示制御装置2、ディスプレイ3を備えている。
ここで、カメラ1は、たとえば、
図1bに示すように、自動車の後部に配置され自動車の後方のようすを撮影する。また、ディスプレイ3は、
図1cに示すように、フロントウインドシールドの上方の位置、すなわち、伝統的にルームミラーが配置されてきた位置に、表示面を後方側に向けて配置されている。
【0021】
次に、このような電子ミラーシステムにおいて、夜間に、表示制御装置2が行う夜間表示処理について説明する。なお、現在夜間であるかどうかは、カメラ1で撮影した画像の全体的な輝度や、別途設けた照度センサで検出した照度や自動車のライトのオンなどに応じて検出する。
【0022】
図2に、夜間表示処理の手順を示す。
まず、本夜間表示処理において用いる定数について示す。
本夜間表示処理においては、カメラ1のゲインを表す定数として、MinG、MidG、MaxGを用いる。但し、MinG<MidG<MaxGである。
さて、図示するように、夜間表示処理において、表示制御装置2は、まず、MaxG、MidG、MinGそれぞれのゲインを順次カメラ1に設定して、各ゲインによる画像の撮影を行う(ステップ202)。
【0023】
そして、ステップ202においてゲインMaxGで撮影した画像中に、輝度値が予め定めたしきい値ThL以上の高輝度の画素がまとまった、所定のサイズ以上の領域である高輝度領域が有るかどうかを調べる(ステップ204)。ここで、しきい値ThLは、輝度の飽和値または輝度の飽和値未満の飽和値に近い値を設定する。また、所定のサイズは、たとえば、カメラ1から250m離れた位置にある1.3m離れた2点が写り込む撮影画像中の2点を包含するサイズとする。
【0024】
そして、ゲインMaxGで撮影した画像中に、高輝度領域が無ければ(ステップ204)、ゲインMaxGで撮影した画像をディスプレイ3に表示し(ステップ206)、ステップ202からの処理に戻る。
【0025】
一方、ゲインMaxGで撮影した画像中に、高輝度領域が有れば(ステップ204)、存在した高輝度領域の各々について(ステップ208、218、220)、以下の処理を行う。
【0026】
すなわち、ステップ202でゲインMidGで撮影した画像中の、当該高輝度領域と同位置、同サイズの領域が、比較的輝度の低い画素の領域で分断された複数の比較的輝度の高い画素の領域に分離されているかどうか、すなわち、複数の光源の像に分離されているかどうかを調べる(ステップ210)。
【0027】
そして、複数の光源の像に分離されていれば、ゲインMidGで撮影した画像中の当該領域の画像部分を用いてゲインMaxGで撮影した画像を修正し(ステップ212)、この高輝度領域についての処理を終了する。
【0028】
ここで、この修正は、ゲインMaxGで撮影した画像中の当該高輝度領域の画像部分を、ゲインmidGで撮影した画像中の当該高輝度領域と同位置、同サイズの領域の画像部分で置換することにより行う。但し、この修正は、ゲインMaxGで撮影した画像中の当該高輝度領域の画像部分に、ゲインmidGで撮影した画像中の当該高輝度領域と同位置、同サイズの領域の画像部分を合成することや、ゲインMaxGで撮影した画像中の当該高輝度領域の画像部分を、ゲインmidGで撮影した画像中の当該高輝度領域と同位置、同サイズの領域の画像部分をマスクとして用いて修正すること等によって行うようにしてもよい。
【0029】
一方、ゲインMidGで撮影した画像中の、当該高輝度領域と同位置、同サイズの領域が、複数の光源の像に分離されていなければ(ステップ210)、ステップ202でゲインMinGで撮影した画像中の、当該高輝度領域と同位置、同サイズの領域が、複数の光源の像に分離されているかどうかを調べる(ステップ214)。
【0030】
そして、複数の光源の像に分離されていれば、ゲインMinGで撮影した画像中の当該領域の画像部分を用いてゲインMaxGで撮影した画像を修正し(ステップ216)、この高輝度領域についての処理を終了する。
【0031】
ここで、このゲインMinGで撮影した画像中の当該領域の画像部分を用いた、ゲインMaxGで撮影した画像の修正は、ステップ212と同様に行う。
一方、ゲインMinGで撮影した画像中の、当該高輝度領域と同位置、同サイズの領域が、複数の光源の像に分離されていなければ(ステップ214)、そのままこの高輝度領域についての処理を終了する。
【0032】
そして、以上のステップ210-216の処理を、ステップ204で検出した各高輝度領域について行ったならば、ゲインMaxGで撮影した画像をディスプレイ3に表示し(ステップ222)、ステップ202からの処理に戻る。ただし、ステップ222で表示するゲインMaxGで撮影した画像は、ステップ212やステップ216による修正が行われている場合は、当該修正後のゲインMaxGで撮影した画像である。
【0033】
以上、夜間に、表示制御装置2が行う夜間表示処理について説明した。
このような夜間表示処理の処理例を
図3に示す。
ここで、
図3a、b、cは、夜間に後続車両が存在するときに撮影された画像を表しており、
図3aはゲインmaxGで撮影した画像、
図3bはゲインmidGで撮影した画像、
図3cはゲインminGで撮影した画像である。
【0034】
図示するように、この例では、
図3aのゲインmaxGで撮影した画像では、サチュレーションにより、後続車の二つのヘッドライトが連続した一つの光源の像として現れた高輝度領域301が存在する。
【0035】
一方、
図3bに示すように、ゲインmidGで撮影した画像中の、
図3aの高輝度領域301と同位置、同サイズの領域302には、後続車の二つのヘッドライトが二つの光源の像として分離して現れている。また、
図3cに示すように、ゲインminGで撮影した画像中の、
図3aの高輝度領域301と同位置、同サイズの領域303にも、後続車の二つのヘッドライトが二つの光源の像として分離して現れている。
【0036】
そして、本夜間表示処理では、このような場合、ゲインmaxGで撮影した画像の高輝度領域301の画像部分を、当該高輝度領域301と同位置、同サイズの領域302、303に二つの光源の像が分離して現れているゲインmidGで撮影した画像とゲインminGで撮影した画像のうち、より大きなゲインmidGで撮影した画像中の当該高輝度領域301と同位置、同サイズの領域302の画像部分で置換することにより修正した
図3dに示す画像が表示される。
【0037】
なお、上述したように、夜間表示処理では、ゲインmaxGで撮影した画像の高輝度領域301の修正を、ゲインmaxGで撮影した画像の高輝度領域301の画像部分に、ゲインmidG/minGで撮影した画像中の当該高輝度領域301と同位置、同サイズの領域302/303の画像部分を、所定比率で合成することにより行うようにしてもよい。すなわち、たとえば、
図4a1に示すゲインmaxGで撮影した画像の高輝度領域301に、
図4a2に示すゲインmidGで撮影した画像中の領域302の画像部分を、
図4a3に示すように所定の透明度で重畳表示することにより、当該修正を行う等してもよい。
【0038】
また、上述したように、夜間表示処理では、ゲインmaxGで撮影した画像の高輝度領域301の修正を、ゲインmidG/minGで撮影した画像中の該高輝度領域301と同位置、同サイズの領域302/303の画像部分をマスクとして用いて、ゲインmaxGで撮影した画像の高輝度領域301の画像部分をマスクすることにより行うようにしてもよい。
すなわち、この場合には、たとえば、
図4b1のゲインmaxGで撮影した画像の高輝度領域301の画像部分のマスクとして、
図4b2に示すゲインmidGで撮影した画像中の領域302の画像部分を用いて、当該マスクでゲインmaxGで撮影した画像の高輝度領域301の画像部分をマスクする。また、この場合において、ゲインmidGで撮影した画像中の領域302の画像部分は、当該画像部分中の画素の輝度値が大きいほど、当該画素に重なる
図4b1のゲインmaxGで撮影した画像の高輝度領域301の画素の色を大きな割合で表示し、当該画像部分中の画素の輝度値が小さいほど黒色を大きな割合で表示するマスクとして用いる。
【0039】
以上、本発明の実施形態について説明した。
以上のように、本実施形態では、ゲインMaxGで撮影した画像中の高輝度領域が、単一の光源によるものなのか、複数の光源がサチュレーションによって滲んで一つの光源状に表れたものであるのかを、ゲインMidGやゲインMinGで撮影した画像中の高輝度領域に対応する領域に、複数の分離された高輝度の像が現れているかどうかより識別する。
【0040】
そしてゲインMaxGで撮影した画像中の高輝度領域301のうちの、複数の光源がサチュレーションによって滲んで一つの光源状に表れたものであると識別できた高輝度領域のみ、複数の分離された高輝度の像が現れているゲインMidGまたはゲインMinGで撮影した画像中の当該高輝度領域に対応する領域の画像部分を用いて、当該高輝度領域の画像部分が、複数の分離された高輝度の像を表すように修正して表示する。
【0041】
よって、ゲインMaxGで撮影した画像中の複数の光源がサチュレーションによって滲んで一つの光源状に表れた高輝度領域の画像部分については、複数の分離された光源の像を表すように修正することができると共に、ゲインMaxGで撮影した画像中の単一の光源による高輝度領域の画像部分の明るさを、メリット無く低下させて、表示画像の視認性を劣化させてしまうこともない。
【0042】
また、当該修正を、ゲインMidGで撮影した画像を、ゲインMinGで撮影した画像よりも優先的に使用して行うので、修正による高輝度領域の明るさの低下をできるだけ小さく抑えることができる。
【0043】
ところで、以上の実施形態では、夜間表示処理において、カメラ1のゲインを異ならせて複数の画像を撮影したが、これは、カメラ1の露出時間(シャッタースピード)、または、カメラ1の露出時間×ゲインを異ならせて複数の画像を撮影するようにしてもよい。
【0044】
すなわち、たとえば、夜間表示処理において、カメラ1の露出時間を3段階に異ならせで画像を撮影し、以上の実施形態においてゲインMaxGで撮影した画像に代えて、撮影に用いた露出時間が最大の画像を用い、ゲインMidGで撮影した画像に代えて、撮影に用いた露出時間が2番目に長い画像を用い、ゲインMinGで撮影した画像に代えて、撮影時に用いた露出時間が最小の画像を用いるようにする。
【0045】
または、たとえば、夜間表示処理において、カメラ1の露出時間×ゲインを3段階に異ならせで画像を撮影した、以上の実施形態においてゲインMaxGで撮影した画像に代えて、撮影に用いた露出時間×ゲインが最大の画像を用い、ゲインMidGで撮影した画像に代えて、撮影に用いた露出時間×ゲインが2番目に長い画像を用い、ゲインMinGで撮影した画像に代えて、撮影に用いた露出時間×ゲインが最小の画像を用いるようにする。
【0046】
また、以上の実施形態では、カメラ1で撮影した画像を、フロントウインドシールドの上方の位置に配置したディスプレイ3に表示する電子ミラーシステムについて説明したが、以上の夜間表示処理は、カメラ1で撮影した左後方/右後方の画像を、左/右に配置したディスプレイ3に表示する電子ミラーシステム、すなわち、伝統的なサイドミラーを代替する電子ミラーシステム等の、カメラ1で光源を含む画像を撮影して表示する、その他の任意の撮影画像表示システムに同様に適用することができる。
【符号の説明】
【0047】
1…カメラ、2…表示制御装置、3…ディスプレイ。