(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023032961
(43)【公開日】2023-03-09
(54)【発明の名称】撮像装置および映像表示システム
(51)【国際特許分類】
H04N 23/667 20230101AFI20230302BHJP
H04N 23/76 20230101ALI20230302BHJP
H04N 23/70 20230101ALI20230302BHJP
G03B 15/00 20210101ALI20230302BHJP
G03B 7/28 20210101ALI20230302BHJP
【FI】
H04N5/232 450
H04N5/243
H04N5/235
G03B15/00 V
G03B7/28
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2021139353
(22)【出願日】2021-08-27
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】松本 康孝
(72)【発明者】
【氏名】合田 康之
【テーマコード(参考)】
2H002
5C122
【Fターム(参考)】
2H002DB05
2H002DB26
2H002FB21
5C122DA14
5C122EA68
5C122FF11
5C122FF15
5C122FF22
5C122FF23
5C122FH01
5C122FK23
5C122HA75
5C122HA87
5C122HB01
5C122HB09
(57)【要約】
【課題】正確かつ素早いモード切り替えが可能な撮像装置および映像表示システムを提供する。
【解決手段】カメラ(撮像装置)は、車両の外部の照度(明るさ)を計測する照度センサ(明るさ計測部)が計測した照度に応じた露出状態によって観測対象を撮像して映像信号を生成する撮像制御部(撮像部)と、照度と撮像制御部が生成した映像信号の信号レベルとに基づいて、撮像制御部が撮像を行う際の露出状態を設定する第1の撮像モード設定部と、第1の撮像モード設定部が設定した露出状態で撮像された映像信号を出力する映像出力部と、を備える。
【選択図】
図5
【特許請求の範囲】
【請求項1】
車両の外部の明るさを計測する明るさ計測部が計測した明るさに応じた露出状態によって観測対象を撮像して映像信号を生成する撮像部と、
前記明るさと前記撮像部が生成した映像信号の信号レベルとに基づいて、当該撮像部が撮像を行う際の露出状態を設定する第1の撮像モード設定部と、
前記第1の撮像モード設定部が設定した露出状態で撮像された映像信号を出力する映像出力部と、
を備える撮像装置。
【請求項2】
前記第1の撮像モード設定部は、
前記映像信号の信号レベルの平均値に基づいて、前記撮像部が撮像を行う際の露出状態を設定する請求項1に記載の撮像装置。
【請求項3】
前記第1の撮像モード設定部は、
前記撮像部が撮像を行う際の露出状態を、少なくとも、昼間と夜間と薄暮時とにそれぞれ対応する状態に設定する、
請求項1または請求項2に記載の撮像装置。
【請求項4】
前記第1の撮像モード設定部が、前記撮像部が撮像する際の露出状態を夜間に対応する状態に設定した際に、
撮像された映像信号の中の、所定の信号レベルを超える画素数が閾値を超えた場合に、前記画素数が閾値を超えないように、前記映像信号の階調を補正する第1の階調補正部を更に備える、
請求項3に記載の撮像装置。
【請求項5】
前記第1の撮像モード設定部が、前記撮像部が撮像する際の露出状態を夜間に対応する状態に設定した際に、
撮像された映像信号が、所定の信号レベルを下回る場合に、当該映像信号の信号レベルを上げて全体を見えやすくする第2の階調補正部を更に備える、
請求項3または請求項4に記載の撮像装置。
【請求項6】
車両の内外の異なる方向の明るさを計測する複数の明るさ計測部のうち、当該車両の外部の明るさを計測する明るさ計測部が計測した明るさに応じた露出状態によって観測対象を撮像して映像信号を生成する撮像部と、
前記複数の明るさ計測部がそれぞれ計測した複数の明るさの差分値と、前記複数の明るさ計測部が計測した明るさのうち前記車両の外部の明るさと、に基づいて、前記撮像部が撮像を行う際の露出状態を設定する第2の撮像モード設定部と、
前記第2の撮像モード設定部によって設定された露出状態で撮像された映像信号を出力する映像出力部と、
を備える撮像装置。
【請求項7】
前記第2の撮像モード設定部は、前記明るさの差分値が差分値閾値よりも小さい場合に、前記複数の明るさ計測部が計測した明るさのうち、前記車両の外部の明るさに応じた露出状態を設定する、
請求項6に記載の撮像装置。
【請求項8】
前記明るさの差分値が前記差分値閾値よりも大きい場合に、前記撮像部が撮像した映像信号の信号レベルに基づいて、当該撮像部が撮像を行う際の露出状態を設定する第3の撮像モード設定部を、更に備えて、
前記映像出力部は、前記第3の撮像モード設定部が設定した露出状態で撮像された映像信号を出力する、
請求項7に記載の撮像装置。
【請求項9】
前記複数の明るさ計測部のうち、少なくとも1つは、前記車両の外部からの光が当たりにくい位置に設置される、
請求項6から請求項8のいずれか1項に記載の撮像装置。
【請求項10】
前記第2の撮像モード設定部は、
前記撮像部が生成する映像信号の信号レベルを、少なくとも、昼間と夜間と薄暮時とにそれぞれ対応する信号レベルに変換する、
請求項6から請求項9のいずれか1項に記載の撮像装置。
【請求項11】
前記第3の撮像モード設定部は、
前記撮像部が生成する映像信号の信号レベルを、少なくとも、昼間と夜間と薄暮時とにそれぞれ対応する信号レベルに変換する、
請求項8に記載の撮像装置。
【請求項12】
請求項1から請求項11のいずれか1項に記載の撮像装置と、
前記撮像装置の映像出力部が出力した映像信号を表示する表示装置と、を備える
映像表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、撮像装置および映像表示システムに関する。
【背景技術】
【0002】
近年、カメラを用いた各種の運転支援システムが車両に搭載されている。これらの運転支援システムの中には、例えば、カメラが撮像した車両周囲の画像を、バックミラーやサイドミラーから置き換えた電子ミラーに表示するものがある。
【0003】
このような電子ミラーにあっては、従来のミラーと同等以上の映像の画質が求められる。近年は、カメラに用いられる撮像素子のダイナミックレンジを拡大した広ダイナミックレンジの撮像素子が実用化されており、より一層の高画質化が図られている。
【0004】
例えば、特許文献1では、車両周囲の明るさに応じて、カメラの露出状態が昼間の明るい場所に最適調整された昼モード、カメラの露出状態が夜間の暗い場所に最適調整された夜モード、カメラの露出状態が夕方の薄暮に最適調整された薄暮モードを備えて、車両に搭載された照度計が計測した車両周囲の明るさに応じて、これらのモードの切り替えを行っている。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、照度計が計測した車両周囲の明るさに応じたモード切り替えを行うための演算時間が必要となるため、トンネルの出入口や立体駐車場等の明暗が急激に変化する環境においては、モード切り替えが瞬時に行えないという問題があった。また、車両周囲の局所照明の影響によって、本来とは異なるモードに設定されてしまうという問題があった。例えば、照度計が、トンネル内に設置された照明の明るさを検知すると、実際よりも高い照度が計測されるため、本来夜モードにすべきところが、昼モードのままになってしまうという問題があった。
【0007】
本開示は、正確かつ素早いモード切り替えが可能な撮像装置および映像表示システムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本開示に係る撮像装置は、車両の外部の明るさを計測する明るさ計測部が計測した明るさに応じた露出状態によって観測対象を撮像して映像信号を生成する撮像部と、明るさと撮像部が生成した映像信号の信号レベルとに基づいて、撮像部が撮像を行う際の露出状態を設定する第1の撮像モード設定部と、第1の撮像モード設定部が設定した露出状態で撮像された映像信号を出力する映像出力部と、を備えることを特徴とする。
【0009】
また、本開示に係る撮像装置は、車両の内外の異なる方向の明るさを計測する複数の明るさ計測部のうち、車両の外部の明るさを計測する明るさ計測部が計測した明るさに応じた露出状態によって観測対象を撮像して映像信号を生成する撮像部と、複数の明るさ計測部がそれぞれ計測した複数の明るさの差分値と、複数の明るさ計測部が計測した明るさのうち車両の外部の明るさと、に基づいて、撮像部が撮像を行う際の露出状態を設定する第2の撮像モード設定部と、第2の撮像モード設定部によって設定された露出状態で撮像された映像信号を出力する映像出力部と、を備えることを特徴とする。
【発明の効果】
【0010】
本開示に係る撮像装置によれば、正確かつ素早いモード切り替えを行うことができる。
【図面の簡単な説明】
【0011】
【
図1】
図1は、第1の実施形態に係る映像表示システムの全体構成の一例を示すシステム構成図である。
【
図2】
図2は、第1の実施形態に係る映像表示システムが備える電子ミラーの一例を示す外観図である。
【
図3】
図3は、映像表示システムのハードウェア構成の一例を示すハードウェアブロック図である。
【
図4】
図4は、第1の実施形態に係るカメラが、照度計が計測した照度と、撮像装置が出力する映像信号のレベルとに基づいて、映像出力モードを設定する方法を説明する図である。
【
図5】
図5は、第1の実施形態に係るカメラの機能構成の一例を示す機能ブロック図である。
【
図6】
図6は、第1の実施形態に係るカメラが行う処理の流れの一例を示すフローチャートである。
【
図7】
図7は、第2の実施形態に係る映像表示システムが備える電子ミラーの一例を示す外観図である。
【
図8】
図8は、第2の実施形態に係るカメラが、照度計が計測した複数の照度に基づいて、映像出力モードを設定する方法を説明する図である。
【
図9】
図9は、第2の実施形態に係るカメラの機能構成の一例を示す機能ブロック図である。
【
図10】
図10は、第2の実施形態に係るカメラが行う処理の流れの一例を示すフローチャートである。
【
図11】
図11は、第3の実施形態に係るカメラが、照度計が計測した車両外部の照度と、カメラが出力する映像信号のレベルとに基づいて、映像出力モードを設定する方法を説明する図である。
【
図12】
図12は、第3の実施形態に係るカメラの機能構成の一例を示す機能ブロック図である。
【
図13】
図13は、第3の実施形態に係るカメラが行う処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【0012】
(第1の実施形態)
以下、図面を参照しながら、本開示に係る撮像装置および映像表示システムの第1の実施形態について説明する。
【0013】
(映像表示システムの全体構成)
まず、
図1を用いて、映像表示システム10aの全体構成を説明する。
図1は、第1の実施形態に係る映像表示システムの全体構成の一例を示すシステム構成図である。
【0014】
映像表示システム10aは、車両15に搭載されて、カメラ20aと電子ミラー30とを備える。カメラ20aは、例えば、車両15の後部に、車両15の後方(X軸負側)を向けて設置される。カメラ20aは、例えば、CMОSやCCD等の撮像素子を備えて、車両15の後方を撮像する。なお、カメラ20aは、本開示における撮像装置の一例である。電子ミラー30は、電子ミラー30は、一般的なミラータイプの後写鏡の機能と、カメラ20aが撮像した車両15の後方の映像を表示する機能とを併せ持つ。電子ミラー30の構造について、詳しくは後述する。なお、電子ミラー30は、本開示における表示装置の一例である。
【0015】
次に、
図2を用いて、電子ミラー30の構造を説明する。
図2は、第1の実施形態に係る映像表示システムが備える電子ミラーの一例を示す外観図である。
【0016】
電子ミラー30は、筐体36の内部に、ディスプレイパネル34を内包する。ディスプレイパネル34は、例えば、液晶パネルや有機ELパネル等である。ディスプレイパネル34の表示面は、筐体36の開口部の側を向けて配置される。さらに、ディスプレイパネル34の表示面に対向するように、ハーフミラー35が設置されている。
【0017】
電子ミラー30は、取付部37を介して、車両15のウインドシールド、または天井に取り付けられる。
【0018】
電子ミラー30の筐体36の下部には、操作スイッチ38が取り付けられる。操作スイッチ38を操作することにとって、ディスプレイパネル34による表示と、ハーフミラー35に写る車両15の後方の反射像とを切り替える。なお、ハーフミラー35に写る反射像を表示する際には、ディスプレイパネル34は非表示の状態となる。
【0019】
電子ミラー30の筐体36の車両15の前方側(X軸正側)には、照度センサ40aが設置される。照度センサ40aは、例えばフォトダイオードで構成されて、外部の明るさに応じた電気信号を出力する。なお、照度センサ40aの受光部は、車両15の前方側に向けて設置される。なお、照度センサ40aとして、フォトダイオードと同じ機能を有する別のセンサを用いてもよい。また、ここでは、照度センサ40aが電子ミラー30の筐体36に取り付けられた例を示したが、照度センサ40aの取付位置は、電子ミラー30の筐体36に限定されるものではない。例えば、照度センサ40aを、カメラ20aの近傍に、車両15の後方を向けて設置してもよい。なお、照度センサ40aは、本開示における明るさ計測部の一例である。
【0020】
(映像表示システムのハードウェア構成)
図3を用いて、映像表示システム10aのハードウェア構成を説明する。
図3は、映像表示システムのハードウェア構成の一例を示すハードウェアブロック図である。
【0021】
映像表示システム10aは、カメラ20aと、電子ミラー30と、照度センサ40aとを備える。
【0022】
カメラ20aは、更に、受光素子21と、映像信号処理プロセッサ22と、システムマイコン23と、シリアライザ24とコネクタ25とを備える。
【0023】
受光素子21は、カメラ20aが備えるレンズ(光学系)が受光素子21上の結像させた光学像の明るさを電気信号に変換する、いわゆる光電変換を行う。受光素子21は、更に、光電変換部21aと、駆動制御部21bと、インタフェース部21cとを備える。なお、受光素子21は、複数のセルの集合体である。各セルは画素とも呼ばれて、画素数が多いほど、生成される映像信号の解像度が高い。
【0024】
光電変換部21aは、受光素子21に結像した光学像の明るさを電気信号に変換する光電変換を行う。
【0025】
駆動制御部21bは、光電変換部21aの露光時間と、光電変換部21aが行う光電変換のタイミング等を制御する。
【0026】
インタフェース部21cは、映像信号の出力タイミングを制御する。
【0027】
映像信号処理プロセッサ22は、受光素子21が生成した映像信号からYC信号(輝度信号(Y)と色度信号(C))を生成する。映像信号処理プロセッサ22は、ISP(Image Signal Processor)とも呼ばれる。映像信号処理プロセッサ22は、更に、映像信号処理部22aと、インタフェース部22bとを備える。映像信号処理部22aは、受光素子21が生成した映像信号に対して、ダイナミックレンジやNR(Noise Reduction)補正を行ってYC信号を生成する。インタフェース部22bは、映像信号の入出力タイミングを制御する。
【0028】
システムマイコン23は、映像信号処理プロセッサ22と協働することによって、予め設定された信号処理を行う。具体的には、システムマイコン23は、照度センサ40aが測定した照度に基づいて、受光素子21が撮像を行う際の撮像条件の設定等を行う。具体的な信号処理の内容については後述する。
【0029】
シリアライザ24は、映像信号処理プロセッサ22が出力する映像信号を、パラレル信号からシリアル信号に変換する。
【0030】
コネクタ25は、カメラ20aと電子ミラー30とを電気的に接続する。
【0031】
電子ミラー30は、コネクタ31と、デシリアライザ32と映像処理IC33と、ディスプレイパネル34とを備える。
【0032】
コネクタ31は、電子ミラー30とカメラ20aとを電気的に接続する。
【0033】
デシリアライザ32は、カメラ20aから出力された映像信号を、シリアル信号をパラレル信号に変換する。
【0034】
映像処理IC33は、映像信号の階調補正等を行って、ディスプレイパネル34に表示させる映像信号を生成する。
【0035】
ディスプレイパネル34は、映像処理IC33が生成した映像信号を表示する。
【0036】
なお、
図3には図示しないが、電子ミラー30は、
図2で説明したように、ディスプレイパネル34に重畳して設置されたハーフミラー35を備え、電子ミラー30は、操作スイッチ38の操作によって、ディスプレイパネル34に表示された映像信号と、ハーフミラー35に映った車両15の後方の反射像とを切り替えて表示する。
【0037】
照度センサ40aの機能等については、前記した通りである。
【0038】
(照度センサが計測した明るさと映像信号のレベルとに基づく露出状態の設定)
図4を用いて、照度センサ40aが計測した明るさとカメラ20aが撮像した映像信号とから、カメラ20aの露出状態を設定する方法を説明する。
図4は、第1の実施形態に係るカメラが、照度計が計測した照度と、撮像装置が出力する映像信号のレベルとに基づいて、映像出力モードを設定する方法を説明する図である。
【0039】
照度センサ40aは、車両15の外部の明るさを計測する。したがって、照度センサ40aが計測した照度Lに応じてカメラ20aの露出状態を設定して撮像を行うことによって、車両15の外部の明るさによらずに、視認性の高い映像信号を生成することができる。映像表示システム10aは、カメラ20aの露出状態が昼間の明るい場所に最適調整された昼モードと、カメラ20aの露出状態が夜間の暗い場所に最適調整された夜モードと、カメラ20aの露出状態が夕方の薄暮に最適調整された薄暮モードとを備える。以下、昼モードと、夜モードと、薄暮モードとを総称して撮像モードと呼ぶ。
【0040】
カメラ20aは、更に、照度センサ40aが計測した照度Lに基づく露出状態で撮像した映像信号の信号レベルに基づいて、カメラ20aの露出状態を調整する。なお、照度Lは、本開示における、明るさの一例である。
【0041】
なお、映像信号の信号レベルは、例えば映像信号の平均値Pとしてもよいし、映像信号の値の頻度分布(ヒストグラム)の形状に基づく値としてもよい。
【0042】
図4は、照度センサ40aが計測した照度Lと、照度Lに応じて設定した露出状態で撮像した映像信号の平均値Pとに基づいて設定される撮像モードの一例を示す。
【0043】
カメラ20aのシステムマイコン23は、照度センサ40aが計測した照度Lを取得して、システムマイコン23、または映像信号処理プロセッサ22において、照度Lに応じた露光時間を設定する。そして、光電変換部21aは、設定された露光時間に基づいて光電変換を行う。
【0044】
受光素子21の駆動制御部21bは、照度Lの大きさ(明るさ)に応じて、例えば3段階の露光時間を設定する。具体的には、照度Lの大(明)、中、小(暗)に応じて、明るいほど短い露光時間を設定する。
【0045】
映像信号処理部22aは、設定された露光時間で撮像された映像信号を取得して、画像の明るさの平均値Pを算出する。
【0046】
システムマイコン23は、平均値Pを取得して、平均値Pの大きさに応じた撮像モード(昼モードと薄暮モードと夜モード)を設定する。
【0047】
図4は、こうして設定される撮像モードの一例を示す。例えば、予め設定した明るさ閾値Pa,Pb(Pa>Pb)に対して、映像信号の平均値Pが高い(明るさ閾値Pa以上である)場合、照度Lが大きいときには昼モード、照度Lが中のときには薄暮モード、照度Lが小さいときには夜モードが設定される。なお、照度Lの大中小は、予め設定された照度閾値との比較によって決定する。
【0048】
また、映像信号の平均値Pが中程度(明るさ閾値Pb以上Pa未満)である場合、照度Lが大、または中のときには薄暮モード、照度Lが小さいときには夜モードが設定される。
【0049】
また、映像信号の平均値Pが低い(明るさ閾値Pc未満である)場合は、照度Lの大きさによらず、夜モードが設定される。
【0050】
なお、明るさ閾値Pa,Pbの値は、受光素子21の仕様によっても異なるが、例えば、生成される映像信号の量子化レベルが8ビットの場合、Pa=90、Pb=6.5等の値が用いられる。また、
図4に示す撮像モードの設定例は一例であって、これ以外のマップによって撮像モードを設定してもよい。
【0051】
(カメラの機能構成)
図5を用いて、第1の実施形態に係るカメラ20aの機能構成を説明する。
図5は、第1の実施形態に係るカメラの機能構成の一例を示す機能ブロック図である。
【0052】
カメラ20aは、予めシステムマイコン23に格納されたプログラムを実行することによって、映像信号処理プロセッサ22とシステムマイコン23との中に、
図5に示す各機能部を実現する。
【0053】
具体的には、カメラ20aは、照度取得部51と、撮像制御部52と、平均値算出部53と、第1の撮像モード設定部54と、ハレーション抑制処理部55と、暗部可視化処理部56と、映像出力部57と、動作制御部58とを備える。
【0054】
照度取得部51は、車両15の外部の明るさを計測する照度センサ40aが計測した照度Lを取得する。
【0055】
撮像制御部52は、第1の撮像モード設定部54が設定した露出状態によって観測対象を撮像した映像信号を生成する。なお、撮像制御部52は、本開示における撮像部の一例である。
【0056】
平均値算出部53は、撮像制御部52が生成した映像信号の平均値Pを算出する。
【0057】
第1の撮像モード設定部54は、照度Lと、撮像制御部52が生成した映像信号の信号レベルと、に基づいて、当該撮像部が撮像を行う際の露出状態を設定する。
【0058】
ハレーション抑制処理部55は、撮像された映像信号の中の、所定の信号レベルを超える画素数が閾値を超えた場合に、当該画素数が閾値を超えないように、映像信号の階調を補正するハレーション抑制処理を行う。なお、ハレーション抑制処理部55は、本開示における第1の階調補正部の一例である。
【0059】
暗部可視化処理部56は、撮像された映像信号が、所定の信号レベルを下回る場合に、映像信号の信号レベルを上げて全体を見えやすくする。なお、暗部可視化処理部56は、本開示における第2の階調補正部の一例である。
【0060】
映像出力部57は、第1の撮像モード設定部54が設定した露出状態で撮像された映像信号を、電子ミラー30に出力する。
【0061】
動作制御部58は、カメラ20aの全体の動作状態を制御する。
【0062】
(カメラが行う処理の流れ)
図6を用いて、第1の実施形態に係るカメラ20aが行う処理の流れを説明する。
図6は、第1の実施形態に係るカメラが行う処理の流れの一例を示すフローチャートである。
【0063】
照度取得部51は、照度センサ40aが計測した照度Lを取得する(ステップS11)。
【0064】
撮像制御部52は、照度取得部51が取得した照度Lに応じた露出状態で撮像を行う(ステップS12)。
【0065】
平均値算出部53は、撮像制御部52が撮像した映像信号の平均値Pを算出する(ステップS13)。
【0066】
第1の撮像モード設定部54は、照度Lと、平均値算出部53が算出した映像信号の平均値Pとに基づいて、撮像モードを設定する(ステップS14)。
【0067】
撮像制御部52は、第1の撮像モード設定部54が設定した撮像モードで撮像を行う(ステップS15)。
【0068】
第1の撮像モード設定部54は、現在の撮像モードが夜モードであるかを判定する(ステップS16)。現在の撮像モードが夜モードであると判定される(ステップS16:Yes)とステップS17に進む。一方、現在の撮像モードが夜モードであると判定されない(ステップS16:No)とステップS19に進む。
【0069】
ステップS16において、現在の撮像モードが夜モードであると判定されると、ハレーション抑制処理部55は、撮像された映像信号の中の、所定の信号レベルを超える画素数が閾値を超えた場合に、当該画素数が閾値を超えないように、映像信号の階調を補正するハレーション抑制処理を行う(ステップS17)。なお、ハレーション抑制処理の具体的な処理内容は、これに限定されるものではない。
【0070】
次に、暗部可視化処理部56は、撮像された映像信号の中の、所定の信号レベルを下回る画素数が閾値を超えた場合、即ち低輝度領域が広い場合に、映像信号の信号レベルを上げて全体を見えやすくする暗部可視化処理を行う(ステップS18)。なお、画像の信号レベルを上げて全体を見えやすくする処理は、一般に利用されている手法であるため、詳細な説明は省略する。
【0071】
映像出力部57は、映像信号を電子ミラー30に出力する(ステップS19)。
【0072】
動作制御部58は、車両15のイグニッションがOFFであるかを判定する(ステップS20)。車両15のイグニッションがOFFであると判定される(ステップS20:Yes)と、カメラ20aは、
図6の処理を終了する。一方、車両15のイグニッションがOFFであると判定されない(ステップS20:No)と、ステップS11に戻る。
【0073】
(第1の実施形態の作用効果)
以上説明したように、第1の実施形態のカメラ20a(撮像装置)は、車両15の外部の照度L(明るさ)を計測する照度センサ40a(明るさ計測部)が計測した照度Lに応じた露出状態によって観測対象を撮像して映像信号を生成する撮像制御部52(撮像部)と、照度Lと撮像制御部52が生成した映像信号の信号レベルとに基づいて、撮像制御部52が撮像を行う際の露出状態を設定する第1の撮像モード設定部54と、第1の撮像モード設定部54が設定した露出状態で撮像された映像信号を出力する映像出力部57と、を備える。したがって、正確かつ素早い撮像モード切り替えが可能な撮像装置を提供することができる。
【0074】
また、第1の実施形態のカメラ20a(撮像装置)において、第1の撮像モード設定部54は、映像信号の信号レベルの平均値Pに基づいて、撮像制御部52(撮像部)が撮像を行う際の露出状態を設定する。したがって、撮像対象物の明るさを素早く検出する映像信号の信号レベルを利用して撮像を行う際の露出状態を設定するため、撮像モードの切替を素早く行うことができる。
【0075】
また、第1の実施形態のカメラ20a(撮像装置)において、第1の撮像モード設定部54は、撮像制御部52(撮像部)が撮像を行う際の露出状態を、少なくとも、昼間と夜間と薄暮時とにそれぞれ対応する状態に設定する。したがって、映像出力部57が出力する映像信号の視認性を、車両15の走行時における代表的な光環境に応じたものとすることができる。
【0076】
また、第1の実施形態のカメラ20a(撮像装置)は、第1の撮像モード設定部54が、撮像制御部52(撮像部)が撮像する際の露出状態を夜間に対応する状態に設定した際に、撮像された映像信号の中の、所定の信号レベルを超える画素数が閾値を超えた場合に、前記画素数が閾値を超えないように、映像信号の階調を補正するハレーション抑制処理部55(第1の階調補正部)を更に備える。したがって、後続車両の前照灯によって、撮像された映像信号にハレーションが発生するのを抑制することができる。
【0077】
また、第1の実施形態のカメラ20a(撮像装置)は、第1の撮像モード設定部54が、撮像制御部52(撮像部)が撮像する際の露出状態を夜間に対応する状態に設定した際に、撮像された映像信号が、所定の信号レベルを下回る場合に、映像信号の信号レベルを上げて全体を見えやすくする暗部可視化処理部56(第2の階調補正部)を更に備える。したがって、夜間において、通常の後写鏡に写る反射像に比べて、視認性の高い映像を表示させることができる。
【0078】
(第2の実施形態)
次に、本開示の第2の実施形態である映像表示システム10bについて説明する。映像表示システム10b(非図示)は、車両15に設置されて、映像表示システム10a(
図1参照)が備えるカメラ20aの代わりにカメラ20bを備える。また、映像表示システム10bは、
図7に示す電子ミラー30を備える。
図7は、第2の実施形態に係る映像表示システムが備える電子ミラーの一例を示す外観図である。
【0079】
電子ミラー30自体の構造は、第1の実施形態で説明したものと同じである。そして、本実施形態の電子ミラー30には、前記した照度センサ40aに加えて、照度センサ40bが設置される。
【0080】
照度センサ40bは、電子ミラー30の筐体36の下端(Z軸負側の下端)に、受光部が下を向くように設置される。即ち、照度センサ40bは、車両15がトンネル内や屋内駐車場等を走行している際に、車両15の外部からの光が当たりにくい位置に設置される。なお、照度センサ40a,40bの設置位置は、
図7に示す位置に限られない。例えば、照度センサ40a,40bを、カメラ20bの近傍に設置してもよい。
【0081】
カメラ20bのハードウェア構成は、カメラ20aのハードウェア構成と同じであり、2個の照度センサ40a,40bが計測した照度を取得する点と、実装されるプログラムのみが異なる。そのため、カメラ20bのハードウェア構成要素については、第1の実施形態で説明したのと同じ符号を用いて説明する。
【0082】
(照度センサが計測した明るさに基づく露出状態の設定)
図8を用いて、照度センサ40a,40bが計測した照度La,Lbから、カメラ20bの適切な露出状態を設定する方法を説明する。
図8は、第2の実施形態に係るカメラが、照度計が計測した複数の照度に基づいて、映像出力モードを設定する方法を説明する図である。
【0083】
照度センサ40aが計測した照度をLa、照度センサ40bが計測した照度をLbとする。
【0084】
カメラ20bは、照度センサ40aが計測した照度Laと、照度センサ40bが計測した照度Lbとの差分値ΔLが所定値よりも小さい場合に、照度センサ40aが計測した照度La、即ち、車両15の外部の明るさに応じて、カメラ20bの露出状態を設定する。
【0085】
具体的には、カメラ20bは、照度Laと照度Lbとの差分値ΔLが所定値よりも小さい場合に、車両15の外部の照度Laの大きさ(明るさ)に応じて、例えば3段階の露光時間を設定する。具体的には、照度Laの大(明)、中、小(暗)に応じて、明るいほど短い露光時間を設定することによって、第1の実施形態で説明した、昼モード、薄暮モード、夜モードを設定する。
【0086】
一方、カメラ20bは、照度Laと照度Lbとの差分値ΔLが所定値以上である場合には、照度La,Lbの大きさに関わらずに、撮像モードを夜モードに設定する。これは、照度センサ40aが計測する照度Laは、車両15の外部の照明状態に応じて変動するため、例えば、夜間にトンネル内を走行している場合に、トンネル内の照明光によって、照度Laが大きな値を呈する場合があるためである。照度Laのみに基づいて撮像モードを設定すると、トンネル内を走行している場合に、本来は夜モードとすべきところが、昼モードまたは薄暮モードになってしまうためである。
【0087】
(カメラの機能構成)
図9を用いて、第2の実施形態に係るカメラ20bの機能構成を説明する。
図9は、第2の実施形態に係るカメラの機能構成の一例を示す機能ブロック図である。
【0088】
カメラ20bは、予めシステムマイコン23に格納されたプログラムを実行することによって、映像信号処理プロセッサ22とシステムマイコン23との中に、
図9に示す各機能部を実現する。
【0089】
具体的には、カメラ20bは、照度取得部61と、撮像制御部62と、照度の差分値算出部63と、第2の撮像モード設定部64と、映像出力部65と、動作制御部66とを備える。
【0090】
照度取得部61は、車両15の外部の明るさを計測する照度センサ40aが計測した照度Laと、車両15の外部からの光が当たりにくい位置に設置された照度センサ40bが計測した照度Lbとを取得する。
【0091】
撮像制御部62は、第2の撮像モード設定部64が設定した露出状態によって観測対象を撮像した映像信号を生成する。なお、撮像制御部62は、本開示における撮像部の一例である。
【0092】
照度の差分値算出部63は、照度Laと照度Lbとの差分値ΔLを算出する。
【0093】
第2の撮像モード設定部64は、照度センサ40a,40bがそれぞれ計測した複数の照度La,Lbの差分値ΔLと、複数の照度センサ40a,40bが計測した照度La,Lbのうち、車両15の外部の照度Laと、に基づいて、撮像制御部62が撮像を行う際の露出状態を設定する。
【0094】
映像出力部65は、第2の撮像モード設定部64が設定した露出状態で撮像された映像信号を、電子ミラー30に出力する。
【0095】
動作制御部66は、カメラ20bの全体の動作状態を制御する。
【0096】
なお、カメラ20bは、更に、第1の実施形態で説明したハレーション抑制処理部55と暗部可視化処理部56とを備えてもよい。
【0097】
(カメラが行う処理の流れ)
図10を用いて、第2の実施形態に係るカメラ20bが行う処理の流れを説明する。
図10は、第2の実施形態に係るカメラが行う処理の流れの一例を示すフローチャートである。
【0098】
照度取得部61は、照度センサ40a,40bがそれぞれ計測した複数の照度La,Lbを取得する(ステップS31)。
【0099】
照度の差分値算出部63は、照度Laと照度Lbとの差分値ΔL(=La-Lb)を算出する(ステップS32)。
【0100】
第2の撮像モード設定部64は、差分値ΔLが差分値閾値よりも小さいかを判定する(ステップS33)。差分値ΔLが差分値閾値よりも小さいと判定される(ステップS33:Yes)とステップS34に進む。一方、差分値ΔLが差分値閾値よりも小さいと判定されない(ステップS33:No)とステップS35に進む。
【0101】
ステップS33において、差分値ΔLが差分値閾値よりも小さいと判定されると、第2の撮像モード設定部64は、車両15の外部の照度Laに基づいて撮像モードを設定する(ステップS34)。その後、ステップS36に進む。なお、具体的な撮像モードの設定方法は、例えば、照度Laの大(明)、中、小(暗)に応じて、明るいほど短い露光時間を設定すればよい。
【0102】
一方、ステップS33において、差分値ΔLが差分値閾値よりも小さいと判定されないと、第2の撮像モード設定部64は、撮像モードを夜モードに設定する(ステップS35)。その後、ステップS36に進む。
【0103】
撮像制御部62は、第2の撮像モード設定部64が設定した撮像モードで撮像を行う(ステップS36)。
【0104】
映像出力部65は、映像信号を電子ミラー30に出力する(ステップS37)。
【0105】
動作制御部66は、車両15のイグニッションがOFFであるかを判定する(ステップS38)。車両15のイグニッションがOFFであると判定される(ステップS38:Yes)と、カメラ20bは、
図10の処理を終了する。一方、車両15のイグニッションがOFFであると判定されない(ステップS38:No)と、ステップS31に戻る。
【0106】
(第2の実施形態の作用効果)
以上説明したように、第2の実施形態のカメラ20b(撮像装置)は、車両15の内外の異なる方向の照度(明るさ)を計測する複数の照度センサ40a,40b(明るさ計測部)のうち、車両15の外部の明るさを計測する照度センサ40aが計測した照度Laに応じた露出状態によって観測対象を撮像して映像信号を生成する撮像制御部62(撮像部)と、複数の照度センサ40a,40bがそれぞれ計測した複数の照度La,Lbの差分値ΔLと、複数の照度センサ40a,40bがそれぞれ計測した照度La,Lbのうち車両15の外部の照度Laと、に基づいて、撮像制御部62が撮像を行う際の露出状態を設定する第2の撮像モード設定部64と、第2の撮像モード設定部64によって設定された露出状態で撮像された映像信号を出力する映像出力部65と、を備える。したがって、トンネル内や屋内駐車場等において、照明光の影響によって、撮像モードが誤って昼モードに設定されるのを防止することができる。
【0107】
また、第2の実施形態のカメラ20b(撮像装置)において、第2の撮像モード設定部64は、複数の照度La,Lbの差分値ΔLが差分値閾値よりも小さい場合に、複数の照度センサ40a,40bが計測した照度La,Lbのうち、車両15の外部の照度Laに応じた露出状態を設定する。したがって、車両15の内外の明るさに差がない場合は、車両15の外部の照度Laに基づいて撮像モードを設定するため、車両15の走行環境の明るさに応じた撮像モードを設定することができる。
【0108】
また、第2の実施形態のカメラ20b(撮像装置)において、複数の照度センサ40a,40bのうち、少なくとも1つは、車両15の外部からの光が当たりにくい位置に設置される。したがって、車両15の内外の明るさの差を、簡単かつ確実に判定することができる。
【0109】
また、第2の実施形態のカメラ20b(撮像装置)において、第2の撮像モード設定部64は、撮像制御部62(撮像部)が撮像を行う際の露出状態を、少なくとも、昼間と夜間と薄暮時とにそれぞれ対応する状態に設定する。したがって、映像出力部65が出力する映像信号の視認性を、車両15の走行時における代表的な光環境に応じたものとすることができる。
【0110】
(第3の実施形態)
次に、本開示の第3の実施形態である映像表示システム10cについて説明する。映像表示システム10c(非図示)は、車両15に設置されて、映像表示システム10a(
図1参照)が備えるカメラ20aの代わりにカメラ20cを備える。また、映像表示システム10cは、
図7に示す電子ミラー30を備える。
【0111】
(照度センサが計測した明るさと映像信号のレベルとに基づく露出状態の設定)
図11を用いて、照度センサ40a,40bが計測した照度La,Lbと、カメラ20cが生成した映像信号のレベルとから、カメラ20cの適切な露出状態を設定する方法を説明する。
図11は、第3の実施形態に係るカメラが、照度計が計測した車両外部の照度と、カメラが出力する映像信号のレベルとに基づいて、映像出力モードを設定する方法を説明する図である。
【0112】
照度センサ40aが計測した照度をLa、照度センサ40bが計測した照度をLbとする。
【0113】
カメラ20cは、照度センサ40aが計測した照度Laと、照度センサ40bが計測した照度Lbとの差分値ΔLが所定値よりも小さい場合に、照度センサ40aが計測した照度La、即ち、車両15の外部の明るさに応じて、カメラ20bの露出状態を設定する。
【0114】
具体的には、カメラ20cは、照度Laと照度Lbとの差分値ΔLが所定値よりも小さい場合に、車両15の外部の照度Laの大きさ(明るさ)に応じて、例えば3段階の露光時間を設定する。具体的には、照度Laの大(明)、中、小(暗)に応じて、明るいほど短い露光時間を設定することによって、第1の実施形態で説明した、昼モード、薄暮モード、夜モードを設定する。
【0115】
一方、カメラ20cは、照度Laと照度Lbとの差分値ΔLが所定値以上である場合には、照度センサ40aが計測した照度Laに基づく露出状態で撮像した映像信号の信号レベルに基づいて、カメラ20cの露出状態を調整する。映像信号の信号レベルは、例えば映像信号の平均値Pとすればよい。
【0116】
例えば、予め設定した明るさ閾値Pa,Pb(Pa>Pb)に対して、映像信号の平均値Pが高い(明るさ閾値Pa以上である)場合、照度Laが大きいときには昼モード、照度Laが中のときには薄暮モード、照度Laが小さいときには夜モードが設定される。なお、照度Laの大中小は、予め設定された照度閾値との比較によって決定する。
【0117】
また、映像信号の平均値Pが中程度(明るさ閾値Pb以上Pa未満)である場合、照度Laが大、または中のときには薄暮モード、照度Laが小さいときには夜モードが設定される。
【0118】
また、映像信号の平均値Pが低い(明るさ閾値Pc未満である)場合は、照度Lの大きさによらず、夜モードが設定される。
【0119】
なお、明るさ閾値Pa,Pbの値は、受光素子21の仕様によっても異なるが、例えば、生成される映像信号の量子化レベルが8ビットの場合、Pa=90、Pb=6.5等の値が用いられる。また、
図11に示す撮像モードの設定例は一例であって、これ以外のマップによって撮像モードを設定してもよい。
【0120】
(カメラの機能構成)
図12を用いて、第3の実施形態に係るカメラ20cの機能構成を説明する。
図12は、第3の実施形態に係るカメラの機能構成の一例を示す機能ブロック図である。
【0121】
カメラ20cは、予めシステムマイコン23に格納されたプログラムを実行することによって、映像信号処理プロセッサ22とシステムマイコン23との中に、
図12に示す各機能部を実現する。
【0122】
具体的には、カメラ20cは、照度取得部71と、撮像制御部72と、照度の差分値算出部73と、平均値算出部74と、第2の撮像モード設定部75と、第3の撮像モード設定部76と、映像出力部77と、動作制御部78とを備える。
【0123】
照度取得部71は、車両15の外部の明るさを計測する照度センサ40aが計測した照度Laと、車両15の外部からの光が当たりにくい位置に設置された照度センサ40bが計測した照度Lbとを取得する。
【0124】
撮像制御部72は、第2の撮像モード設定部75、または第3の撮像モード設定部76設定した露出状態によって、観測対象を撮像した映像信号を生成する。なお、撮像制御部72は、本開示における撮像部の一例である。
【0125】
照度の差分値算出部73は、照度Laと照度Lbとの差分値ΔLを算出する。
【0126】
平均値算出部74は、撮像制御部72が生成した映像信号の平均値Pを算出する。
【0127】
第2の撮像モード設定部75は、複数の照度取得部71がそれぞれ計測した複数の照度La,Lbの差分値ΔLと、複数の照度取得部71が計測した照度のうち、車両15の外部の照度Laと、に基づいて、撮像制御部72(撮像部)が撮像を行う際の露出状態を設定する。
【0128】
第3の撮像モード設定部76は、複数の照度取得部71がそれぞれ計測した複数の照度La,Lbの差分値ΔLが差分値閾値よりも大きい場合に、撮像制御部72(撮像部)が撮像した映像信号の平均値P(信号レベル)に基づいて、撮像制御部72が撮像を行う際の露出状態を設定する。
【0129】
映像出力部77は、第2の撮像モード設定部75、または第3の撮像モード設定部76が設定した露出状態で撮像された映像信号を、電子ミラー30に出力する。
【0130】
動作制御部78は、カメラ20cの全体の動作状態を制御する。
【0131】
なお、カメラ20cは、更に、第1の実施形態で説明したハレーション抑制処理部55と暗部可視化処理部56とを備えてもよい。
【0132】
(カメラが行う処理の流れ)
図13を用いて、第3の実施形態に係るカメラ20cが行う処理の流れを説明する。
図13は、第3の実施形態に係るカメラが行う処理の流れの一例を示すフローチャートである。
【0133】
照度取得部71は、照度センサ40a,40bがそれぞれ計測した複数の照度La,Lbを取得する(ステップS41)。
【0134】
照度の差分値算出部73は、照度Laと照度Lbとの差分値ΔL(=La-Lb)を算出する(ステップS42)。
【0135】
第2の撮像モード設定部75は、車両15の外部の照度Laに基づいて撮像モードを設定する(ステップS43)。
【0136】
撮像制御部72は、第2の撮像モード設定部75が設定した撮像モードで撮像を行う(ステップS44)。
【0137】
第2の撮像モード設定部75は、差分値ΔLが差分値閾値よりも小さいかを判定する(ステップS45)。差分値ΔLが差分値閾値よりも小さいと判定される(ステップS45:Yes)とステップS46に進む。一方、差分値ΔLが差分値閾値よりも小さいと判定されない(ステップS45:No)とステップS47に進む。
【0138】
ステップS45において、差分値ΔLが差分値閾値よりも小さいと判定されると、映像出力部77は、映像信号を電子ミラー30に出力する(ステップS46)。その後、ステップS50に進む。
【0139】
一方、ステップS45において、差分値ΔLが差分値閾値よりも小さいと判定されないと、平均値算出部74は、撮像制御部72が撮像した映像信号の平均値Pを算出する(ステップS47)。
【0140】
第3の撮像モード設定部76は、車両15の外部の照度Laと、平均値算出部74が算出した映像信号の平均値Pとに基づいて、撮像モードを設定する(ステップS48)。
【0141】
撮像制御部72は、第3の撮像モード設定部76が設定した撮像モードで撮像を行う(ステップS49)。その後、前述したステップS46に進む。
【0142】
ステップS46に続いて、動作制御部78は、車両15のイグニッションがOFFであるかを判定する(ステップS50)。車両15のイグニッションがOFFであると判定される(ステップS50:Yes)と、カメラ20cは、
図13の処理を終了する。一方、車両15のイグニッションがOFFであると判定されない(ステップS50:No)と、ステップS41に戻る。
【0143】
(第3の実施形態の作用効果)
以上説明したように、第3の実施形態のカメラ20c(撮像装置)は、照度La,Lbの差分値ΔLが差分値閾値よりも大きい場合に、撮像制御部72(撮像部)が撮像した映像信号の平均値P(信号レベル)に基づいて、撮像制御部72が撮像を行う際の露出状態を設定する第3の撮像モード設定部76を、更に備えて、映像出力部77は、第3の撮像モード設定部76が設定した露出状態で撮像された映像信号を出力する。したがって、車両15の内外で明るさの差がある場合であっても、撮像された映像の信号レベルに基づいて、より視認性が高い撮像モードを設定することができる。
【0144】
また、第3の実施形態のカメラ20c(撮像装置)において、第3の撮像モード設定部76は、撮像制御部72が生成する映像信号の信号レベルを、少なくとも、昼間と夜間と薄暮時とにそれぞれ対応する信号レベルに変換する。したがって、映像出力部77が出力する映像信号の視認性を、車両15の走行時における代表的な光環境に応じたものとすることができる。
【0145】
以上、本発明の実施の形態について説明したが、上述した実施の形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能である。また、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。また、この実施の形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0146】
10a,10b,10c 映像表示システム
15 車両
20a,20b,20c カメラ(撮像装置)
22 映像信号処理プロセッサ(ISP)
23 システムマイコン
30 電子ミラー(表示装置)
34 ディスプレイパネル
35 ハーフミラー
36 筐体
40a,40b 照度センサ(明るさ計測部)
51,61 照度取得部
52,62 撮像制御部(撮像部)
53 平均値算出部
54 第1の撮像モード設定部
55 ハレーション抑制処理部(第1の階調補正部)
56 暗部可視化処理部(第2の階調補正部)
57,65 映像出力部
58,66 動作制御部
63 照度の差分値算出部
64,75 第2の撮像モード設定部
76 第3の撮像モード設定部
L,La,Lb 照度(明るさ)
P 平均値
Pa,Pb 明るさ閾値
ΔL 差分値