IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ トヨタ自動車株式会社の特許一覧

<>
  • 特許-画像表示装置 図1
  • 特許-画像表示装置 図2
  • 特許-画像表示装置 図3
  • 特許-画像表示装置 図4
  • 特許-画像表示装置 図5
  • 特許-画像表示装置 図6
  • 特許-画像表示装置 図7
  • 特許-画像表示装置 図8
  • 特許-画像表示装置 図9
  • 特許-画像表示装置 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-01-08
(45)【発行日】2025-01-17
(54)【発明の名称】画像表示装置
(51)【国際特許分類】
   H04N 23/71 20230101AFI20250109BHJP
   B60R 1/20 20220101ALI20250109BHJP
   B60R 1/26 20220101ALI20250109BHJP
   G03B 7/091 20210101ALI20250109BHJP
   H04N 23/70 20230101ALI20250109BHJP
【FI】
H04N23/71
B60R1/20 100
B60R1/26 100
G03B7/091
H04N23/70
【請求項の数】 1
(21)【出願番号】P 2021007906
(22)【出願日】2021-01-21
(65)【公開番号】P2022112195
(43)【公開日】2022-08-02
【審査請求日】2023-12-19
(73)【特許権者】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】110000213
【氏名又は名称】弁理士法人プロスペック特許事務所
(72)【発明者】
【氏名】城野 亮
(72)【発明者】
【氏名】竹口 慧
【審査官】登丸 久寿
(56)【参考文献】
【文献】特開2008-277921(JP,A)
【文献】特開2011-029974(JP,A)
【文献】特開平09-261531(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/71
B60R 1/20
B60R 1/26
G03B 7/091
H04N 23/70
(57)【特許請求の範囲】
【請求項1】
車両の周辺の画像を撮影する撮像処理を実行する撮像部と、
前記撮像部によって撮影された画像の平均輝度の値である測光値が所定の目標測光値に近付くように前記撮像処理における露出レベルを調整する処理である露出調整処理を実行する露出調整部を含む制御部と、
前記露出調整部によって調整された前記露出レベルにて前記撮像処理によって撮影された画像を表示する表示部と、
を備える画像表示装置であって、
前記制御部は、
前記撮像部によって撮影された画像を分割してなる複数の測光領域の各々につき輝度に対する画素数の分布である輝度分布を取得して前記輝度分布における所定の範囲である標準輝度範囲の上限である上限輝度よりも高い輝度を有する画素の数である第1画素数が所定の閾値である第1閾値以上である測光領域である第1領域及び/又は前記標準輝度範囲の下限である下限輝度よりも低い輝度を有する画素の数である第2画素数が所定の閾値である第2閾値以上である測光領域である第2領域の有無を特定する処理である特異領域検出処理を実行する特異領域検出部と、
前記特異領域検出部によって前記第1領域が検出された場合前記測光値の算出における前記第1領域の重み付け係数である第1係数を大きくし、前記特異領域検出部によって前記第2領域が検出された場合は前記測光値の算出における前記第2領域の重み付け係数である第2係数を大きくすることにより前記測光値を更新する処理である測光値更新処理を実行する測光値更新部と、
を更に備え、
前記露出調整部は、前記測光値更新部によって更新された前記測光値に基づいて前記露出調整処理を実行するように構成されており、
前記制御部は、前記特異領域検出処理と前記測光値更新処理と前記露出調整処理と前記撮像処理を順次実行するルーチンである画質調整ルーチンを実行するように構成されている、
ことを特徴とする画像表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像表示装置に関する。より具体的には、本発明は、車両の周辺の画像を表示する画像表示装置であって、特異な輝度分布を有する領域を撮影画像が有する場合であっても撮像手段の露出レベルを好適に制御して表示画像における白飛び及び/又は黒潰れを有効に低減することができる画像表示装置に関する。
【背景技術】
【0002】
一般的な撮像装置の露出制御においては、撮影画像の平均輝度値に基づいて撮像手段の露出レベルの調整(露出制御)が行われる。このような露出制御においては、背景光の影響によって露出レベルが変動するため、例えば背景が暗い場合は被写体が明るく映り、背景が明るい場合には被写体が暗く映る。その結果、後段の認識処理等の高度な画像処理の精度が安定し難いという問題があった。また、撮影画像の平均輝度値が目標値となるように露出レベルが調整されるため、極端に明るい領域及び/又は極端に暗い領域が撮影画像に存在する場合においても平均輝度値さえ目標値となっていれば露出制御は実行されない。その結果、極端に明るい領域全体が単調に明るく表示されたり(白飛び)、極端に暗い領域全体が単調に暗く表示されたり(黒潰れ)して、これらの場所に存在する物体を視認することができなくなる虞がある。
【0003】
当該技術分野においては、極端に明るい領域及び極端に暗い領域を除外して平均輝度値を求めることにより、上記のような問題を回避する技術が知られている(例えば、特許文献1を参照)。例えば、撮影画像における測光エリアを複数のブロックに分割し、それらのブロック毎に輝度値ヒストグラムを生成し、異常値(極端に輝度が高い又は低い部分)を有するブロックを除外して測光値(平均輝度値)を算出し、当該測光値に基づいて撮像手段の露出レベルを制御する。斯かる技術によれば、撮影画像において特異な輝度分布を有する部分が存在する場合においても撮像手段の露出レベルを適切に設定して、撮影画像を鮮明に表示することができる。
【0004】
ところで、昨今の自動車業界においては、車両周辺の画像を撮像して運転者に表示するシステムが広く普及している。このようなシステムの具体例としては、例えば車両の前後左右にカメラを装着して車両の周辺を車両の上方から俯瞰したような映像を提示するシステムが知られている。車両の左右に装着されたカメラは車両の前後を同時に撮像する必要がある。しかしながら、例えば車両の前後の間における輝度の差が大きい場合等、撮影画像において極端に明るい領域及び/又は極端に暗い領域が存在する場合においては、前述したような一般的な露出制御の結果、前者の領域において白飛びが発生したり、後者の領域において黒潰れが発生したりする虞がある。
【0005】
上記のような状況は、例えば夜間及び/又は暗い立体駐車場において車両の後退時に車両の後方から強い光が差し込む場合等において特に発生し易い。このような場合においては、上述した特許文献1に記載されたように撮影画像において特異な輝度分布を有する部分を除外して露出制御を行っても撮像手段の露出レベルを好適に調整することは困難である。その結果、例えば、車両の後方の鮮明な撮影画像が得られなかったり、露出制御に長時間を要したりする問題が生ずる虞がある。
【先行技術文献】
【特許文献】
【0006】
【文献】特許第4523629号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
前述したように、当該技術分野においては、車両の周辺の画像を表示する画像表示装置において特異な輝度分布を有する領域を撮影画像が有する場合であっても撮像手段の露出レベルを好適に制御して表示画像における白飛び及び/又は黒潰れを有効に低減することができる技術が要求されている。
【課題を解決するための手段】
【0008】
そこで、本発明者は、鋭意研究の結果、撮像手段の露出制御に用いられる測光値を算出する際に特異な輝度分布を有する領域の重み付けを調節することにより、上記要求に応えることができることを見出した。
【0009】
具体的には、本発明に係る画像表示装置(以降、「本発明装置」と称呼される場合がある。)は、撮像部と、制御部と、表示部と、を備える画像表示装置である。撮像部は、車両の周辺の画像を撮影する撮像処理を実行する。制御部は、露出調整処理を実行する露出調整部を含む。露出調整処理は、撮像部によって撮影された画像の平均輝度の値である測光値が所定の目標測光値に近付くように撮像処理における露出レベルを調整する処理である。表示部は、露出調整部によって調整された露出レベルにて撮像処理によって撮影された画像を表示する。
【0010】
本発明装置において、制御部は、特異領域検出部と、測光値更新部と、を更に備える。
特異領域検出部は、特異領域検出処理を実行する。特異領域検出処理とは、撮像部によって撮影された画像を分割してなる複数の測光領域の各々につき、輝度に対する画素数の分布である輝度分布を取得して、特異領域検出部は、第1領域及び/又は第2領域の有無を特定する処理である。第1領域とは、輝度分布における所定の範囲である標準輝度範囲の上限である上限輝度よりも高い輝度を有する画素の数である第1画素数が所定の閾値である第1閾値以上である測光領域である。一方、第2領域とは、標準輝度範囲の下限である下限輝度よりも低い輝度を有する画素の数である第2画素数が所定の閾値である第2閾値以上である測光領域である。
【0011】
測光値更新部は、特異領域検出部によって第1領域及び/又は第2領域が検出された場合に測光値更新処理を実行する。測光値更新処理とは、測光値の算出における第1領域の重み付け係数である第1係数及び/又は第2領域の重み付け係数である第2係数を大きくすることにより測光値を更新する処理である。
【0012】
更に、露出調整部は、測光値更新部によって更新された測光値に基づいて露出調整処理を実行するように構成されている。加えて、制御部は、特異領域検出処理と測光値更新処理と露出調整処理と撮像処理を順次実行するルーチンである画質調整ルーチンを実行するように構成されている。
【0013】
本発明の1つの態様において、第1画素数及び/又は第2画素数を低減するようにガンマカーブを調整する処理であるガンマカーブ調整処理を実行するガンマカーブ調整部を制御部が更に備える。更に、画質調整ルーチンを所定の回数だけ繰り返し実行した後においても特異領域検出部によって第1領域及び/又は第2領域が検出され且つ入力信号の強度が撮像部のダイナミックレンジ内に収まっている場合はガンマカーブ調整処理をガンマカーブ調整部に実行させるように制御部が構成されている。
【0014】
本発明のもう1つの態様において、環境パラメータと画質パラメータとを紐付けて記録する処理であるパラメータ記録処理を実行するように構成されたパラメータ記録部を制御部が更に備える。環境パラメータは画質調整ルーチンが実行される環境に関連するデータであり、画質パラメータは画質調整ルーチンの実行によって更新された撮像部の露出レベルに関連するデータである。更に、画質調整ルーチンの開始時における車両の環境パラメータに整合する環境パラメータがパラメータ記録部に記録されている環境パラメータの中に存在する場合は当該環境パラメータに対応する画質パラメータをパラメータ記録部から読み出して当該画質パラメータに基づいて画質調整ルーチンを開始するように制御部が構成されている。
【発明の効果】
【0015】
本発明装置においては、上述したように、標準輝度範囲から逸脱する輝度を有する測光領域の重み付け係数を大きくすることにより測光値を更新し、当該測光値を目標測光値に近付けるように撮像処理における露出レベルを調整する。その結果、本発明装置によれば、車両の周辺の画像を表示する画像表示装置において特異な輝度分布を有する領域を撮影画像が有する場合であっても撮像手段の露出レベルを好適に制御して表示画像における白飛び及び/又は黒潰れを有効に低減することができる。
【0016】
本発明の1つの態様においては、上記のように露出レベルを調整しても表示画像における白飛び及び/又は黒潰れを十分に低減することができず且つ入力信号の強度が撮像部のダイナミックレンジ内に収まっている場合はガンマカーブの調整により第1画素数及び/又は第2画素数が低減される。その結果、当該態様によれば、撮像手段の露出レベルの制御によっては表示画像における白飛び及び/又は黒潰れを有効に低減することが困難な場合においても、より広い入力の範囲に亘って明暗の階調を呈する出力画像を表示することができる。
【0017】
本発明のもう1つの態様においては、画質調整ルーチンが過去に実行された環境に整合する環境に車両が位置すると判断される場合は、当該画質調整ルーチンによって更新された画質パラメータに基づいて画像が撮影され表示される。その結果、当該態様によれば、撮像手段の露出レベルを好適に制御して表示画像における白飛び及び/又は黒潰れを有効に低減する処理をより迅速に行うことができる。
【0018】
本発明の他の目的、他の特徴及び付随する利点は、以下の図面を参照しつつ記述される本発明の各実施形態についての説明から容易に理解されるであろう。
【図面の簡単な説明】
【0019】
図1】本発明の第1実施態様に係る画像表示装置(第1装置)の構成の一例を示す模式的なブロック図である。
図2】第1装置において実行される画質調整ルーチンを含む処理の流れの一例を示すフローチャートである。
図3】特異領域検出部によって取得される輝度分布の一例を示す模式的な輝度値ヒストグラムである。
図4】撮像部によって撮影された画像における特異領域が上述したような画質調整ルーチンの実行に伴って減少する様子を例示する模式図である。
図5】画質調整ルーチンの実行により白飛びが低減される前後において表示される映像の違いを例示する模式図である。
図6】本発明の第2実施態様に係る画像表示装置(第2装置)の構成の一例を示す模式的なブロック図である。
図7】第2装置において実行される画質調整ルーチンを含む処理の流れの一例を示すフローチャートである。
図8】ガンマカーブ調整処理の具体的な内容を例示する模式的なグラフである。
図9】本発明の第3実施態様に係る画像表示装置(第3装置)の構成の一例を示す模式的なブロック図である。
図10図9に例示した第3装置において実行される画質調整ルーチンを含む処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【0020】
《第1実施形態》
以下、図面を参照しながら本発明の第1実施形態に係る画像表示装置(以降、「第1装置」と称呼される場合がある。)について説明する。
【0021】
〈構成〉
図1は、第1装置の構成の一例を示す模式的なブロック図である。但し、図1は、第1装置の具体的な構造及び/又は各構成要素の位置関係等を示すものではなく、あくまでも本発明についての理解を容易にすることを目的として、第1装置の構成の一例を機能的に例示するものである。第1装置101は、撮像部10と、制御部20と、表示部30と、を備える画像表示装置である。
【0022】
撮像部10は、車両の周辺の画像を撮影する撮像処理を実行する。撮像部10の具体的な構成は、目的とする車両の周辺の画像を撮影することが可能である限り特に限定されない。例えば、撮像部10は、車両に搭載されたカメラである。典型的には、当該カメラはデジタルカメラである。
【0023】
制御部20は、露出調整処理を実行する露出調整部21を含む。露出調整処理は、撮像部によって撮影された画像の平均輝度の値である測光値が所定の目標測光値に近付くように撮像処理における露出レベルを調整する処理である。制御部20の具体的な構成は、露出調整処理を始めとする第1装置101に求められる各種処理及び機能を達成することが可能である限り特に限定されない。例えば、制御部20は、CPU、メモリ及びインターフェイス等を備えるコンピュータ等である。この場合、露出調整部21によって実行される露出調整処理を始めとする種々の処理及び機能は、制御部20を構成するコンピュータによって実現することができる。即ち、露出調整部21は制御部20によって達成される機能として実現することができる。露出調整処理の詳細については当業者に周知であるので、ここでの説明は省略する。
【0024】
表示部30は、露出調整部21によって調整された露出レベルにて撮像部10が実行する撮像処理によって撮影された画像を表示する。表示部30の具体的な構成は、撮像処理によって撮影された画像を好適な画質にて表示することが可能である限り特に限定されない。例えば、表示部30は液晶ディスプレイである。
【0025】
第1装置101において、制御部20は、特異領域検出部22と、測光値更新部23と、を更に備える。
特異領域検出部22は、特異領域検出処理を実行する。具体的には、特異領域検出部22は、撮像部10によって撮影された画像を分割してなる複数の測光領域の各々につき、輝度に対する画素数の分布である輝度分布を取得する。複数の測光領域の形状及び大きさは、例えば、撮影された画像の用途に応じて適宜定めることができる。典型的には、複数の測光領域は、撮影された画像を縦横に分割してなる矩形の領域である。輝度分布は、輝度に対する画素数の分布であり、「輝度値ヒストグラム」とも称呼される。
【0026】
更に、特異領域検出部22は、第1領域及び/又は第2領域の有無を特定する。
第1領域とは、輝度分布における所定の範囲である標準輝度範囲の上限である上限輝度よりも高い輝度を有する画素の数である第1画素数が所定の閾値である第1閾値以上である測光領域である。上記のように、標準輝度範囲は輝度分布における所定の範囲である。典型的には、標準輝度範囲は、肉眼によって明暗の階調を識別することが可能な輝度の範囲に対応する。この場合、標準輝度範囲の上限である上限輝度よりも高い輝度を有する画素については明暗の階調を識別することが困難又は不可能である。即ち、このような画素は所謂「白飛び」が発生している領域を構成する。斯かる観点からは、第1画素数は白飛びが発生している部分を構成する画素の数であると言うことができる。この場合、第1領域は、白飛びが発生している部分を構成する画素の数が所定の閾値(第1閾値)以上である測光領域である。第1閾値の具体的な値は、例えば、撮影された画像の用途において許容される白飛びの程度等に応じて適宜定めることができる。
【0027】
一方、第2領域とは、標準輝度範囲の下限である下限輝度よりも低い輝度を有する画素の数である第2画素数が所定の閾値である第2閾値以上である測光領域である。標準輝度範囲は、上述したように輝度分布における所定の範囲であり、典型的には肉眼によって明暗の階調を識別することが可能な輝度の範囲に対応する。この場合、標準輝度範囲の下限である下限輝度よりも低い輝度を有する画素については明暗の階調を識別することが困難又は不可能である。即ち、このような画素は所謂「黒潰れ」が発生している領域を構成する。斯かる観点からは、第2画素数は黒潰れが発生している領域を構成する画素の数であると言うことができる。この場合、第2領域は、黒潰れが発生している領域を構成する画素の数が所定の閾値(第2閾値)以上である測光領域である。第2閾値の具体的な値は、例えば、撮影された画像の用途において許容される黒潰れの程度等に応じて適宜定めることができる。
【0028】
測光値更新部23は、特異領域検出部22によって第1領域及び/又は第2領域が検出された場合に測光値更新処理を実行する。測光値更新処理とは、測光値の算出における第1領域の重み付け係数である第1係数及び/又は第2領域の重み付け係数である第2係数を大きくすることにより測光値を更新する処理である。換言すれば、測光値更新処理とは、撮像部によって撮影された画像の平均輝度の値である測光値の算出において、白飛びが発生している測光領域(第1領域)及び/又は黒潰れが発生している測光領域(第2領域)の寄与がより大きくなるように第1領域及び/又は第2領域の重み付けを更新する処理である。これにより、白飛び及び/又は黒潰れが発生している測光領域の輝度がより顕著に測光値に反映される。具体的には、白飛びが発生している場合、測光値更新処理が実行されると、測光値更新処理が実行されない場合に比べて、より大きい測光値が算出される。一方、黒潰れが発生している場合、測光値更新処理が実行されると、測光値更新処理が実行されない場合に比べて、より小さい測光値が算出される。
【0029】
尚、測光値更新処理において第1領域の重み付け係数である第1係数及び/又は第2領域の重み付け係数である第2係数を大きくする処理の具体的な手法は特に限定されない。例えば、第1係数及び第2係数は、以下の式(1)及び式(2)によって、それぞれ更新することができる。
【0030】
【数1】
【0031】
式(1)及び式(2)において、Wwは白飛びが発生している測光領域(第1領域)の重み付け係数(第1係数)であり、Wbは黒潰れが発生している測光領域(第2領域)の重み付け係数(第2係数)である。また、Nwは測光領域において標準輝度範囲の上限(上限輝度)よりも高い輝度を有する画素の数であり、Nbは測光領域において標準輝度範囲の下限(下限輝度)よりも低い輝度を有する画素の数である。更に、Rw及びRbは正の係数である。
【0032】
式(1)及び式(2)から明らかであるように、これらの式による第1係数Ww及び第2係数Wbの算出に当たっては、上限輝度よりも高い輝度を有する画素と下限輝度よりも低い輝度を有する画素とが1つの測光領域において併存している状況が想定されている。式(1)においては、上限輝度よりも高い輝度を有する画素の数であるNwが大きいほど第1係数Wwが大きくなり、下限輝度よりも低い輝度を有する画素の数であるNbが大きいほど第1係数Wwが小さくなる。一方、式(2)においては、下限輝度よりも低い輝度を有する画素の数であるNbが大きいほど第2係数Wbが大きくなり、上限輝度よりも高い輝度を有する画素の数であるNwが大きいほど第2係数Wbが小さくなる。
【0033】
尚、上述したようにRw及びRbは正の係数である。Rw及びRbは定数であってもよく、或いは変数であってもよい。後者の場合、例えば、Nwが大きくなるほどRwも大きくなりNbが大きくなるほどRbも大きくなるようにしてもよい。
【0034】
更に、露出調整部21は、測光値更新部23によって更新された測光値に基づいて露出調整処理を実行するように構成されている。前述したように、露出調整処理は、撮像部10によって撮影された画像の平均輝度の値である測光値が所定の目標測光値に近付くように撮像処理における露出レベルを調整する処理である。白飛びが発生している場合、上述したように、測光値更新処理が実行されると、測光値更新処理が実行されない場合に比べて、より大きい測光値が算出される。露出調整処理において、より大きい測光値を目標測光値に近付けるためには、元の測光値の場合に比べて、露出レベルを下げる必要がある。このようにして、撮像部10によって撮影される画像の平均輝度の値である測光値が引き下げられ、白飛びが発生している画素の数(第1画素数)が低減される(即ち、白飛びが軽減される)。
【0035】
一方、黒潰れが発生している場合、上述したように、測光値更新処理が実行されると、測光値更新処理が実行されない場合に比べて、より小さい測光値が算出される。露出調整処理において、より小さい測光値を目標測光値に近付けるためには、元の測光値の場合に比べて、露出レベルを上げる必要がある。このようにして、撮像部10によって撮影される画像の平均輝度の値である測光値が引き上げられ、黒潰れが発生している画素の数(第2画素数)が低減される(即ち、黒潰れが軽減される)。
【0036】
加えて、制御部20は、上述した特異領域検出処理と測光値更新処理と露出調整処理と撮像処理を順次実行するルーチンである画質調整ルーチンを実行するように構成されている。尚、制御部20は、第1領域及び第2領域が検出されなくなるまで画質調整ルーチンを繰り返し実行するように構成されていてもよい。しかしながら、この場合、撮影された画像の輝度分布によっては第1領域及び第2領域が検出されなくなるまでに画質調整ルーチンを非常に多くの数回に亘って繰り返し実行することが必要となる場合がある。その結果、第1装置101が適用される用途において許容される時間内に白飛び及び/又は黒潰れが十分に低減された良好な画質を達成することが困難となる虞がある。そこで、制御部20は、画質調整ルーチンを所定の回数だけ繰り返し実行したら当該ルーチンを終了するように構成されていてもよい。
【0037】
図2は、第1装置101において実行される画質調整ルーチンを含む処理の流れの一例を示すフローチャートである。制御部20を構成するCPUは、メモリ(ROM)に格納されたインストラクション(プログラム)を実行することにより、当該フローチャートによって示される処理を始めと様々な機能を実現することができる。
【0038】
例えば、第1装置101が搭載された車両の運転手による後退レンジ(Rレンジ)へのギアチェンジ及び第1装置101の起動スイッチの操作等のユーザーによる操作をトリガーとして、ステップS101において第1装置101が起動され、撮像部10により車両の周辺の画像が撮影される(撮像処理が実行される)。
【0039】
次に、ステップS102において、制御部20が備える特異領域検出部22により特異領域検出処理が実行される。具体的には、特異領域検出部22は、先ず、撮像部10によって撮影された画像を分割してなる複数の測光領域の各々につき、輝度に対する画素数の分布である輝度分布を取得する。図3は、特異領域検出部22によって取得される輝度分布の一例を示す模式的な輝度値ヒストグラムであり、横軸は輝度を示し、縦軸は横軸によって示される輝度を呈する画素の数を示す。この輝度値ヒストグラムの右端に右上がりの斜線によって示されている領域は、上述した標準輝度範囲の上限(上限輝度)よりも高い輝度の範囲を表す。一方、この輝度値ヒストグラムの左端に右下がりの斜線によって示されている領域は標準輝度範囲の下限(下限輝度)よりも低い輝度の範囲を表す。従って、この輝度値ヒストグラムの斜線が施されていない領域は標準輝度範囲を表す。
【0040】
図3に例示する輝度値ヒストグラムに対応する画像においては、上限輝度よりも高い輝度を有する画素の数である第1画素数が所定の閾値である第1閾値以上である測光領域(第1領域)が存在する。即ち、当該画像には白飛びが発生している測光領域が存在する。一方、当該画像においては、下限輝度よりも低い輝度を有する画素の数である第2画素数が所定の閾値である第2閾値以上である測光領域(第2領域)は存在しない。即ち、当該画像には黒潰れが発生している測光領域は存在しない。
【0041】
次に、ステップS103において、特異領域検出部22により、特異領域(即ち、第1領域及び/又は第2領域)が検出されたか否かが判断される。特異領域が存在しない場合は、特異領域検出部22(としての機能を実現するCPU)により「No」と判断され、ステップS108へと処理が進み、撮像部10によって撮影された画像が表示部30によって表示される。
【0042】
一方、図3に例示した輝度値ヒストグラムのように特異領域が存在する場合は、特異領域検出部22により「Yes」と判断され、次のステップS104へと処理が進む。ステップS104においては、測光値更新部23により測光値更新処理が実行される。具体的には、測光値更新部23は、撮像部によって撮影された画像の平均輝度の値(測光値)の算出における第1領域の重み付け係数である第1係数及び/又は第2領域の重み付け係数である第2係数を大きくすることにより測光値を更新する。
【0043】
次に、ステップS105において、露出調整部21により、測光値更新部23によって更新された測光値に基づいて露出調整処理が実行される。露出調整処理とは、前述したように、撮像部10によって撮影された画像の平均輝度の値(測光値)が所定の目標測光値に近付くように、撮像部10によって実行される撮像処理における露出レベルを調整する処理である。
【0044】
次に、ステップS106において、撮像部10により、撮像処理が実行され、車両の周辺の画像が撮影される。この撮像処理においては、上述したステップS104において更新された測光値に基づきステップS105において調整された露出レベルが使用される。
【0045】
図2において太い実線によって囲まれているステップS102乃至ステップS106は、上述したように特異領域検出処理、測光値更新処理、露出調整処理及び撮像処理に該当し、これらの処理を順次実行するルーチンである画質調整ルーチンを構成する。尚、図2に例示するフローチャートによって表される処理の流れは、画質調整ルーチンを所定の回数だけ繰り返し実行したら当該ルーチンを終了するように構成されている。具体的には、撮像処理が実行されたステップS106の次に、ステップS107において、画質調整ルーチンが所定の回数だけ実行されたか否かが判断される。
【0046】
画質調整ルーチンが既に所定の回数だけ実行されている場合は、ステップS107において制御部20(を構成するCPU)により「Yes」と判断され、次のステップS108へと処理が進み、ステップS106において撮像部10によって撮影された画像が表示部30によって表示される。一方、画質調整ルーチンが未だ所定の回数だけ実行されていない場合は、ステップS107において制御部20により「No」と判断され、上述したステップS102へと処理が戻される。
【0047】
図4は、撮像部10によって撮影された画像における特異領域が上述したような画質調整ルーチンの実行に伴って減少する様子を例示する模式図である。図4に示す例においては、25個の測光領域に画像が分割されている。図4の(a)は、上述したステップS101において撮像部10によって撮影された画像の模式図であり、個々の測光領域には所定の重み付け係数が付与されている。その結果、太い破線によって囲まれた測光領域において白飛びが発生している。
【0048】
従って、上述したステップS102において実行される特異領域検出処理によって取得される輝度分布に基づき特異領域(この場合は白飛びが発生している測光領域である第1領域)の存在が検出される。その結果、次のステップS103において「Yes」と判断され、ステップS104乃至ステップS106において測光値更新処理、露出調整処理及び撮像処理が実行される(即ち、画質調整ルーチンが実行される)。この時点において画質調整ルーチンが実行された回数は1回のみであり、所定の回数に未だ到達していない。従って、ステップS107において「No」と判断され、ステップS102へと処理が戻され、特異領域検出処理が実行される。
【0049】
図4の(b)は、上記のようにして画質調整ルーチンが実行された結果として得られた画像の模式図である。画質調整ルーチンの実行により特異領域(第1領域)の数は減少したものの、太い破線によって囲まれた測光領域において白飛びが依然として発生している。従って、次のステップS103において「Yes」と再び判断され、ステップS104乃至ステップS106において測光値更新処理、露出調整処理及び撮像処理が実行される(画質調整ルーチンが実行される)。
【0050】
図4の(c)は、上記のようにして画質調整ルーチンが再び実行された結果として得られた画像の模式図である。画質調整ルーチンの再度の実行により特異領域(第1領域)が検出されない状態になっている。即ち、白飛びが発生している測光領域の無い良好な画質を呈する画像が得られている。従って、今度はステップS103において「No」と判断され、ステップS108へと処理が進み、表示部30によって当該画像が表示される。
【0051】
図5は、画質調整ルーチンの実行により白飛びが低減される前後において表示される映像の違いを例示する模式図である。図5に示す映像は、一般的なコンビニエンスストアの駐車場に駐車された車両に搭載された画像表示装置によって表示される当該車両の上方から俯瞰した映像を表している。(a)は画質調整ルーチンが実行される前の映像であり、(b)は画質調整ルーチンが実行された後の映像である。
【0052】
画質調整ルーチンが実行される前の映像においては、(a)に示すように、店舗前面のガラス窓を介して照射される店内の照明からの光によって白飛びが発生しており、車両の後方の状況を鮮明に視認することができない。具体的には、例えば、個々の駐車区画を示す白線と路面との境界が不鮮明になってしまっている。一方、画質調整ルーチンが実行された後の映像においては、(b)に示すように、車両の後方における白飛びが低減されて駐車区画を示す白線と路面との境界を鮮明に視認することができる。これは、上述したように、白飛びが発生している測光領域の重み付け係数を大きくすることにより増大された平均輝度の値(測光値)に基づいて設定される露出レベルが低減された結果として、白飛びが発生していた領域においても明暗の階調を生じさせることができたためである。
【0053】
〈効果〉
以上説明してきたように、第1装置においては、標準輝度範囲から逸脱する輝度を有する測光領域の重み付け係数を大きくすることにより平均輝度の値(測光値)が更新され、当該測光値を目標測光値に近付けるように撮像処理における露出レベルが調整される。その結果、第1装置によれば、車両の周辺の画像を表示する画像表示装置において特異な輝度分布を有する領域を撮影画像が有する場合であっても撮像手段の露出レベルを好適に制御して表示画像における白飛び及び/又は黒潰れを有効に低減することができる。
【0054】
《第2実施形態》
以下、図面を参照しながら本発明の第2実施形態に係る画像表示装置(以降、「第2装置」と称呼される場合がある。)について説明する。
【0055】
上述したように、第1装置を始めとする本発明に係る画像表示装置(本発明装置)が備える制御部は、第1領域及び第2領域が検出されなくなるまで画質調整ルーチンを繰り返し実行するように構成されていてもよい。しかしながら、この場合、撮影された画像の輝度分布によっては第1領域及び第2領域が検出されなくなるまでに画質調整ルーチンを非常に多くの数回に亘って繰り返し実行することが必要となる場合がある。その結果、目的とする用途において許容される時間内に白飛び及び/又は黒潰れが十分に低減された良好な画質を達成することが困難となる虞がある。そこで、制御部は、画質調整ルーチンを所定の回数だけ繰り返し実行したら当該ルーチンを終了するように構成されていてもよい。
【0056】
しかしながら、上記構成のみでは、画質調整ルーチンが所定の回数だけ繰り返し実行されと後であっても白飛び及び/又は黒潰れが十分に低減されていない可能性がある。そこで、第2装置においては、画質調整ルーチンの実行により露出レベルを調整しても表示画像における白飛び及び/又は黒潰れが十分に低減されなかった場合はガンマカーブの調整により第1画素数及び/又は第2画素数を低減するように制御部が構成されている。但し、ガンマカーブの調整により第1画素数及び/又は第2画素数を低減するためには、入力信号の強度が撮像部のダイナミックレンジ内に収まっている必要がある。
【0057】
〈構成〉
図6は、第2装置の構成の一例を示す模式的なブロック図である。但し、図1と同様に、図6もまた、第2装置の具体的な構造及び/又は各構成要素の位置関係等を示すものではなく、あくまでも本発明についての理解を容易にすることを目的として、第2装置の構成の一例を機能的に例示するものである。図6に例示する第2装置102は、ガンマカーブ調整部24を制御部20が更に備える点を除き、図1に例示した第1装置101と同様の構成を有する画像表示装置である。従って、以下の説明においては、ガンマカーブ調整部24によって実行されるガンマカーブ調整処理について主に述べる。
【0058】
即ち、第2装置は102、上述した第1装置101を始めとする本発明に係る画像表示装置であって、ガンマカーブ調整処理を実行するガンマカーブ調整部24を制御部20が更に備える画像表示装置である。ガンマカーブ調整処理とは、第1画素数及び/又は第2画素数を低減するようにガンマカーブを調整する処理である。ガンマカーブ調整処理の詳細については後述する。
【0059】
更に、第2装置102においては、画質調整ルーチンを所定の回数だけ繰り返し実行した後においても特異領域検出部22によって第1領域及び/又は第2領域が検出され且つ入力信号の強度が撮像部のダイナミックレンジ内に収まっている場合はガンマカーブ調整処理をガンマカーブ調整部24に実行させるように制御部20が構成されている。ガンマカーブ調整部24によって実行されるガンマカーブ調整処理もまた、制御部20を構成するコンピュータによって実現することができる。即ち、ガンマカーブ調整部24は制御部20によって達成される機能として実現することができる。
【0060】
図7は、第2装置102において実行される画質調整ルーチンを含む処理の流れの一例を示すフローチャートである。図7に示すフローチャートは、ステップS107とステップS108との間にステップS111乃至ステップS114が追加されている点を除き、第1装置101についての説明において参照した図2に示したフローチャートと同様である。従って、以下の説明においては、ステップS107以降に実行される処理について主に述べる。
【0061】
第1装置101について説明したように、ステップS102乃至ステップS106の実行により画質調整ルーチンが実行されると、画質調整ルーチンが所定の回数だけ実行されたか否かがステップS107において判断される。画質調整ルーチンが所定の回数だけ繰り返し実行された場合は、ステップS107において制御部20(を構成するCPU)により「Yes」と判断される。次に、第1装置101においては、上述したようにステップS108へと処理が進み、表示部30によって画像が表示される。しかしながら、第2装置102においては、ステップS111及びステップS112へと処理が進み、特異領域検出部22によって特異領域検出処理が実行される。これらのステップは上述したステップS102及びステップS103と同様であるので、ここでの説明は省略する。
【0062】
この時点において特異領域が存在しない場合は、ステップS112において「No」と判断され、ステップS108へと処理が進み、撮像部10によって撮影された画像が表示部30によって表示される。一方、特異領域が存在する場合は、ステップS112において「Yes」と判断され、次のステップS113へと処理が進む。ステップS113においては、撮像部10によって撮影された画像の入力信号の強度が撮像部10(が備えるイメージセンサ等の受光部)のダイナミックレンジ内に収まっているか否かが判断される。
【0063】
入力信号の強度が撮像部10のダイナミックレンジ内に収まっていない場合は、ガンマカーブ調整処理によって白飛び及び/又は黒潰れを低減することはできないので、ステップS113において「No」と判断され、ステップS108へと処理が進み、表示部30によって画像が表示される。一方、入力信号の強度が撮像部10のダイナミックレンジ内に収まっている場合は、ステップS113において「Yes」と判断され、ステップS114へと処理が進み、ガンマカーブ調整処理が実行される。
【0064】
図8は、ガンマカーブ調整処理の前後におけるガンマカーブの変化を例示する模式的なグラフである。当該グラフの横軸は入力を示し、縦軸は出力を示す。また、破線によって描かれている曲線はガンマカーブ調整処理が実行される前のガンマカーブを示し、実線によって描かれている曲線はガンマカーブ調整処理が実行された後のガンマカーブを示す。
【0065】
ガンマカーブ調整処理が実行される前のガンマカーブ(破線)の入力の上限値の近傍(太い点線によって囲まれている領域)においては、出力が飽和しており、白飛びが発生していることが判る。そこで、ステップS114において実行されるガンマカーブ調整処理により、白抜きの矢印によって示されているように、ガンマカーブが右側へシフトされ、白飛びが発生していた領域においても明暗の階調が達成される。このように、ガンマカーブ調整処理とは、(撮像手段のダイナミックレンジ内における)より広い入力の範囲(好ましくは入力の全域)に亘って出力が明暗の階調を呈するように所謂「ガンマ補正」が行われる処理である。
【0066】
上記のようにしてステップS114においてガンマカーブ調整処理が実行されると、次のステップS108へと処理が進み、白飛びが発生している測光領域の無い良好な画質を呈する画像が表示部30によって表示される。
【0067】
〈効果〉
以上説明してきたように、第2装置においては、画質調整ルーチンの実行により露出レベルを調整しても表示画像における白飛び及び/又は黒潰れを十分に低減することができず且つ入力信号の強度が撮像部のダイナミックレンジ内に収まっている場合は、ガンマカーブ調整処理の実行により第1画素数及び/又は第2画素数が低減される。その結果、第2装置によれば、画質調整ルーチンの実行による露出レベルの制御によっては表示画像における白飛び及び/又は黒潰れを有効に低減することが困難な場合においても、より広い入力の範囲に亘って明暗の階調を呈する出力画像を表示することができる。
【0068】
《第3実施形態》
以下、図面を参照しながら本発明の第3実施形態に係る画像表示装置(以降、「第3装置」と称呼される場合がある。)について説明する。
【0069】
上述したように、第1装置においては、標準輝度範囲から逸脱する輝度を有する測光領域の重み付け係数を大きくすることにより平均輝度の値(測光値)が更新され、当該測光値を目標測光値に近付けるように撮像処理における露出レベルが調整される。その結果、第1装置によれば、車両の周辺の画像を表示する画像表示装置において特異な輝度分布を有する領域を撮影画像が有する場合であっても撮像手段の露出レベルを好適に制御して表示画像における白飛び及び/又は黒潰れを有効に低減することができる。
【0070】
また、第2装置においては、画質調整ルーチンの実行により露出レベルを調整しても表示画像における白飛び及び/又は黒潰れを十分に低減することができず且つ入力信号の強度が撮像部のダイナミックレンジ内に収まっている場合は、ガンマカーブ調整処理の実行により第1画素数及び/又は第2画素数が低減される。その結果、第2装置によれば、画質調整ルーチンの実行による露出レベルの制御によっては表示画像における白飛び及び/又は黒潰れを有効に低減することが困難な場合においても、より広い入力の範囲に亘って明暗の階調を呈する出力画像を表示することができる。
【0071】
ところで、例えば、過去に画質調整ルーチンが実行されたことのある環境と同じ環境に車両が存在する場合、当該「過去に実行された画質調整ルーチン」によって更新された露出レベル等を利用することができれば、表示画像における白飛び及び/又は黒潰れを低減する処理をより迅速に行うことができる。
【0072】
〈構成〉
図9は、第3装置の構成の一例を示す模式的なブロック図である。但し、図1及び図6と同様に、図9もまた、第3装置の具体的な構造及び/又は各構成要素の位置関係等を示すものではなく、あくまでも本発明についての理解を容易にすることを目的として、第3装置の構成の一例を機能的に例示するものである。図9に例示する第3装置103は、パラメータ記録部25を制御部20が更に備える点を除き、図6に例示した第2装置102と同様の構成を有する画像表示装置である。従って、以下の説明においては、パラメータ記録部25に関連する処理について主に述べる。
【0073】
即ち、第3装置103は、上述した第1装置101及び第2装置102を始めとする本発明に係る画像表示装置であって、環境パラメータと画質パラメータとを紐付けて記録する処理であるパラメータ記録処理を実行するように構成されたパラメータ記録部25を制御部20が更に備える画像表示装置である。パラメータ記録部25もまた、制御部20を構成するコンピュータによって実現することができる。即ち、パラメータ記録部25は制御部20によって達成される機能として実現することができる。また、パラメータ記録部25によって互いに紐付けされて記録される環境パラメータ及び画質パラメータは、例えばデータテーブル又はデータマップ等の形式にて、例えばメモリ(RAM)、ハードディスクドライブ(HDD)又はソリッドステートドライブ(SSD)等のデータ記憶手段に保存することができる。
【0074】
環境パラメータは、画質調整ルーチンが実行される環境に関連するデータである。具体的には、環境パラメータは、画質調整ルーチンが実行される位置及び日時における太陽の高度(仰角)及び方位を特定することができるデータである。より具体的には、環境パラメータは、例えば、第3装置を搭載する車両の位置及び向き並びに日時等を含むデータである。このようなデータは、例えばGPS(Global Positioning System)等を利用して取得することができる。
【0075】
更に、環境パラメータは、日差しの強さに影響を及ぼすデータを含んでもよい。このようなデータの具体例としては、例えば気象庁等によって提供される気象データ等を挙げることができる。この場合、例えば、晴天、曇天、雨天などの天候に応じて、適用される重み付け係数を変化させてもよい。具体的には、白飛びが発生している測光領域(第1領域)の重み付け係数(第1係数)が「晴天時>曇天時>雨天時」となるように変化させてもよく、黒潰れが発生している測光領域(第2領域)の重み付け係数(第2係数)が「晴天時<曇天時<雨天時」となるように変化させてもよい。
【0076】
画質パラメータは、画質調整ルーチンの実行によって更新された撮像部10の露出レベルに関連するデータである。画質パラメータは、画質調整ルーチンが実行された結果として設定された撮像部10の露出レベルそのものであってもよい。或いは、画質パラメータは、撮像部10によって撮影された画像の平均輝度の値である測光値、当該画像における第1領域の位置及び第1係数、並びに第2領域の位置及び第2係数等、画質調整ルーチンが実行された結果として設定された撮像部10の露出レベルを特定することが可能なデータであってもよい。また、例えば照度センサ等、車両周辺の照度を検出する手段が利用可能である場合は、画質パラメータに照度を含めてもよい。
【0077】
尚、図9に例示した第3装置103においては、ガンマカーブ調整部24を制御部20が備えている。即ち、第3装置103は、上述した第2装置102に相当する構成を有する。この場合、画質パラメータは、ガンマカーブ調整処理の実行によって調整されたガンマカーブを含んでいてもよい。当然のことながら、上述した第1装置101のようにガンマカーブ調整部24を制御部20が備えない場合は、この限りではない。
【0078】
更に、第3装置103においては、画質調整ルーチンの開始時における車両の環境パラメータに整合する環境パラメータがパラメータ記録部に記録されている環境パラメータの中に存在する場合は当該環境パラメータに対応する画質パラメータをパラメータ記録部25から読み出して当該画質パラメータに基づいて画質調整ルーチンを開始するように制御部20が構成されている。
【0079】
図10は、図9に例示した第3装置103において実行される画質調整ルーチンを含む処理の流れの一例を示すフローチャートである。図10に示すフローチャートは、ステップS101とステップS102との間にステップS121乃至ステップS123が追加され且つステップS114とステップS108との間にステップS124が追加されている点を除き、第2装置102についての説明において参照した図7に示したフローチャートと同様である。従って、以下の説明においては、これらの追加されたステップにおいて実行される処理について主に述べる。
【0080】
ステップS101において第1装置101が起動され、撮像部10により車両の周辺の画像が撮影される(撮像処理が実行される)と、次のステップS121において、制御部20により、上述したようにGPS等を利用して、環境データが取得される。次に、ステップS122において、取得された環境パラメータに整合する環境パラメータがパラメータ記録部25に記録されている環境パラメータの中に存在するか否かが判断される。
【0081】
取得された環境パラメータに整合する環境パラメータがパラメータ記録部25に記録されている環境パラメータの中に存在しない場合は、ステップS122において「No」と判断され、ステップS102へと処理が進み、特異領域検出処理が実行される。これ以降の処理の流れは図7に例示したフローチャートと同様である。但し、第3装置103においては、ステップS108において表示部30によって画像が表示される前に、ステップS124においてパラメータ記録部25によって実行されるパラメータ記録処理により環境パラメータと画質パラメータとが紐付けて記録される。
【0082】
一方、取得された環境パラメータに整合する環境パラメータがパラメータ記録部25に記録されている環境パラメータの中に存在する場合は、ステップS122において「Yes」と判断され、次にステップS123へと処理が進む。ステップS123においては、ステップS121において取得された環境パラメータに対応する画質パラメータがパラメータ記録部25から読み出され、次のステップS102以降において実行される画質調整ルーチンに当該画質パラメータが反映(適用)される。
【0083】
上記のようにしてパラメータ記録部25から読み出された画質パラメータは過去に実行された画質調整ルーチンによって更新された画質パラメータである。従って、典型的には、ステップS102において実行される特異領域検出処理においては、特異領域(即ち、白飛びが発生している測光領域(第1領域)及び黒潰れが発生している測光領域(第2領域))は検出されない筈である。この場合は、次のステップS103において「No」と判断され、ステップS124へと処理が進んでパラメータ記録部25によってパラメータ記録処理が実行され、次のステップS108において表示部30によって画像が表示される。尚、上記のように画質パラメータが更新されなかった場合は、ステップS124において環境パラメータのみが更新されるようにしてもよい。
【0084】
ところで、取得された環境パラメータに整合する環境パラメータがパラメータ記録部25に記録されている環境パラメータの中に存在する場合であっても、例えば車両周辺の建造物の変化等に起因して、撮像部10によって撮影される画像における輝度分布が変化する場合がある。このような場合は、ステップS123においてパラメータ記録部25から読み出された画質パラメータ(即ち、過去に実行された画質調整ルーチンによって更新された画質パラメータ)を適用したにもかかわらず次のステップS102において特異領域が検出される可能性がある。
【0085】
上記のようにステップS102において特異領域が検出された場合は、ステップS103において「Yes」と判断され、次のステップS104へと処理が進み、測光値更新処理が実行される。これ以降の処理の流れは図7に例示したフローチャートと同様であり、ステップS124においてパラメータ記録部25によって実行されるパラメータ記録処理により環境パラメータと更新された画質パラメータとが紐付けて記録される。
【0086】
尚、上述したように、図9に例示した図第3装置103においては、ガンマカーブ調整部24を制御部20が備えている。従って、図10に例示したフローチャートにおいてはステップS107とステップS124との間においてステップS111乃至ステップS114が実行される。従って、ステップS114において実行されるガンマカーブ調整処理によって調整されたガンマカーブを画質パラメータが含んでいてもよい。しかしながら、当然のことながら、上述した第1装置101のようにガンマカーブ調整部24を制御部20が備えない場合は、ステップS111乃至ステップS114は実行されない。
【0087】
〈効果〉
以上説明してきたように、第3装置においては、画質調整ルーチンが過去に実行された環境に整合する環境に車両が位置すると判断される場合は、当該画質調整ルーチンによって画質パラメータに基づいて画像が撮影され表示される。その結果、第3装置によれば、撮像手段の露出レベルを好適に制御して表示画像における白飛び及び/又は黒潰れを有効に低減する処理をより迅速に行うことができる。
【0088】
以上、本発明を説明することを目的として、特定の構成を有する幾つかの実施形態及び変形例につき、時に添付図面を参照しながら説明してきたが、本発明の範囲は、これらの例示的な実施形態及び変形例に限定されると解釈されるべきではなく、特許請求の範囲及び明細書に記載された事項の範囲内で、適宜修正を加えることが可能であることは言うまでも無い。
【符号の説明】
【0089】
10…撮像部、20…制御部、21…露出調整部、22…特異領域検出部、23…測光値更新部、24…ガンマカーブ調整部、25…パラメータ記録部、30…表示部、101,102,103…画像表示装置。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10