特開 2024-143847 画像処理装置、画像処理方法及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024143847

(43)【公開日】2024-10-11

(54)【発明の名称】画像処理装置、画像処理方法及び画像処理プログラム

(51)【国際特許分類】

   H04N 23/76 20230101AFI20241003BHJP

   G06T 5/92 20240101ALI20241003BHJP

   H04N 23/71 20230101ALI20241003BHJP

【ＦＩ】

H04N23/76

G06T5/00 740

H04N23/71

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023056755

(22)【出願日】2023-03-30

(71)【出願人】

【識別番号】320012037

【氏名又は名称】ラピステクノロジー株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】西谷 直輝

(72)【発明者】

【氏名】今任 祐基

【テーマコード（参考）】

5B057

5C122

【Ｆターム（参考）】

5B057AA16

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057DB02

5B057DB09

5B057DC23

5C122DA14

5C122EA17

5C122FH01

5C122FH24

5C122HB01

(57)【要約】

【課題】時間帯に応じた画像に階調変換できる画像処理装置、画像処理方法及び画像処理プログラムを提供する。
【解決手段】画像処理装置１０は、車両における運転者の視野の補助となり得る画像と、当該画像の撮影時点の時間情報と、を取得する取得部３０と、画像の輝度を互いに異なる特性によって変換する複数の変換関数であって、一日の時間帯別に定められた２以上の時間帯別変換関数を含む複数の変換関数のうち、少なくとも時間帯別変換関数を含む２以上の変換関数を時間情報に応じて選択する選択部３２と、選択された２以上の変換関数を用いて、合成関数を生成する合成部３３と、合成関数を用いて、画像の輝度を変換する変換部３４と、を備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

車両における運転者の視野の補助となり得る画像と、当該画像の撮影時点の時間情報と、を取得する取得部と、
前記画像の輝度を互いに異なる特性によって変換する複数の変換関数であって、一日の時間帯別に定められた２以上の時間帯別変換関数を含む複数の変換関数のうち、少なくとも前記時間帯別変換関数を含む２以上の前記変換関数を前記時間情報に応じて選択する選択部と、
選択された２以上の前記変換関数を用いて、合成関数を生成する合成部と、
前記合成関数を用いて、前記画像の輝度を変換する変換部と、
を備える画像処理装置。

【請求項2】

前記複数の変換関数は、前記画像が撮影される環境における照度別に定められた２以上の照度別変換関数を含み、
前記取得部は、前記画像が撮影される環境における照度を示す照度情報を取得し、
前記選択部は、前記複数の変換関数のうち、前記照度別変換関数を含む２以上の前記変換関数を前記照度情報に応じて選択する
請求項１に記載の画像処理装置。

【請求項3】

前記複数の変換関数は、前記画像の全体に対して一様に輝度を変換するグローバル変換関数を含み、
前記選択部は、少なくとも前記時間帯別変換関数及び前記グローバル変換関数を選択する
請求項１に記載の画像処理装置。

【請求項4】

前記画像の各画素の輝度の分布を示す輝度ヒストグラムに基づいて、前記グローバル変換関数を生成する生成部を更に備える
請求項３に記載の画像処理装置。

【請求項5】

前記複数の変換関数は、前記画像の局所ごとに輝度を変換するローカル変換関数を含み、
前記選択部は、少なくとも前記時間帯別変換関数及び前記ローカル変換関数を選択する
請求項１に記載の画像処理装置。

【請求項6】

前記画像の局所ごとの各画素の輝度の分布を示す輝度ヒストグラムに基づいて、前記ローカル変換関数を生成する生成部を更に備える
請求項５に記載の画像処理装置。

【請求項7】

車両における運転者の視野の補助となり得る画像と、当該画像の撮影時点の時間情報と、を取得し、
前記画像の輝度を互いに異なる特性によって変換する複数の変換関数であって、一日の時間帯別に定められた２以上の時間帯別変換関数を含む複数の変換関数のうち、少なくとも前記時間帯別変換関数を含む２以上の前記変換関数を前記時間情報に応じて選択し、
選択された２以上の前記変換関数を用いて、合成関数を生成し、
前記合成関数を用いて、前記画像の輝度を変換する
処理を含む画像処理方法。

【請求項8】

車両における運転者の視野の補助となり得る画像と、当該画像の撮影時点の時間情報と、を取得し、
前記画像の輝度を互いに異なる特性によって変換する複数の変換関数であって、一日の時間帯別に定められた２以上の時間帯別変換関数を含む複数の変換関数のうち、少なくとも前記時間帯別変換関数を含む２以上の前記変換関数を前記時間情報に応じて選択し、
選択された２以上の前記変換関数を用いて、合成関数を生成し、
前記合成関数を用いて、前記画像の輝度を変換する
処理をコンピュータが実行するための画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、画像処理装置、画像処理方法及び画像処理プログラムに関する。

【背景技術】

【0002】

近年、車両に搭載されるミラーに代えて、当該ミラーが映し出す領域をカメラによって撮影した動画像をディスプレイに映し出すシステム（いわゆる電子ミラー）が普及してきている。一般的に、ディスプレイの階調数（ダイナミックレンジ）はカメラの階調数よりも小さいため、カメラにより得られる動画像の画素ごとに階調を調整することが求められる。このときに用いられる手法として、人の視覚特性に応じた変換を行うトーンマッピングという手法が知られている。

【0003】

例えば、特許文献１には、被写体の実写画像の画質を、人が実写画像を直接見たときに感じる見え方に近い明るさの画質に変換するグローバルトーンマッピング用のトーンカーブを用いて補正することが開示されている。グローバルトーンマッピングとは、画像の全体に対して一様に輝度を変換する手法である。また、特許文献１には、日向の明るさ、日陰の明るさ及び曇天下の明るさのそれぞれに対応するトーンカーブのうち、撮像時の環境（照度）に対応するトーンカーブを用いて、実写画像の画質を変換することが開示されている。

【0004】

また例えば、特許文献２には、画像群からシーン変化の有無を検出し、シーン変化が検出された場合に階調変換曲線を算出し、この階調変換曲線と過去の階調変換曲線とを合成し、合成された階調変換曲線を用いて各画像の階調変換を行うことが開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２１－０９３６０８号公報

【特許文献2】特開２００３－３０９７６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、車載のカメラにより得られる画像の輝度分布は、昼間及び夜間といった時間帯に応じても変化するし、市街地、山間部及びトンネルといった車両の走行場所に応じても変化するし、晴天、曇天及び雨天といった天候に応じても変化する。特許文献１に記載の技術では、撮像時の照度に応じてトーンカーブを選択しているため、特に時間帯に対する照度のずれがある状況（例えばトンネル及び地下駐車場等を走行中）では、階調変換後の画像に違和感を覚える場合があった。

【0007】

開示の技術は、上述した課題を解決するためになされたものであり、時間帯に応じた画像に階調変換できる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

第１の態様に係る画像処理装置は、車両における運転者の視野の補助となり得る画像と、当該画像の撮影時点の時間情報と、を取得する取得部と、前記画像の輝度を互いに異なる特性によって変換する複数の変換関数であって、一日の時間帯別に定められた２以上の時間帯別変換関数を含む複数の変換関数のうち、少なくとも前記時間帯別変換関数を含む２以上の前記変換関数を前記時間情報に応じて選択する選択部と、選択された２以上の前記変換関数を用いて、合成関数を生成する合成部と、前記合成関数を用いて、前記画像の輝度を変換する変換部と、を備える。

【0009】

第２の態様に係る画像処理方法は、車両における運転者の視野の補助となり得る画像と、当該画像の撮影時点の時間情報と、を取得し、前記画像の輝度を互いに異なる特性によって変換する複数の変換関数であって、一日の時間帯別に定められた２以上の時間帯別変換関数を含む複数の変換関数のうち、少なくとも前記時間帯別変換関数を含む２以上の前記変換関数を前記時間情報に応じて選択し、選択された２以上の前記変換関数を用いて、合成関数を生成し、前記合成関数を用いて、前記画像の輝度を変換する処理を含む。

【0010】

第３の態様に係る画像処理プログラムは、車両における運転者の視野の補助となり得る画像と、当該画像の撮影時点の時間情報と、を取得し、前記画像の輝度を互いに異なる特性によって変換する複数の変換関数であって、一日の時間帯別に定められた２以上の時間帯別変換関数を含む複数の変換関数のうち、少なくとも前記時間帯別変換関数を含む２以上の前記変換関数を前記時間情報に応じて選択し、選択された２以上の前記変換関数を用いて、合成関数を生成し、前記合成関数を用いて、前記画像の輝度を変換する処理をコンピュータが実行するためのものである。

【発明の効果】

【0011】

開示の技術によれば、時間帯に応じた画像に階調変換できるという効果を奏する。

【図面の簡単な説明】

【0012】

【図1】画像処理システムの概略構成の一例を示す図である。

【図2】画像処理装置のハードウェア構成の一例を示すブロック図である。

【図3】トーンカーブの一例を示す図である。

【図4】画像処理装置の機能的な構成の一例を示すブロック図である。

【図5】画像処理装置の機能を説明するための図である。

【図6】画像処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0013】

以下、図面を参照して本開示の実施形態について説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。

【0014】

まず、図１を参照して、画像処理システム１の構成について説明する。図１は、画像処理システム１の概略構成を示す図である。図１に示すように、画像処理システム１は、撮影装置２と、画像処理装置１０と、電子ミラー４と、を備える。撮影装置２と画像処理装置１０、及び、画像処理装置１０と電子ミラー４は、有線又は無線のネットワークを介して接続可能に構成されている。画像処理システム１は、例えば、１台の車両に搭載される。

【0015】

撮影装置２は、車両における運転者の視野の補助となり得る画像（例えば車両の後方及び／又は側方の画像）を撮影し、画像処理装置１０へ逐次出力する。撮影装置２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサ又はＣＣＤ（Charge Coupled Device）型イメージセンサ等を含んで構成された可視光に基づく撮影を行うデジタルカメラである。

【0016】

また、撮影装置２は、所謂ＨＤＲ（High Dynamic Range）機能を有することが好ましい。ＨＤＲ機能は、高感度で撮影した高感度の撮影画像及び低感度で撮影した低感度の撮影画像に基づいて、明るい部分が白飛びしないように、かつ、暗い部分が潰れないように、高感度の撮影画像及び低感度の撮影画像を合成する機能である。ＨＤＲ機能によって、後述の電子ミラー４よりも階調数が大きな（すなわちダイナミックレンジの広い）画像を出力できる。

【0017】

画像処理装置１０は、撮影装置２から出力された画像を、電子ミラー４の階調数に合わせて変換し、変換後の画像を電子ミラー４に逐次出力する。

【0018】

電子ミラー４は、画像処理装置１０から出力された階調変換後の画像を、車室の内側へ向けて表示する。すなわち、電子ミラー４は、車両のインナーミラー及び／又はサイドミラーの代わりとして機能し、運転者は、電子ミラー４に表示された画像を視認することで、車両の外部環境の状況を確認する。電子ミラー４は、例えば、液晶ディスプレイ等のディスプレイを含んで構成され、表現できる階調数は、撮影装置２により撮影された画像の階調数よりも小さい（すなわちダイナミックレンジが狭い）。

【0019】

ところで、車載の撮影装置２により得られる画像の輝度分布は、昼間及び夜間といった時間帯に応じても変化するし、市街地、山間部及びトンネルといった車両の走行場所に応じても変化するし、晴天、曇天及び雨天といった天候に応じても変化する。一方で、これらの輝度分布のみに基づいて階調変換すると、階調変換後の画像について、昼間なのに実際の見え方よりも暗いと感じたり、夜間なのに実際の見え方よりも明るいと感じたりといった違和感を覚える場合があった。

【0020】

そこで、本実施形態に係る画像処理装置１０は、これらの外部環境の状況（すなわち画像の輝度分布）に適しながらも、昼間及び夜間等の時間帯に応じた画像に階調変換する。以下、画像処理装置１０について詳細に説明する。以下、撮影装置２から画像処理装置１０に対して入力される階調数の大きい画像を「入力画像」といい、画像処理装置１０から電子ミラー４に対して出力される階調数の小さい画像を「出力画像」という。

【0021】

まず、図２を参照して、画像処理装置１０のハードウェア構成の一例を説明する。図２に示すように、画像処理装置１０は、ＣＰＵ（Central Processing Unit）２１、不揮発性の記憶部２２、及び一時記憶領域としてのメモリ２３、並びにＩ／Ｆ（InterFace）部２６を含む。Ｉ／Ｆ部２６は、撮影装置２、電子ミラー４及びその他外部装置等との有線又は無線通信を行う。ＣＰＵ２１、記憶部２２、メモリ２３及びＩ／Ｆ部２６は、システムバス及びコントロールバス等のバス２８を介して相互に各種情報の授受が可能に接続されている。

【0022】

記憶部２２は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）及びフラッシュメモリ等の記憶媒体によって実現される。記憶部２２には、画像処理装置１０における画像処理プログラム２７と、各種トーンカーブＴが記憶される。ＣＰＵ２１は、記憶部２２から画像処理プログラム２７を読み出してからメモリ２３に展開し、展開した画像処理プログラム２７を実行する。ＣＰＵ２１が本開示のプロセッサの一例である。画像処理装置１０としては、例えば、パーソナルコンピュータ、サーバコンピュータ、スマートフォン、タブレット端末及びウェアラブル端末等を適宜適用できる。

【0023】

図３に、トーンカーブＴの一例として、トーンカーブＴ０、Ｔ１及びＴ２を示す。トーンカーブＴは、入力画像の各画素の輝度値と、出力画像の各画素の輝度値と、を対応付けた変換関数である。図３のグラフでは、入力輝度が横軸であり、出力輝度が縦軸であり、それぞれの輝度は０～２５５の値をとり、輝度の値が大きいほど明るいことを示す。

【0024】

点線で図示するトーンカーブＴ０は、基準となるトーンカーブであり、入力輝度に対する出力輝度の傾きが１である。一方、実線で図示するトーンカーブＴ１は、入力輝度に対して出力輝度が全体的に上方に対応付けられている。このトーンカーブＴ１を用いて階調変換することによって、出力画像は、入力画像よりも全体として明るい画像となる。また、破線で図示するトーンカーブＴ２は、輝度の値が小さい領域では入力輝度に対して出力輝度が上方に対応付けられており、輝度の値が大きい領域では入力輝度に対して出力輝度が下方に対応付けられている。このトーンカーブＴ２を用いて階調変換することによって、出力画像は、暗い領域は入力画像よりも明るく、明るい領域は入力画像よりも暗い画像となり、人の視覚特性に適した画像となる。

【0025】

記憶部２２には、トーンカーブＴ０、Ｔ１及びＴ２のような、入力画像の輝度を互いに異なる特性によって変換する複数の変換関数（トーンカーブＴ）が予め記憶されている。具体的には、複数のトーンカーブＴとして、例えば昼間用及び夜間用といった、一日の時間帯別に定められた２以上の時間帯別変換関数が予め記憶されている。また具体的には、複数のトーンカーブＴとして、例えば明所用及び暗所用といった、入力画像が撮影される環境における照度別に定められた２以上の照度別変換関数が予め記憶されている。なお、これらを組み合わせて、例えば昼間用かつ明所用のトーンカーブＴと、昼間用かつ暗所用のトーンカーブＴとが予め記憶されていてもよい。

【0026】

次に、図４及び図５を参照して、画像処理装置１０の機能的な構成の一例について説明する。図４に示すように、画像処理装置１０は、取得部３０、生成部３１、選択部３２、合成部３３、変換部３４及び制御部３５を含む。ＣＰＵ２１が画像処理プログラム２７を実行することにより、ＣＰＵ２１が取得部３０、生成部３１、選択部３２、合成部３３、変換部３４及び制御部３５の各機能部として機能する。図５は、各機能部によって実行される、入力画像を出力画像に変換するまでの流れを示す図である。

【0027】

取得部３０は、撮影装置２から、入力画像を取得する。入力画像は、上述したように、車両における運転者の視野の補助となり得る画像であり、出力画像よりも階調数が大きい画像である。

【0028】

また、取得部３０は、入力画像の撮影時点の時間情報を取得する。時間情報は、例えば年、月、日、時及び分で表され、Ｉ／Ｆ部２６を介して車両及びＮＴＰ（Network Time Protocol）サーバ等から取得されてもよい。また例えば、取得部３０が、予め定められた期間（例えば５分間）において撮影された複数の入力画像の各画素の平均輝度及び輝度分布、並びに照度情報等に基づいて、推定してもよい。

【0029】

また、取得部３０は、入力画像が撮影される環境における照度を示す照度情報を取得する。照度情報は、例えば周囲の照度を検出する照度センサによって測定されてもよい。

【0030】

生成部３１は、取得部３０により取得された入力画像について、グローバルトーンマッピング用のグローバルトーンカーブと、ローカルトーンマッピング用のローカルトーンカーブと、の少なくとも一方を生成する。グローバルトーンマッピングとは、画像の全体に対して一様に輝度を変換する手法である。ローカルトーンマッピングとは、画像の局所ごとに輝度を変換する手法であり、これによりディスプレイの階調数が小さくても目視に近い、ひいては目視よりも鮮明な画像に変換することができる。

【0031】

具体的には、まず、生成部３１は、入力画像の各画素の輝度の分布を示す輝度ヒストグラム（グローバルヒストグラム）を生成する。そして、生成部３１は、入力画像のグローバルヒストグラムに基づいて、入力画像の全体に対して一様に輝度を変換するグローバル変換関数（グローバルトーンカーブ）を生成する。また、生成部３１は、生成したグローバルトーンカーブを記憶部２２に記憶させる。

【0032】

次に、生成部３１は、入力画像の局所ごとの各画素の輝度の分布を示す輝度ヒストグラム（ローカルヒストグラム）を生成する。そして、生成部３１は、入力画像のローカルヒストグラムに基づいて、入力画像の局所ごとに輝度を変換するローカル変換関数（ローカルトーンカーブ）を生成する。また、生成部３１は、生成したローカルトーンカーブを記憶部２２に記憶させる。

【0033】

なお、以上のグローバルトーンカーブ及びローカルトーンカーブの生成は、入力画像を取得する度に（すなわち撮影装置２のフレームレートごとに）行ってもよいし、予め定められた期間ごと（例えば５分おき）に行ってもよい。以上の処理によって、図５に示すように、記憶部２２には、昼間用トーンカーブ及び夜間用トーンカーブ（時間帯別変換関数）と、明所用トーンカーブ及び暗所用トーンカーブ（照度別変換関数）と、グローバルトーンカーブと、ローカルトーンカーブと、が記憶される。

【0034】

選択部３２は、記憶部２２に記憶されている複数の変換関数（トーンカーブ）のうち、少なくとも時間帯別変換関数を含む２以上の変換関数を、時間情報に応じて選択する。

【0035】

例えば、選択部３２は、時間情報に応じて、少なくとも時間帯別変換関数及びグローバル変換関数を選択してもよい。例えば、選択部３２は、時間情報が昼１２時を示す場合、昼間用トーンカーブと、グローバルトーンカーブと、を選択してもよい。また例えば、選択部３２は、時間情報が夕方１７時を示す場合、昼間用トーンカーブと、夜間用トーンカーブと、グローバルトーンカーブと、を選択してもよい。

【0036】

また例えば、選択部３２は、時間情報に応じて、少なくとも時間帯別変換関数及びローカル変換関数を選択してもよい。例えば、選択部３２は、時間情報が昼１２時を示す場合、昼間用トーンカーブと、ローカルトーンカーブと、を選択してもよい。また例えば、選択部３２は、時間情報が夕方１７時を示す場合、昼間用トーンカーブと、夜間用トーンカーブと、ローカルトーンカーブと、を選択してもよい。

【0037】

また例えば、選択部３２は、時間情報に応じて、時間帯別変換関数、グローバル変換関数及びローカル変換関数を選択してもよい。グローバル変換関数及びローカル変換関数のそれぞれを選択するか否かは、例えば、ユーザが予め指定してもよいし、入力画像の全体及び／又は局所ごとの輝度ヒストグラムに応じて決定してもよい。

【0038】

また例えば、選択部３２は、記憶部２２に記憶されている複数の変換関数（トーンカーブ）のうち、照度別変換関数を含む２以上の変換関数を、照度情報に応じて選択してもよい。例えば、選択部３２は、時間情報が昼１２時を示し、かつ、照度情報が暗所であることを示す場合、昼間用トーンカーブと、暗所用トーンカーブと、を選択してもよい。この場合に、更に選択部３２は、グローバルトーンカーブ及び／又はローカルトーンカーブを組み合わせて選択してもよい。

【0039】

合成部３３は、選択部３２によって選択された２以上の変換関数を用いて、合成関数を生成する。合成方法は特に限定されず、例えば２以上のトーンカーブの平均及び加重平均等としてもよい。例えば、時間情報が夕方１７時を示し、選択部３２によって昼間用トーンカーブと、夜間用トーンカーブと、ローカルトーンカーブと、が選択されているとする。この場合、合成部３３は、昼間用トーンカーブの重みを０．５、夜間用トーンカーブの重みを０．５、ローカルトーンカーブの重みを１と設定して、それぞれのトーンカーブの加重平均を導出して合成トーンカーブとして生成してもよい。

【0040】

また例えば、合成部３３は、昼間用トーンカーブと夜間用トーンカーブを合成してから、グローバルトーンカーブ及び／又はローカルトーンカーブを合成する等してもよい。

【0041】

変換部３４は、合成部３３によって合成された合成関数（合成トーンカーブ）を用いて、入力画像の輝度を変換し、出力画像として出力する。具体的には、変換部３４は、合成関数を用いて入力画像の画素ごとに輝度値を変換することによって、画素ごとの輝度値が変換された出力画像を生成する。

【0042】

制御部３５は、変換部３４により生成された出力画像を電子ミラー４に出力する。

【0043】

次に、図６を参照して、本実施形態に係る画像処理装置１０の作用を説明する。画像処理装置１０において、ＣＰＵ２１が画像処理プログラム２７を実行することによって、図６に示す画像処理が実行される。画像処理は、例えば、撮影装置２から入力画像が画像処理装置１０に対して入力されるたびに、繰り返し実行される。

【0044】

ステップＳ１０で、取得部３０は、撮影装置２から、車両における運転者の視野の補助となり得る入力画像を取得する。ステップＳ１２で、取得部３０は、ステップＳ１０で取得した入力画像の撮影時点における時間情報及び照度情報を取得する。ステップＳ１４で、生成部３１は、ステップＳ１０で取得された入力画像に基づき、グローバル変換関数を生成し、記憶部２２に記憶させる。ステップＳ１６で、生成部３１は、ステップＳ１０で取得された入力画像に基づき、ローカル変換関数を生成し、記憶部２２に記憶させる。

【0045】

ステップＳ１８で、選択部３２は、記憶部２２に記憶されている時間帯別変換関数、照度別変換関数、グローバル変換関数及びローカル変換関数のうち、少なくとも時間帯別変換関数を１つ含む２以上の変換関数を、ステップＳ１２で取得された時間情報及び照度情報に基づき選択する。ステップＳ２０で、合成部３３は、ステップＳ１８で選択された２以上の変換関数を用いて、合成関数を生成する。ステップＳ２２で、変換部３４は、ステップＳ２０で生成された合成関数を用いて、入力画像の輝度を変換し、出力画像として出力する。ステップＳ２２が完了すると、本画像処理は終了する。

【0046】

以上説明したように、本開示の一態様に係る画像処理装置１０は、車両における運転者の視野の補助となり得る画像と、当該画像の撮影時点の時間情報と、を取得する取得部３０を備える。また、画像の輝度を互いに異なる特性によって変換する複数の変換関数であって、一日の時間帯別に定められた２以上の時間帯別変換関数を含む複数の変換関数のうち、少なくとも時間帯別変換関数を含む２以上の変換関数を時間情報に応じて選択する選択部３２を備える。また、選択された２以上の変換関数を用いて、合成関数を生成する合成部３３を備える。また、合成関数を用いて、画像の輝度を変換する変換部３４を備える。したがって、時間帯に応じた画像に階調変換できる。

【0047】

なお、上記実施形態においては、取得部３０が照度情報を取得し、合成関数の生成に照度別変換関数を用いる形態例について説明したが、これに限らない。画像処理装置１０は、照度別変換関数を合成関数の生成に用いない場合は、照度情報の取得等を省略してもよい。

【0048】

また、上記各実施形態において、例えば、取得部３０、生成部３１、選択部３２、合成部３３、変換部３４及び制御部３５といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0049】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

【0050】

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System on Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0051】

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。

【0052】

また、上記実施形態では画像処理装置１０における画像処理プログラム２７が記憶部２２に予め記憶されている態様を説明したが、これに限定されない。画像処理プログラム２７は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、画像処理プログラム２７は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。更に、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。

【0053】

本開示の技術は、上記実施形態例及び実施例を適宜組み合わせることも可能である。以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。

【0054】

上記実施形態に関し、更に以下の付記を開示する。

【0055】

［付記項１］
車両における運転者の視野の補助となり得る画像と、当該画像の撮影時点の時間情報と、を取得する取得部と、
前記画像の輝度を互いに異なる特性によって変換する複数の変換関数であって、一日の時間帯別に定められた２以上の時間帯別変換関数を含む複数の変換関数のうち、少なくとも前記時間帯別変換関数を含む２以上の前記変換関数を前記時間情報に応じて選択する選択部と、
選択された２以上の前記変換関数を用いて、合成関数を生成する合成部と、
前記合成関数を用いて、前記画像の輝度を変換する変換部と、
を備える画像処理装置。
［付記項２］
前記複数の変換関数は、前記画像が撮影される環境における照度別に定められた２以上の照度別変換関数を含み、
前記取得部は、前記画像が撮影される環境における照度を示す照度情報を取得し、
前記選択部は、前記複数の変換関数のうち、前記照度別変換関数を含む２以上の前記変換関数を前記照度情報に応じて選択する
付記項１に記載の画像処理装置。
［付記項３］
前記複数の変換関数は、前記画像の全体に対して一様に輝度を変換するグローバル変換関数を含み、
前記選択部は、少なくとも前記時間帯別変換関数及び前記グローバル変換関数を選択する
付記項１又は付記項２に記載の画像処理装置。
［付記項４］
前記画像の各画素の輝度の分布を示す輝度ヒストグラムに基づいて、前記グローバル変換関数を生成する生成部を更に備える
付記項３に記載の画像処理装置。
［付記項５］
前記複数の変換関数は、前記画像の局所ごとに輝度を変換するローカル変換関数を含み、
前記選択部は、少なくとも前記時間帯別変換関数及び前記ローカル変換関数を選択する
付記項１から付記項４の何れか１項に記載の画像処理装置。
［付記項６］
前記画像の局所ごとの各画素の輝度の分布を示す輝度ヒストグラムに基づいて、前記ローカル変換関数を生成する生成部を更に備える
付記項５に記載の画像処理装置。
［付記項７］
車両における運転者の視野の補助となり得る画像と、当該画像の撮影時点の時間情報と、を取得し、
前記画像の輝度を互いに異なる特性によって変換する複数の変換関数であって、一日の時間帯別に定められた２以上の時間帯別変換関数を含む複数の変換関数のうち、少なくとも前記時間帯別変換関数を含む２以上の前記変換関数を前記時間情報に応じて選択し、
選択された２以上の前記変換関数を用いて、合成関数を生成し、
前記合成関数を用いて、前記画像の輝度を変換する
処理を含む画像処理方法。
［付記項８］
車両における運転者の視野の補助となり得る画像と、当該画像の撮影時点の時間情報と、を取得し、
前記画像の輝度を互いに異なる特性によって変換する複数の変換関数であって、一日の時間帯別に定められた２以上の時間帯別変換関数を含む複数の変換関数のうち、少なくとも前記時間帯別変換関数を含む２以上の前記変換関数を前記時間情報に応じて選択し、
選択された２以上の前記変換関数を用いて、合成関数を生成し、
前記合成関数を用いて、前記画像の輝度を変換する
処理をコンピュータが実行するための画像処理プログラム。

【符号の説明】

【0056】

１ 画像処理システム
２ 撮影装置
４ 電子ミラー
１０ 画像処理装置
２１ ＣＰＵ
２２ 記憶部
２３ メモリ
２６ Ｉ／Ｆ部
２７ 画像処理プログラム
２８ バス
３０ 取得部
３１ 生成部
３２ 選択部
３３ 合成部
３４ 変換部
３５ 制御部
Ｔ、Ｔ０、Ｔ１、Ｔ２ トーンカーブ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】