ホーム > 特許ランキング > 国立大学法人 鹿児島大学
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022156323
(43)【公開日】2022-10-14
(54)【発明の名称】画像調整システム、画像調整方法及びプログラム
(51)【国際特許分類】
G09G 5/00 20060101AFI20221006BHJP
G09G 5/36 20060101ALI20221006BHJP
H04N 5/232 20060101ALI20221006BHJP
H04N 5/243 20060101ALI20221006BHJP
H04N 5/225 20060101ALI20221006BHJP
【ＦＩ】
G09G5/00 550C
G09G5/00 550X
G09G5/00 510A
G09G5/36 520A
H04N5/232 930
H04N5/243
H04N5/232 290
H04N5/225 450
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2021059940
(22)【出願日】2021-03-31
(71)【出願人】
【識別番号】504258527
【氏名又は名称】国立大学法人 鹿児島大学
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(74)【代理人】
【識別番号】100162259
【弁理士】
【氏名又は名称】末富 孝典
(74)【代理人】
【識別番号】100168114
【弁理士】
【氏名又は名称】山中 生太
(74)【代理人】
【識別番号】100146916
【弁理士】
【氏名又は名称】廣石 雅紀
(72)【発明者】
【氏名】大塚 作一
【テーマコード（参考）】
5C122
5C182
【Ｆターム（参考）】
5C122DA14
5C122EA20
5C122EA47
5C122FH01
5C122FK12
5C122FK24
5C122HA13
5C122HA35
5C122HA75
5C122HA86
5C122HB01
5C122HB02
5C122HB06
5C182AB15
5C182AB25
5C182BA25
5C182BA26
5C182BA45
5C182CA02
5C182CA11
5C182CA12
5C182CA13
5C182DA53
(57)【要約】
【課題】画像の視認性を高めることができる画像調整システム、画像調整方法及びプログラムを提供する。
【解決手段】画像調整システム１は、情報取得部１１と、表示部３ａと、調整部１２と、を備える。情報取得部１１は、車両２の周囲の明るさ情報を取得する。表示部３ａは、画像を表示する。調整部１２は、情報取得部１１で取得された明るさ情報に基づいて、表示部３ａで表示される画像を、人の視覚特性に応じて調整する。この画像調整システム１によれば、車両２の周囲の明るさ情報に基づいて、表示される画像を人の視覚特性に応じて調整するので、画像の視認性を高めることができる。
【選択図】図１
【解決手段】画像調整システム１は、情報取得部１１と、表示部３ａと、調整部１２と、を備える。情報取得部１１は、車両２の周囲の明るさ情報を取得する。表示部３ａは、画像を表示する。調整部１２は、情報取得部１１で取得された明るさ情報に基づいて、表示部３ａで表示される画像を、人の視覚特性に応じて調整する。この画像調整システム１によれば、車両２の周囲の明るさ情報に基づいて、表示される画像を人の視覚特性に応じて調整するので、画像の視認性を高めることができる。
【選択図】図１
【特許請求の範囲】
【請求項1】
移動体の周囲の明るさ情報を取得する情報取得部と、
画像を表示する表示部と、
前記情報取得部で取得された前記明るさ情報に基づいて、前記表示部で表示される画像を、人の視覚特性に応じて調整する調整部と、
を備える画像調整システム。
画像を表示する表示部と、
前記情報取得部で取得された前記明るさ情報に基づいて、前記表示部で表示される画像を、人の視覚特性に応じて調整する調整部と、
を備える画像調整システム。
【請求項2】
前記移動体に設けられ、前記表示部に表示する被写体の画像を撮像する撮像部を備え、
前記調整部は、
前記情報取得部で取得された前記明るさ情報に基づいて、前記撮像部で撮像された前記画像の画質を変換するトーンカーブを、前記被写体を直接見たときの見え方に近い画質に変換可能なトーンカーブに変更し、
変更された前記トーンカーブを用いて、前記撮像部で撮像された前記画像の画質を変換し、変換された前記画像を前記表示部に表示させる、
請求項１に記載の画像調整システム。
前記調整部は、
前記情報取得部で取得された前記明るさ情報に基づいて、前記撮像部で撮像された前記画像の画質を変換するトーンカーブを、前記被写体を直接見たときの見え方に近い画質に変換可能なトーンカーブに変更し、
変更された前記トーンカーブを用いて、前記撮像部で撮像された前記画像の画質を変換し、変換された前記画像を前記表示部に表示させる、
請求項１に記載の画像調整システム。
【請求項3】
前記調整部は、
前記被写体を直接見たときの見え方に近い画質に変換可能なトーンカーブを、周囲の明るさのレベルに応じて複数記憶する記憶部を有し、
前記情報取得部で取得された前記明るさ情報に基づいて、前記被写体を直接見たときの見え方に近い画質に変換可能なトーンカーブを、前記記憶部から読み出し、
前記記憶部から読み出したトーンカーブを用いて、前記撮像部で撮像された前記画像の画質を変換し、変換された前記画像を前記表示部に表示させる、
請求項２に記載の画像調整システム。
前記被写体を直接見たときの見え方に近い画質に変換可能なトーンカーブを、周囲の明るさのレベルに応じて複数記憶する記憶部を有し、
前記情報取得部で取得された前記明るさ情報に基づいて、前記被写体を直接見たときの見え方に近い画質に変換可能なトーンカーブを、前記記憶部から読み出し、
前記記憶部から読み出したトーンカーブを用いて、前記撮像部で撮像された前記画像の画質を変換し、変換された前記画像を前記表示部に表示させる、
請求項２に記載の画像調整システム。
【請求項4】
前記明るさ情報と、前記被写体を直接見たときの見え方に近い画質に変換可能なトーンカーブとの組み合わせを含む教師データを用いて、前記情報取得部で取得された前記明るさ情報を入力とし前記トーンカーブを出力とする多層ニューラルネットワークの深層学習を行う深層学習部を備え、
前記調整部は、
前記深層学習が行われた前記多層ニューラルネットワークを実装し、
前記情報取得部で取得された前記明るさ情報を、実装された前記多層ニューラルネットワークに入力し、
前記撮像部で撮像された前記画像の画質を、前記多層ニューラルネットワークから出力された前記トーンカーブを用いて変換して、前記表示部に表示させる、
請求項２に記載の画像調整システム。
前記調整部は、
前記深層学習が行われた前記多層ニューラルネットワークを実装し、
前記情報取得部で取得された前記明るさ情報を、実装された前記多層ニューラルネットワークに入力し、
前記撮像部で撮像された前記画像の画質を、前記多層ニューラルネットワークから出力された前記トーンカーブを用いて変換して、前記表示部に表示させる、
請求項２に記載の画像調整システム。
【請求項5】
前記明るさ情報と、変換前画像と、前記変換前画像を人の視覚特性に応じた画質に変換して得られる変換後画像との組み合わせを含む教師データを用いて、前記情報取得部で取得された前記明るさ情報と前記変換前画像とを入力とし前記変換後画像を出力とする多層ニューラルネットワークの深層学習を行う深層学習部を備え、
前記調整部は、
前記深層学習が行われた前記多層ニューラルネットワークを実装し、
前記情報取得部で取得された前記明るさ情報と、前記変換前画像とを、実装された前記多層ニューラルネットワークに入力し、
前記多層ニューラルネットワークから出力された前記変換後画像を前記表示部に出力させる、
請求項１に記載の画像調整システム。
前記調整部は、
前記深層学習が行われた前記多層ニューラルネットワークを実装し、
前記情報取得部で取得された前記明るさ情報と、前記変換前画像とを、実装された前記多層ニューラルネットワークに入力し、
前記多層ニューラルネットワークから出力された前記変換後画像を前記表示部に出力させる、
請求項１に記載の画像調整システム。
【請求項6】
前記表示部及び前記撮像部で、
前記移動体としての車両のバックミラー又はドアミラーを構成する、
請求項２から４のいずれか一項に記載の画像調整システム。
前記移動体としての車両のバックミラー又はドアミラーを構成する、
請求項２から４のいずれか一項に記載の画像調整システム。
【請求項7】
前記情報取得部は、
前記移動体から見て異なる方向の明るさに基づいて前記移動体の移動による周囲の明るさの変化を検出し、
検出された変化に基づいて、前記明るさ情報を取得する、
請求項１から６のいずれか一項に記載の画像調整システム。
前記移動体から見て異なる方向の明るさに基づいて前記移動体の移動による周囲の明るさの変化を検出し、
検出された変化に基づいて、前記明るさ情報を取得する、
請求項１から６のいずれか一項に記載の画像調整システム。
【請求項8】
前記情報取得部は、
前記移動体に設けられた照度センサ、色温度センサ、前記撮像部で撮像された撮像画像に基づいて、前記明るさ情報を取得する、
請求項１から６のいずれか一項に記載の画像調整システム。
前記移動体に設けられた照度センサ、色温度センサ、前記撮像部で撮像された撮像画像に基づいて、前記明るさ情報を取得する、
請求項１から６のいずれか一項に記載の画像調整システム。
【請求項9】
前記情報取得部は、
前記移動体の位置情報と、現在の時刻情報と、前記移動体の周囲の天候情報とに基づいて、前記明るさ情報を取得する、
請求項１から６のいずれか一項に記載の画像調整システム。
前記移動体の位置情報と、現在の時刻情報と、前記移動体の周囲の天候情報とに基づいて、前記明るさ情報を取得する、
請求項１から６のいずれか一項に記載の画像調整システム。
【請求項10】
第１のダイナミックレンジを有する第１の画像の輝度値を、前記第１のダイナミックレンジより小さい第２のダイナミックレンジを有する第２の画像に調整するＬＤＲ変換部と、
前記第１の画像又は前記第２の画像の各画素に、ガウス分布に従ってランダムに変動するノイズを加える加算部と、
を備える画像調整システム。
前記第１の画像又は前記第２の画像の各画素に、ガウス分布に従ってランダムに変動するノイズを加える加算部と、
を備える画像調整システム。
【請求項11】
情報処理装置によって実行される画像調整方法であって、
移動体の周囲の明るさ情報を取得する情報取得ステップと、
前記情報取得ステップで取得された前記明るさ情報に基づいて、画像を人の視覚特性に応じて調整する調整ステップと、
前記調整ステップで調整された画像を表示する表示ステップと、
を含む画像調整方法。
移動体の周囲の明るさ情報を取得する情報取得ステップと、
前記情報取得ステップで取得された前記明るさ情報に基づいて、画像を人の視覚特性に応じて調整する調整ステップと、
前記調整ステップで調整された画像を表示する表示ステップと、
を含む画像調整方法。
【請求項12】
コンピュータを、
移動体の周囲の明るさ情報を取得する情報取得部、
画像を表示する表示部、
前記情報取得部で取得された前記明るさ情報に基づいて、前記表示部で表示される画像を、人の視覚特性に応じて調整する調整部、
として機能させるプログラム。
移動体の周囲の明るさ情報を取得する情報取得部、
画像を表示する表示部、
前記情報取得部で取得された前記明るさ情報に基づいて、前記表示部で表示される画像を、人の視覚特性に応じて調整する調整部、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像調整システム、画像調整方法及びプログラムに関する。
【背景技術】
【0002】
車には、カーナビゲーションシステムが搭載されるのが当たり前になってきている。また、電子ドアミラー又は電子バックミラーが登場してきている。電子バックミラーでは、鏡のバックミラーの代わりにカメラが設置され、カメラで撮像された画像が車の室内に設置されたディスプレイに表示される（例えば、特許文献１参照）。
【0003】
電子バックミラーを用いれば、車の外部に鏡のバックミラーを設ける必要がないので、空気抵抗を少なくすることができる。また、表示画面が車内に設置されているので、画面が水滴で濡れたりして視認性が低下するのを防止することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１９－９１９９７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
電子ドアミラー及び電子バックミラーは、鏡に写る像よりも視認性が低下しないようにする必要がある。しかしながら、カメラで撮像された被写体を表示画面に表示した場合と、被写体を鏡にうつした場合とでは、見え方が異なる。この見え方の違いが、運転手に違和感を生じさせ、画像の視認性の低下につながるおそれがある。
【0006】
本発明は、上記実情の下になされたものであり、画像の視認性を高めることができる画像調整システム、画像調整方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明の第１の観点に係る画像調整システムは、
移動体の周囲の明るさ情報を取得する情報取得部と、
画像を表示する表示部と、
前記情報取得部で取得された前記明るさ情報に基づいて、前記表示部で表示される画像を、人の視覚特性に応じて調整する調整部と、
を備える。
移動体の周囲の明るさ情報を取得する情報取得部と、
画像を表示する表示部と、
前記情報取得部で取得された前記明るさ情報に基づいて、前記表示部で表示される画像を、人の視覚特性に応じて調整する調整部と、
を備える。
【0008】
この場合、前記移動体に設けられ、前記表示部に表示する被写体の画像を撮像する撮像部を備え、
前記調整部は、
前記情報取得部で取得された前記明るさ情報に基づいて、前記撮像部で撮像された前記画像の画質を変換するトーンカーブを、前記被写体を直接見たときの見え方に近い画質に変換可能なトーンカーブに変更し、
変更された前記トーンカーブを用いて、前記撮像部で撮像された前記画像の画質を変換し、変換された前記画像を前記表示部に表示させる、
こととしてもよい。
前記調整部は、
前記情報取得部で取得された前記明るさ情報に基づいて、前記撮像部で撮像された前記画像の画質を変換するトーンカーブを、前記被写体を直接見たときの見え方に近い画質に変換可能なトーンカーブに変更し、
変更された前記トーンカーブを用いて、前記撮像部で撮像された前記画像の画質を変換し、変換された前記画像を前記表示部に表示させる、
こととしてもよい。
【0009】
また、前記調整部は、
前記被写体を直接見たときの見え方に近い画質に変換可能なトーンカーブを、周囲の明るさのレベルに応じて複数記憶する記憶部を有し、
前記情報取得部で取得された前記明るさ情報に基づいて、前記被写体を直接見たときの見え方に近い画質に変換可能なトーンカーブを、前記記憶部から読み出し、
前記記憶部から読み出したトーンカーブを用いて、前記撮像部で撮像された前記画像の画質を変換し、変換された前記画像を前記表示部に表示させる、
こととしてもよい。
前記被写体を直接見たときの見え方に近い画質に変換可能なトーンカーブを、周囲の明るさのレベルに応じて複数記憶する記憶部を有し、
前記情報取得部で取得された前記明るさ情報に基づいて、前記被写体を直接見たときの見え方に近い画質に変換可能なトーンカーブを、前記記憶部から読み出し、
前記記憶部から読み出したトーンカーブを用いて、前記撮像部で撮像された前記画像の画質を変換し、変換された前記画像を前記表示部に表示させる、
こととしてもよい。
【0010】
前記明るさ情報と、前記被写体を直接見たときの見え方に近い画質に変換可能なトーンカーブとの組み合わせを含む教師データを用いて、前記情報取得部で取得された前記明るさ情報を入力とし前記トーンカーブを出力とする多層ニューラルネットワークの深層学習を行う深層学習部を備え、
前記調整部は、
前記深層学習が行われた前記多層ニューラルネットワークを実装し、
前記情報取得部で取得された前記明るさ情報を、実装された前記多層ニューラルネットワークに入力し、
前記撮像部で撮像された前記画像の画質を、前記多層ニューラルネットワークから出力された前記トーンカーブを用いて変換して、前記表示部に表示させる、
こととしてもよい。
前記調整部は、
前記深層学習が行われた前記多層ニューラルネットワークを実装し、
前記情報取得部で取得された前記明るさ情報を、実装された前記多層ニューラルネットワークに入力し、
前記撮像部で撮像された前記画像の画質を、前記多層ニューラルネットワークから出力された前記トーンカーブを用いて変換して、前記表示部に表示させる、
こととしてもよい。
【0011】
前記明るさ情報と、変換前画像と、前記変換前画像を人の視覚特性に応じた画質に変換して得られる変換後画像との組み合わせを含む教師データを用いて、前記情報取得部で取得された前記明るさ情報と前記変換前画像とを入力とし前記変換後画像を出力とする多層ニューラルネットワークの深層学習を行う深層学習部を備え、
前記調整部は、
前記深層学習が行われた前記多層ニューラルネットワークを実装し、
前記情報取得部で取得された前記明るさ情報と、前記変換前画像とを、実装された前記多層ニューラルネットワークに入力し、
前記多層ニューラルネットワークから出力された前記変換後画像を前記表示部に出力させる、
こととしてもよい。
前記調整部は、
前記深層学習が行われた前記多層ニューラルネットワークを実装し、
前記情報取得部で取得された前記明るさ情報と、前記変換前画像とを、実装された前記多層ニューラルネットワークに入力し、
前記多層ニューラルネットワークから出力された前記変換後画像を前記表示部に出力させる、
こととしてもよい。
【0012】
前記表示部及び前記撮像部で、
前記移動体としての車両のバックミラー又はドアミラーを構成する、
こととしてもよい。
前記移動体としての車両のバックミラー又はドアミラーを構成する、
こととしてもよい。
【0013】
前記情報取得部は、
前記移動体から見て異なる方向の明るさに基づいて前記移動体の移動による周囲の明るさの変化を検出し、
検出された変化に基づいて、前記明るさ情報を取得する、
こととしてもよい。
前記移動体から見て異なる方向の明るさに基づいて前記移動体の移動による周囲の明るさの変化を検出し、
検出された変化に基づいて、前記明るさ情報を取得する、
こととしてもよい。
【0014】
前記情報取得部は、
前記移動体に設けられた照度センサ、色温度センサ、前記撮像部で撮像された撮像画像に基づいて、前記明るさ情報を取得する、
こととしてもよい。
前記移動体に設けられた照度センサ、色温度センサ、前記撮像部で撮像された撮像画像に基づいて、前記明るさ情報を取得する、
こととしてもよい。
【0015】
前記情報取得部は、
前記移動体の位置情報と、現在の時刻情報と、前記移動体の周囲の天候情報とに基づいて、前記明るさ情報を取得する、
こととしてもよい。
前記移動体の位置情報と、現在の時刻情報と、前記移動体の周囲の天候情報とに基づいて、前記明るさ情報を取得する、
こととしてもよい。
【0016】
本発明の第２の観点に係る画像調整システムは、
第１のダイナミックレンジを有する第１の画像の輝度値を、前記第１のダイナミックレンジより小さい第２のダイナミックレンジを有する第２の画像に調整するＬＤＲ変換部と、
前記第１の画像又は前記第２の画像の各画素に、ガウス分布に従ってランダムに変動するノイズを加える加算部と、
を備える。
第１のダイナミックレンジを有する第１の画像の輝度値を、前記第１のダイナミックレンジより小さい第２のダイナミックレンジを有する第２の画像に調整するＬＤＲ変換部と、
前記第１の画像又は前記第２の画像の各画素に、ガウス分布に従ってランダムに変動するノイズを加える加算部と、
を備える。
【0017】
本発明の第３の観点に係る画像調整方法は、
情報処理装置によって実行される画像調整方法であって、
移動体の周囲の明るさ情報を取得する情報取得ステップと、
前記情報取得ステップで取得された前記明るさ情報に基づいて、画像を人の視覚特性に応じて調整する調整ステップと、
前記調整ステップで調整された画像を表示する表示ステップと、
を含む。
情報処理装置によって実行される画像調整方法であって、
移動体の周囲の明るさ情報を取得する情報取得ステップと、
前記情報取得ステップで取得された前記明るさ情報に基づいて、画像を人の視覚特性に応じて調整する調整ステップと、
前記調整ステップで調整された画像を表示する表示ステップと、
を含む。
【0018】
本発明の第４の観点に係るプログラムは、
コンピュータを、
移動体の周囲の明るさ情報を取得する情報取得部、
画像を表示する表示部、
前記情報取得部で取得された前記明るさ情報に基づいて、前記表示部で表示される画像を、人の視覚特性に応じて調整する調整部、
として機能させる。
コンピュータを、
移動体の周囲の明るさ情報を取得する情報取得部、
画像を表示する表示部、
前記情報取得部で取得された前記明るさ情報に基づいて、前記表示部で表示される画像を、人の視覚特性に応じて調整する調整部、
として機能させる。
【発明の効果】
【0019】
本発明によれば、移動体の周囲の明るさ情報に基づいて、表示される画像を人の視覚特性に応じて調整するので、画像の視認性を高めることができる。
【図面の簡単な説明】
【0020】
【図1】本発明の実施の形態１に係る画像調整システムの構成を示す模式図である。
【図2】電子ドアミラーの表示画面の一例を示す図である。
【図3】車両に設けられる照度センサの設置例を示す図である。
【図4】（Ａ）は、車両の周囲の明るさが変化する例を示す図である。（Ｂ）は、照度センサで検出される照度の変化を示すグラフである。
【図5】調整部の詳細な構成を示すブロック図である。
【図6】（Ａ）、（Ｂ）、（Ｃ）及び（Ｄ）は、トーンカーブの一例を示す図である。
【図9】本発明の実施の形態２に係る画像調整システムの構成を示すブロック図である。
【図10】本発明の実施の形態３に係る画像調整システムの構成を示すブロック図である。
【図11】本発明の実施の形態４に係る画像調整システムの構成を示すブロック図である。
【発明を実施するための形態】
【0021】
以下、本発明の実施の形態について図面を参照して詳細に説明する。全図において、同一又は相当する構成要素には、同一の符号が付されている。
【0022】
実施の形態１．
図１に示すように、本実施の形態に係る画像調整システム１は、移動体としての車両２の室内に設置された表示画面に表示される画像を調整するために設けられている。車両２の室内には、電子ドアミラー３、電子バックミラー４、カーナビゲーションシステム５などの表示画面が設けられている。本実施の形態に係る画像調整システム１は、これらの表示画面のうち、電子ドアミラー３の表示画面に表示される画像を調整する。
図１に示すように、本実施の形態に係る画像調整システム１は、移動体としての車両２の室内に設置された表示画面に表示される画像を調整するために設けられている。車両２の室内には、電子ドアミラー３、電子バックミラー４、カーナビゲーションシステム５などの表示画面が設けられている。本実施の形態に係る画像調整システム１は、これらの表示画面のうち、電子ドアミラー３の表示画面に表示される画像を調整する。
【0023】
電子ドアミラー３は、画像を表示する表示部３ａと、表示部３ａに表示する被写体の画像を撮像する撮像部３ｂとを備える。表示部３ａは、車両２の室内において、左右のドア６とダッシュボード７との近傍に設置されている。一方、撮像部３ｂは、鏡のドアミラー本来の位置（ドア６の外面）に設けられており、車両２の外側面後方を撮像する。これにより、図２に示すように、電子ドアミラー３は、車両２の運転手が、進行方向に対して車両２の両側後方を確認するためのドアミラーとしての役割を果たす。
【0024】
撮像部３ｂは、ハイダイナミックレンジで画像を撮像する。このような画像をＨＤＲ（High Dynamic Range）画像ともいう。ダイナミックレンジとは、画像における輝度の最大値と最小値の幅（比率）のことをいう。ＨＤＲ画像においては、ダイナミックレンジは例えば６０００：１（１／６０００）であり、その輝度値は例えば１６ビットで表現される。これに対して、表示部３ａで表示される画像は、コントラスト比が２５：１以下の低ダイナミックレンジ（ＬＤＲ；Low Dynamic Range）の画像、すなわちＬＤＲ画像となる。
【0025】
撮像部３ｂで撮像された画像は、例えば自動露光で撮像された撮像素子の特性に沿った画像となっている。この画像をそのまま、ＨＤＲ圧縮してＬＤＲ画像に変換し、表示部３ａに表示した場合には、黒つぶれ又は白飛びなどが発生して、視認性が低下した画像となるおそれがある。
【0026】
そこで、本実施の形態に係る画像調整システム１は、撮像部３ｂで撮像された画像を標準表象画像（ＳＲＩ；Standard Representational Image）に変換し、さらに低コントラストに変換されたＬＤＲ画像に変換して、表示部３ａに表示する。標準表象画像は、ＳＤＲ（Standard Dynamic Range）に相当する階調範囲（例えば８ビット）で人が被写体を直接見たときに感じる見え方に近い明るさを持つ画像である。最終的に生成されるＬＤＲ画像は、標準表象画像の特徴を備えつつ、さらに低コントラストの環境でも見やすい画像となる。
【0027】
図１に戻り、画像調整システム１は、上述の電子ドアミラー３と、情報取得部１１と、調整部１２と、を備える。画像調整システム１は、車両２に組み込まれたコンピュータのハードウエア資源がソフトウエアプログラムを実行することにより、画像処理を行う情報処理装置である。前述のように、電子ドアミラー３は、表示部３ａと撮像部３ｂとを備える。
【0028】
［情報取得部］
情報取得部１１は、車両２の周囲の明るさに関する情報、すなわち明るさ情報を取得する。本実施の形態では、情報取得部１１によって取得される明るさ情報は、３種類の情報に大別される。１つ目は周囲が「明るい状態」であり、２つ目は周囲が「暗い状態」であり、３つ目は「中間の状態」である。
情報取得部１１は、車両２の周囲の明るさに関する情報、すなわち明るさ情報を取得する。本実施の形態では、情報取得部１１によって取得される明るさ情報は、３種類の情報に大別される。１つ目は周囲が「明るい状態」であり、２つ目は周囲が「暗い状態」であり、３つ目は「中間の状態」である。
【0029】
図３に示すように、情報取得部１１は、車両２の外部に設けられた照度センサ１１ａ，１１ｂ，１１ｃを備えている。照度センサ１１ａは、車両２の前方の明るさの照度情報を検出する。照度センサ１１ｂは、車両２の上方の明るさの照度情報を検出する。照度センサ１１ｃは、車両２の後方の明るさの照度情報を検出する。このように、情報取得部１１は、車両２から見て複数の異なる方向の明るさ情報を取得する。
【0030】
情報取得部１１は、照度センサ１１ａ，１１ｂ，１１ｃで検出される照度に基づいて、車両２の周囲が「明るい状態」であるか、「暗い状態」であるか、「中間の状態」であるかを判定する。具体的には、照度センサ１１ａ，１１ｂ，１１ｃで検出される照度が第１の照度以上である場合には、情報取得部１１は、周囲が「明るい状態」であると判定する。また、情報取得部１１は、照度センサ１１ａ，１１ｂ，１１ｃで検出される照度が第２の照度未満である場合には、周囲が「暗い状態」であると判定する。そして、情報取得部１１は、照度センサ１１ａ，１１ｂ，１１ｃで検出される照度が第１の照度未満で第２の照度以上である場合には、「中間の状態」であると判定する。なお、この照度による判定は、例えば、平均値及び加算値で行われるようにしてもよいし、いずれか１つの照度センサ、例えば照度センサ１１ｂだけで行われるようにしてもよい。
【0031】
また、情報取得部１１は、照度センサ１１ａ～１１ｃを用いて、車両２の移動による車両２の周囲の明るさの変化を検出することができる。例えば、図４（Ａ）及び図４（Ｂ）に示すように、車両２がトンネル８ａ内では、照度センサ１１ａ～１１ｃで検出される照度のレベルはローレベルとなっている。トンネル８ａを抜ける手前では、照度センサ１１ａで検出される照度のレベルが最初に上がる。さらに、車両２がトンネル８ａを抜けた時点において照度センサ１１ｂで検出される照度のレベルが上がり、これに遅れて照度センサ１１ｃで検出される照度のレベルが上がる。また、車両２がトンネル８ｂに入る手前で、照度センサ１１ａで検出される照度のレベルが最初に下がる。さらに、車両２がトンネル８ｂに入ると、照度センサ１１ｂで検出される照度のレベルが下がり、これに遅れて照度センサ１１ｃで検出される照度のレベルが下がる。
【0032】
より具体的には、情報取得部１１は、この照度センサ１１ａ，１１ｂ，１１ｃのセンサ出力の変化のタイミングの違いにより、車両２の移動による周囲の明るさの変化を検出することができる。例えば、照度センサ１１ａで検出される照度が上がった後に照度センサ１１ｂで検出された照度が上がれば、車両２が暗い場所から明るい場所に移動したことが検出される。また、照度センサ１１ａで検出された照度が下がった後に照度センサ１１ｂで検出された照度が下がれば、車両２が明るい場所から暗い場所に移動したことが検出される。このように、車両２の周囲の明るさの変化した場合を、本実施の形態では、情報取得部１１は、「中間の状態」であると判定する。
【0033】
ここで、照度センサ１１ａで検出された照度がハイレベルとなってから、照度センサ１１ａ～１１ｃで検出された照度がすべてローレベルである期間を期間Ａとする。期間Ａでは、周囲が「暗い状態」と判定される。そして、照度センサ１１ａで検出された照度がハイレベルになってから、照度センサ１１ｃで検出された照度がハイレベルとなるまでの期間を期間Ｂとする。期間Ｂでは、周囲が「中間の状態」と判定される。また、すべての照度センサ１１ａ～１１ｃで検出された照度がすべてハイレベルである期間を期間Ｃとする。期間Ｃでは、周囲が「明るい状態」と判定される。さらに、照度センサ１１ａで検出された照度がローレベルになってから、照度センサ１１ｃで検出された照度がローレベルとなるまでの期間を期間Ｄとする。期間Ｄでは、周囲が「中間の状態」と判定される。さらに、照度センサ１１ａ～１１ｃで検出された照度がすべてローレベルとなる期間を期間Ｅとする。期間Ｅでは、周囲が「暗い状態」と判定される。このようにすれば、車両２の移動による周囲の明るさの変化をいち早く検出して、画像の画質調整を遅れのないものとすることができる。
【0034】
また、周囲が明るい状態には、「日向」、「日陰」、「曇天下」の３つの状態がある。さらに、周囲が暗い状態には、「やや暗い」、「暗い」、「とても暗い」の３つの状態がある。情報取得部１１は、色温度センサを備えており、色温度センサのセンサ出力（色温度情報）に基づいて、これら３つの状態を判定する。
【0035】
例えば、色温度センサで検出される色温度が第１の色温度（例えば７０００ｋ）未満である場合には、情報取得部１１は、「日向」であると判定することができる。また、色温度センサで検出される色温度が第１の色温度（例えば７０００ｋ）以上である場合には、情報取得部１１は、「日陰」又は「曇天下」であると判定することができる。また、色温度のばらつきが第１の閾値より小さければ、情報取得部１１は、「曇天下」であると判定する。また、情報取得部１１は、色温度のばらつきが第１の閾値以上で第２の閾値より小さければ「日陰」であると判定し、色温度のばらつきが第２の閾値以上であれば「日向」であると判定することができる。
【0036】
また、情報取得部１１は、撮像部３ｂで撮像された画像、すなわち撮像画像の輝度情報に基づいて、明るさ情報を取得するようにしてもよい。例えば、画素の輝度値の平均レベルが第１の輝度値以上であれば、情報取得部１１は、「明るい状態」であると判定することができる。また、情報取得部１１は、第２の輝度値未満であれば明るさ情報として「暗い状態」であると判定することができる。
【0037】
また、照度センサ１１ａ～１１ｃの検出値に基づいて周囲が明るいと判定された場合、色温度が、第１の色温度（例えば７０００ｋ）未満である場合には、情報取得部１１は「日向」であると判定する。また、色温度が、第１の色温度（例えば７０００ｋ）以上である場合には、情報取得部１１は、「日陰」又は「曇天下」であると判定する。また、画像における照度、色温度のばらつきが第１の閾値より小さければ、情報取得部１１は、「曇天下」であると判定する。また、色温度のばらつきが第１の閾値以上で第２の閾値より小さければ、情報取得部１１は、「日陰」であると判定し、第２の閾値以上であれば明るさ情報として「日向」であると判定する。
【0038】
また、照度センサ１１ａ～１１ｃの検出値に基づいて周囲が暗い状態であると判定された場合、情報取得部１１は、画像の輝度の最大値が第１の輝度値以上である場合には、「やや暗い」状態であると判定することができる。例えば、照明が明るいトンネル内などは「やや暗い」状態であると判定される。また、画像の輝度の最大値が第１の輝度値より低く、第２の輝度値以上である場合には、情報取得部１１は、「暗い」状態であると判定することができる。また、画像の輝度の最大値が第２の輝度値より低い場合には、情報取得部１１は、「とても暗い」状態であると判定することができる。
【0039】
さらに、情報取得部１１は、画像全体のコントラストの大きさ、すなわちコントラスト情報で、「日向」、「日陰」、「曇天」を判定するようにしてもよい。すなわち、画像のコントラストが大きければ「日向」であると判定し、中程度であれば「日陰」であると判定し、小さければ「曇天下」であると判定することができる。
【0040】
また、照度センサ１１ａ～１１ｂが、日光の入射角度を検出可能なものを用いたり、色温度センサを用いて画像全体のトーンに赤みがかっていたりすることを検出したりした場合には、情報取得部１１は、周囲が「夕方又は朝方の明るさ」であると判定することができる。
【0041】
上述のように、本実施の形態では、情報取得部１１は、各種センサの検出値に基づいて、明るい状態（「日向」、「日陰」、「曇天下」）、暗い状態（「やや暗い」、「暗い」、「夜間」）、中間の状態、夕方又は朝方の明るさという８つの状態を判定し、明るさ情報として調整部１２に送る。
【0042】
［調整部］
調整部１２は、情報取得部１１で取得された明るさ情報に基づいて、表示部３ａで表示される画像を、人の視覚特性に応じて調整する。本実施の形態では、この調整に、画像の階調特性を変更するトーンカーブが用いられる。このトーンカーブは、輝度の全範囲で単一の曲線であり、グローバルトーンマッピングを行う濃度変換曲線である。適切なトーンカーブを用いて画像を変換すれば、撮像部３ｂの特性に従った画像から、人の視覚特性に応じた画像、すなわち被写体を直接見たときの見え方に近い画質の画像を得ることができる。
調整部１２は、情報取得部１１で取得された明るさ情報に基づいて、表示部３ａで表示される画像を、人の視覚特性に応じて調整する。本実施の形態では、この調整に、画像の階調特性を変更するトーンカーブが用いられる。このトーンカーブは、輝度の全範囲で単一の曲線であり、グローバルトーンマッピングを行う濃度変換曲線である。適切なトーンカーブを用いて画像を変換すれば、撮像部３ｂの特性に従った画像から、人の視覚特性に応じた画像、すなわち被写体を直接見たときの見え方に近い画質の画像を得ることができる。
【0043】
人の視覚特性に応じた画像は、画像が撮像された時の周囲の明るさによって変化する。そこで、本実施の形態では、調整部１２は、情報取得部１１で取得された明るさ情報に応じて、撮像部３ｂで撮像された画像の画質を調整するトーンカーブを、被写体を直接見たときの見え方に近い画質に変換可能なトーンカーブに変更する。調整部１２は、変更したトーンカーブを用いて、撮像部３ｂで撮像された画像の画質を変換する。
【0044】
調整部１２の詳細な構成についてさらに説明する。図５に示すように、調整部１２は、記憶部２０と、選択部２１と、画質変換部２２と、ディスプレイ調整部２３と、を備える。
【0045】
記憶部２０は、トーンカーブＴ１，Ｔ２，Ｔ３，・・・，Ｔ８（図６（Ａ）～図６（Ｄ））を記憶する。トーンカーブＴ１～Ｔ８は、それぞれ形状が異なる曲線であり、それぞれ周囲の明るさのレベルに応じて、規定されたレベル毎に記憶される曲線である。選択部２１は、情報取得部１１で取得された明るさ情報に基づいて、トーンカーブＴ１～Ｔ８のうち、被写体を直接見たときの見え方に近い画質に変換可能なトーンカーブを、記憶部２０から読み出す。画質変換部２２は、記憶部２０から読み出したトーンカーブを用いて撮像部３ｂで撮像された画像の画質を変換する。ディスプレイ調整部２３は、変換されたＨＤＲ画像を表示部３ａに表示されるＬＤＲ画像に変換する。変換された画像は、表示部３ａに表示される。
【0046】
記憶部２０に記憶されるトーンカーブＴ１～Ｔ８は、４つに分類される。１つ目は、周囲が明るい状態において人の視覚特性に沿ったトーンカーブＴ１～Ｔ３（図６（Ａ）参照）である。２つ目は、周囲が暗い状態において人の視覚特性に沿ったトーンカーブＴ４～Ｔ６（図６（Ｂ）参照）である。３つ目は、周囲が明るい状態と暗い状態との中間の状態であるときの人の視覚特性に沿ったトーンカーブＴ７（図６（Ｃ）参照）である。４つ目は、画像内に突出して輝度が高い部分がある場合のトーンカーブＴ８（図６（Ｄ）参照）である。
【0047】
図６（Ａ）～図６（Ｄ）に示すグラフでは、入力値が横軸であり、出力値が縦軸である。また、両軸は対数表示となっている。トーンカーブＴ１～Ｔ８は、輝度の最大値を１として正規化されている。このトーンカーブＴ１～Ｔ８を用いた変換では、入力値が撮像部３ｂで撮像された画像の各画素の輝度値となり、出力値が変換後の画像の各画素の輝度値となる。
【0048】
【0049】
画質変換部２２は、情報取得部１１で取得された明るさ情報が、車両２の周囲が明るい状態（「日向」、「日陰」、「曇天下」）であることを示している場合に、トーンカーブＴ１～Ｔ３のいずれかを用いて、画像の階調特性を変換する。第１のトーンカーブとしてのトーンカーブＴ１は、日向に対応するトーンカーブである。第２のトーンカーブとしてのトーンカーブＴ２は、日陰に対応するトーンカーブである。第３のトーンカーブとしてのトーンカーブＴ３は、曇天下に対応するトーンカーブである。曇天下に対応するトーンカーブＴ３は、傾きγ＝１の直線（点線）に最も近く、日陰に対応するトーンカーブＴ２、日向に対応するトーンカーブＴ１の順に直線から離れていく。このことは、トーンカーブＴ３、Ｔ２、Ｔ１の順に、変換した画像の画質が明るくなることを示している。
【0050】
トーンカーブＴ１～Ｔ３は、傾きγ＝１の直線（点線）よりも上側となり、入力値が０．０００３（１０－３．５）以上の範囲では上方に凸に湾曲した曲線となる。トーンカーブＴ１では、入力値が０．０００３（１０－３．５）以上０．５（１０－１．５）以下の範囲で傾きγが最大となるように規定されている。すなわち、トーンカーブＴ１～Ｔ３では、人の感度が高い範囲に多くの階調が割り当てられるようになっている。また、トーンカーブＴ１～Ｔ３は、入力値が０．５（１０－１．５）から１に近づくにつれて、傾きγが０とならずに出力値が１に近づいていくように規定されている。
【0051】
選択部２１は、情報取得部１１で取得された明るさ情報に基づいて、トーンカーブＴ１～Ｔ３のうち、いずれかのトーンカーブを選択する。明るさ情報が「日向」を示していれば、選択部２１は、日向のトーンカーブＴ１を選択する。また、明るさ情報が「日陰」を示していれば、選択部２１は、日陰のトーンカーブＴ２を選択する。さらに、明るさ情報が「曇天下」を示していれば、選択部２１は、曇天下に対応するトーンカーブＴ３を選択する。
【0052】
画質変換部２２は、情報取得部１１で取得された明るさ情報が、車両２の周囲が暗い状態であることを示している場合に、トーンカーブＴ４～Ｔ６を用いて、画像の階調特性を変換する。車両２の周囲が暗い状態には、夜間又はトンネル内などがある。
【0053】
トーンカーブＴ４は、明るさ情報が「やや暗い」である場合に選択される。例えば、トーンカーブＴ４は、画像が全体としては暗いが、明るい照明を含む場合に用いられる。トーンカーブＴ４は、輝度の最大値を１として正規化された場合に、入力値が０．０００１（１０－４）より低い範囲の傾きγが最大となり、０．０００１（１０－４）より高い範囲での傾きγが０とならないように規定されている。
【0054】
また、トーンカーブＴ５は、明るさ情報が「暗い」場合に選択される。トーンカーブＴ５は、入力値が、０．００１（１０－３）のときに傾きγが最大となり、全体としてＳ字状となるように規定されている。
【0055】
また、トーンカーブＴ６は、明るさ情報が「とても暗い」場合に選択される。例えば、トーンカーブＴ６は、画像内の暗部が明るくなるようにカーブのレベルを持ち上げることができる。トーンカーブＴ６は、トーンカーブＴ５よりも入力値の全範囲に渡る傾きγの変化が小さくなるように規定されている。
【0056】
さらに、トーンカーブＴ７は、明るさ情報が「中間の状態」であるときに選択される。トーンカーブＴ７は、第１の範囲Ｗ１（入力値が１０－４．５から１０－１．５の範囲）近傍の低輝度側と、第２の範囲Ｗ２（入力値が１０－２．５以上の範囲）近傍の高輝度側とに、上に凸状に湾曲した部分をそれぞれ有している。
【0057】
また、トーンカーブＴ８は、明るさ情報が「夕方又は朝方の明るさ」である場合に選択される。夕方又は朝方の明るさでは、低角度で直射日光が被写体に当たって反射光が強くなるため、全体のコントラストが向上する一方、迷光による中低輝度の像の判別の困難性は低減される。そこで、トーンカーブＴ８では、その分が、高輝度の範囲に割り当てられるようになっており、被写体においてそのような反射光が反射する周辺の階調再現域を広げることができるようになっている。
【0058】
例えば、車両２が、図４（Ａ）に示す道路を走行する場合、図４（Ｂ）に示すように、トンネル８ａ内の期間Ａにおいては、トーンカーブＴ４～Ｔ６のいずれかが選択される。さらに、トンネル８ａから出る期間Ｂにおいては、トーンカーブＴ７が選択される。屋外の期間Ｃにおいては、トーンカーブＴ１～Ｔ３、Ｔ８のいずれかが選択される。さらに、トンネル８ｂに入る手前の期間Ｄにおいては、トーンカーブＴ７が選択される。そして、トンネル８ｂ内の期間Ｅにおいては、トーンカーブＴ４～Ｔ６のいずれかが選択される。
【0059】
なお、期間Ｂにおいては、車両２は、トンネル８ａから出ているが、撮像部３ｂでは、トンネル８ａ内と、トンネル８ｂ外とが両方撮像される。このような場合、トーンカーブＴ７を用いれば、トンネル８ａ内の画像とトンネル８ｂ外の画像とを黒つぶれ及び白飛びを発生させることなく、表示部３ａに表示されることができる。
【0060】
このように、調整部１２は、情報取得部１１で検出された明るさ情報に基づいて、被写体を直接見たときの見え方に近い画質に変換可能なトーンカーブを、記憶部２０から読み出す。さらに、調整部１２は、記憶部２０から読み出したトーンカーブを用いて撮像部３ｂで撮像された画像の画質を変換する。
【0061】
なお、トーンカーブＴ１～Ｔ８は、ルックアップテーブル（ＬＵＴ；Look Up Table）に登録されている。ＬＵＴを参照することにより、その入力値に対する出力値を直接得ることができるようになっている。
【0062】
画質が変換された画像（ＨＤＲ画像）は、さらにＬＤＲ画像に変換される。トーンカーブＴ１～Ｔ８は、いずれも、ＬＤＲ画像に変換した場合の見かけ上のトーンカーブがフラットにならないような曲線となっている。
【0063】
［ハードウエア構成］
図７には、画像調整システム１のハードウエア構成が示されている。図７に示すように、画像調整システム１は、ＣＰＵ（Central Processing Unit）３０と、メモリ３１と、外部記憶部３２と、入出力部３３と、カードインターフェイス３４と、通信インターフェイス３５とを備える。画像調整システム１の各構成要素は、内部バス４０を介して接続されている。なお、図７では、トーンカーブＴ１～Ｔ８をトーンカーブＴにまとめて表示している。
図７には、画像調整システム１のハードウエア構成が示されている。図７に示すように、画像調整システム１は、ＣＰＵ（Central Processing Unit）３０と、メモリ３１と、外部記憶部３２と、入出力部３３と、カードインターフェイス３４と、通信インターフェイス３５とを備える。画像調整システム１の各構成要素は、内部バス４０を介して接続されている。なお、図７では、トーンカーブＴ１～Ｔ８をトーンカーブＴにまとめて表示している。
【0064】
ＣＰＵ３０は、ソフトウエアプログラム（以下、単に「プログラム」とする）を実行するプロセッサ（演算装置）である。メモリ３１には、外部記憶部３２からプログラム３９が読み込まれ、ＣＰＵ３０は、メモリ３１に格納されたプログラム３９を実行することにより、情報取得部１１及び調整部１２の動作を行う。
【0065】
メモリ３１は、例えばＲＡＭ（Random Access Memory）である。メモリ３１には、ＣＰＵ３０によって実行されるプログラム３９が格納される他、ＣＰＵ３０によるプログラム３９の実行で必要なデータ（トーンカーブＴ、撮像画像）、プログラム３９の実行の結果生成されるデータ（変換後の画像）が記憶される。
【0066】
外部記憶部３２は、例えばハードディスク等である。外部記憶部３２は、ＣＰＵ３０により実行されるプログラム３９が記憶される。また、持ち運び可能なＵＳＢ（Universal Serial Bus）メモリ等の記録媒体５０にはプログラム３９が記憶されている。外部記憶部３２には、記録媒体５０から転送されたプログラム３９が記憶されている。
【0067】
入出力部３３は、表示部３ａ、撮像部３ｂ及び各種センサ３ｃとのデータ入出力を行うインターフェイスである。各種センサ３ｃは、図３に示す照度センサ１１ａ～１１ｃ、色温度センサなどをまとめたものである。撮像部３ｂで撮像された画像は、入出力部３３を介してメモリ３１等に記憶され、メモリ３１に記憶された変換後の画像は、入出力部３３を介して表示部３ａに送られる。
【0068】
カードインターフェイス３４は、記録媒体５０とのインターフェイスである。プログラム３９は、このカードインターフェイス３４を介して入力され、外部記憶部３２に記憶される。
【0069】
通信インターフェイス３５は、インターネット等の通信ネットワークに接続する通信インターフェイスである。
【0070】
次に、本実施の形態に係る画像調整システム１（情報処理装置）の動作について説明する。図７に示すように、プログラム３９が、外部記憶部３２からメモリ３１に読み込まれ、ＣＰＵ３０に実行されることにより、処理が開始される。
【0071】
【0072】
続いて、情報取得部１１は、移動体の周囲の明るさ情報を取得する（ステップＳ２；情報取得ステップ）。具体的には、図７に示すように、各種センサ３ｃで検出された情報が、入出力部３３を介して、メモリ３１に記憶される。情報取得部１１としてのＣＰＵ３０は、これらの各種センサ３ｃや撮像部３ｂで撮像された画像に基づいて、明るさ情報を取得する処理を行う。
【0073】
続いて、調整部１２は、情報取得部１１で取得された明るさ情報に基づいて、画像を人の視覚特性に応じて調整する画像の調整を行う（ステップＳ３；調整ステップ）。具体的には、図７に示すように、調整部１２としてのＣＰＵ３０は、トーンカーブＴ（Ｔ１～Ｔ８）の中から、明るさ情報に対応するトーンカーブを選択し、そのトーンカーブで画像の画質を変換する。
【0074】
さらに、表示部３ａは、調整ステップで調整された画像を表示する（ステップＳ４；表示ステップ）。具体的には、図７に示すように、変換された画像は、メモリ３１から入出力部３３を介して表示部３ａに送られる。
【0075】
このような手順、ステップＳ１～Ｓ４が、一定の間隔で、繰り返される。これにより、表示部３ａには、車両２の両側後方の画像が表示される。
【0076】
なお、本実施の形態では、表示部３ａ及び撮像部３ｂとで、電子ドアミラー３を構成するものとしたが、本発明はこれには限られない。例えば、表示部及び撮像部とで、車両２の電子バックミラー４を構成するようにしてもよい。
【0077】
また、カーナビゲーションシステム５についても、本実施の形態に係る画像調整システム１の仕組みを適用することができる。情報取得部１１によって取得された明るさ情報に基づいて、カーナビゲーションシステム５の表示画面を調整することができる。この場合、単に、車両２の周囲が明るい場合には、表示画面の輝度を高め、車両２の周囲が暗い場合には、表示画面の輝度を低くするようにしてもよい。
【0078】
なお、本実施の形態では、情報取得部１１が、照度センサ１１ａ～１１ｃを備えるものとしたが、本発明はこれには限られない。照度センサ１１ｂだけが備えられるようにしてもよい。
【0079】
実施の形態２．
次に、本発明の実施の形態２について説明する。上記実施の形態１では、車両２に設置された照度センサ１１ａ～１１ｃ等のセンサ出力から明るさ情報を取得した。本実施の形態では、情報取得部１１は、車両２の位置情報と、時刻情報と、天候情報とに基づいて、明るさ情報を取得する。
次に、本発明の実施の形態２について説明する。上記実施の形態１では、車両２に設置された照度センサ１１ａ～１１ｃ等のセンサ出力から明るさ情報を取得した。本実施の形態では、情報取得部１１は、車両２の位置情報と、時刻情報と、天候情報とに基づいて、明るさ情報を取得する。
【0080】
図９に示すように、本実施の形態では、情報取得部１１は、基本情報検出部２６と、明るさ情報検出部２７と、を備えている。基本情報検出部２６は、カーナビゲーションシステム５から車両２の位置情報を取得するとともに、現在の時刻情報を取得する。この位置情報は、ＧＰＳ（Global Positioning System）より得られる情報である。
【0081】
基本情報検出部２６は、車両２の位置情報及び現在の時刻情報に基づいて、現在、車両２が太陽に照らされているか否か又は太陽の向きなどの基本情報を検出する。基本情報には、日中であるか、夜間であるか、日中であってもトンネル内であるか、日中である場合には、車両２に対する太陽の方角及び高さなどの情報が含まれている。
【0082】
明るさ情報検出部２７は、上記基本情報を入力するとともに、天候情報を入力する。明るさ情報検出部２７は、天候が晴れであるか、曇りであるか、雨であるか否かにより、最終的な明るさ情報を検出する。
【0083】
調整部１２は、検出された明るさ情報に基づいて、トーンカーブＴ１～Ｔ８の中からトーンカーブを１つ選び、選んだトーンカーブで画像の画質を変換する。
【0084】
実施の形態３．
次に、本発明の実施の形態３について説明する。図１０に示すように、本実施の形態に係る画像調整システム１は、深層学習部６０を備える点が、上記各実施の形態に係る画像調整システム１の構成と異なる。
次に、本発明の実施の形態３について説明する。図１０に示すように、本実施の形態に係る画像調整システム１は、深層学習部６０を備える点が、上記各実施の形態に係る画像調整システム１の構成と異なる。
【0085】
深層学習部６０は、画像調整システム１と通信ネットワークを介して接続可能なサーバコンピュータに設けられている。深層学習部６０には、情報取得部１１で取得された明るさ情報と撮像部３ｂで撮像された画像とを入力とし、表示部３ａで表示される画像を出力とする多層ニューラルネットワークが実装されている。深層学習部６０は、教師データ６１を用いて、多層ニューラルネットワークの深層学習を行う。この教師データ６１は、撮像部３ｂで撮像された画像（変換前画像）と、撮像部３ｂで変換前画像が撮像されたときの情報取得部１１で取得された明るさ情報と、変換前画像を人の視覚特性に応じた画質に変換して得られる変換後画像（表示部３ａで表示する画像）との組み合わせのデータである。この深層学習には、例えば逆誤差伝播法等が用いられ、多層ニューラルネットワークのパラメータが最適化される。
【0086】
最適化されたパラメータは、通信ネットワークを介して（図７に示す通信インターフェイス３５を介して）、調整部１２の多層ニューラルネットワーク実装部５５に実装される。調整部１２は、情報取得部１１で取得された明るさ情報と、撮像部３ｂで撮像された画像（変換前画像）とを、多層ニューラルネットワーク実装部５５に実装された多層ニューラルネットワークに入力する。多層ニューラルネットワークは、変換後画像、表示部３ａに表示される表示画像を出力する。このようにして、表示部３ａには、深層学習の学習結果が反映された画像が表示される。
【0087】
なお、本実施の形態では、画像を直接変換する、すなわち変換前画像を入力し、変換後画像を出力する多層ニューラルネットワークを備えることとしている。しかし、これには限られない。多層ニューラルネットワークは、複数のトーンカーブの中から、いずれか１つのトーンカーブを選択する出力を行うものであってもよい。選択されたトーンカーブは、被写体を直接見たときの見え方に近い画質に変換可能なものとなる。この場合、多層ニューラルネットワークは、情報取得部１１で取得された明るさ情報のみを入力するものとすることができる。すなわち、多層ニューラルネットワークは、情報取得部１１で取得された情報に基づいて、画像そのものを出力するものであってもよいし、画像の画質を変換する情報、すなわちトーンカーブを出力するものであってもよい。
【0088】
実施の形態４．
次に、本発明の実施の形態４について説明する。ＨＤＲ画像を表示する表示装置には様々なものがあり、コントラスト比が１００：１のもの（ＣＲ１００）から、２５：１（ＣＲ２５）、１０：１のもの（ＣＲ１０）やそれ以下のもの（ＧＭＩＮ）まで存在する。このうち、ＣＲ２５以下のコントラストの表示装置（例えばプロジェクタ）を低ダイナミックレンジ（ＬＤＲ；Low Dynamic Range）の表示装置という。これらＬＤＲの表示装置でも、可能な限り視覚的に高いコントラストで、画像を見ることができるようにすることが求められている。
次に、本発明の実施の形態４について説明する。ＨＤＲ画像を表示する表示装置には様々なものがあり、コントラスト比が１００：１のもの（ＣＲ１００）から、２５：１（ＣＲ２５）、１０：１のもの（ＣＲ１０）やそれ以下のもの（ＧＭＩＮ）まで存在する。このうち、ＣＲ２５以下のコントラストの表示装置（例えばプロジェクタ）を低ダイナミックレンジ（ＬＤＲ；Low Dynamic Range）の表示装置という。これらＬＤＲの表示装置でも、可能な限り視覚的に高いコントラストで、画像を見ることができるようにすることが求められている。
【0089】
本実施の形態に係る画像調整システム１は、図１１に示すように、ＬＤＲ変換部７１と、加算部７２と、を備える。ＬＤＲ変換部７１は、第１のダイナミックレンジとしての広いダイナミックレンジを有する第１の画像としてのＨＤＲ画像／ＳＤＲ画像の輝度値を、ＨＤＲ又はＳＤＲのダイナミックレンジより小さい第２のダイナミックレンジとしてＬＤＲの第２の画像、すなわちＬＤＲ画像に調整する。加算部７２は、ＬＤＲ画像の各画素に、ガウス分布に従ってランダムに変動するノイズを加える。加えるノイズのスケールは、例えば、全体の輝度範囲の１％程度でよい。なお、第１の画像は、上記実施の形態１～３において、トーンカーブによって画質が変換された画像とすることができる。
【0090】
ノイズの加算による確率共鳴現象により、ＨＤＲ圧縮された表示画像に対して、黒つぶれした部分のコントラストを向上させることができる。コントラストが向上した画像は、表示部３ａに表示させるようにしてもよいし、印刷してもよい。この場合、印刷された画像は、黒つぶれが低減された画像となる。
【0091】
なお、加算部７２をＬＤＲ変換部７１の前段に置き、ＨＤＲ画像／ＬＤＲ画像に対してノイズを加算するようにしてもよい。この場合、ノイズのスケールは図１１に示す構成よりも大きくする必要がある。
【0092】
以上詳細に説明したように、上記実施の形態によれば、車両２の周囲の明るさ情報に基づいて、表示される画像を人の視覚特性に応じて調整するので、画像の視認性を高めることができる。また、確率共鳴現象により、画像の黒つぶれを低減することが可能となる。
【0093】
トーンカーブＴ１～Ｔ８の特性はあくまで一例であり、この他のトーンカーブを採用することも可能である。また、調整部１２は、記憶部２０から複数のトーンカーブＴ１～Ｔ８から、いずれか１つのトーンカーブＴ１～Ｔ８を選択するのではなく、情報取得部１１で取得された明るさ情報を変数とし、トーンカーブの形状を変更する関数を記憶部２０に記憶させておき、その関数に明るさ情報を入力することにより求められる関数をトーンカーブとして用いるようにしてもよい。すなわち、調整部１２は、情報取得部１１で取得された明るさ情報に基づいて、撮像部３ｂで撮像された画像の画質を変換するトーンカーブを、被写体を直接見たときの見え方に近い画質に変換可能なトーンカーブに変更し、変更されたトーンカーブを用いて、撮像部３ｂで撮像された画像の画質を変換し、変換された画像を表示部３ａに表示させるようにすればよい。
【0094】
人間は、日向、日陰、曇天下、夜間などの様々な異なる環境で被写体の見え方を変更していると考えられる。実写画像に写る被写体を、実際の環境で鑑賞したときのグローバルトーンマッピングは、殆どの場合、標準的な数種類のパターン処理（例えば, 日向、日陰、曇天下など）とその派生処理（夕焼け補正など）に分類することができる。本実施の形態に係る画像調整システム１が行う処理は、人間が実際に行う視覚情報処理に類似した処理である。本実施の形態に係る画像調整システム１は、人間が行っている視覚情報処理のパターンに沿ってトーンカーブを切り替えることにより、表示部３ａに表示される画像に生じる違和感を低減している。
【0095】
トーンカーブによる画質の変換は、ルックアップテーブルの参照により行われるので、処理時間を短縮することができる。これにより、膨大な演算を必要とせずに被写体の画像を見る人の違和感を低減することができる。この結果、本実施の形態に係る画像調整システム１を、動画の画質変換に用いるようにすれば、変換に要する時間を短縮することができる。
【0096】
このように、本実施の形態では、周囲が明るい状態、すなわち日向、日陰、曇天下についてトーンカーブＴ１～Ｔ３をそれぞれ用意している。このようにすれば、日中の人の視覚特性に沿った画質にきめ細かく変換することができるので、被写体の画像を見る人の違和感を低減することができる。なお、周囲が明るい状態については、２種類又は４種類以上にトーンカーブを分けることも可能である。
【0097】
また、本実施の形態では、夕方や朝方などの画像については、角度の低い太陽光による反射光の影響を考慮して、高輝度域のコントラストが向上するようにトーンカーブＴ８を用いて補正される。このようにすれば、夕方又は朝方の被写体の見え方に近い画像を生成することができる。このトーンカーブＴ８は、日向、日陰、曇天下のいずれの画像に対しても同じものを適用することができる。
【0098】
また、本実施の形態では、周囲が暗い状態である場合には、その画像の明るさの度合いによって、３種類のトーンカーブＴ４～Ｔ６を用意している。これにより、高輝度の範囲から低輝度の範囲まで高コントラストで、画像を表示することが可能となっている。なお、夜間については、２種類又は４種類以上にトーンカーブを分けることも可能である。
【0099】
また、本実施の形態では、明るい状態と、暗い状態との間の中間の状態については、２つの異なる明るさの分布を含むトーンカーブＴ７を用意している。これにより、移動体の移動により明るさの条件が刻々変化する状態であっても、また、方角によって明るさが異なる場合であっても、それぞれの部分でコントラストを向上することができる。
【0100】
トーンカーブＴ１～Ｔ８は、表示装置のコントラスト比やビューイングフレアが考慮されたトーンカーブである。このようにすれば、コントラスト比の低い表示装置においても、できる限り良好なコントラスト比で画像を表示することができる。このトーンカーブＴ１～Ｔ８については、日向、日陰、曇天下、夕方（朝方）、夜間のいずれの実写画像についても同じものを適用することができる。
【0101】
なお、上記実施の形態では、明るさ情報が「明るい状態」、「暗い状態」、「中間の状態」に大別されるものとした。しかしながら、本発明はこれには限られない。例えば、「明るい状態」と「暗い状態」とに分けられるだけでもよい。また、本実施の形態では「明るい状態」、「暗い状態」をそれぞれ３つの状態に細分化した。しかしながら、本発明はこれには限られない。複数段階に細分化しなくてもよいし、２つ以上の状態に細分化するようにしてもよい。明るさの状態の分け方は、適宜変更が可能である。
【0102】
また、上記実施の形態では、各種センサ３ｃの検出値又は位置情報等から得られる情報に基づいて明るさ情報として取得したが、本発明はこれには限られない。各種センサの検出値又は位置情報等をそのまま明るさ情報として用いるようにしてもよい。
【0103】
上記実施の形態では、移動体を車両２としたが、本発明はこれには限られない。移動体を鉄道車両、船舶、航空機、宇宙船としてもよい。例えば、無人の鉄道車両に設けられた撮像部３ｂで撮像された画像を、鉄道車両を集中管理する管制システムで表示する表示部３ａに本発明を適用することができる。
【0104】
なお、上記実施の形態では、照度センサ１１ａ～１１ｃ、色温度センサなどを設けるものとしたが、本発明はこれには限られない。画像以外の情報を検出するセンサはなくてもよいし、他のセンサを備えていてもよい。
【0105】
その他、画像調整システム１のハードウエア構成やソフトウエア構成は一例であり、任意に変更および修正が可能である。
【0106】
情報取得部１１及び調整部１２などから構成される画像調整システム１の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する画像調整システム１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで画像調整システム１を構成してもよい。
【0107】
画像調整システム１の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムとの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【0108】
搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。例えば、通信ネットワーク上の掲示板（ＢＢＳ；Bulletin Board System）にコンピュータプログラムを掲示し、ネットワークを介してコンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【0109】
この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
【産業上の利用可能性】
【0110】
本発明は、移動体の移動により、周囲の明るさが変化する環境下での画像の調整に適用することができる。
【符号の説明】
【0111】
１ 画像調整システム、２ 車両、３ 電子ドアミラー、３ａ 表示部、３ｂ 撮像部、３ｃ 各種センサ、４ 電子バックミラー、５ カーナビゲーションシステム、６ ドア、７ ダッシュボード、８ａ，８ｂ トンネル、１１ 情報取得部、１１ａ，１１ｂ，１１ｃ 照度センサ、１２ 調整部、２０ 記憶部、２１ 選択部、２２ 画質変換部、２３ ディスプレイ調整部、２６ 基本情報検出部、２７ 明るさ情報検出部、３０ ＣＰＵ、３１ メモリ、３２ 外部記憶部、３３ 入出力部、３４ カードインターフェイス、３５ 通信インターフェイス、３９ プログラム、４０ 内部バス、５０ 記録媒体、５５ 多層ニューラルネットワーク実装部、６０ 深層学習部、６１ 教師データ、７１ ＬＤＲ変換部、７２ 加算部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】