特開 2023-136177 画像処理装置、画像処理方法及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023136177

(43)【公開日】2023-09-29

(54)【発明の名称】画像処理装置、画像処理方法及び画像処理プログラム

(51)【国際特許分類】

   H04N 23/10 20230101AFI20230922BHJP

   H04N 7/18 20060101ALI20230922BHJP

   H04N 23/76 20230101ALI20230922BHJP

   H04N 23/73 20230101ALI20230922BHJP

   B60R 1/20 20220101ALI20230922BHJP

【ＦＩ】

H04N9/04

H04N7/18 J

H04N5/243

H04N5/235 300

B60R1/20 100

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022041652

(22)【出願日】2022-03-16

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】松本 康孝

(72)【発明者】

【氏名】合田 康之

【テーマコード（参考）】

5C054

5C065

5C122

【Ｆターム（参考）】

5C054CC02

5C054EA01

5C054EA05

5C054EE04

5C054FF02

5C054HA30

5C065AA07

5C065BB02

5C065CC01

5C122DA03

5C122DA11

5C122DA14

5C122EA18

5C122EA47

5C122FB17

5C122FF15

5C122FG14

5C122HA13

5C122HA35

5C122HA58

5C122HB01

5C122HB06

5C122HB09

(57)【要約】

【課題】本開示は、車室内に設けられた撮像装置が撮像する画像の表示を、より鮮明に行うことができる画像処理装置、画像処理方法及び画像処理プログラムを提供する。
【解決手段】本開示に係る画像処理装置は、画像取得部と、色温度取得部と、検出部と、調整部と、出力部と、を備える。画像取得部は、車両の車室内に搭載される撮像装置から、当該撮像装置が前記車両に設けられたガラス越しに車室外を撮像した画像を取得する。色温度取得部は、前記画像取得部が取得した画像から色温度を取得する。検出部は、前記色温度取得部が取得した前記色温度から前記撮像装置が白とみなす色温度範囲を検出する。調整部は、前記検出部が検出した前記色温度範囲に基づいて、前記画像のホワイトバランスを調整する。出力部は、前記調整部により前記ホワイトバランスが調整された前記画像を出力する。
【選択図】図５

【特許請求の範囲】

【請求項1】

車両の車室内に搭載される撮像装置から、当該撮像装置が前記車両に設けられたガラス越しに車室外を撮像した画像を取得する画像取得部と、
前記画像取得部が取得した画像から色温度を取得する色温度取得部と、
前記色温度取得部が取得した前記色温度から前記撮像装置が白とみなす色温度範囲を検出する検出部と、
前記検出部が検出した前記色温度範囲に基づいて、前記画像のホワイトバランスを調整する調整部と、
前記調整部により前記ホワイトバランスが調整された前記画像を出力する出力部と、
を備える画像処理装置。

【請求項2】

前記調整部は、前記車両が備えるガラスの透過率特性に応じて、前記ホワイトバランスを調整する、
請求項１に記載の画像処理装置。

【請求項3】

前記調整部は、前記撮像装置が取得した入力照度に応じて、前記撮像装置のゲインを調整する、
請求項１または２に記載の画像処理装置。

【請求項4】

前記調整部は、前記入力照度に応じて、前記撮像装置の露光時間を調整する、
請求項３に記載の画像処理装置。

【請求項5】

前記調整部は、前記色温度範囲を車室外に搭載された撮像装置が撮像する色温度となるように、前記検出部が検出した前記色温度範囲に対して、前記ホワイトバランスを調整する、
請求項１から４の何れか１項に記載の画像処理装置。

【請求項6】

車両の車室内に搭載される撮像装置から、当該撮像装置が前記車両に設けられたガラス越しに車室外を撮像した画像を取得する画像取得ステップと、
前記画像取得ステップが取得した画像から色温度を取得する色温度取得ステップと、
前記色温度取得ステップが取得した前記色温度から前記撮像装置が白とみなす色温度範囲を検出する検出ステップと、
前記検出ステップが検出した前記色温度範囲に基づいて、前記画像のホワイトバランスを調整する調整ステップと、
前記調整ステップにより前記ホワイトバランスが調整された前記画像を出力する出力ステップと、
を含む画像処理方法。

【請求項7】

コンピュータに、
車両の車室内に搭載される撮像装置から、当該撮像装置が前記車両に設けられたガラス越しに車室外を撮像した画像を取得する画像取得ステップと、
前記画像取得ステップが取得した画像から色温度を取得する色温度取得ステップと、
前記色温度取得ステップが取得した前記色温度から前記撮像装置が白とみなす色温度範囲を検出する検出ステップと、
前記検出ステップが検出した前記色温度範囲に基づいて、前記画像のホワイトバランスを調整する調整ステップと、
前記調整ステップにより前記ホワイトバランスが調整された前記画像を出力する出力ステップと、
を実行させるための画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置、画商処理方法及び画像処理プログラムに関する。

【背景技術】

【0002】

近年、車両の運転支援システムの普及に伴い、撮像装置が車両に搭載されることが増えつつある。また、車室内に、撮像装置と電子ミラーとを搭載し、撮像装置で撮像された車両後方の画像を電子ミラーに表示することも行われている。

【0003】

また、車両では、車室内を車室外から見えにくくする等の目的のため、車両に搭載されるリヤガラスに、透過率を下げるための加工や色をつける等の加工を施すことも行われている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６６５７９２５号公報

【特許文献2】特許第６５３７３８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、撮像装置が車室内に搭載される場合、リヤガラスを介して車両後方を撮像することになる。そのため、リヤガラスに上述した加工が施されていると、撮像装置が撮像する画像の色合いや画質がリヤガラスの影響で変化し、電子ミラーに鮮明に表示されない可能性がある。

【0006】

本開示は、車室内に設けられた撮像装置が撮像する画像の表示を、より鮮明に行うことができる画像処理装置、画像処理方法及び画像処理プログラムを提供する。

【課題を解決するための手段】

【0007】

本開示に係る画像処理装置は、画像取得部と、色温度取得部と、検出部と、調整部と、出力部と、を備える。画像取得部は、車両の車室内に搭載される撮像装置から、当該撮像装置が前記車両に設けられたガラス越しに車室外を撮像した画像を取得する。色温度取得部は、前記画像取得部が取得した画像から色温度を取得する。検出部は、前記色温度取得部が取得した前記色温度から前記撮像装置が白とみなす色温度範囲を検出する。調整部は、前記検出部が検出した前記色温度範囲に基づいて、前記画像のホワイトバランスを調整する。出力部は、前記調整部により前記ホワイトバランスが調整された前記画像を出力する。

【発明の効果】

【0008】

本開示に係る画像処理装置によれば、車室内に設けられた撮像装置が撮像する画像の表示を、より鮮明に行うことができる。

【図面の簡単な説明】

【0009】

【図1】図１は、第１実施形態に係る電子ミラーシステムが搭載される車両の一例を示す図である。

【図2】図２は、第１実施形態に係る電子ミラーシステムの構成の一例を示す図である。

【図3】図３は、第１実施形態に係る撮像装置の構成の一例を示す図である。

【図4】図４は、第１実施形態に係る電子ミラーの構成の一例を示す図である。

【図5】図５は、第１実施形態に係る撮像装置の機能の構成の一例を示すブロック図である。

【図6】図６は、リヤガラスの特性の一例を示す図である。

【図7】図７は、第１実施形態に係る撮像装置が検出する白検出範囲の一例を示す図である。

【図8】図８は、第１実施形態に係る電子ミラーシステムが補正する色温度範囲の一例を示すテーブルである。

【図9】図９は、第２実施形態に係る撮像装置の機能の構成の一例を示すブロック図である。

【図10】図１０は、第２実施形態に係る電子ミラーシステムの動作の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

（第１実施形態）
以下、図面を参照しながら、第１実施形態に係る電子ミラーシステムの実施形態について説明する。

【0011】

第１実施形態に係る電子ミラーシステムは、車両に搭載される撮像装置及び電子ミラー等で構成される。電子ミラーは、例えば、車両後方を視認するためのミラーに代えて、撮像装置で撮像された車両後方の画像を表示する。

【0012】

まず、図１を用いて、電子ミラーシステム３の全体構成を説明する。図１は、実施形態に係る電子ミラーシステム３が搭載される車両の一例を示す図である。

【0013】

電子ミラーシステム３は、車両５に搭載されて、カメラ１及び電子ミラー２を備える。なお、電子ミラーシステム３は、本開示に係る画像処理装置の一例である。

【0014】

カメラ１は、車両５の室内に設けられる。例えば、カメラ１は、車両５の室内の後方かつリヤガラス４の前方に備えられ、車両５の後方（Ｘ軸負側）に向けて設置される。カメラ１は、例えば、ＣＭОＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を備えて、車両５の後方を撮像する。なお、カメラ１は、本開示における撮像装置の一例である。

【0015】

電子ミラー２は、一般的なミラータイプの後写鏡の機能と、カメラ１が撮像した車両５の後方の映像を表示する機能と、を備える。電子ミラー２の構造について、詳細は後述する。なお、電子ミラー２は、本開示における表示装置の一例である。

【0016】

電子ミラー２は、車室内に配される。例えば、電子ミラー２は、車室に向く（図１に示すＸ軸の負の方向）面にディスプレイパネル２３を有し、カメラ１で取得された画像をディスプレイパネル２３に表示する。電子ミラー２は、後方の電子ミラーである場合、ルームミラーの形態で実装されてもよく、ディスプレイパネル２３の形状がルームミラーの鏡面の形状であってもよい。

【0017】

次に、図２を用いて、電子ミラーシステム３が備える構成について説明する。電子ミラーシステム３において、カメラ１及び電子ミラー２は、図２に示すように、通信媒体８を介して互いに通信可能に接続される。図２は、本実施形態に係る電子ミラーシステム３の構成を示す図である。通信媒体８は、シリアルケーブル等の通信ケーブルであってもよいし、ブルートゥース（登録商標）等の無線通信回線であってもよい。図２では、通信媒体８が通信ケーブルであり、通信媒体８の一端がカメラ１のＩ／Ｆ部１３に接続され他端が電子ミラー２のＩ／Ｆ部２１に接続される構成が例示される。

【0018】

カメラ１は、車体６の後方を撮像し、取得された画像を電子ミラー２へ通信媒体８経由で供給する。これにより、電子ミラー２は、カメラ１で撮像される画像を受け、受けた画像をディスプレイパネル２３に表示する。なお、電子ミラー２では、カメラ１で撮像された画像の全域を表示してもよいし、画像から一部の画像（以下、部分画像ともいう）を切り出してディスプレイパネル２３に表示してもよい。

【0019】

図２では、カメラ１で撮像された画像からルームミラーの鏡面の形状に切り出された部分画像が電子ミラー２のディスプレイパネル２３に表示される構成が例示されている。電子ミラー２は、その筐体２８ｃの姿勢が可変な状態で筐体が車体６の屋根部６ｂの内側に固定されていてもよい。電子ミラー２は、支持部２８ａを介して筐体２８ｂが車体６の屋根部６ｂに固定されていてもよい。

【0020】

ディスプレイパネル２３は、例えば、液晶パネルや有機ＥＬパネル等である。また、ディスプレイパネル２３の表示面に対向するように、ハーフミラー２４が設置されている。ハーフミラー２４は、一般的なルームミラーである。

【0021】

操作スイッチ２５は、筐体２８ｃの下部には設ける。操作スイッチ２５を操作することにとって、ディスプレイパネル２３による表示と、ハーフミラー２４に写る車両５の後方の反射像とを切り替える。なお、ハーフミラー２４に写る反射像を表示する際には、ディスプレイパネル２３は非表示の状態となる。

【0022】

支持部２８ａは、車両の屋根部６ｂの内側に筐体２８ｃを支持する部材である。筐体２８ｂは、ディスプレイパネル２３を内包する部材である。また、筐体２８ｂは、支持部２８ａを介して車両の屋根部６ｂの内側に支持される。

【0023】

電子ミラー２は、筐体２８ｃの姿勢が変更されることに応じて、全体画像から切り出す部分画像の位置を微調整して切り出してディスプレイパネル２３に表示してもよい。これにより、電子ミラー２は、カメラ１で撮像された車両周辺の画像をその筐体２８ｃの姿勢に応じて表示でき、ミラーの代替として動作可能である。

【0024】

次に、図３を用いて、カメラ１が備える構成について説明する。カメラ１は、図３に示すように、イメージセンサ１１、シグナルプロセッサ（ＩＳＰ：Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１２及びインターフェース（Ｉ／Ｆ）部１３を備える。図３は、本実施形態に係るカメラ１の構成を示す図である。イメージセンサ１１は、端子１１ａ及び端子１１ｂを備える。シグナルプロセッサ１２は、端子１２ａ、端子１２ｂ、端子１２ｃ及び端子１２ｄを有する。インターフェース部１３は、端子１３ａ、端子１３ｂ及び端子１３ｃを備える。

【0025】

イメージセンサ１１は、例えば、車両５後方の画像を取得し、取得された画像に応じた複数の画素信号を生成し、複数の画素信号をシグナルプロセッサ１２へ供給する。イメージセンサ１１は、画素部１１１、インターフェース（Ｉ／Ｆ）１１２及び駆動制御部１１３を備える。

【0026】

画素部１１１は、複数の画素が複数行及び複数列を構成するように配列され、複数列に対応して複数のＡＤコンバータ（複数のＡＤＣ）が配列される。画素部１１１は、その撮像面に形成された被写体像（画像）に応じて複数の画素で電荷蓄積動作を行い、蓄積された複数の画素の信号を列ごとにＡＤコンバータでＡＤ変換して、複数の画素信号を生成する。

【0027】

インターフェース１１２は、端子１１ｂ及び端子１２ｂを介して、シグナルプロセッサ１２と通信制御情報をやり取りし、シグナルプロセッサ１２との通信を確立する。インターフェース１１２は、ＳＰＩ（Ｓｅｒｉａｌ Ｐｅｒｉｐｈｅｒａｌ Ｉｎｔｅｒｆａｃｅ）方式に従ってシグナルプロセッサ１２との通信を確立してもよい。インターフェース１１２は、画素部１１１から出力された複数の画素信号を１フレームの画像として端子１１ａ及び端子１２ａ経由でシグナルプロセッサ１２へ伝送する。インターフェース１１２は、時間連続的な複数フレームの画像を映像信号として端子１１ａ及び端子１２ａ経由でシグナルプロセッサ１２へ伝送可能である。

【0028】

駆動制御部１１３は、垂直走査回路及び水平走査回路を有する。垂直走査回路は、垂直駆動信号（ＶＤ）に応じて複数の画素を垂直方向に走査し、複数の画素の電荷蓄積動作等の制御を行単位で駆動する。水平走査回路は、水平駆動信号（ＨＤ）に応じて複数の画素を水平方向に走査し、複数の画素から画素信号の読み出し及びＡＤ変換を列単位で駆動する。

【0029】

シグナルプロセッサ１２は、画像に応じた複数の画素信号をイメージセンサ１１から受け、複数の画素信号に対して所定の信号処理を行う。シグナルプロセッサ１２は、信号処理部１２１及びインターフェース（Ｉ／Ｆ）１２２を備える。

【0030】

信号処理部１２１は、ＡＤコンバータ及びアドレス処理回路を有し、ＡＤコンバータ及びアドレス処理回路を用いて、複数の画素信号に対して所定の信号処理を行う。所定の信号処理は、信号のダイナミックレンジを調整する処理、信号に含まれるノイズを低減するＮＲ補正処理を含む。画素部１１１が各画素にカラーフィルタを含むなどカラーに対応している場合、所定の信号処理は、画素信号から輝度成分（Ｙ）と色度成分（Ｃ）とを含むＹＣ信号を生成するＹＣ信号処理をさらに含んでもよい。

【0031】

信号処理部１２１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサと、フラッシュメモリなどのメモリと、を備える。信号処理部１２１は、メモリにロードされたプログラムをプロセッサが実行することにより、信号処理部１２１としての機能を実現する。なお、信号処理部１２１が備える機能について後述する。

【0032】

インターフェース１２２は、端子１２ｄ及び端子１３ｂを介して、インターフェース部１３と通信制御情報をやり取りし、インターフェース部１３との通信を確立する。インターフェース１２２は、Ｉ２Ｃ（Ｉｎｔｅｒ－Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）方式に従ってインターフェース部１３との通信を確立してもよい。

【0033】

インターフェース１２２は、信号処理部１２１から出力された複数の画素信号を１フレームの画像として端子１２ｃ及び端子１３ａ経由でインターフェース部１３へ伝送する。インターフェース１２２は、時間連続的な複数フレームの画像を映像信号として端子１２ｃ及び端子１３ａ経由でインターフェース部１３へ伝送可能である。

【0034】

インターフェース部１３は、イメージセンサ１１及び／またはシグナルプロセッサ１２で検知された故障を電子ミラー２に通知する。インターフェース部１３は、通信媒体８を介して電子ミラー２に接続される。

【0035】

インターフェース部１３は、通信における信号のフォーマット変換を行う。通信媒体８がシリアル通信に対応している場合、インターフェース部１３は、シリアライザ１３１を有していてもよい。

【0036】

シリアライザ１３１は、イメージセンサ１１及び／またはシグナルプロセッサ１２から端子１３ａ経由で受けた映像信号をパラレル形式からシリアル形式に変換し、シリアル形式の映像信号を端子１３ｃ及び通信媒体８経由で電子ミラー２へ送信する。シリアライザ１３１は、イメージセンサ１１及び／またはシグナルプロセッサ１２から端子１３ｂ経由で受けた通信制御情報をパラレル形式からシリアル形式に変換し、シリアル形式の通信制御情報を端子１３ｃ及び通信媒体８経由で電子ミラー２へ送信する。

【0037】

次に、図４を用いて、電子ミラー２が備える構成について説明する。電子ミラー２は、図４に示すように、インターフェース（Ｉ／Ｆ）部２１、映像処理部２２及びディスプレイパネル２３を備える。図４は、本実施形態に係る電子ミラー２の構成を示す図である。

【0038】

インターフェース部２１は、通信媒体８を介してカメラ１に接続される。インターフェース部２１は、コネクタ部２１１を備え、コネクタ部２１１に通信媒体８を介してカメラ１が接続される。インターフェース部２１は、通信における信号のフォーマット変換を行う。通信媒体８がシリアル通信に対応している場合、インターフェース部１３は、デシリアライザ２１２を有していてもよい。

【0039】

デシリアライザ２１２は、カメラ１から通信媒体８及びコネクタ部２１１経由で伝送された映像信号をシリアル形式からパラレル形式に変換し、パラレル形式の映像信号を映像処理部２２へ伝送する。コネクタ部２１１からデシリアライザ２１２への映像信号の伝送は、ＦＰＤ－Ｌｉｎｋ（Ｆｌａｔ Ｐａｎｅｌ Ｄｉｓｐｌａｙ－Ｌｉｎｋ）方式に従った通信で行われてもよい。デシリアライザ２１２から映像処理部２２への映像信号の伝送は、ＭＩＰＩ（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ）方式に従った通信で行われてもよい。

【0040】

映像処理部２２は、デシリアライザ２１２から伝送された映像信号を表示用の映像信号に変換してディスプレイパネル２３へ供給する。ディスプレイパネル２３は、映像処理部２２が変換した映像信号を表示する。

【0041】

なお、図４には図示しないが、電子ミラー２は、図２で説明したように、ディスプレイパネル２３に重畳して設置されたハーフミラー２４を備え、電子ミラー２は、操作スイッチ２５の操作によって、ディスプレイパネル２３に表示された映像信号と、ハーフミラー２４に映った車両５の後方の反射像と、を切り替えて表示する。

【0042】

次に、図５を用いて、信号処理部１２１が備える機能について説明する。図５は、信号処理部１２１が備える機能の一例を示すブロック図である。信号処理部１２１は、画像取得部１２１１、色温度取得部１２１２、検出部１２１３、第１調整部１２１４及び出力部１２１５を備える。なお、信号処理部１２１が備える機能はこれに限定されない。

【0043】

画像取得部１２１１は、カメラ１が撮像した画像を取得する。具体的には、車両５の車室内に搭載されるカメラ１から、当該カメラ１が車両５に設けられたリヤガラス４越しに車室外を撮像した画像を取得する。

【0044】

色温度取得部１２１２は、カメラ１が撮像した画像から色温度を取得する。具体的には、色温度取得部１２１２は、画像取得部１２１１が取得した画像から色温度を取得する。なお、色温度については後述する。

【0045】

検出部１２１３は、色温度取得部１２１２が取得した色温度から色温度範囲を検出する。具体的には、検出部１２１３は、色温度取得部１２１２が取得した色温度からカメラ１が白とみなす色温度範囲を検出する。

【0046】

第１調整部１２１４は、調整部の一例である。第１調整部１２１４は、検出部１２１３が検出した色温度範囲に基づいて、ホワイトバランスを調整する。具体的には、第１調整部１２１４は、車室内に搭載されたカメラ１によりリヤガラス４越しで撮像される画像が、カメラ１を車外に搭載して撮像した画像、つまりリヤガラス４が存在しない状態の画像と同じ色温度となるように、検出部１２１３が検出した色温度範囲に対してホワイトバランスを調整する。また、第１調整部１２１４がホワイトバランスを調整した結果は、メモリに記憶する。

【0047】

出力部１２１５は、第１調整部１２１４によりホワイトバランスが調整された画像を出力する。具体的には、出力部１２１５は、第１調整部１２１４によりホワイトバランスが調整された画像を電子ミラー２へ出力する。

【0048】

ここで、図６を用いてリヤガラス４の透過率特性について説明する。図６は、リヤガラス４の特性の一例を示す図である。図６に示すグラフは、横軸は波長［ｎｍ］であり、縦軸は透過率［％］を示す。なお、透過率が１００％での波長の状態は、リヤガラス４がない状態に対応する。

【0049】

リヤガラス４の特性は、例えば、波長と透過率との関係で表すことができる。例えば、グラフＧ１の特性を備えるリヤガラス４は、可視光線に含まれる波長４５０ｎｍ～６５０ｎｍの範囲で、透過率が略６０％を示す。グラフＧ２の特性を備えるリヤガラス４は、波長４５０ｎｍ～６５０ｎｍの範囲で、透過率が２５％を示す。グラフＧ３の特性を備えるリヤガラス４は、波長が４５０ｎｍ～６５０ｎｍの範囲で、透過率が略１５％を示す。グラフＧ４の特性を備えるリヤガラス４は、波長が４５０ｎｍ～６５０ｎｍの範囲で、透過率が略１０％を示す。

【0050】

カメラ１は、リヤガラス４越しに車両後方を撮像した場合、リヤガラス４の透過率の影響を受けるため、撮像した画像の色温度は、リヤガラス４がない状態で撮像した画像の色温度と異なる。カメラ１が撮像した画像は、波長ごとの透過率の差が大きいほど、白とみなす色温度範囲が大きくずれるため、リヤガラス４の特性に応じてホワイトバランスを調整する必要がある。

【0051】

次に、図７及び図８を用いて、第１調整部１２１４がホワイトバランスを調整する内容について説明する。図７は、検出部１２１３が検出する撮像装置が検出する色温度範囲の一例を示す図である。図８は、第１調整部１２１４がホワイトバランスを調整する調整内容の一例を示すテーブルである。

【0052】

図７に示すグラフ７０は、横軸はＲ／Ｇであり、縦軸はＢ／Ｇを示す分光感度比を示す。色温度７１及び色温度７２は、車室外に備えたカメラ１が（リヤガラス４を介さずに）撮像した場合の色温度である。色温度７３及び色温度７４は、色温度取得部１２１２が取得した色温度であり、車室内に備えたカメラ１がリヤガラス４越しに撮像した場合の色温度である。検出部１２１３は、色温度取得部１２１２が取得した色温度７３及び色温度７４からカメラ１が白とみなす色温度範囲７５を検出する。

【0053】

色温度範囲７５は、第１調整部１２１４がオートホワイトバランス機能の白検出(白とみなす)色温度範囲である。色温度７６及び色温度７７は、第１調整部１２１４が色温度を調整した結果、車室内に備えたカメラ１がリヤガラス４越しに撮像した場合の色温度である。

【0054】

また、色温度７１及び色温度７６の色温度は、８８００Ｋ［ケルビン］である。色温度７２及び色温度７７の色温度は、４０００Ｋ［ケルビン］である。色温度７３の色温度は、１５０００Ｋ［ケルビン］である。色温度７４の色温度は５２５０Ｋ［ケルビン］である。

【0055】

カメラ１は、例えば、車室外の白検出色温度範囲を４０００Ｋから８０００Ｋとする場合、車室内でリヤガラス４越しに車両後方を撮像すると、検出部１２１３が検出する色温度範囲が５２５０Ｋから１５０００Ｋ相当になる。この場合、カメラ１は、空や色温度の高い日掛けを引き込んでしまう場合がある。カメラ１が撮像した画像を電子ミラー２に表示させると、暗くなった状態で画像が表示されてしまう。

【0056】

したがって、第１調整部１２１４は、リヤガラス４の色温度に合わせて、イメージセンサ１１から出力される映像信号に含まれるＲＧＢ信号の信号レベルを調整する。例えば、検出部１２１３が検出した色温度の検出値が５２５０Ｋから１５０００Ｋの場合、第１調整部１２１４は、図８に示すテーブルに参照し、色温度範囲を４０００Ｋから８８００Ｋに調整する。

【0057】

これにより、車室内に備えられたカメラ１は、第１調整部１２１４が調整した色温度範囲で撮像すると、車室外で撮像された画像と同等の画像を撮像することができる。また、電子ミラー２は、ホワイトバランスが調整された画像を表示するため、より鮮明に表示することができる。

【0058】

なお、第１実施形態では、第１調整部１２１４は、カメラ１が撮像した画像から色温度を取得し、その後、白検出色温度範囲を検出し、色温度範囲に対して、ホワイトバランスを調整したが、例えば、ユーザが白とみなす色温度を手動で入力し、入力した範囲に対してホワイトバランスの調整を行っても良い。

【0059】

以上説明したように、第１実施形態の画像処理装置は、取得した色温度から白とみなす色温度範囲を検出し、色温度範囲に対して、ホワイトバランスを調整し、出力する。これにより、第１実施形態の画像処理装置は、車室内に設けられた撮像装置が撮像する画像の表示を、より鮮明に行うことができる。

【0060】

（第２実施形態）
次に、第２実施形態について説明する。上述の第１実施形態と共通する部分については説明を適宜に省略する。なお、第１実施形態と同様の構成要素については、同一の符号を付与し適宜説明を省略する。

【0061】

上述の第１実施形態では、カメラ１は、検出した色温度範囲に対してホワイトバランスを調整する形態について説明した。第２実施形態では、カメラ１は、入力照度に応じて、ゲインを調整する形態について説明する。なお、ゲインとは、カメラ１で撮影する際の明るさの調整を担うパラメータであり、具体的には、イメージセンサ１１が生成する画素信号の調整値に対応する。

【0062】

第２実施形態のカメラ１は、車室外に搭載される撮像装置と同等の明るさを確保するために、まず、露光時間を車室外に搭載される撮像装置と同様に、１６．６ｍｓｅｃ（＝６０ｆｐｓ）に設定する。また、カメラ１の露光量は－１２ｄＢと設定する。カメラ１の露光量を設定することで、車室外に搭載された撮像装置とほぼ同等の明るさを確保することができる。

【0063】

図９は、第２実施形態に係る信号処理部１２１が備える機能の構成の一例を示すブロック図である。信号処理部１２１は、信号処理部１２１は、色温度取得部１２１２、検出部１２１３、第１調整部１２１４、出力部１２１５、取得照度判定部１２１６、推定部１２１７、推定照度判定部１２１８、第２調整部１２１９及び第３調整部１２２０を備える。なお、信号処理部１２１が備える機能はこれに限定されない。

【0064】

取得照度判定部１２１６は、イメージセンサ１１から取得した入力照度が目標値に達しているか否かを判定する。取得照度判定部１２１６は、判定部の一例である。具体的には、取得照度判定部１２１６は、イメージセンサ１１から取得した入力照度が車室外と同等の入力照度を示す目標値に達しているか否かを判定する。

【0065】

推定部１２１７は、推定照度を推定する。具体的には、推定部１２１７は、取得照度判定部１２１６が取得した入力照度が目標値に達していないと判定した場合、取得した入力照度を推定照度として推定する。

【0066】

推定照度判定部１２１８は、判定部の一例である。推定照度判定部１２１８は、推定照度が第１閾値を超えているか否かを判定する。具体的には、推定照度判定部１２１８は、推定部１２１７が推定した推定照度が第１閾値を超えているか否かを判定する。また、推定照度判定部１２１８は、推定照度が第２閾値を超えているか否かを判定する。具体的には、推定照度判定部１２１８は、推定部１２１７が推定した推定照度が第２閾値を超えているか否かを判定する。

【0067】

さらに、推定照度判定部１２１８は、推定照度が第３閾値を超えているか否かを判定する。具体的には、推定照度判定部１２１８は、推定部１２１７が推定した推定照度が第３閾値を超えているか否かを判定する。

【0068】

ここで、第１閾値、第２閾値及び第３閾値について説明する。第１閾値は、例えば、１００ルクスから２００ルクスの範囲である。第２閾値は、例えば、３０ルクスから６０ルクスの範囲である。第３閾値は、例えば、１０ルクスから２０ルクスの範囲である。

【0069】

第２調整部１２１９は、推定照度判定部１２１８が第１閾値を下回ると判定した場合、ゲインを上げるように調整する。具体的には、第２調整部１２１９は、推定照度判定部１２１８が推定部１２１７により推定された推定照度が第１閾値を下回ると判定した場合、画素部１１１に対してゲインを上げるように調整する。

【0070】

推定部１２１７により推定された照度が第１閾値を下回る場合、カメラ１は撮像する被写体の照度が低い状態であり、鮮明な画像を取得できない状態である。したがって、例えば、第２調整部１２１９は、画素部１１１に対してゲインを車室外設定の露光量よりも＋９ｄＢと上げるように調整する。その結果、カメラ１の露光量は－３ｄＢとなり、明るさを車室外に搭載された撮像装置とほぼ同等となる。これにより、カメラ１は、鮮明な画像を撮像することができる。

【0071】

また、第２調整部１２１９は、推定照度判定部１２１８が第２閾値を上回ると判定した場合、ゲインを下げるように調整する。具体的には、第２調整部１２１９は、推定照度判定部１２１８が推定部１２１７により推定された推定照度が第２閾値を上回ると判定した場合、画素部１１１に対してゲインを下げるように調整する。

【0072】

推定部１２１７により推定された照度が第２閾値を上回る場合、カメラ１は撮像する被写体の照度が高い状態であり、鮮明な画像を取得できない状態である。したがって、例えば、第２調整部１２１９は、画素部１１１に対してゲインを下げる（すなわち、一度上げたゲインを－９ｄＢ下げる）ように調整する。その結果、カメラ１の露光量は－１２ｄＢとなり、明るさを車室外に搭載された撮像装置とほぼ同等となる。また、第２調整部１２１９は、合わせて画素部１１１に対して、階調補正で持ち上げるように調整しても良い。その結果、車室外設定とほぼ同じ明るさを維持することができる。これにより、カメラ１は、鮮明な画像を撮像することができる。

【0073】

第３調整部１２２０は、推定照度判定部１２１８が第２閾値を下回ると判定した場合、露光を長くするように調整する。具体的には、第３調整部１２２０は、推定照度判定部１２１８が推定部１２１７により推定された推定照度が第２閾値を下回ると判定した場合、画素部１１１に対して露光を長くするように調整する。

【0074】

推定部１２１７により推定された照度が第２閾値を下回る場合、カメラ１は撮像する被写体の照度が低い状態であり、鮮明な画像を取得できない状態である。したがって、例えば、第３調整部１２２０は、画素部１１１に対して露光を長くするように露光時間を１６．６ｍｓｅｃから３３．３ｍｓｅｃへ調整する。その結果、車室外設定とほぼ同じ明るさを維持することができる。これにより、カメラ１は、鮮明な画像を撮像することができる。

【0075】

また、第３調整部１２２０は、推定照度判定部１２１８が第３閾値を上回ると判定した場合、露光を短くするように調整する。具体的には、第３調整部１２２０は、推定照度判定部１２１８が推定部１２１７により推定された推定照度が第３閾値を上回ると判定した場合、画素部１１１に対して露光を短くするように調整する。

【0076】

推定部１２１７により推定された照度が第３閾値を上回る場合、カメラ１は撮像する被写体の照度が高い状態であり、鮮明な画像を取得できない状態である。したがって、例えば、第３調整部１２２０は、画素部１１１に対して露光を短くするように露光時間を３３．３ｍｓｅｃから１６．６ｍｓｅｃへ調整する。また、第３調整部１２２０は、合わせて画素部１１１に対して、階調補正で持ち上げるように調整しても良い。その結果、車室外設定とほぼ同じ明るさを維持することができる。これにより、カメラ１は、鮮明な画像を撮像することができる。

【0077】

次に、以上のように構成された電子ミラーシステム３で実行される処理の流れについて説明する。

【0078】

図１０は、第２実施形態に係る電子ミラーシステム３で実行される処理の流れの一例を示すフローチャートである。

【0079】

まず、図１０では、第２実施形態のカメラ１は、車室外に搭載される撮像装置と同等の明るさを確保するために、露光時間を車室外に搭載される撮像装置と同様に、１６．６ｍｓｅｃ（＝６０ｆｐｓ）に設定する。

【0080】

取得照度判定部１２１６は、イメージセンサ１１から取得した入力照度が目標値に達しているか否かを判定する（ステップＳ２０１）。ここで、取得照度判定部１２１６は、イメージセンサ１１から取得した入力照度が目標値に達していると判定した場合（ステップＳ２０１：Ｙｅｓ）、本処理は終了する。取得照度判定部１２１６は、イメージセンサ１１から取得した入力照度が目標値に達していないと判定した場合（ステップＳ２０１：Ｎｏ）、ステップＳ２０２へ進む。

【0081】

推定部１２１７は、取得照度判定部１２１６が取得した入力照度を推定照度として推定する（ステップＳ２０２）。

【0082】

続いて、推定照度判定部１２１８は、推定照度が第１閾値を上回るか否かを判定する（ステップＳ２０３）。ここで、推定照度判定部１２１８は、推定照度が第１閾値を上回ると判定した場合（ステップＳ２０３：Ｎｏ）、本処理は終了する。推定照度判定部１２１８は、推定照度が第１閾値を下回ると判定した場合（ステップＳ２０３：Ｙｅｓ）、ステップＳ２０４へ進む。

【0083】

第２調整部１２１９は、画素部１１１に対して、ゲインを上げるように調整する（ステップＳ２０４）。

【0084】

続いて、取得照度判定部１２１６は、イメージセンサ１１から取得した入力照度が目標値に達しているか否かを判定する（ステップＳ２０５）。ここで、取得照度判定部１２１６は、イメージセンサ１１から取得した入力照度が目標値に達していると判定した場合（ステップＳ２０５：Ｙｅｓ）、本処理は終了する。取得照度判定部１２１６は、イメージセンサ１１から取得した入力照度が目標値に達していないと判定した場合（ステップＳ２０５：Ｎｏ）、ステップＳ２０６へ進む。

【0085】

推定部１２１７は、取得照度判定部１２１６が取得した入力照度を推定照度として推定する（ステップＳ２０６）。

【0086】

続いて、推定照度判定部１２１８は、推定照度が第２閾値を上回るか否かを判定する（ステップＳ２０６）。ここで、推定照度判定部１２１８は、推定照度が第２閾値を上回ると判定した場合（ステップＳ２０６：Ｎｏ）、ステップＳ２０８へ進む。推定照度判定部１２１８は、推定照度が第２閾値を下回ると判定した場合（ステップＳ２０３：Ｙｅｓ）、ステップＳ２０９へ進む。

【0087】

第２調整部１２１９は、画素部１１１に対して、ゲインを下げるように調整する（ステップＳ２０８）。

【0088】

第３調整部１２２０は、画素部１１１に対して、露光を長くするように調整する（ステップＳ２０９）。

【0089】

続いて、取得照度判定部１２１６は、イメージセンサ１１から取得した入力照度が目標値に達しているか否かを判定する（ステップＳ２１０）。ここで、取得照度判定部１２１６は、イメージセンサ１１から取得した入力照度が目標値に達していると判定した場合（ステップＳ２１０：Ｙｅｓ）、本処理は終了する。取得照度判定部１２１６は、イメージセンサ１１から取得した入力照度が目標値に達していないと判定した場合（ステップＳ２１０：Ｎｏ）、ステップＳ２１１へ進む。

【0090】

推定部１２１７は、取得照度判定部１２１６が取得した入力照度を推定照度として推定する（ステップＳ２１１）。

【0091】

続いて、推定照度判定部１２１８は、推定照度が第３閾値を上回るか否かを判定する（ステップＳ２１２）。ここで、推定照度判定部１２１８は、推定照度が第３閾値を下回ると判定した場合（ステップＳ２１２：Ｙｅｓ）、本処理は終了する。推定照度判定部１２１８は、推定照度が第３閾値を上回ると判定した場合（ステップＳ２０３：Ｎｏ）、ステップＳ２１３へ進む。

【0092】

第３調整部１２２０は、画素部１１１に対して露光を短くするように調整する（ステップＳ２１３）。その後、ステップＳ２０１へ戻る。

【0093】

以上説明したように、第２実施形態の画像処理装置では、撮像装置が取得した入力照度に応じて、ゲインを調整する。これにより、第２実施形態の画像処理装置は、ゲインを調整することで、電子ミラー２の映像を鮮明に表示することができる。

【0094】

なお、上述した実施形態は、上述した各装置が有する構成または機能の一部を変更することで、適宜に変形して実施することも可能である。そこで、以下では、上述した実施形態に係るいくつかの変形例を他の実施形態として説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。また、以下で説明する変形例は、個別に実施されてもよいし、適宜組み合わせて実施されてもよい。

【0095】

上述した実施形態では、カメラ１は、推定照度に応じて、露光時間を調整する形態について説明した。但し、車両５の走行環境が夜間の場合、露光時間を頻繁に切り替える可能性がある。そこで、以下では、カメラ１は、推定照度に応じて、露光時間を調整する形態を変形例として説明する。

【0096】

（変形例）
例えば、電子ミラー２に表示される状態を夜間で使用する状態や、表示される映像を暗くする状態にすると、例えば、車両５の後続車ヘッドライトの出入り、後続車のヘッドライトが近接時等、車両後方の明るさがばらつくことがある。カメラ１は、車両後方の明るさを確保するために、露光時間を調整し、露光時間を頻繁に切り替える可能性がある。露光時間を頻繁に切り替えると、電子ミラー２に表示される映像に見づらくなる。

【0097】

そこで、第３調整部１２２０は、ヒストグラム自動露光を用いて、露出時間を調整する。ヒストグラム自動露光とは、例えば、画素部１１１により取得した入力照度が最も低い照度を所定の閾値として、推定照度判定部１２１８が所定の閾値を超えて否かの判定結果に基づいて、露光を調整する。

【0098】

これにより、第３調整部１２２０は、車両後方の明るさがばらつく状態において、車両後方の明るさにばらつきが発生する場合においても露光時間の切り替え頻度を下げることができる。

【0099】

本実施形態の電子ミラーシステムで実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態の電子ミラーシステムで実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

【0100】

さらに、本実施形態の電子ミラーシステムで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の情報処理システムで実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

【0101】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0102】

１ カメラ
２ 電子ミラー
３ 電子ミラーシステム
４ リヤガラス
５ 車両
１１ イメージセンサ
１２ シグナルプロセッサ（ＩＳＰ）
１３ インターフェース部（Ｉ／Ｆ部）
２１ インターフェース部（Ｉ／Ｆ部）
２２ 映像処理部
２３ ディスプレイパネル
１１１ 画素部
１２１ 信号処理部
１２１１ 画像取得部
１２１２ 色温度取得部
１２１３ 検出部
１２１４ 第１調整部
１２１５ 出力部
１２１６ 取得照度判定部
１２１７ 推定部
１２１８ 推定照度判定部
１２１９ 第２調整部
１２２０ 第３調整部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】