特開 2022-81813 制御装置、制御システムおよび撮影画像データの記憶方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022081813

(43)【公開日】2022-06-01

(54)【発明の名称】制御装置、制御システムおよび撮影画像データの記憶方法

(51)【国際特許分類】

   H04N 5/235 20060101AFI20220525BHJP

   H04N 5/232 20060101ALI20220525BHJP

   G03B 7/091 20210101ALI20220525BHJP

   G03B 15/00 20210101ALI20220525BHJP

【ＦＩ】

H04N5/235 500

H04N5/232 300

G03B7/091

G03B15/00 V

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2020192988

(22)【出願日】2020-11-20

(71)【出願人】

【識別番号】000010098

【氏名又は名称】アルプスアルパイン株式会社

(74)【代理人】

【識別番号】100105784

【弁理士】

【氏名又は名称】橘 和之

(74)【代理人】

【識別番号】100098497

【弁理士】

【氏名又は名称】片寄 恭三

(74)【代理人】

【識別番号】100099748

【弁理士】

【氏名又は名称】佐藤 克志

(74)【代理人】

【識別番号】100103171

【弁理士】

【氏名又は名称】雨貝 正彦

(72)【発明者】

【氏名】谷口 敬大

【テーマコード（参考）】

2H002

5C122

【Ｆターム（参考）】

2H002CC00

2H002GA07

5C122DA14

5C122EA20

5C122FA09

5C122FF01

5C122FF05

5C122FF11

5C122FF15

5C122FF20

5C122FH11

5C122FH14

5C122GA17

5C122GA24

5C122HA73

5C122HA86

5C122HB01

(57)【要約】

【課題】車両の周辺の撮影結果に基づく撮影画像データを記憶する装置について、白飛びに起因して必要な情報が得られないという事態が発生することを抑制する。
【解決手段】制御装置１の制御部１０は、カメラ３により露出設定が第１設定値で撮影され、生成された第１種類の撮影画像データと、露出設定が第１設定値よりも小さい第２設定値で撮影され、生成された第２種類の撮影画像データとを取得し、第１種類の撮影画像データ或いは第１種類の撮影画像データに基づくデータとは別に、第２種類の撮影画像データを記憶部１１に記憶させ、これにより事後的に第２種類の撮影画像データに基づく画像を参照できるようにしている。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両の周辺を撮影するカメラにより露出設定が第１設定値で撮影され、生成された第１種類の撮影画像データと、露出設定が前記第１設定値よりも小さい第２設定値で撮影され、生成された第２種類の撮影画像データとを取得し、前記第１種類の撮影画像データ或いは前記第１種類の撮影画像データに基づくデータとは別に、前記第２種類の撮影画像データを記憶部に記憶させる制御部を備えることを特徴とする制御装置。

【請求項2】

前記カメラは、所定周期で発生する撮影タイミングで前記第１種類の撮影画像データを生成する一方、数回に１回、前記第１種類の撮影画像データに代えて前記第２種類の撮影画像データを生成し、
前記制御部は、数回に１回生成される前記前記第２種類の撮影画像データを取得し、前記記憶部に記憶させる
ことを特徴とする請求項１に記載の制御装置。

【請求項3】

前記制御部は、一の第１種類の撮影画像データを画像処理により分析し、データ中に所定のオブジェクトの画像が含まれている場合に、当該一の第１種類の撮影画像データと時間的に近いタイミングで取得した前記第２種類の撮影画像データを前記記憶部に記憶させることを特徴とする請求項２に記載の制御装置。

【請求項4】

前記所定のオブジェクトは他車両のナンバープレートであることを特徴とする請求項３に記載の制御装置。

【請求項5】

前記制御部は、一の第１種類の撮影画像データを画像処理により分析し、データ中に所定のオブジェクトの画像が含まれており、かつ、前記所定のオブジェクトの画像に白飛びが発生している場合に、当該一の第１種類の撮影画像データと時間的に近いタイミングで取得した前記第２種類の撮影画像データを前記記憶部に記憶させることを特徴とする請求項２に記載の制御装置。

【請求項6】

前記所定のオブジェクトは他車両のナンバープレートであることを特徴とする請求項５に記載の制御装置。

【請求項7】

前記制御部は、取得した前記第２種類の撮影画像データを画像処理により分析し、第２設定値の具体的な値を変更すること特徴とする請求項２から６の何れか１項に記載の制御装置。

【請求項8】

前記カメラは、所定周期で発生する撮影タイミングで、異なる露出設定に係る複数種類の撮影画像データを生成し、
前記制御部は、各撮影タイミングで前記カメラから前記複数種類の撮影画像データを取得し、ハイダイナミックレンジ合成して合成画像データを生成し、生成した合成画像データを前記記憶部に記憶させると共に、前記合成画像データとは別に、前記複数の撮影画像データのうち、最も露出設定が小さい種類の撮影画像データを前記記憶部に記憶させる
ことを特徴とする請求項１に記載の制御装置。

【請求項9】

前記制御部は、数回に１回だけ、前記最も露出設定が小さい種類の撮影画像データを前記記憶部に記憶させることを特徴とする請求項８に記載の制御装置。

【請求項10】

車両の周辺を撮影するカメラと、前記カメラと接続された制御装置とを備え、
前記カメラは、露出設定が第１設定値で撮影を行って第１種類の撮影画像データを生成すると共に、露出設定が前記第１設定値よりも小さい第２設定値で撮影を行って第２種類の撮影画像データを生成し、
前記制御装置は、前記カメラから前記第１種類の撮影画像データと前記第２種類の撮影画像データとを取得し、前記第１種類の撮影画像データ或いは前記第１種類の撮影画像データに基づくデータとは別に、前記第２種類の撮影画像データを記憶部に記憶させる制御部を備えることを特徴とする制御システム。

【請求項11】

制御装置の制御部が、車両の周辺を撮影するカメラにより露出設定が第１設定値で撮影され、生成された第１種類の撮影画像データと、露出設定が前記第１設定値よりも小さい第２設定値で撮影され、生成された第２種類の撮影画像データとを取得するステップと、
前記制御装置の前記制御部が、前記第１種類の撮影画像データ或いは前記第１種類の撮影画像データに基づくデータとは別に、前記第２種類の撮影画像データを記憶部に記憶させるステップと、
を含むことを特徴とする撮影画像データの記憶方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、制御装置、制御システムおよび撮影画像データの記憶方法に関し、特に、車両の周辺を撮影するカメラから撮影画像データを取得する制御装置、当該制御装置と当該カメラとを備える制御システムおよび、当該制御装置による撮影画像データの記憶方法に用いて好適なものである。

【背景技術】

【0002】

近年、車両の周辺をカメラにより撮影し、カメラの撮影結果に基づく撮影画像データを記憶部に記憶し、事後的に撮影画像データに基づく画像を参照できるようにしたドライブレコーダが普及してきている。ドライブレコーダの機能により記憶された撮影画像データは、例えば自車両が事故に巻き込まれたとき等に、事後的に他車両の挙動や自車両の周囲の状況等を検証するために用いられる。

【0003】

なお特許文献１には、ドライブレコーダに関し、撮影画像データ（画像データ）のチェックデータ部分（ナンバープレートや、信号機、壁等）を他の部分よりもより低い圧縮率で圧縮した上で、撮影画像データを記憶するようにし、これにより重要な部分の品質の劣化を抑制しつつ、記憶されるデータの大きさを削減する技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００９－１７５８４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来のドライブレコーダでは、撮影画像データに白飛びが発生し、白飛びが発生した部分の情報が欠損してしまうことがあった。情報が欠損するとは、撮影画像データに基づく画像を表示したときに、画像中のある領域に表示されるべき情報が、白飛びに起因して視認できない状態となることをいう。特に自車両の前方に位置する他車両のナンバープレートに記録された情報（車両番号等）は事後的な検証に際して重要な情報となり得るが、自車両のヘッドライトが投射する光の影響で、撮影画像データにおける前方車両のナンバープレートの部分に白飛びが発生し、ナンバープレートに記録された情報が欠損してしまうことがあった。

【0006】

本発明は、このような問題を解決するために成されたものであり、車両の周辺の撮影結果に基づく撮影画像データを記憶する装置について、白飛びに起因して必要な情報が得られないという事態が発生することを抑制することを目的とする。

【課題を解決するための手段】

【0007】

上記した課題を解決するために、本発明では、車両の周辺を撮影するカメラにより露出設定が第１設定値で撮影され、生成された第１種類の撮影画像データと、露出設定が第１設定値よりも小さい第２設定値で撮影され、生成された第２種類の撮影画像データとを取得し、第１種類の撮影画像データ或いは第１種類の撮影画像データに基づくデータとは別に、第２種類の撮影画像データを記憶部に記憶させるようにしている。

【発明の効果】

【0008】

上記のように構成した本発明によれば、撮影されたときの露出設定が小さくない撮影画像データとは別に、撮影されたときの露出設定が小さい撮影画像データ、つまり、白飛びが抑制された撮影画像データが記憶部に記憶される。このため、撮影されたときの露出設定が小さくない撮影画像データにおいて白飛びに起因して欠損した情報について、撮影されたときの露出設定が小さい撮影画像データから得ることが可能となり、車両の周辺の撮影結果に基づく撮影画像データを記憶する装置について、白飛びに起因して必要な情報が得られないという事態が発生することを抑制できる。

【図面の簡単な説明】

【0009】

【図1】本発明の第１実施形態に係る制御システムの構成例および制御装置の機能構成例を示す図である。

【図2】本発明の第１実施形態に係る制御装置の動作例を示すフローチャートである。

【図3】本発明の第２実施形態に係る制御システムの構成例および制御装置の機能構成例を示す図である。

【図4】本発明の第２実施形態に係る制御装置の動作例を示すフローチャートである。

【発明を実施するための形態】

【0010】

＜第１実施形態＞
以下、本発明の第１実施形態を図面に基づいて説明する。図１は、本実施形態に係る制御システム１の構成例、および、制御システム１が備える制御装置２の機能構成例を示すブロック図である。制御装置２は、車両に搭載された、いわゆるドライブレコーダである。制御装置２にはカメラ３が接続されている。カメラ３は、車両の前方を撮影する撮影装置である。カメラ３は例えば、バックミラーの裏側に設けられる。

【0011】

本実施形態に係るカメラ３は、以下の態様で撮影を実行する。すなわち、カメラ３は、設定された所定周期（フレームレート）で発生する撮影タイミングで撮影を実行し、撮影結果に基づく撮影画像データを生成し、生成した撮影画像データを制御装置２に出力する。各撮影タイミングにおいてカメラ３は、露出設定が第１設定値の状態で撮影を行う（ただし後に明らかとなるように、カメラ３は、１０回に１回は第１設定値とは異なる設定値で撮影を行う）。露出設定とは、撮影により生成される撮影画像データの明るさを調整するパラメータであるレンズ絞り、シャッタースピードおよびＩＳＯ感度の総称である。

【0012】

露出設定がより大きいとは、撮影画像データにおける暗い領域がより適切な明るさとなるように各パラメータの値が調整されている状態のことをいう。例えばレンズ絞りおよびＩＳＯ感度が一定であるとすると、シャッタースピードが長いほど露出設定が大きい。また例えばレンズ絞りおよびシャッタースピードが一定であるとすると、ＩＳＯ感度が高いほど露出設定が大きい。露出設定が大きいほど、撮影画像データ中にいわゆる白飛びが発生しやすくなる。一方、露出設定がより小さいとは、撮影画像データにおける明るい領域がより適切な明るさとなるように各パラメータの値が調整されている状態のことをいい、レンズ絞りおよびＩＳＯ感度が一定であるとすると、シャッタースピードが短いほど露出設定が小さく、レンズ絞りおよびシャッタースピードが一定であるとすると、ＩＳＯ感度が低いほど露出設定が小さい。

【0013】

第１設定値は、撮影画像データの明るさが通常の明るさとなるように設定された値（このようにレンズ絞り、シャッタースピードおよびＩＳＯ感度の設定値が調整された値）であり、白飛びを抑制することよりも、撮影画像データの明るさが違和感のない自然な明るさとなることが重視されて設定される。以下、露出設定が第１設定値の状態で撮影され、生成された撮影画像データを「第１種類の撮影画像データ」という。

【0014】

一方、カメラ３は、撮影タイミング中、１０回に１回、露出設定が第１設定値の状態で撮影を行うことに代えて、露出設定が第２設定値の状態で撮影を行う。第２設定値は、白飛びを抑制することを目的として設定された値（このようにレンズ絞り、シャッタースピードおよびＩＳＯ感度の設定値が調整された値）であり、撮影画像データの明るさが違和感のない自然な明るさとなることよりも白飛びを抑制することが重視されて設定される。従って露出設定が第２設定値の状態で撮影され、設定された撮影画像データについては、白飛びの発生が極力抑制されている。また当然、第２設定値は第１設定値よりも小さい。

【0015】

レンズ絞りおよびＩＳＯ感度を一定と仮定した簡単な動作例として、例えばカメラ３は、連続する９回の撮影タイミングのそれぞれにおいて、Ｘ秒のシャッタースピードで撮影を実行し、次の１回の撮影タイミングで、Ｙ（Ｙ＜Ｘ）秒のシャッタースピードで撮影を実行するという処理を繰り返し実行する。以下、露出設定が第２設定値の状態で撮影され、生成された撮影画像データを「第２種類の撮影画像データ」という。

【0016】

図１に示すように、制御装置２は、機能構成として、制御部１０を備えている。制御部１０は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、制御部１０は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭ等を備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。このことは第２実施形態の機能ブロックについても同様である。また制御装置２は、記憶手段として記憶部１１を備えている。

【0017】

ここでドライブレコーダとして機能する制御装置２は、カメラ３の撮影結果に基づく撮影画像データを記憶部１１に記憶し、これにより事後的に撮影画像データに基づく画像を参照できるようにする。撮影画像データに基づく画像とは、撮影画像データに基づいて表示装置に表示される静止画像、或いは、連続する撮影画像データに基づいて表示装置に表示される動画像を意味する。撮影画像データに基づく画像の参照は例えば、車両が事故に巻き込まれたときに、他車両の挙動や車両の周囲の状況等を検証するために行われる。そして従来のドライブレコーダでは、記憶された撮影画像データに白飛びが発生し、白飛びが発生した部分の情報が欠如してしまうことがあった。情報が欠如するとは、撮影画像データに基づく画像において、白飛びに起因して情報が視認できない状態となることをいう。

【0018】

特に車両の前方に位置する他車両のナンバープレートに記録された情報（車両番号等）は事後的な検証に際して重要な情報となり得るが、車両のヘッドライトの光の影響で、撮影画像データにおける前方車両のナンバープレートの部分に白飛びが発生し、ナンバープレートに記録された情報が欠如してしまうことがあった。本実施形態に係る制御装置２は以上の事情を鑑み、以下の処理を実行する。以下、制御装置２の動作について詳述する。

【0019】

上述したようにカメラ３は基本的には、所定周期で第１種類の撮影画像データを出力する一方、１０回に１回、第２種類の撮影画像データを出力する。制御部１０は、カメラ３が所定周期で出力する撮影画像データを取得する。そして制御部１０は、第１種類の撮影画像データを取得する度に、第１種類の撮影画像データを記憶部１１の第１領域に連続して記憶する。一方、制御部１０は、第２種類の撮影画像データを取得する度に、第２種類の撮影画像データを記憶部１１の第２領域（≠第１領域）に連続して記憶する。

【0020】

例えば制御部１０が、タイミングＴ１、Ｔ２・・・Ｔ９のそれぞれで第１種類の撮影画像データを取得し、続くタイミングＴ１０で第２種類の撮影画像データを取得し、続くタイミングＴ１１、Ｔ１２・・・Ｔ１９のそれぞれで第１種類の撮影画像データを取得し、続くタイミングＴ２０で第２種類の撮影画像データを取得したとする。

【0021】

この場合、タイミングＴ１、Ｔ２・・・Ｔ９の各タイミングで制御部１０は、第１種類の撮影画像データを記憶部１１の第１領域に連続して記憶する。続くタイミングＴ１０で制御部１０は、第２種類の撮影画像データを記憶部１１の第２領域（≠第１領域）に記憶する。続くタイミングＴ１１、Ｔ１２・・・Ｔ１９の各タイミングで制御部１０は、タイミングＴ９で記憶した第１種類の撮影画像データに続けて、各タイミングで取得した第１種類の撮影画像データを記憶部１１の第１領域に連続して記憶する。続くタイミングＴ２０で制御部１０は、タイミングＴ１０で記憶した第２種類の撮影画像データに続けて、タイミングＴ２０で取得した第２種類の撮影画像データを記憶部１１の第２領域に連続して記憶する。

【0022】

以上の通りカメラ３は、撮影タイミング中、１０回に１回、小さい露出設定で撮影を実行して第２種類の撮影画像データを生成し、制御部１０は、第２種類の撮影画像データを記憶部１１に記憶させる。この構成のため、以下の効果を奏する。すなわち、ある時間帯に生成され、記憶された第１種類の撮影画像データに基づく画像において、ある領域に白飛びが発生し、その領域に記録されていた情報の欠損が発生していたとする。この場合に同じ時間帯に生成され、記憶された第２種類の撮影画像データでは、対応する領域に白飛びが発生していない可能性が高く、その領域に記録されていた情報の欠損が発生していない可能性が高い。従って、ユーザーは、第１種類の撮影画像データからは得ることができなかった情報について、第２種類の撮影画像データから得ることが可能となる。

【0023】

例えばユーザーが、制御装置２に接続された表示装置（不図示）を利用して、記憶部１１に記憶された撮影画像データに基づく画像の内容を検証する状況を考える。この状況において、ある時間帯に生成された第１種類の撮影画像データに基づく画像の内容を検証した結果、その画像にナンバープレートの画像が含まれており、しかもナンバープレートの画像について白飛びが発生しており、ナンバープレートに記録された情報（車両番号等）が欠損してしまっていたとする。このような場合に、同じ時間帯に生成された第２種類の撮影画像データに基づく画像では、ナンバープレートの画像について白飛びが発生していない可能性が高く、ユーザーは、同じ時間帯に生成された第２種類の撮影画像データに基づく画像から、ナンバープレートに記録された情報（車両番号等）を得ることができる。

【0024】

特に本実施形態では、小さい露出設定で撮影を実行する専用のカメラを別に設けることなく、既存のカメラ３が利用されてシステムが構築される。従って、コストを抑制しつつ上述した効果を得ることができる。

【0025】

図２は、本実施形態に係る制御装置２の動作例を示すフローチャートである。このフローチャートは、制御装置２による撮影画像データの記憶方法を示している。図２のフローチャートは、撮影画像データを取得したときの制御部１０の処理を示している。つまり制御部１０は、図２のフローチャートが示す処理を所定周期で実行する。

【0026】

図２で示すように、制御部１０は、カメラ３から撮影画像データを取得する（ステップＳＡ１）。次いで制御部１０は、ステップＳＡ１で取得した撮影画像データの種類が第１種類であるか第２種類であるかを判定する（ステップＳＡ２）。第１種類の場合（ステップＳＡ２：「第１種類」）、制御部１０は、ステップＳＡ１で取得した撮影画像データ（＝第１種類の撮影画像データ）を第１領域に記憶する（ステップＳＡ３）。第２種類の場合（ステップＳＡ２：「第２種類」）、制御部１０は、ステップＳＡ１で取得した撮影画像データ（＝第２種類の札家画像データ）を第２領域に記憶する（ステップＳＡ４）。

【0027】

以上説明したように本実施形態に係る制御装置２は、車両の周辺を撮影するカメラ３により露出設定が第１設定値で撮影され、生成された第１種類の撮影画像データと、露出設定が第１設定値よりも小さい第２設定値で撮影され、生成された第２種類の撮影画像データとを取得し、第１種類の撮影画像データとは別に、第２種類の撮影画像データを記憶部１１に記憶させる。この構成によれば、小さくない露出設定で撮影され、生成された第１種類の撮影画像データとは別に、小さい露出設定で撮影され、生成された第２種類の撮影画像データ、つまり、白飛びが抑制された撮影画像データが記憶部１１に記憶される。このため、第１種類の撮影画像データにおいて白飛びに起因して欠損した情報について、第２種類の撮影画像データから得ることが可能となる。従って、車両の前方の撮影結果に基づく撮影画像データを記憶する装置について、白飛びに起因して必要な情報が得られないという事態が発生することを抑制できる。

【0028】

＜第１実施形態の第１変形例＞
次に第１実施形態の第１変形例について図１を援用して説明する。上述した第１実施形態では、制御部１０は、カメラ３から取得した第２種類の撮影画像データの全てを記憶部１１に記憶した。一方で、本変形例に係る制御部１０は、以下の処理を実行する。

【0029】

本変形例に係る制御部１０は、第２種類の撮影画像データを取得する撮影タイミングの１つ前の撮影タイミングで第１種類の撮影画像データを取得したときに以下の処理を実行する。第２種類の撮影画像データを取得する撮影タイミングの１つ前の撮影タイミングは例えば以下である。すなわち、例えばタイミングＴ１、Ｔ２、Ｔ３・・・と続くタイミングにおいて、タイミングＴ１０、Ｔ２０、Ｔ３０、Ｔ４０・・・で第２種類の撮影画像データが取得されるとすると、タイミングＴ９、Ｔ１９、Ｔ２９、Ｔ３９・・・のそれぞれが、第２種類の撮影画像データを取得する撮影タイミングの１つ前の撮影タイミングに相当する。

【0030】

本変形例に係る制御部１０は、第２種類の撮影画像データを取得する撮影タイミングの１つ前の撮影タイミングで第１種類の撮影画像データを取得すると、取得した第１種類の撮影画像データを画像処理により分析し、他車両のナンバープレートの画像が含まれているか否かを判定する。当該判定は例えば、事前に用意されたテンプレートデータを用いたパターンマッチングや、特徴量マッチングにより行うことができる。また当該判定は、撮影画像データを入力の１つとし、ナンバープレートの画像が含まれているか否かを示す値（或いは、ナンバープレートの画像が含まれている可能性を示す値）を出力とするモデルが用いられて行われてもよい。この場合において、モデルを、所定の機械学習手法（例えばディープラーニング）で機械学習されたモデルとすることができる。

【0031】

第１種類の撮影画像データにナンバープレートの画像が含まれている場合、本変形例に係る制御部１０は、ナンバープレートの画像を画像処理により分析し、当該画像において白飛びが発生しているか否かを判定する。そして本変形例に係る制御部１０は、白飛びが発生している場合には、続くタイミングで第２種類の撮影画像データを取得したときに、取得した第２種類の撮影画像データを第２領域に記憶する。一方、それ以外の場合、つまり、第１種類の撮影画像データにナンバープレートの画像が含まれていないか、含まれていても白飛びが発生していない場合、本変形例に係る制御部１０は、続くタイミングで第２種類の撮影画像データを取得したときに、取得した第２種類の撮影画像データを第２記憶領域に記憶することなく、破棄する。

【0032】

本変形例によれば、以下の効果を奏する。すなわち本変形例に係る制御システム１は、他車両のナンバープレートに記録された情報が事後的に得られなくなってしまうことを防止するものである（逆に言えば、他の情報は白飛びによる欠損を許容する）。そして本変形例によれば、第１実施形態と同様、第１種類の撮影画像データに基づく画像においてナンバープレートに記録された情報の欠損が生じている場合であっても、第２種類の撮影画像データを利用して当該情報を得ることが可能である。

【0033】

その上で本変形例によれば以下の効果を奏する。すなわち、ある撮影タイミングにおいて制御部１０が取得した第１種類の撮影画像データにナンバープレートの画像が含まれていない場合、或いは、ナンバープレートの画像が含まれているものの白飛びが発生していない場合、その次の撮影タイミングで制御部１０が取得した第２種類の撮影画像データにおいてもナンバープレートの画像が含まれていないか、或いは、ナンバープレートの画像が含まれているものの白飛びが発生していないとみなしてよい。これを踏まえ本変形例によれば、ナンバープレートの画像が含まれていない撮影画像データや、ナンバープレートが含まれているものの白飛びが発生していない撮影画像データ、つまり、第１種類の撮影画像データにおけるナンバープレートに記録された情報の欠損を補うのに使用されることがない撮影画像データが記憶部１１に記憶されることを防止でき、記憶されるデータのデータ量を削減できる。

【0034】

以上、第１実施形態の変形例を説明したが、第１実施形態の変形例について以下の構成としてもよい。すなわち変形例において、ナンバープレートであった対象を、ナンバープレート以外の所定種類のオブジェクトとしてもよく、複数種類のオブジェクト（ナンバープレートが含まれていても含まれていなくてもよい）としてもよい。

【0035】

また制御部１０が、あるタイミングで取得した第１種類の撮影画像データにナンバープレートの画像が含まれている場合、当該画像について白飛びが発生しているか否かにかかわらず、次のタイミングで取得した第２種類の撮影画像データを第１領域に記憶する構成でもよい。

【0036】

また、第２種類の撮影画像データを記憶するか否かを判定するタイミングは、第２種類の撮影画像データを取得する撮影タイミングの１つ前のタイミングである必要はなく、時間的に近いタイミングであればよい。

【0037】

＜第１実施形態の第２変形例＞
次に第１実施形態の第２変形例について説明する。本変形例に係る制御部１０は、第２種類の撮影画像データを取得したときに以下の処理を実行する。すなわち本変形例に係る制御部１０は、第２種類の撮影画像データを画像処理により分析し、白飛びが発生しているかどうかを検出する。白飛びが発生しているということは、現時点の第２設定値が適切な値よりも大きい可能性がある。これを踏まえ制御部１０は、第２設定値の具体的な値が小さくなるよう、第２設定値の具体的な値を変更する。どの程度小さくするかは、予め定められている。第２設定値の具体的な値の変更は例えば、プロトコルに従ってカメラ３に制御信号を出力したり、また、カメラ３の制御機構が参照する設定ファイルを書き換えたりすることによって行われる。なお、本変形例において、制御部１０が、特定の種類のオブジェクトについて白飛びが発生している場合に、第２設定値を変更する構成とすることができる。この場合に、特定の種類のオブジェクトを他車両のナンバープレートとすることができる。

【0038】

＜第２実施形態＞
次に第２実施形態について説明する。以下の第２実施形態の説明において第１実施形態と同一の要素については同一の符号を付し、詳細な説明を省略する。図３は、本実施形態に係る制御システム１Ａの構成例、および、制御システム１Ａが備える制御装置２Ａの機能構成例を示すブロック図である。図２と図３との比較で明らかな通り、制御システム１Ａは、制御装置２Ａおよびカメラ３Ａを備える。制御装置２Ａは、制御部１０Ａと記憶部１１Ａとを備える。

【0039】

本実施形態に係るカメラ３Ａは、各撮影タイミングにおいて、露出設定の設定値が異なる３つの撮影画像データを生成し、出力する。３つの撮影画像データは、ハイダイナミックレンジ合成用のデータであり、露出設定の設定値が最も大きい撮影画像データ（以下「大露出撮影画像データ」という）、露出設定の設定値が次に大きい撮影画像データ（以下「中露出撮影画像データ」という）、および、露出設定の設定値が最も小さい撮影画像データ（以下「小露出撮影画像データ」という）を含む。小露出撮影画像データは、白飛びが発生する可能性が抑制されたデータである。大露出撮影画像データおよび中露出撮影画像データは特許請求の範囲の「第１種類の撮影画像データ」に相当し、小露出画像データは特許請求の範囲の「第２種類の撮影画像データ」に相当する。

【0040】

制御部１０Ａは、各撮影タイミングにおいて３つの撮影画像データをカメラ３Ａから取得し、以下の処理を実行する。すなわち、３つの撮影画像データをハイダイナミックレンジ合成し、必要に応じてトーンマッピングを行い、合成画像データを生成する。制御部１０Ａは各撮影タイミングで生成した合成画像データを、記憶部１１Ａの第３領域に連続して記憶する。合成画像データは、特許請求の範囲の「第１種類の撮影画像データに基づくデータ」に相当する。

【0041】

以上の処理と並行して制御部１０Ａは、以下の処理を実行する。すなわち制御部１０Ａは、各撮影タイミングで取得する小露出撮影画像データを第４領域（≠第３領域）に連続して記憶する。

【0042】

本実施形態の構成によれば、以下の効果を奏する。すなわち、ある時間帯に生成された合成画像データにおいて、ある領域に白飛びが発生し、その領域に記録されていた情報の欠損が発生していたとする。この場合に同じ時間帯に生成され、記憶された小露出撮影画像データでは、対応する領域に白飛びが発生していない可能性が高く、その領域に記録されていた情報の欠損が発生していない可能性が高い。従って、ユーザーは、合成画像データ（第１種類の撮影画像データからは得ることができなかった情報について、小露出撮影画像データ（第２種類の撮影画像データ）から得ることが可能となる。

【0043】

また本実施形態では、ハイダイナミックレンジ合成用の複数の撮影画像データを出力する機能を有する既存のカメラ３Ａを利用して処理が実行されるため、小さい露出設定で撮影を実行する専用のカメラを別に設ける必要がなく、コストを抑制しつつ上述した効果を得ることができる。

【0044】

図４は、本実施形態に係る制御装置２Ａの動作例を示すフローチャートである。図４のフローチャートは、撮影画像データを取得したときの制御部１０Ａの処理を示している。つまり制御部１０Ａは、図４のフローチャートが示す処理を所定周期で実行する。

【0045】

図４で示すように制御部１０Ａは、カメラ３Ａから露出大撮影画像データ、露出中撮影画像データおよび小露出撮影画像データを取得する（ステップＳＢ１）。次いで制御部１０Ａは、ステップＳＢ１で取得した３つの撮影画像データに基づいて合成画像データを生成する（ステップＳＢ２）。次いで制御部１０Ａは、ステップＳＢ２で生成した合成画像データを記憶部１１Ａの第３領域に記憶する（ステップＳＢ３）。次いで制御部１０Ａは、ステップＳＢ１で取得した撮影画像データのうち、小露出撮影画像データを第４領域（≠第３領域）に記憶する（ステップＳＢ４）。なお、ステップＳＢ２、ＳＢ３、ＳＢ４の各処理は順不同である。

【0046】

＜第２実施形態の変形例＞
次に第２実施形態の変形例について説明する。上述した第２実施形態では制御部１０Ａは、各撮影タイミングで取得した小露出撮影画像データの全てを記憶部１１Ａに記憶させていた。この点に関し、本変形例に係る制御部１０Ａは、数回（例えば１０回）の撮影タイミングに１回、小露出撮影画像データを記憶部１１Ａに記憶させる。この構成によれば、記憶部１１Ａに記憶させるデータを削減できる。

【0047】

以上、本発明の実施形態を説明したが、各実施形態は何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

【0048】

例えば上記第１実施形態（変形例を含む）では、制御部１０が撮影画像データを記憶する記憶部１１は、制御装置２が備えていたが、撮影画像データを記憶する記憶部は、制御装置２に直接或いはネットワークを介して接続された記憶部であってもよい。一例として制御装置２に接続されたＵＳＢメモリや、ネットワークを介して接続された外部記憶媒体、ネットワークを介して接続されたサーバ等を記憶部として機能させることができる。以上のことは第２実施形態（変形例を含む）についても同様である。

【0049】

また上記第１実施形態では、カメラ３を車両の前方を撮影する撮影装置としたが、カメラ３はこのようなカメラに限られず、例えば、車両の側方や後方を撮影する撮影装置であってもよい。以上のことは第２実施形態についても同様である。

【0050】

また上記第１実施形態では、制御部１０は、撮影画像データをエンコードすることなく記憶部１１に記憶していたが、制御部１０が、撮影画像データ（或いは撮影画像データの群）を所定のコーデックを利用してエンコードし、所定形式の静止画ファイル（或いは動画ファイル）として記憶する構成でもよい。

【0051】

また第１実施形態では、カメラ３は、撮影タイミング中、１０回に１回、第２種類の撮影画像データを生成する構成であったが、撮影画像データを生成する頻度は例示したものに限られない。このことは第２実施形態の変形例における小露出撮影画像データを記憶する頻度についても同様である。

【0052】

また制御装置２の機能ブロックが実行するとした処理の一部または全部を、制御装置２と外部装置とが協働して、または、外部装置が単独で実行する構成としてもよい。この場合、制御装置２と外部装置とが協働して特許請求の範囲の「制御装置」として機能する。

【符号の説明】

【0053】

１、１Ａ 制御システム
２、２Ａ 制御装置
３、３Ａ カメラ
１０、１０Ａ 制御装置
１１、１１Ａ 記憶部

【図1】

【図2】

【図3】

【図4】