ホーム > 特許ランキング > 株式会社ソシオネクスト
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023127828
(43)【公開日】2023-09-14
(54)【発明の名称】撮像装置および画像処理装置
(51)【国際特許分類】
H04N 25/70 20230101AFI20230907BHJP
【ＦＩ】
H04N5/369
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022031752
(22)【出願日】2022-03-02
(71)【出願人】
【識別番号】514315159
【氏名又は名称】株式会社ソシオネクスト
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】樋口 剛
(72)【発明者】
【氏名】梅津 有司
【テーマコード（参考）】
5C024
【Ｆターム（参考）】
5C024CX15
5C024GX02
(57)【要約】
【課題】フリッカが発生している領域に対してフリッカを抑制する処理を実施することで、フリッカが発生していない領域の画像が不自然になることを抑制する。
【解決手段】撮像装置は、マトリックス状に配置された複数の光電変換素子を有し、一方向に並ぶ所定数の前記光電変換素子をそれぞれ含む複数のライン毎に駆動される撮像素子部と、前記撮像素子部により生成された画像データに基づいてフリッカの発生を検出するフリッカ検出部と、前記フリッカ検出部によりフリッカが検出された前記ラインに含まれる前記光電変換素子の１フレーム期間での露光回数を、フリッカが検出されない前記ラインに含まれる前記光電変換素子の１フレーム期間での露光回数に比べて多くする露光調整部と、を有する。
【選択図】図３
【解決手段】撮像装置は、マトリックス状に配置された複数の光電変換素子を有し、一方向に並ぶ所定数の前記光電変換素子をそれぞれ含む複数のライン毎に駆動される撮像素子部と、前記撮像素子部により生成された画像データに基づいてフリッカの発生を検出するフリッカ検出部と、前記フリッカ検出部によりフリッカが検出された前記ラインに含まれる前記光電変換素子の１フレーム期間での露光回数を、フリッカが検出されない前記ラインに含まれる前記光電変換素子の１フレーム期間での露光回数に比べて多くする露光調整部と、を有する。
【選択図】図３
【特許請求の範囲】
【請求項1】
マトリックス状に配置された複数の光電変換素子を有し、一方向に並ぶ所定数の前記光電変換素子をそれぞれ含む複数のライン毎に駆動される撮像素子部と、
前記撮像素子部により生成された画像データに基づいてフリッカの発生を検出するフリッカ検出部と、
前記フリッカ検出部によりフリッカが検出された前記ラインに含まれる前記光電変換素子の１フレーム期間での露光回数を、フリッカが検出されない前記ラインに含まれる前記光電変換素子の１フレーム期間での露光回数に比べて多くする露光調整部と、
を有する撮像装置。
前記撮像素子部により生成された画像データに基づいてフリッカの発生を検出するフリッカ検出部と、
前記フリッカ検出部によりフリッカが検出された前記ラインに含まれる前記光電変換素子の１フレーム期間での露光回数を、フリッカが検出されない前記ラインに含まれる前記光電変換素子の１フレーム期間での露光回数に比べて多くする露光調整部と、
を有する撮像装置。
【請求項2】
駆動毎に前記ラインから出力される画像情報から画像データを生成する読み出し部を有し、
前記複数のラインの各々は、１フレーム期間に複数回駆動され、
前記読み出し部は、フリッカが検出されないラインでは、複数回受ける前記画像情報の一部を使用して画像データを生成する
請求項１に記載の撮像装置。
前記複数のラインの各々は、１フレーム期間に複数回駆動され、
前記読み出し部は、フリッカが検出されないラインでは、複数回受ける前記画像情報の一部を使用して画像データを生成する
請求項１に記載の撮像装置。
【請求項3】
マトリックス状に配置された複数の光電変換素子を有する撮像素子部と、
前記撮像素子部が取得した画像データを使用してフリッカが発生したフリッカ領域を検出するフリッカ検出部と、
前記フリッカ検出部により前記フリッカ領域が検出された場合、前記フリッカ領域において取得タイミングが異なる複数の画像データを合成する合成処理部と、
を有する撮像装置。
前記撮像素子部が取得した画像データを使用してフリッカが発生したフリッカ領域を検出するフリッカ検出部と、
前記フリッカ検出部により前記フリッカ領域が検出された場合、前記フリッカ領域において取得タイミングが異なる複数の画像データを合成する合成処理部と、
を有する撮像装置。
【請求項4】
前記撮像素子部は、一方向に並ぶ所定数の前記光電変換素子をそれぞれ含む複数のラインの各々が、１フレーム期間に複数回駆動され、
前記フリッカ検出部は、２回の駆動でそれぞれ生成される画素毎の画素値の差が第１閾値以上で、かつ、前記２回の駆動でそれぞれ生成される画素毎の画素値の合計が第２閾値以上の画素領域を前記フリッカ領域と判定する
請求項３に記載の撮像装置。
前記フリッカ検出部は、２回の駆動でそれぞれ生成される画素毎の画素値の差が第１閾値以上で、かつ、前記２回の駆動でそれぞれ生成される画素毎の画素値の合計が第２閾値以上の画素領域を前記フリッカ領域と判定する
請求項３に記載の撮像装置。
【請求項5】
前記フリッカ検出部は、前記２回の駆動でそれぞれ生成される画素毎の画素値の差が前記第１閾値以上で、かつ、前記２回の駆動でそれぞれ生成される画素毎の画素値の合計が第２閾値より小さい第３閾値以下の画素領域を、動体を含む動体領域と判定し、
前記合成処理部は、前記動体領域では、前記２回の駆動でそれぞれ生成される画素値の一方を画像データとして出力する
請求項４に記載の撮像装置。
前記合成処理部は、前記動体領域では、前記２回の駆動でそれぞれ生成される画素値の一方を画像データとして出力する
請求項４に記載の撮像装置。
【請求項6】
マトリックス状に配置された複数の光電変換素子を有する撮像装置が取得した画像データを処理する画像処理装置であって、
前記画像データを使用してフリッカが発生したフリッカ領域を検出するフリッカ検出部と、
前記フリッカ検出部により前記フリッカ領域が検出された場合、前記フリッカ領域において取得タイミングが異なる複数の画像データを合成する合成処理部と、
を有する画像処理装置。
前記画像データを使用してフリッカが発生したフリッカ領域を検出するフリッカ検出部と、
前記フリッカ検出部により前記フリッカ領域が検出された場合、前記フリッカ領域において取得タイミングが異なる複数の画像データを合成する合成処理部と、
を有する画像処理装置。
【請求項7】
前記フリッカ検出部は、複数のフレームの画像データを使用して前記フリッカ領域を検出し、
前記合成処理部は、前記フリッカ検出部により前記フリッカ領域が検出された場合、前記複数のフレームの前記フリッカ領域の画像データを合成する
請求項６に記載の画像処理装置。
前記合成処理部は、前記フリッカ検出部により前記フリッカ領域が検出された場合、前記複数のフレームの前記フリッカ領域の画像データを合成する
請求項６に記載の画像処理装置。
【請求項8】
前記フリッカ検出部は、２つのフレームの画素毎の画素値の差が第１閾値以上で、かつ、前記２つのフレームの画素毎の画素値の合計が第２閾値以上の画素領域を前記フリッカ領域と判定する
請求項７に記載の画像処理装置。
請求項７に記載の画像処理装置。
【請求項9】
前記フリッカ検出部は、前記２つのフレームの画素毎の画素値の差が前記第１閾値以上で、かつ、前記２つのフレームの画素毎の画素値の合計が第２閾値より小さい第３閾値以下の画素領域を、動体を含む動体領域と判定し、
前記合成処理部は、前記動体領域では、前記２つのフレームの一方の画像データを出力する
請求項８に記載の画像処理装置。
前記合成処理部は、前記動体領域では、前記２つのフレームの一方の画像データを出力する
請求項８に記載の画像処理装置。
【請求項10】
前記フリッカ検出部は、前記画素値の差と前記画素値の合計値とに応じて、前記２つのフレームの画素値のブレンド率を計算し、
前記合成処理部は、前記フリッカ検出部により計算された前記ブレンド率に応じて、前記２つのフレームの画素値をブレンドする
請求項８または請求項９に記載の画像処理装置。
前記合成処理部は、前記フリッカ検出部により計算された前記ブレンド率に応じて、前記２つのフレームの画素値をブレンドする
請求項８または請求項９に記載の画像処理装置。
【請求項11】
前記撮像装置が取得した画像データで示される画像の明るさが第４閾値を超える場合、前記撮像装置のフレームレートを第１フレームレートから前記第１フレームレートより高い第２フレームレートに切り替える切り替え制御部を有し、
前記合成処理部は、前記第１フレームレートの設定中、前記２つのフレームの画像データを合成せずに順次出力し、前記第２フレームレートの設定中、前記２つのフレームの画像データを前記ブレンド率に応じて合成して出力する
請求項１０に記載の画像処理装置。
前記合成処理部は、前記第１フレームレートの設定中、前記２つのフレームの画像データを合成せずに順次出力し、前記第２フレームレートの設定中、前記２つのフレームの画像データを前記ブレンド率に応じて合成して出力する
請求項１０に記載の画像処理装置。
【請求項12】
前記第２フレームレートの設定中、前記画像の明るさに応じて、合成された画像データに乗じるゲインを計算する合成ゲイン計算部を有する
請求項１１に記載の画像処理装置。
請求項１１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置および画像処理装置に関する。
【背景技術】
【0002】
撮像装置で撮影された画像に信号機等の光源が含まれる場合、フリッカが発生する場合がある。フリッカを抑制するために、例えば、撮像装置の露光時間が調整され、あるいは、複数回に分けて撮像装置から取得された画像データが合成される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１６－９６５５１号公報
【特許文献2】特開２０１７－１１２４０９号公報
【特許文献3】特開２００１－１１１８８７号公報
【特許文献4】国際公開第２０２０／２５５７１５号
【特許文献5】国際公開第２０２０／２４６２５０号
【特許文献6】特開２０１８－９８６４９号公報
【特許文献7】特開２０１７－３４４２２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
撮像装置で取得された画像データに基づいて画像全体でフリッカを抑制する処理を実施する場合、フリッカが発生してない領域の画像にぶれ等が発生し、画像が不自然になるおそれがある。
【0005】
本発明は、上記の点に鑑みてなされたもので、フリッカが発生している領域に対してフリッカを抑制する処理を実施することで、フリッカが発生していない領域の画像が不自然になることを抑制することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様では、撮像装置は、マトリックス状に配置された複数の光電変換素子を有し、一方向に並ぶ所定数の前記光電変換素子をそれぞれ含む複数のライン毎に駆動される撮像素子部と、前記撮像素子部により生成された画像データに基づいてフリッカの発生を検出するフリッカ検出部と、前記フリッカ検出部によりフリッカが検出された前記ラインに含まれる前記光電変換素子の１フレーム期間での露光回数を、フリッカが検出されない前記ラインに含まれる前記光電変換素子の１フレーム期間での露光回数に比べて多くする露光調整部と、を有する。
【発明の効果】
【0007】
開示の技術によれば、フリッカが発生している領域に対してフリッカを抑制する処理を実施することで、フリッカが発生していない領域の画像が不自然になることを抑制することができる。
【図面の簡単な説明】
【0008】
【図1】第１の実施形態における画像処理装置を含む画像処理システムの一例を示すイメージ図である。
【図9】第２の実施形態の画像処理システムに含まれる撮像装置の構成の一例を示すブロック図である。
【図12】第３の実施形態の画像処理システムに含まれる撮像装置の構成の一例を示すブロック図である。
【図15】第４の実施形態の画像処理システムに含まれる撮像装置の構成の一例を示すブロック図である。
【図20】第５の実施形態の画像処理システムに含まれる画像合成部の一例を示すブロック図である。
【図21】フレームレートが１２０ｆｐｓに設定される場合に撮像装置が出力する奇数フレームおよび偶数フレームの画像データの一例を示す説明図である。
【図24】フレームレートが１２０ｆｐｓに設定されている場合に撮像装置から画像データを低速で出力する例を示す説明図である。
【発明を実施するための形態】
【0009】
以下、図面を用いて実施形態を説明する。以下の説明では、画像データを単に画像と称する場合がある。
【0010】
（第１の実施形態）
図１は、第１の実施形態における画像処理装置を含む画像処理システムの一例を示す。図１に示す画像処理システム１００は、例えば、自動車等の移動体２００に搭載される。移動体２００の進行方向の前方、後方、左側および右側と、移動体２００の車内の前方には、カメラ等の撮像装置１９ａ、１９ｂ、１９ｃ、１９ｄ、１９ｅが設置される。以下では、撮像装置１９ａ、１９ｂ、１９ｃ、１９ｄ、１９ｅを区別なく説明する場合、撮像装置１９とも称される。
図１は、第１の実施形態における画像処理装置を含む画像処理システムの一例を示す。図１に示す画像処理システム１００は、例えば、自動車等の移動体２００に搭載される。移動体２００の進行方向の前方、後方、左側および右側と、移動体２００の車内の前方には、カメラ等の撮像装置１９ａ、１９ｂ、１９ｃ、１９ｄ、１９ｅが設置される。以下では、撮像装置１９ａ、１９ｂ、１９ｃ、１９ｄ、１９ｅを区別なく説明する場合、撮像装置１９とも称される。
【0011】
なお、移動体２００に設置される撮像装置１９の数および設置位置は、図１に限定されない。例えば、１つの撮像装置１９が移動体２００の前方のみに設置されてもよく、２つの撮像装置１９が前方と後方のみに設置されてもよい。あるいは、撮像装置１９は、移動体２００の天井に設置されてもよい。また、画像処理システム１００が搭載される移動体２００は、自動車に限定されず、例えば、工場内で稼働する搬送ロボットまたはドローンでもよい。また、画像処理システム１００は、例えば、監視カメラ、デジタルスチルカメラまたはデジタルカムコーダなどの、移動体２００に設置された撮像装置以外の撮像装置から取得した画像を処理するシステムであってもよい。
【0012】
画像処理システム１００は、画像処理装置１０、情報処理装置１１および表示装置１２を有する。なお、図１では、説明を分かりやすくするために、上方から俯瞰した移動体２００のイメージ図に画像処理システム１００を重ねて記載している。しかしながら、実際には、画像処理装置１０および情報処理装置１１は、移動体２００に搭載される制御基板等に実装され、表示装置１２は、移動体２００内の人物から見える位置に設置される。なお、画像処理装置１０は、情報処理装置１１の一部として制御基板等に実装されてもよい。画像処理装置１０は、信号線または無線を介して各撮像装置１９に接続される。
【0013】
表示装置１２は、例えば、移動体２００に設置されるサイドミラーモニタ、バックミラーモニタまたはナビゲーション装置のディスプレイである。なお、表示装置１２は、ダッシュボード等に設けられたディスプレイ、または、投影板またはフロントガラス等に画像を投影するヘッドアップディスプレイ（Head Up Display）等でもよい。
【0014】
情報処理装置１１は、画像処理装置１０を介して受信する画像データに基づいて認識処理等を実施するプロセッサ等のコンピュータを含む。例えば、移動体２００に搭載される情報処理装置１１は、画像データの認識処理を実施することで、他の移動体、信号、標識、道路の白線および人物等を検出し、検出結果に基づいて移動体２００の周囲の状況を判断する。なお、情報処理装置１１は、移動体２００の移動、停止、右折および左折等を制御する自動運転制御装置を含んでもよい。
【0015】
この実施形態では、後述するフリッカを軽減する画像処理は、撮像装置１９により実施される。このため、複数の撮像装置１９のうち、少なくとも移動体２００の前方に設置される撮像装置１９ｅまたは撮像装置１９ａには、フリッカを低減する画像処理装置が含まれる。
【0016】
図２は、図１の移動体２００に搭載される各種装置の構成の概要を示す。移動体２００は、内部ネットワークを介して相互に接続された画像処理装置１０、情報処理装置１１、表示装置１２、少なくとも１つのＥＣＵ（Electronic Control Unit）１３および無線通信装置１４を有する。また、移動体２００は、センサ１５、駆動装置１６、ランプ装置１７、ナビゲーション装置１８および撮像装置１９を有する。例えば、内部ネットワークは、ＣＡＮ（Controller Area Network）またはイーサネット（登録商標）等の車載ネットワークである。
【0017】
画像処理装置１０は、撮像装置１９により取得された画像データ（フレームデータ）を補正し、補正画像データを生成する。画像処理装置１０は、生成した補正画像データを、外部または内部の記録装置に記録してもよい。
【0018】
情報処理装置１１は、移動体２００の各部を制御するコンピュータとして機能されてもよい。情報処理装置１１は、ＥＣＵ１３を制御することにより、移動体２００の全体を制御する。情報処理装置１１は、画像処理装置１０により生成された画像に基づいて、移動体２００の外部の物体を認識してもよく、認識した物体を追尾してもよい。
【0019】
表示装置１２は、画像処理装置１０により生成された画像および補正画像等を表示する。表示装置１２は、移動体２００が後進（バック）する際に、移動体２００の後進方向の画像をリアルタイムで表示してもよい。また、表示装置１２は、ナビゲーション装置１８から出力される画像を表示してもよい。
【0020】
ＥＣＵ１３は、エンジンまたはトランスミッション等の機構部に対応してそれぞれ設けられる。各ＥＣＵ１３は、情報処理装置１１からの指示に基づいて、対応する機構部を制御する。無線通信装置１４は、移動体２００の外部の装置との通信を行う。センサ１５は、各種の情報を検出するセンサである。センサ１５は、例えば、移動体２００の現在の位置情報を取得する位置センサを含んでもよい。また、センサ１５は、移動体２００の速度を検出する速度センサを含んでもよい。
【0021】
駆動装置１６は、移動体２００を移動させるための各種装置である。駆動装置１６には、例えば、エンジン、操舵装置（ステアリング）、および制動装置（ブレーキ）等が含まれてもよい。ランプ装置１７は、移動体２００に搭載された各種灯具である。ランプ装置１７には、例えば、前照灯（ヘッドランプ、ヘッドライト）、方向指示器（ウインカー）のランプ、バックライトおよびブレーキランプ等が含まれてもよい。ナビゲーション装置１８は、目的地への経路を音声および表示により案内する装置である。
【0022】
図３は、図１の撮像装置１９の構成の一例を示す。撮像装置１９は、画素セルアレイ１９０、駆動部１９１、読み出し部１９２、バス１９３および動作制御部１９６を有する。動作制御部１９６は、フリッカ検出部１９４および露光調整部１９５を有する。画素セルアレイ１９０は、撮像素子部の一例である。
【0023】
なお、図１に示す撮像装置１９ａ－１９ｅのうち、少なくとも撮像装置１９ｅまたは撮像装置１９ａが図３の構成を有してもよい。残りの撮像装置１９は、図３の構成からフリッカ検出部１９４および露光調整部１９５を除いた構成を有してもよい。あるいは、残りの撮像装置１９は、フリッカ検出部１９４および露光調整部１９５の機能がマスクされてもよい。図３の構成からフリッカ検出部１９４および露光調整部１９５を除いた構成は、例えば、図１５に撮像装置１９Ｃとして示される。
【0024】
画素セルアレイ１９０は、マトリックス状に配置された複数の画素セルＰＸを有する。図示は省略するが、各画素セルＰＸは、例えば、フォトダイオード、リセットトランジスタおよびソースフォロワトランジスタを有する。画素セルアレイ１９０は、撮像素子部の一例であり、画素セルＰＸは、光電変換素子の一例である。なお、図３では、簡単化のため、画素セルアレイ１９０が６４個（８個×８個）の画素セルＰＸを含む例が示される。実際の撮像装置１９では、画素セルアレイ１９０は、例えば、数十万画素から数百万画素を有する。
【0025】
フォトダイオードは、受光した光を電荷に変換する。リセットトランジスタは、リセット信号ＲＳＴ（図６）のハイレベル期間にオンし、フォトダイオードとソースフォロワトランジスタのゲートとの間の電荷の蓄積ノードをリセット電圧に設定する。なお、フォトダイオードと蓄積ノードとの間に、フォトダイオードから蓄積ノードへの電荷の蓄積時間を制御する転送トランジスタが設けられてもよい。ソースフォロワトランジスタは、ゲートで受ける電圧レベルに応じた出力電圧を読み出し部１９２に出力する。
【0026】
駆動部１９１は、図３のＸ方向に並ぶ画素セルＰＸの列毎にリセット信号ＲＳＴを出力する。また、駆動部１９１は、リセット信号ＲＳＴを受ける画素セルＰＸからの画素値の読み出しに使用する選択信号ＳＥＬを読み出し部１９２に出力する。なお、画素セルＰＸにおいて、フォトダイオードと蓄積ノードとの間に転送トランジスタが設けられる場合、駆動部１９１は、一方向であるＸ方向に所定数並ぶ画素セルＰＸの画素列（Ｘ）毎に、転送トランジスタを駆動する転送制御信号を出力する。以下では、画素列（Ｘ）は、ラインとも称される。
【0027】
読み出し部１９２は、図３のＹ方向に並ぶ画素セルＰＸの画素列（Ｙ）毎に、選択トランジスタおよびアンプを含む図示しない読み出し回路を有する。各選択トランジスタは、ゲートでハイレベルの選択信号ＳＥＬを受けている間、対応するソースフォロワトランジスタから出力される画像情報である出力電圧をアンプに出力する。アンプは、選択トランジスタから受ける出力電圧を増幅し、増幅した出力電圧をバス１９３を介して画像データとして出力する。画像データは、画像処理装置１０の取得部５１により取得される。
【0028】
フリッカ検出部１９４は、画像データに含まれる各画素セルＰＸの画素値をモニタすることで、フリッカ検出処理を実施する。そして、フリッカ検出部１９４は、画素値が周期的に変化する画素セルＰＸがある場合、フリッカの発生を検出し、フリッカが発生した画素セルＰＸの位置を露光調整部１９５に通知する。例えば、フリッカは、信号機、照明または車の前照灯などの光源の発光周期に依存して発生する。
【0029】
露光調整部１９５は、フリッカ検出部１９４からフリッカの発生の通知を受けた場合、駆動部１９１に、フリッカが発生した画素セルＰＸを含む画素列（Ｘ）の駆動頻度（すなわち、露光回数）を通常より高くさせる露光調整処理を実施する。駆動部１９１は、フリッカが発生した画素セルＰＸを含む画素列（Ｘ）に対応するリセット信号ＲＳＴおよび選択信号ＳＥＬの駆動頻度を通常より高く設定する。これにより、図６で説明するように、フリッカが検出された画素セルＰＸを含む画素列（Ｘ）の露光時間が、他の画素列（Ｘ）の露光時間より長く設定される。
【0030】
なお、フリッカ検出部１９４および露光調整部１９５は、動作制御部１９６に搭載される代わりに画像処理装置１０に搭載されてもよい。この場合、取得部５１を介して画像データを取得した画像処理装置１０のフリッカ検出部１９４は、フリッカの発生を検出する。画像処理装置１０の露光調整部１９５は、フリッカ検出部１９４からフリッカの発生の通知を受けた場合、動作制御部１９６に制御情報を出力する。そして、動作制御部１９６は、駆動部１９１を制御して、フリッカが発生した画素セルＰＸを含む画素列（Ｘ）の駆動頻度を通常より高くさせる。
【0031】
図４は、図２の画像処理装置１０の構成の一例を示す。なお、図２の情報処理装置１１の構成も、図４と同様である。画像処理装置１０は、バスＢＵＳで相互に接続されたＣＰＵ（Central Processing Unit）２０、インタフェース装置２１、ドライブ装置２２、補助記憶装置２３およびメモリ装置２４を有する。
【0032】
ＣＰＵ２０は、メモリ装置２４に格納された画像処理プログラムを実行することで、後述する各種の画像処理を実行する。インタフェース装置２１は、図示しないネットワークに接続するために使用される。補助記憶装置２３は、例えば、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等であり、画像処理プログラム、画像データおよび画像処理に使用する各種パラメータ等を保持する。
【0033】
メモリ装置２４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等であり、補助記憶装置２３から転送される画像処理プログラム等を保持する。ドライブ装置２２は、記録媒体３０を接続するインタフェースを有し、例えば、ＣＰＵ２０からの指示に基づいて、記録媒体３０に格納された画像処理プログラムを補助記憶装置２３に転送する。なお、ドライブ装置２２は、補助記憶装置２３に記憶された画像データ等を記録媒体３０に転送してもよい。
【0034】
図５は、図１の撮像装置１９が取得した画像ＩＭＧの一例を示す。例えば、図５は、移動体２００の前方に設置された撮像装置１９ｅにより取得される。なお、符号Ｌ１－Ｌ１１は、参考用に付加した画素列（Ｘ）のライン番号を示しており、画像ＩＭＧには含まれない。なお、説明の簡単化のため、画素列（Ｘ）は、画像ＩＭＧの上下方向に拡大して示されている。
【0035】
図５の画像には、道路を走行する２台の車両、信号機および樹木が含まれる。信号機は、画像ＩＭＧの左側から順に並ぶ青色灯、黄色灯および赤色灯を有する。図５の例では、色の濃い青色灯および黄色灯は、消灯していることを示し、色の薄い赤色灯は、点灯していることを示す。例えば、青色灯、黄色灯および赤色灯は、ＬＥＤ（Light Emitting Diode）光源を使用して点灯される。ＬＥＤ光源は、所定の周期で点滅を繰り返すため、フリッカの発生要因になる。
【0036】
図３のフリッカ検出部１９４は、信号機の点灯している赤色灯のフリッカを検出し、赤色灯を含むライン番号Ｌ３、Ｌ４を露光調整部１９５に通知する。露光調整部１９５は、フリッカ検出部１９４からの通知に基づいて、駆動部１９１に対して、ライン（画素列（Ｘ））Ｌ３、Ｌ４の露光時間を他のラインの露光時間より増加させる制御を実施する。例えば、露光時間の増加は、１フレーム期間での露光回数を増加することにより行われる。
【0037】
図６は、図３のフリッカ検出部１９４がフリッカを検出していない場合の撮像装置１９の動作の一例を示す。図６においても、撮像装置１９は、６４画素を有するとする。そして、撮像装置１９は、１フレーム期間に、全てのラインＬ１－Ｌ８の画素セルＰＸを順次露光させるローリングシャッタ方式により画像を取得する。
【0038】
フリッカが発生していない場合、図３の駆動部１９１は、ハイレベルパルスのリセット信号ＲＳＴ（ＲＳＴ１－ＲＳＴ８）を順次出力する。リセット信号ＲＳＴは、ラインＬ１－Ｌ８間で重複しないように生成される。リセット信号ＲＳＴを受けた画素セルＰＸの蓄積ノードは、リセットされた後、フォトダイオードからの電荷を蓄積する。
【0039】
また、駆動部１９１は、リセット信号ＲＳＴの出力から露光時間ＥＸＰＴの経過後に選択信号ＳＥＬ（ＳＥＬ１－ＳＥＬ８）を所定の期間ハイレベルに設定する。選択信号ＳＥＬは、ラインＬ１－Ｌ８間で重複しないように生成される。図３の読み出し部１９２は、ハイレベルの選択信号ＳＥＬに応じて、対応する画素セルＰＸから出力される出力電圧を増幅し、読み出しデータＲＤを生成する。
【0040】
そして、撮像装置１９は、順次生成する読み出しデータＲＤを画像データとして図２の画像処理装置１０等に出力する。例えば、画像データは、図２の表示装置１２の画面に表示する画像である１フレーム毎に撮像装置１９から画像処理装置１０に出力されてもよい。画像処理装置１０は、撮像装置１９から受けた画像データの画像処理を実施する。
【0041】
図７は、図３のフリッカ検出部１９４がフリッカを検出した場合の撮像装置１９の動作の一例を示す。図６と同様の要素については、詳細な説明は省略する。図７では、図５の画像ＩＭＧにおいて、ラインＬ３、Ｌ４の画像でフリッカが検出されたときの動作の例が示される。
【0042】
図３の駆動部１９１は、露光調整部１９５による制御に基づいて、フリッカが検出されたラインＬ２、Ｌ３に対応するリセット信号ＲＳＴおよび選択信号ＳＥＬの生成回数を図６に示した生成回数より増加する。なお、リセット信号ＲＳＴは、互いに重複しないように生成され、選択信号ＳＥＬは、互いに重複しないように生成される。
【0043】
これにより、図７に斜線の矩形で示すように、ラインＬ２、Ｌ３からの読み出しデータＲＤが追加される。読み出し部１９２は、駆動部１９１による画素セルアレイ１９０の駆動毎に、ラインＬ２、Ｌ３の各々において、複数の読み出しデータＲＤを合成して画像データとして画像処理装置１０に出力する。すなわち、１フレーム期間において、ラインＬ２、Ｌ３の露光時間は、露光回数を多くすることで、他のラインの露光時間より増加される。露光時間の増加により、ラインＬ２、Ｌ３で発生しているフリッカを局所的に抑制することができる。
【0044】
なお、露光時間が増加されたラインＬ２、Ｌ３の画像の輝度は、他のラインの画像の輝度より高くなる。このため、撮像装置１９は、ラインＬ２、Ｌ３の露光時間の増加比に応じて、ラインＬ２、Ｌ３の画像データの画素値を減少させるゲイン調整処理を実施してもよい。
【0045】
図８は、図３の撮像装置１９の動作の一例を示す。すなわち、図８は、撮像装置１９の画像処理方法の一例を示す。例えば、図８に示す動作は、撮像装置１９に搭載されるＣＰＵが実行する制御プログラムにより実現されてもよく、撮像装置１９に搭載されるハードウェアにより実現されてもよい。図８に示す動作は、例えば、電源の投入により撮像装置１９が起動されたことに基づいて開始される。
【0046】
まず、ステップＳ１００において、撮像装置１９の動作制御部１９６は、駆動部１９１および読み出し部１９２を制御して画像データを１フレーム毎に取得する。次に、ステップＳ１０２において、フリッカ検出部１９４は、取得した画像データを、例えば、少なくとも１フレーム前の画像データと比較することで、フリッカの有無を検出する。
【0047】
動作制御部１９６は、フリッカ検出部１９４がフリッカを検出した場合、ステップＳ１０４、Ｓ１０６、Ｓ１０８と、ステップＳ１１０、Ｓ１１２とを並列に実施する。動作制御部１９６は、フリッカ検出部１９４がフリッカを検出しない場合、ステップＳ１１６を実施する。なお、撮像装置１９の起動後の最初の所定フレームでのステップＳ１０２の処理では、動作制御部１９６は、フリッカを検出していないと判定し、ステップＳ１１６を実施してもよい。
【0048】
ステップＳ１０４において、動作制御部１９６は、露光を追加する追加ラインを選択する。図５および図７に示した例では、追加ラインは、Ｌ３、Ｌ４である。次に、ステップＳ１０６において、動作制御部１９６は、追加ラインに対する追加の露光を実施する。次に、ステップＳ１０８において、動作制御部１９６は、追加ラインに対する追加の読み出しを実施した後、ステップＳ１１４を実行する。
【0049】
ステップＳ１１０において、動作制御部１９６は、通常の露光を実施する。次に、ステップＳ１１２において、動作制御部１９６は、通常の読み出しを実施した後、ステップＳ１１４を実行する。なお、ステップＳ１１０およびＳ１１２の動作は、図７に示したように、ローリングシャッタ方式により実施され、ステップＳ１０６およびＳ１０８の動作はステップＳ１１０およびＳ１１２の動作と並列に実施される。
【0050】
ステップＳ１１４において、動作制御部１９６は、追加の読み出しおよび通常の読み出しで取得した画像データを合成して１フレームの画像データを生成する。例えば、動作制御部１９６は、追加の読み出しで得られた画像データの画素値と、通常の読み出しで得られた画像データの画素値とを加算することで、画像データを生成する。
【0051】
なお、動作制御部１９６は、画素値の加算に代えて画素値の平均化などの処理を実施してもよい。さらに、動作制御部１９６は、画素値の加算または平均化を、フリッカを検出した領域付近のみで実施してもよい。
【0052】
一方、フリッカを検出しない場合、ステップＳ１１６において、動作制御部１９６は、図６に示したように、ローリングシャッタ方式による通常の露光を実施する。次に、ステップＳ１１８において、動作制御部１９６は、画素セルアレイ１９０からの画素情報の通常の読み出しを実施して１フレームの画像を生成した後、ステップＳ１２０を実行する。
【0053】
ステップＳ１２０において、動作制御部１９６は、ステップＳ１１４またはステップＳ１１８で生成した１フレームの画像データを画像処理装置１０等に出力する。次に、ステップＳ１２２において、動作制御部１９６は、画像の取得処理を終了するか否かを判定する。動作制御部１９６は、画像の取得処理を終了する場合、図８に示す動作を終了する。動作制御部１９６は、画像の取得処理を継続する場合、ステップＳ１００の動作を実施する。
【0054】
なお、フリッカの検出時に実施されるステップＳ１１４の画像データの合成処理は、画像処理装置１０で実施されてもよい。この場合、動作制御部１９６は、フリッカの検出時、ステップＳ１２０において、通常の読み出しで得られた画像データに加えて、追加の読み出しで得られた画像データをライン番号Ｌとともに画像処理装置１０に出力する。さらに、図８に示す処理が、画像処理装置１０で実施されてもよい。
【0055】
以上、この実施形態では、フリッカの検出に基づいて、フリッカを抑制する画像処理をフリッカが発生したラインで局所的に実施することができる。これにより、例えば、画素セルアレイ１９０の全体で露光時間を増加することでフリッカを抑制する場合に比べて、移動する被写体の画像がぶれるなどの副作用を抑制することができる。例えば、図５に示した画像ＩＭＧでは、フリッカの抑制処理により、信号機に向かって走行している車両のぶれの発生を抑制することができる。
【0056】
また、フリッカを抑制する画像処理を局所的に実施することで、フリッカを抑制する画像処理を１フレームの画像データの全体で実施する場合に比べて、動作制御部１９６による画像処理の負荷を、軽減することができる。さらに、撮像装置１９により、フリッカを軽減する画像処理を実施するため、画像処理装置１０による画像処理の負荷の増加を抑制することができる。また、既存の画像処理装置１０を使用して画像処理システム１００を構築することができる。
【0057】
（第２の実施形態）
図９は、第２の実施形態の画像処理システムに含まれる撮像装置の構成の一例を示す。上述した実施形態と同様の要素については、同じ符号を付し、詳細な説明は省略する。画像処理システム１００において、撮像装置１９Ａを除く構成は、図１、図２および図４と同様である。例えば、図１の撮像装置１９ａ－１９ｅのうち、少なくとも撮像装置１９ｅは、図９に示す撮像装置１９Ａに置き換えられる。
図９は、第２の実施形態の画像処理システムに含まれる撮像装置の構成の一例を示す。上述した実施形態と同様の要素については、同じ符号を付し、詳細な説明は省略する。画像処理システム１００において、撮像装置１９Ａを除く構成は、図１、図２および図４と同様である。例えば、図１の撮像装置１９ａ－１９ｅのうち、少なくとも撮像装置１９ｅは、図９に示す撮像装置１９Ａに置き換えられる。
【0058】
撮像装置１９Ａは、図３の動作制御部１９６の代わりに、露光調整部１９５を持たない動作制御部１９６Ａを有する。撮像装置１９Ａは、図３の読み出し部１９２の代わりに読み出し部１９２Ａを有する。撮像装置１９Ａのその他の構成は、図３の撮像装置１９の構成と同様である。
【0059】
撮像装置１９Ａは、ローリングシャッタ方式により画像を取得する機能を有する。但し、撮像装置１９Ａは、図６に示した通常のローリングシャッタ方式に比べて露光時間ＥＸＰＴの露光処理を１フレームの間に複数回、例えば２回実行するように設定する機能を有する。動作制御部１９６Ａは、フリッカ検出部１９４Ａがフリッカの発生を検出しない画素列（Ｘ）において、１回分の露光時間ＥＸＴＰで取得される画素情報を読み出し部１９２Ａに選択させる。動作制御部１９６Ａは、フリッカ検出部１９４Ａがフリッカの発生を検出した画素列（Ｘ）において、２回分の露光時間ＥＸＴＰで取得される画素情報を読み出し部１９２Ａに選択させる。なお、１フレームの間に複数回実行する露光処理において、それぞれの露光時間が異なっていてもよい。
【0060】
図１０は、図９の撮像装置１９Ａの動作の一例を示す。図７と同様の動作については、詳細な説明は省略する。撮像装置１９Ａの動作制御部１９６Ａは、ラインＬ１－Ｌ８毎にリセット信号ＲＳＴと選択信号ＳＥＬのペアを２回生成する制御を実施する。１フレーム期間に各ラインＬ１－Ｌ８が複数回（２回）駆動されるため、読み出し部１９２は、１フレーム期間に各ラインＬ１－Ｌ８から画素情報を複数回受ける。このため、１フレーム期間に取得される読み出しデータＲＤに含まれる画素セルＰＸ毎の画素値は、図６に示した通常のローリングシャッタ方式での１フレーム期間に取得される画素値の２倍になる。
【0061】
なお、各ラインＬ１－Ｌ８においてリセット信号ＲＳＴの生成周期および選択信号ＳＥＬの生成周期は、１フレーム期間の半分に設定される。これにより、各ラインＬ１－Ｌ８における画素セルＰＸの露光間隔を均等かつ設定可能な最大間隔に設定することができる。したがって、図１１で説明する読み出しデータ（画素値）の合成により、フリッカの発生を抑制することができる。なお、図１０に示す読み出しデータＲＤにおいて、白抜きの矩形は、通常の露光による読み出しデータＲＤを示し、斜線の矩形は、追加の露光による読み出しデータＲＤを示す。
【0062】
図１１は、図９の撮像装置１９Ａの動作の一例を示す。すなわち、図１１は、撮像装置１９Ａの画像処理方法の一例を示す。図８と同様の動作については同じステップ番号を付し、詳細な説明は省略する。例えば、図１１に示す動作は、撮像装置１９に搭載されるＣＰＵが実行する制御プログラムにより実現されてもよく、撮像装置１９に搭載されるハードウェアにより実現されてもよい。図８に示す動作は、例えば、電源の投入により撮像装置１９が起動されたことに基づいて開始される。
【0063】
この実施形態では、まず、ステップＳ１０６、Ｓ１１０において、動作制御部１９６Ａは、追加の露光と通常の露光とを並列（交互）に実施する。次に、ステップＳ１０８、Ｓ１１２において、動作制御部１９６Ａは、追加の読み出しと通常の読み出しを並列（交互）に実施する。すなわち、動作制御部１９６は、ステップＳ１０６、Ｓ１０８、Ｓ１１０、Ｓ１１２により、図１０に示した動作を実施する。
【0064】
次に、ステップＳ１０２Ａにおいて、フリッカ検出部１９４は、ステップＳ１０８、Ｓ１１２で取得した画像データを、例えば、少なくとも１フレーム前の画像データと比較することで、ライン毎にフリッカの発生の有無を検出する。動作制御部１９６Ａは、フリッカ検出部１９４がフリッカの発生を検出したラインに対してステップＳ１０４Ａを実施する。動作制御部１９６Ａは、フリッカ検出部１９４がフリッカの発生を検出しないラインに対してステップＳ１２０を実施する。
【0065】
すなわち、動作制御部１９６Ａは、フリッカの発生を検出しないラインに対してステップＳ１１４Ａによる画像データの合成を行わない。そして、動作制御部１９６Ａは、読み出し部１９２Ａがライン毎に画素セルアレイ１９０から複数回の受ける画素情報のうちの一部である通常の読み出しで得られた画像データを出力する。なお、撮像装置１９の起動後の最初の所定フレームでのステップＳ１０２Ａの処理では、動作制御部１９６は、全ての画素列（Ｘ）でフリッカの発生を検出しないと判定し、ステップＳ１２０を実施してもよい。
【0066】
ステップＳ１０４Ａにおいて、動作制御部１９６Ａは、フリッカの発生を検出した画素列（Ｘ）のラインを選択する。例えば、図５に示した例では、ラインＬ３、Ｌ４が選択される。なお、動作制御部１９６Ａは、選択したラインにおいて、追加の露光時間の増加比に応じて画素値を減少させるゲイン調整処理を実施してもよい。また、動作制御部１９６Ａは、選択したラインにおいて、画素値の加算に代えて画素値の平均化などの処理を実施してもよい。さらに、動作制御部１９６は、画素値の加算または平均化を、フリッカを検出した領域付近のみで実施してもよい。
【0067】
次に、ステップＳ１１４Ａにおいて、動作制御部１９６Ａは、ステップＳ１０４Ａで選択したラインＬについて、読み出し部１９２Ａに、通常の露光と追加の露光とでそれぞれ取得される画像データを合成させ、２回分の露光時間ＥＸＴＰの画像データを生成させる。露光時間ＥＸＴＰを２倍にすることで、フリッカの発生を抑制することができる。動作制御部１９６Ａは、ステップＳ１１４Ａの後、ステップＳ１２０を実施する。
【0068】
ステップＳ１２０において、動作制御部１９６Ａは、読み出し部１９２Ａが生成した１フレームの画像データを画像処理装置１０等に出力させる。なお、動作制御部１９６Ａは、フリッカの発生を検出しない画素列（Ｘ）に対して、読み出し部１９２Ａに、通常の露光で取得される画像データ（１回分の露光時間ＥＸＴＰの画像データ）を生成させる。
【0069】
次に、ステップＳ１２２において、動作制御部１９６Ａは、画像の取得処理を終了するか否かを判定する、動作制御部１９６Ａは、画像の取得処理を終了する場合、図１１に示す動作を終了する。動作制御部１９６Ａは、画像の取得処理を継続する場合、ステップＳ１０６、Ｓ１１０の動作を実施する。
【0070】
なお、ステップＳ１０２Ａ、Ｓ１０４Ａ、Ｓ１１４Ａの処理は、画像処理装置１０で実施されてもよい。この場合、動作制御部１９６Ａは、フリッカの判定を実施しない。そして、動作制御部１９６Ａ、読み出し部１９２Ａに、全ての画素列（Ｘ）について、通常の露光と追加の露光とでそれぞれ取得される画像データを合成させ、２回分の露光時間ＥＸＴＰの画像データを生成させ、ステップＳ１２０の処理を実施させる。
【0071】
以上、この実施形態においても上述した実施形態と同様の効果を得ることができる。例えば、フリッカの検出に基づいて、フリッカを抑制する画像処理をフリッカが発生したラインで局所的に実施することができる。これにより、例えば、画素セルアレイ１９０の全体で露光時間を増加することでフリッカを抑制する場合に比べて、移動する被写体の画像がぶれるなどの副作用を抑制することができる。
【0072】
さらに、この実施形態では、動作制御部１９６Ａは、フリッカ検出部１９４Ａによるフリッカの検出の有無によらず、図１０に示した動作を常に実施する。すなわち、動作制御部１９６Ａは、フリッカ検出部１９４Ａによるフリッカの検出の有無に応じて図６および図７に示した動作を切り替えなくてよい。これにより、動作制御部１９６Ａの構成を図３の動作制御部１９６の構成に比べて簡易にすることができる。例えば、図３の露光調整部１９５を不要にできる。
【0073】
（第３の実施形態）
図１２は、第３の実施形態の画像処理システムに含まれる撮像装置の構成の一例を示す。上述した実施形態と同様の要素については、同じ符号を付し、詳細な説明は省略する。画像処理システム１００において、撮像装置１９Ｂを除く構成は、図１、図２および図４と同様である。例えば、図１の撮像装置１９ａ－１９ｅのうち、少なくとも撮像装置１９ｅは、図１２に示す撮像装置１９Ｂに置き換えられる。
図１２は、第３の実施形態の画像処理システムに含まれる撮像装置の構成の一例を示す。上述した実施形態と同様の要素については、同じ符号を付し、詳細な説明は省略する。画像処理システム１００において、撮像装置１９Ｂを除く構成は、図１、図２および図４と同様である。例えば、図１の撮像装置１９ａ－１９ｅのうち、少なくとも撮像装置１９ｅは、図１２に示す撮像装置１９Ｂに置き換えられる。
【0074】
撮像装置１９Ｂは、図３の動作制御部１９６の代わりに、フリッカ検出部１９４および露光調整部１９５を持たない動作制御部１９６Ｂを有する。撮像装置１９Ｂは、図３の読み出し部１９２の代わりに読み出し部１９２Ｂを有する。また、撮像装置１９Ｂは、読み出し部１９２Ｂとバス１９３との間に画像合成部１９７Ｂを有する。撮像装置１９Ｂのその他の構成は、図３の撮像装置１９の構成と同様である。
【0075】
撮像装置１９Ｂは、図９の撮像装置１９Ａと同様に、図６に示した通常のローリングシャッタ方式に比べて露光時間ＥＸＰＴの露光処理を１フレームの間に複数回、例えば２回実行するように設定する機能を有する。動作制御部１９６Ｂは、駆動部１９１および画像合成部１９７Ｂ等の撮像装置１９Ｂの全体の動作を制御し、撮像装置１９Ｂを図１０と同様のタイミングで動作させる。なお、１フレームの間に複数回実行する露光処理において、それぞれの露光時間が異なっていてもよい。
【0076】
読み出し部１９２Ｂは、図１０に示したように、通常の露光による読み出しデータＲＤと、追加の露光による読み出しデータとを交互に取得し、取得した読み出しデータＲＤを画像合成部１９７Ｂに出力する。画像合成部１９７Ｂは、読み出し部１９２Ｂからの２通りの読み出しデータＲＤを使用して、画素毎に画素値の合成処理を実施する。画像合成部１９７Ｂは、画素値を合成することにより生成した画像データをバスを介して画像処理装置１０に出力する。画素値の合成処理については、図１３で説明される。
【0077】
図１３は、図１２の画像合成部１９７Ｂの一例を示す。画像合成部１９７Ｂは、差分計算部４１、合計値計算部４２、合成ゲイン計算部４３、ブレンド率計算部４４およびブレンド処理部４５を有する。例えば、画像合成部１９７Ｂは、図１３に示す構成を複数有しており、複数の画素の画素値の合成処理を並列に実施する。差分計算部４１、合計値計算部４２およびブレンド率計算部４４は、取得タイミングが異なる複数の画像データに基づいてフリッカが発生したフリッカ領域を検出するフリッカ検出部の一例である。ブレンド処理部４５は、フリッカ領域において取得タイミングが異なる複数の画像データを合成する合成処理部の一例である。
【0078】
図１３において、符号Ｆ［ｎ］は、通常の露光による画素毎の画素値を示し、符号Ｆ［ｎ＋１］は、追加の露光による画素毎の画素値を示す。通常の露光および追加の露光は、図１０で説明した通常の露光および追加の露光と同じである。以下では、符号Ｆ［ｎ］は、画素値Ｆ［ｎ］または通常画素値Ｆ［ｎ］と称され、符号Ｆ［ｎ＋１］は、画素値Ｆ［ｎ＋１］または追加画素値Ｆ［ｎ＋１］と称される。
【0079】
差分計算部４１は、画素値Ｆ［ｎ］と、画素値Ｆ［ｎ＋１］に露光比Ｄを乗じた値との差の絶対値（ａｂｓ）を差分ＤＩＦとして計算する。なお、差分ＤＩＦが大きい画素ほど移動体の画像である可能性が大きい。
【0080】
露光比Ｄは、通常の露光による通常露光時間ＮＥＸＰＴと追加の露光による追加露光時間ＡＥＸＰＴとの露光比ＮＥＸＰＴ／ＡＥＸＰＴである。図１０では、露光比Ｄ（ＮＥＸＰＴ／ＡＥＸＰＴ）は、"１"である。露光比Ｄを使用することで、追加露光時間ＡＥＸＰＴを通常露光時間ＮＥＸＰＴと同じ重み付けにして差分ＤＩＦを計算することができる。
【0081】
例えば、１フレーム当たりの追加露光時間ＡＥＸＰＴが１フレーム当たりの通常露光時間ＮＥＸＰＴと等しい場合、露光比Ｄ＝"１"のため、追加露光時間ＡＥＸＰＴの重みは、通常露光時間ＮＥＸＰＴと同じになる。１フレーム当たりの追加露光時間ＡＥＸＰＴが１フレーム当たりの通常露光時間ＮＥＸＰＴの２倍の場合、露光比Ｄ＝"０．５"のため、追加露光時間ＡＥＸＰＴの重みは、通常露光時間ＮＥＸＰＴの２分の１に設定される。
【0082】
合計値計算部４２は、画素値Ｆ［ｎ］、Ｆ［ｎ＋１］の和を合計値Ｍとして計算する。合成ゲイン計算部４３は、通常露光時間ＮＥＸＰＴと追加露光時間ＡＥＸＰＴとの合計に対する通常露光時間ＮＥＸＰＴの比ＮＥＸＰＴ／（ＮＥＸＰＴ＋ＡＥＸＰＴ）を合成ゲインＫとして計算する。図１０では、合成ゲインＫは、"０．５"である。
【0083】
例えば、１フレーム当たりの追加露光時間ＡＥＸＰＴが１フレーム当たりの通常露光時間ＮＥＸＰＴと等しい場合、画素値Ｆ［ｎ］、Ｆ［ｎ＋１］の加算により画素値（輝度）は２倍になる。この場合、合成ゲインＫは、"０．５"に設定され、加算により増加する画素値Ｆ［ｎ２］が、加算しない場合の画素値に変換される。
【0084】
１フレーム当たりの追加露光時間ＡＥＸＰＴが１フレーム当たりの通常露光時間ＮＥＸＰＴの３倍の場合、画素値Ｆ［ｎ］、Ｆ［ｎ＋１］の加算により画素値（輝度）は４倍になる。この場合、合成ゲインＫは、"０．２５"に設定され、加算により増加する画素値Ｆ［ｎ２］が、加算しない場合の画素値に変換される。
【0085】
ブレンド率計算部４４は、式（１）を使用して、差分ＤＩＦと合計値Ｍとに基づいて画素値Ｆ［ｎ］、Ｆ［ｎ＋１］のブレンド率αを計算する。
α＝２－ＤＩＦｒ＊Ｍｒ …（１）
α＝２－ＤＩＦｒ＊Ｍｒ …（１）
【0086】
式（１）において、比ＤＩＦｒは、差分ＤＩＦが閾値ＶＴ１以下のときに"０"になり、差分ＤＩＦが閾値ＶＴ２以上のときに"１"になる。比ＤＩＦｒは、差分ＤＩＦが閾値ＶＴ１と閾値ＶＴ２との間にあるとき"０"から"１"に徐々に増加する。式（１）において、比Ｍｒは、合計値Ｍが閾値ＶＴ３以下のときに"０"になり、合計値Ｍが閾値ＶＴ４以上のときに"１"になる。比Ｍｒは、合計値Ｍが閾値ＶＴ３と閾値ＶＴ４との間にあるとき"０"から"１"に徐々に増加する。
【0087】
これにより、ブレンド率αは、差分ＤＩＦが閾値ＶＴ１以下または合計値Ｍが閾値ＶＴ３以下のときに"２"になる。ブレンド率αは、差分ＤＩＦが閾値ＶＴ２以上、かつ、合計値Ｍが閾値ＶＴ４以上のときに"１"になる。差分ＤＩＦおよび合計値Ｍが、それ以外の場合、ブレンド率αは、"１"より大きく、"２"より小さい値になる。
【0088】
ブレンド処理部４５は、式（２）を使用して、例えば、通常画素値Ｆ［ｎ］と追加画素値Ｆ［ｎ＋１］とを画素毎にブレンドし、画素値Ｆ［ｎ２］を生成する。式（２）において、符号＊を乗算符号を示す。
Ｆ［ｎ２］＝Ｆ［ｎ］＊α＊Ｋ＋Ｆ［ｎ＋１］＊（２－α）＊Ｋ …（２）
Ｆ［ｎ２］＝Ｆ［ｎ］＊α＊Ｋ＋Ｆ［ｎ＋１］＊（２－α）＊Ｋ …（２）
【0089】
式（２）より、ブレンド率αが大きいほど、ブレンド後の画素値Ｆ［ｎ２］に占める通常画素値Ｆ［ｎ］の比が相対的に大きくなる。ブレンド率αが小さいほど、ブレンド後の画素値Ｆ［ｎ２］に占める通常画素値Ｆ［ｎ］の比が相対的に小さくなる。
【0090】
図１４は、図１３の画像合成部１９７Ｂの動作の一例を示す。図１４に示す動作では、図５に示した画像データＩＭＧが使用される。Ｆ［ｎ］に示す画像は、通常画素値Ｆ［ｎ］を使用したときに生成される画像を示す。Ｆ［ｎ］に示す画像は、通常画像とも称される。
【0091】
Ｆ［ｎ＋１］に示す画像は、追加画素値Ｆ［ｎ＋１］を使用したときに生成される画像を示す。Ｆ［ｎ＋１］に示す画像は、追加画像とも称される。Ｆ［ｎ］＋Ｆ［ｎ＋１］に示す画像は、通常画素値Ｆ［ｎ］と追加画素値Ｆ［ｎ＋１］とを加算したときに生成される画像を示す。Ｆ［ｎ］＋Ｆ［ｎ＋１］示す画像は、合成画像とも称される。
【0092】
信号機の画像は、フリッカの発生により、通常画像または追加画像の一方で赤色灯が消灯状態になる場合がある。合成画像では、赤色灯が点灯状態になる。このため、フリッカが発生しやすい条件下で撮影された画像は、星印で示す合成画像が使用されることが好ましい。また、信号機の画像おいて、合計値Ｍの画素値と差分値ＤＩＦの画素値とは、赤色灯の領域で両方大きくなり、赤色灯以外の領域で両方小さくなる。
【0093】
このため、フリッカは、合計値Ｍの画素値と差分値ＤＩＦの画素値との両方が大きいときに発生しやすいことが分かる。したがって、図３のブレンド率計算部４４は、差分ＤＩＦが閾値ＶＴ２以上で合計値Ｍが閾値ＶＴ４以上の画素領域を、フリッカが発生したフリッカ領域と判定していることになる。以上より、理想的なブレンド率αは、"１．０"になる。
【0094】
車両（動体）の画像は、通常画像および追加画像では正常であるが、合成画像では車両の移動によるぶれ（残像）が発生する場合がある。このため、例えば、動体の画像では、星印で示す通常画像が使用されることが好ましい。また、動体の画像において、合計値Ｍの画素値は全ての領域で小さくなる。差分値ＤＩＦの画素値は、車両の領域で大きくなり、車両以外の領域で小さくなる。このため、動体による画像のぶれは、合計値Ｍの画素値が小さく、差分値ＤＩＦの画素値が大きいときに発生しやすいことが分かる。したがって、ブレンド率計算部４４は、差分ＤＩＦが閾値ＶＴ２以上で合計値Ｍが閾値ＶＴ３以下の画素領域を、動体を含む動体領域と判定していることになる。以上より、理想的なブレンド率αは、"２．０"になる。
【0095】
静止物体の画像は、通常画像、追加画像および合成画像の全てで正常である。また、静止物体の画像において、合計値Ｍの画素値は全ての領域で小さくなり、差分値ＤＩＦの画素値は、全ての領域で小さくなる。このため、静止物体には、通常画像、追加画像または合成画像のいずれが使用されてもよい。ここでは、静止物体の画像では、星印で示す通常画像が使用されることが好ましいとしている。また、静止物体の画像の理想的なブレンド率αを２．０としているが、任意のブレンド率αでよい。したがって、ブレンド率計算部４４は、差分ＤＩＦが閾値ＶＴ１以下で合計値Ｍが閾値ＶＴ３以下の画素領域を、静止物体を含む静止領域と判定していることになる。
【0096】
図１３に示した画像合成部１９７Ｂにより、通常画素値Ｆ［ｎ］と追加画素値Ｆ［ｎ＋１］とを合成して画素値Ｆ［ｎ２］を生成することで、フリッカが抑制され、かつ、動体のぶれが抑制された画像データを生成することができる。この際、フリッカ検出部および動体検出部を使用することなく、フリッカが抑制され、かつ、動体のぶれが抑制された画像データを生成することができる。画素値Ｆ［ｎ２］の生成は、画素単位で実施されるため、図５に示したように、１つのラインで取得される画像データに信号機と動体と静止物体とが含まれる場合にも、それぞれの画像に適した合成処理を実施することができる。
【0097】
例えば、画像合成部１９７Ｂは、差分ＤＩＦが大きく、合計値Ｍが大きい画素は、フリッカの発生の可能性が大きいため、ブレンド率αを"１．０"に設定し、通常画素値Ｆ［ｎ］と追加画素値Ｆ［ｎ＋１］とをブレンドする。画像合成部１９７Ｂは、差分ＤＩＦが大きく、合計値Ｍが通常以下の画素は、動体の可能性が大きいため、ブレンド率αを"２．０"に設定し、通常画素値Ｆ［ｎ］をブレンド後の画素値Ｆ［ｎ２］として出力する。画像合成部１９７Ｂは、差分ＤＩＦが小さく、合計値Ｍが通常以下の画素は、静止物体（通常被写体）の可能性が大きい。この場合、ブレンド率αは、"１．０"または"２．０"のいずれに設定されてもよい。しかしながら、ブレンド処理部４５の計算量を抑制し、計算誤差を小さくするため、ブレンド率αは、"２．０"に設定されることが好ましい。
【0098】
なお、画像合成部１９７Ｂは、画素単位で合成処理を実施するため、フリッカの発生した画像およびぶれが発生した画像を局所的に処理することができる。換言すれば、フリッカが発生していない画像領域およびぶれが発生していない画像領域の画質が、合成処理の影響を受けて劣化することを抑制することができる。
【0099】
なお、図１２および図１３では、画像合成部１９７Ｂが撮像装置１９Ｂに設けられる例が説明されたが、画像合成部１９７Ｂは、画像処理装置１０に設けられてもよい。この場合、撮像装置１９Ｂは、通常画素値Ｆ［ｎ］と追加画素値Ｆ［ｎ＋１］とのそれぞれを画像データとして画像処理装置１０に出力する。
【0100】
以上、この実施形態においても上述した実施形態と同様の効果を得ることができる。さらに、この実施形態では、画素単位で通常画素値Ｆ［ｎ］と追加画素値Ｆ［ｎ＋１］とを合成して画素値Ｆ［ｎ２］を生成することができる。これにより、図５に示したように、１つのラインで取得される画像データに信号機と動体と静止物体とが含まれる場合にも、それぞれの画像に適した合成処理を実施することができる。
【0101】
また、図１３に示した画像合成部１９７Ｂにより、通常画素値Ｆ［ｎ］と追加画素値Ｆ［ｎ＋１］とを合成して画素値Ｆ［ｎ２］を生成することで、フリッカが抑制され、かつ、動体のぶれが抑制された画像データを生成することができる。この際、フリッカ検出部および動体検出部を使用することなく、フリッカが抑制され、かつ、動体のぶれが抑制された画像データを生成することができる。
【0102】
（第４の実施形態）
図１５は、第４の実施形態の画像処理システムに含まれる撮像装置の構成の一例を示す。上述した実施形態と同様の要素については、同じ符号を付し、詳細な説明は省略する。画像処理システム１００において、撮像装置１９Ｃを除く構成は、画像処理装置１０の代わりに画像処理装置１０Ｃが設けられることを除き、図１、図２および図４と同様である。例えば、図１の撮像装置１９ａ－１９ｅのうち、少なくとも撮像装置１９ｅは、図１５に示す撮像装置１９Ｃに置き換えられる。
図１５は、第４の実施形態の画像処理システムに含まれる撮像装置の構成の一例を示す。上述した実施形態と同様の要素については、同じ符号を付し、詳細な説明は省略する。画像処理システム１００において、撮像装置１９Ｃを除く構成は、画像処理装置１０の代わりに画像処理装置１０Ｃが設けられることを除き、図１、図２および図４と同様である。例えば、図１の撮像装置１９ａ－１９ｅのうち、少なくとも撮像装置１９ｅは、図１５に示す撮像装置１９Ｃに置き換えられる。
【0103】
撮像装置１９Ｃは、図１２の動作制御部１９６Ｂの代わりに、動作制御部１９６Ｃを有する。また、撮像装置１９Ｃは、図１２の画像合成部１９７Ｂを持たない。撮像装置１９Ａのその他の構成は、図３の撮像装置１９および図１２の撮像装置１９Ｂの構成と同様である。すなわち、撮像装置１９Ｃは、ローリングシャッタ方式により画像を取得する機能を有する。
【0104】
画像処理装置１０Ｃは、取得部５１、画像合成部５２Ｃおよび切り替え制御部５３Ｃを有する。取得部５１は、撮像装置１９Ｃから出力される画像データをフレーム毎に取得する。画像合成部５２Ｃは、取得部５１が取得した画像データを使用して画像データの合成処理を実施する。切り替え制御部５３Ｃは、撮像装置１９Ｃのフレームレートを切り替える切り替え信号を撮像装置１９Ｃに出力する。
【0105】
動作制御部１９６Ｃは、駆動部１９１および読み出し部１９２を制御して画像データを１フレーム毎に取得する。また、動作制御部１９６Ｃは、切り替え制御部５３Ｃから切り替え信号に応じて、撮像装置１９Ｃのフレームレートを切り替える。
【0106】
【0107】
画像合成部５２Ｃは、差分計算部４１Ｃ、合計値計算部４２、合成ゲイン計算部４３Ｃ、ブレンド率計算部４４Ｃおよびブレンド処理部４５を有する。合計値計算部４２およびブレンド処理部４５の構成および機能は、図１６の合計値計算部４２およびブレンド処理部４５の構成および機能と同様である。画像合成部５２Ｃは、図１６に示す構成を複数有しており、複数の画素の画素値の合成処理を並列に実施する。差分計算部４１Ｃ、合計値計算部４２およびブレンド率計算部４４Ｃは、複数のフレームの画像データに基づいてフリッカが発生したフリッカ領域を検出するフリッカ検出部の一例である。
【0108】
差分計算部４１Ｃは、画素値Ｆ［ｎ］と画素値Ｆ［ｎ＋１］との差の絶対値（ａｂｓ）を差分ＤＩＦとして計算する。合成ゲイン計算部４３Ｃは、撮像装置１９Ｃが撮影する被写体領域のシーンの明るさに応じて、合成ゲインＫを計算する。合成ゲインＫの計算方法は、図１７で説明される。例えば、シーンの明るさは、移動体２００または撮像装置１９Ｃに搭載される照度計により計測されてもよい。
【0109】
ブレンド率計算部４４Ｃは、式（３）を使用して、差分ＤＩＦと合計値Ｍとに基づいてフレームＦ［ｎ］、Ｆ［ｎ＋１］の画素値のブレンド率αを計算する。比ＤＩＦｒおよび比Ｍｒは、図１３と同様に求められる。符号ＭＩＮは、"２－ＤＩＦｒ＊Ｍｒ"と"１／Ｋ"のうちの小さい方を選択することを示す。式（３）は、ブレンド率αが"１／Ｋ"より大きくならないようにクリップする条件が式（１）に追加されている。すなわち、ブレンド率αの最小値は、"１／Ｋ"でクリップされる。
α＝ＭＩＮ（２－ＤＩＦｒ＊Ｍｒ，１／Ｋ） …（３）
α＝ＭＩＮ（２－ＤＩＦｒ＊Ｍｒ，１／Ｋ） …（３）
【0110】
ブレンド処理部４５は、ブレンド率計算部４４Ｃが計算したブレンド率αを使用して、上述した式（２）を使用して、例えば、互いに隣接する奇数フレームＦ［ｎ］と偶数フレームＦ［ｎ＋１］との画素値を画素毎にブレンドする。そして、ブレンド処理部４５は、画素値Ｆ［ｎ２］を生成する。
【0111】
図１７は、図１６の合成ゲイン計算部４３Ｃが計算する合成ゲインＫと、シーンの明るさおよびフレームレートとの関係を示す。画像処理装置１０Ｃは、照度計等により計測されるシーンの明るさが所定の閾値より明るい場合、フレームレートを６０ｆｐｓ（frames per second）から１２０ｆｐｓに切り替える切り替え信号を撮像装置１９Ｃに出力する。撮像装置１９Ｃは、切り替え信号に基づいてフレームレートを６０ｆｐｓから１２０ｆｐｓに切り替える。
【0112】
例えば、撮像装置１９Ｃは、フレームレートが６０ｆｐｓ（約１６．７ｍｓ周期）の場合、シーンの明るさに応じて露光時間を１１ｍｓ以上に設定する。例えば、撮像装置１９Ｃは、内蔵するＡＥ（Auto Exposure）機能を使用して露光時間を求める。また、撮像装置１９Ｃは、フレームレートが１２０ｆｐｓ（約８．３ｍｓ周期）の場合、露光時間を５．５ｍｓに固定する。
【0113】
なお、フレームレートが６０ｆｐｓのときの露光時間の最小値およびフレームレートが１２０ｆｐｓのときの露光時間は、１１ｍｓと５．５ｍｓに限定されない。フレームレートが６０ｆｐｓのときの露光時間の最小値は、フレームレートが１２０ｆｐｓのときの露光時間の２倍であり、かつ、フリッカの発生が抑制できる露光時間であればよい。
【0114】
なお、１１ｍｓの露光時間で撮影された画像は、ＬＥＤ光源等のフリッカの発生を抑制することができるが、動体のぶれ（残像）が発生するおそれがある。一方、５．５ｍｓの露光時間で撮影された画像は、ＬＥＤ光源等のフリッカが発生するが、動体のぶれ（残像）を軽減することができる。
【0115】
合成ゲイン計算部４３Ｃは、フレームレートが６０ｆｐｓの期間、合成ゲインＫを計算せず、例えば、ゲイン処理をしないことを示す"１"を出力する。この場合、図１６の画像合成部５２Ｃの他の要素も動作を停止する。そして、１１ｍｓ以上の露光時間で撮影された画像のフレームＦ［ｎ］、Ｆ［ｎ＋１］のそれぞれの画素値がそのまま画素値Ｆ［ｎ２］として出力される。
【0116】
合成ゲイン計算部４３Ｃは、フレームレートが１２０ｆｐｓの期間、シーンが明るくなるにしたがい、合成ゲインＫを"１．０"から"０．５"まで徐々に下げることで、画素値が飽和することを抑制する。なお、フレームレートの切り替え時の合成ゲインＫを"１．０"とすることで、５．５ｍｓの露光時間で撮影された画像のブレンド処理部４５による合成時に、露光時間の切り替えによる輝度の変化を抑制することができる。
【0117】
例えば、シーンの明るさが閾値をわずかに超え、フレームレートが６０ｆｐｓから１２０ｆｐｓに切り替った場合、図１７に示すように合成ゲインＫは、ほぼ"１"である。このとき、画像中の動体領域において、比ＤＩＦｒが大きく、比Ｍｒが小さいとする。この場合、図１３のブレンド率計算部４４では、ブレンド率αが"２"に設定されるが、この実施形態のブレンド率計算部４４Ｃは、"１／Ｋ"が"１"がクリップされるため、ブレンド率αを"１"に設定する。
【0118】
ブレンド処理部４５は、ブレンド率α＝"１"に基づいて、フレームＦ［ｎ］、Ｆ［ｎ＋１］の動体領域の各画素において、画素値を加算した画素値Ｆ［ｎ２］を出力する。フレームレートが１２０ｆｐｓのときのフレームＦ［ｎ］、Ｆ［ｎ＋１］の露光時間の合計は、フレームレートが６０ｆｐｓのときと同じ１１ｍｓである。このため、フレームレートの切り替わり前後での動体領域の画像の残像は同程度なり、動作制御部１９６Ｃは、違和感が少ない画像（Ｆ［ｎ２］）を出力することができる。
【0119】
これに対して、同じ条件下で"１／Ｋ"によるクリップがない場合、ブレンド率αがほぼ"２"になるため、ブレンド処理部４５は、フレームＦ［ｎ］の動体領域の各画素の画素値を２倍して画素値Ｆ［ｎ２］として出力する。フレームＦ［ｎ］の露光時間は５．５ｍｓであり、フレームレートの切り替え前のフレームＦ［ｎ］の露光時間（１１ｍｓ）の半分である。このため、フレームレートの切り替わり後に動体領域の画像の残像が急に減り、違和感のある画像（Ｆ［ｎ２］）が出力されるおそれがある。
【0120】
なお、シーンの明るさが閾値より十分に大きい場合、"１／Ｋ"は、ほぼ"２"になる。このため、ブレンド率計算部４４Ｃが計算するブレンド率αは、式（２）中の"２－ＤＩＦｒ＊Ｍｒ"に基づいて、画像の特性に依存して"１．０"から"２．０"間で適切に変化する。シーンが明るくなるにつれて合成ゲインＫが徐々に変化するため、合成ゲインＫが急に切り替わることによる違和感は抑制される。
【0121】
図１８は、図１６の画像処理装置１０Ｃの動作の一例を示す。すなわち、図１８は、画像処理装置１０Ｃの画像処理方法の一例を示す。例えば、図１８に示す動作は、画像処理装置１０Ｃに搭載されるＣＰＵ２０（図４）が実行する画像処理プログラムにより実現されてもよく、画像処理装置１０Ｃに搭載されるハードウェアにより実現されてもよい。図１８に示す動作は、例えば、電源の投入により画像処理装置１０Ｃが起動されたことに基づいて開始される。
【0122】
まず、ステップＳ２００において、画像処理装置１０Ｃは、撮像装置１９Ｃが撮影する被写体領域のシーンの明るさが閾値より小さいか否かを判定する。画像処理装置１０Ｃは、明るさが閾値より小さい場合、ステップＳ２０２を実施し、明るさが閾値より大きい場合、ステップＳ２０６を実施する。
【0123】
ステップＳ２０２において、画像処理装置１０Ｃは、フレームレートを６０ｆｐｓに設定する切り替え信号を撮像装置１９Ｃに出力する。撮像装置１９Ｃは、切り替え信号に基づいて、シーンの明るさに応じて１フレームの露光時間を１１ｍｓ以上に設定する。次に、ステップＳ２０４において、画像処理装置１０Ｃは、撮像装置１９Ｃから１フレームの画像データを取得する。次に、ステップＳ２０６において、画像処理装置１０Ｃは、ステップＳ２０４で生成した１フレームの画像データを表示装置１２等に出力した後、ステップＳ２１４を実施する。
【0124】
一方、ステップＳ２０８において、画像処理装置１０Ｃは、フレームレートを１２０ｆｐｓに設定する切り替え信号を撮像装置１９Ｃに出力する。撮像装置１９Ｃは、切り替え信号に基づいて、シーンの明るさにかかわらず１フレームの露光時間を５．５ｍｓに設定する。次に、ステップＳ２１０において、画像処理装置１０Ｃは、撮像装置１９Ｃから連続する２フレームＦ［ｎ］、Ｆ［ｎ＋１］の画像データを取得する。次に、ステップＳ２１２において、画像処理装置１０Ｃは、撮像装置１９Ｃから取得した連続する２フレームＦ［ｎ］、Ｆ［ｎ＋１］の画像データを合成し、６０ｆｐｓで表示装置１２等に出力する。ステップＳ２１２の後、ステップＳ２１４が実施される。
【0125】
ステップＳ２１４において、画像処理装置１０Ｃは、画像データの取得処理と画像データの出力処理を終了するか否かを判定する。動作制御部１９６は、画像データの取得処理と画像データの出力処理を終了する場合、図１８に示す動作を終了する。動作制御部１９６は、画像データの取得処理と画像データの出力処理を継続する場合、ステップＳ２００の動作を実施する。
【0126】
図１９は、図１６の画像合成部５２Ｃの動作の一例を示す。図１４と同様の要素については、詳細な説明は省略する。図１９に示す動作では、図５に示した画像データが使用される。図１９では、Ｆ［ｎ］に示す画像は、前画像とも称される。Ｆ［ｎ＋１］に示す画像は、後画像とも称される。Ｆ［ｎ］＋Ｆ［ｎ＋１］に示す画像は、合成画像とも称される。
【0127】
前画像Ｆ［ｎ］、後画像Ｆ［ｎ＋１］および合成画像Ｆ［ｎ］＋Ｆ［ｎ＋１］の状態は、フレームが異なる画像であることを除き、図１４に示した通常画像Ｆ［ｎ］、追加画像Ｆ［ｎ＋１］および合成画像Ｆ［ｎ］＋Ｆ［ｎ＋１］の状態とそれぞれ同様である。このため、合計値Ｍの特徴、差分ＤＩＦの特徴および星印で示す使用されることが好ましい画像は、図１４と同様である。
【0128】
但し、この実施形態では、前画像Ｆ［ｎ］と後画像Ｆ［ｎ＋１］において、差分ＤＩＦの大きく、合計値Ｍが小さい画像領域（動体）では、ブレンド率αは"１／Ｋ"に設定されることが好ましい。また、前画像Ｆ［ｎ］と後画像Ｆ［ｎ＋１］において、差分ＤＩＦと合計値Ｍとが両方小さい画像領域（静止物体）では、ブレンド率αは"１／Ｋ"に設定されることが好ましい。
【0129】
なお、図１６に示した画像合成部５２Ｃは、撮像装置１９Ｃに設けられてもよい。この場合、撮像装置１９Ｃにより図１７および図１８に示した画像の合成が実施され、合成された画像が撮像装置１９Ｃから画像処理装置１０Ｃ等に出力される。
【0130】
以上、この実施形態においても上述した実施形態と同様の効果を得ることができる。さらに、この実施形態では、画像処理装置１０Ｃに設けられる画像合成部５２Ｃを使用して、フレーム内の画像の合成処理が実施される。これにより、図５に示したように、１つのラインで取得される画像データに信号機と動体と静止物体とが含まれる場合にも、それぞれの画像に適した合成処理を実施することができる。
【0131】
また、フレームレートが１２０ｆｐｓの期間、シーンが明るくなるにしたがい、合成ゲインＫを１．０から０．５まで徐々に下げることで、フレームレートが１２０ｆｐｓの２つのフレームを合成する場合にも、画素値が飽和することを抑制することができる。シーンが明るくない場合に、フレームレートを６０ｆｐｓに設定することで、ノイズの発生を抑制することができる。さらに、撮像装置１９Ｃは画像合成部を持たないため、通常の撮像装置１９Ｃを使用して、画像の画素毎にフリッカを抑制し、動体のぶれを抑制することができる。
【0132】
（第５の実施形態）
図２０は、第５の実施形態の画像処理システムに含まれる画像合成部５２Ｄの一例を示す。上述した実施形態と同様の要素については、同じ符号を付し、詳細な説明は省略する。画像合成部５２Ｄは、図２の画像処理装置１０の代わりに画像処理システム１００に搭載される画像処理装置１０Ｄに含まれる。画像処理装置１０Ｄは、図１５の画像処理装置１０Ｃの画像合成部５２Ｃの代わりに画像合成部５２Ｄを有することを除き、画像処理装置１０Ｃと同様の構成および機能を有する。
図２０は、第５の実施形態の画像処理システムに含まれる画像合成部５２Ｄの一例を示す。上述した実施形態と同様の要素については、同じ符号を付し、詳細な説明は省略する。画像合成部５２Ｄは、図２の画像処理装置１０の代わりに画像処理システム１００に搭載される画像処理装置１０Ｄに含まれる。画像処理装置１０Ｄは、図１５の画像処理装置１０Ｃの画像合成部５２Ｃの代わりに画像合成部５２Ｄを有することを除き、画像処理装置１０Ｃと同様の構成および機能を有する。
【0133】
画像処理システム１００は、画像処理装置１０の代わりに画像処理装置１０Ｄが設けられることを除き、図１、図２および図４と同様である。また、図１に示した移動体２００に搭載される撮像装置１９ａ－１９ｅのうち、少なくとも撮像装置１９ｅは、図示しない撮像装置１９Ｄに置き替えられている。
【0134】
撮像装置１９Ｄは、フレームレートが１２０ｆｐｓに設定される場合、例えば、奇数フレームＦ［ｎ］で奇数ラインの画像データを出力し、偶数フレームＦ［ｎ＋１］で偶数ラインの画像データを出力する。撮像装置１９Ｄのその他の構成および機能は、図１５に示した撮像装置１９Ｃと構成および機能と同様である。
【0135】
なお、フレームレートが１２０ｆｐｓに設定される場合、撮像装置１９Ｄは、例えば、奇数フレームＦ［ｎ］に偶数ラインの画像データを出力し、偶数フレームＦ［ｎ＋１］に奇数ラインの画像データを出力してもよい。フレームレートが１２０ｆｐｓに設定される場合に撮像装置１９Ｄが出力する奇数フレームＦ［ｎ］および偶数フレームＦ［ｎ＋１］の画像データの例は、図２１に示される。
【0136】
画像合成部５２Ｄは、差分計算部４１Ｃ、合計値計算部４２、合成ゲイン計算部４３Ｃ、ブレンド率計算部４４Ｄ、ブレンド処理部４５Ｄ、フレーム再構成部４６Ｄおよび垂直拡大部４７Ｄ、４８Ｄを有する。すなわち、画像合成部５２Ｄは、図１６の画像合成部５２Ｃのブレンド率計算部４４Ｃおよびブレンド処理部４５の代わりに、ブレンド率計算部４４Ｄおよびブレンド処理部４５Ｄを有する。
【0137】
また、画像合成部５２Ｄは、図１６の画像合成部５２Ｃに、フレーム再構成部４６Ｄおよび垂直拡大部４７Ｄ、４８Ｄを追加している。画像合成部５２Ｄは、フレームレートが１２０ｆｐｓのときに、撮像装置１９Ｄから間引かれて出力されるフレームＦ［ｎ］、Ｆ［ｎ＋１］の画像データを合成する。差分計算部４１Ｃ、合計値計算部４２およびブレンド率計算部４４Ｄは、フリッカ検出部の一例である。ブレンド処理部４５Ｄは、合成処理部の一例である。垂直拡大部４７Ｄ、４８Ｄは、補間画像生成部の一例である。
【0138】
フレーム再構成部４６Ｄは、奇数ラインの画像データを含むフレームＦ［ｎ］と偶数ラインの画像データを含むフレームＦ［ｎ＋１］を使用して全ライン分の画像データを含むフレームＦｍ、Ｆｉをそれぞれ生成する。フレーム再構成部４６Ｄが生成するフレームＦｍ、Ｆｉの画像データの例は、図２２に示される。フレームＦｍの画像データは、第１再構成画像データの一例であり、フレームＦｉの画像データは、第２再構成画像データの一例である。
【0139】
垂直拡大部４７Ｄは、奇数ラインの画像データを含むフレームＦ［ｎ］のライン数を増やして、全ライン分の画像データを含むフレームＦｕ［ｎ］を生成する。垂直拡大部４８Ｄは、偶数ラインの画像データを含むフレームＦ［ｎ＋１］のライン数を増やして、全ライン分の画像データを含むフレームＦｕ［ｎ＋１］を生成する。垂直拡大部４７Ｄ、４８Ｄがそれぞれ生成するフレームＦｕ［ｎ］、Ｆｕ［ｎ＋１］の画像データの例は、図２２に示される。フレームＦｕ［ｎ］の画像データは、第１補間画像データの一例であり、フレームＦｕ［ｎ＋１］の画像データは、第２補間画像データの一例である。
【0140】
ブレンド率計算部４４Ｄは、ブレンド率αの代わりに、図１３および図１６でブレンド率αの計算に使用する比ＤＩＦｒおよび比Ｍｒをブレンド処理部４５Ｄに出力する。ブレンド処理部４５Ｄは、式（４）、（５）、（６）を順次使用して、フレームＦｍ、Ｆｉの画素値からフレームＦ［ｎ２］の画素値を計算する。
【0141】
Ｔｍ＝（Ｆｍ＋Ｆｉ）＊Ｍｒ＋２＊Ｆｍ＊（１－Ｍｒ） …（４）
Ｔｄ＝２＊Ｆｕ［ｎ］＊ＤＩＦｒ＋Ｔｍ＊（１－ＤＩＦｒ） …（５）
Ｆ［２ｎ］＝Ｋ＊Ｔｄ …（６）
Ｔｄ＝２＊Ｆｕ［ｎ］＊ＤＩＦｒ＋Ｔｍ＊（１－ＤＩＦｒ） …（５）
Ｆ［２ｎ］＝Ｋ＊Ｔｄ …（６）
【0142】
式（４）、（５）、（６）を順次使用することで、比Ｍｒ、ＤＩＦｒが１に近い値の画素領域では、フレームＦｍ、Ｆｉの画素値の和（Ｆｍ＋Ｆｉ）がフレームＦ［ｎ２］の画素値として求められるため、画像中のＬＥＤ光源等のフリッカの発生を抑制することができる。比Ｍｒが０に近い値、比ＤＩＦｒが１に近い値の画素領域では、フレームＦ［ｎ］の２倍の画素値がフレームＦ［ｎ２］の画素値として求められるため、画像中の動体等のぶれ（残像）を抑制することができる。比Ｍｒ、ＤＩＦｒが両方０に近い値の画素領域では、フレームＦｍの２倍の画素値がフレームＦ［ｎ２］の画素値として求められるため、例えば、画像中の静止物体等の解像度を向上することができる。画像合成部５２Ｄの動作の例は、図２３で説明される。
【0143】
図２１は、フレームレートが１２０ｆｐｓに設定される場合に撮像装置１９Ｄが出力する奇数フレームＦ［ｎ］および偶数フレームＦ［ｎ＋１］の画像データの一例を示す。なお、簡単化のため、以下では、撮像装置１９Ｄは、フレーム毎に８ライン分（Ｌ１－Ｌ８）の画像データを生成するとする。
【0144】
撮像装置１９Ｄは、奇数フレームＦ［ｎ］では、斜線で示す奇数ラインＬ１、Ｌ３、...、Ｌ７の画像データを出力する。撮像装置１９Ｄは、偶数フレームＦ［ｎ＋１］では、斜線で示す偶数ラインＬ２、Ｌ４、...、Ｌ８の画像データを出力する。なお、図２１では、撮像装置１９Ｄの画素配列が、縦２画素、横２画素において、赤色の画素Ｒ、緑色の画素Ｇおよび青色の画素Ｂが１：２：１の比率で配置されるベイヤー配列である例が示される。しかしながら、撮像装置１９Ｄの画素配列は、ベイヤー配列に限定されない。
【0145】
【0146】
フレームＦｍの画像データは、撮像装置１９Ｄから出力される間引きされたフレームＦ［ｎ］のラインＬ１、Ｌ３、Ｌ５、Ｌ７およびフレームＦ［ｎ＋１］のラインＬ２、Ｌ４、Ｌ６、Ｌ８を、この順で交互に並べることで生成される。フレームＦｉの画像データは、撮像装置１９Ｄから出力される間引きされたフレームＦ［ｎ＋１］のラインＬ２、Ｌ４、Ｌ６、Ｌ８およびフレームＦ［ｎ］のラインＬ１、Ｌ３、Ｌ５、Ｌ７を、この順で交互に並べることで生成される。
【0147】
なお、フレームＦｍ、Ｆｉの各ラインの各画素の画素値を加算して得られるフレームＦｍ＋Ｆｉでは、互いに隣接する奇数ラインおよび偶数ライン（例えば、Ｌ１とＬ２）の画像データは同じになる。
【0148】
間引きされたフレームＦ［ｎ］を垂直拡大したフレームＦｕ［ｎ］の画像データは、隣接する奇数ラインの画素値を使用して補完することにより、奇数ラインの間の偶数ラインの画素値が生成される。また、フレームＦｕ［ｎ］の最終ラインＬ８の画像データは、ラインＬ７の画素値をコピーすることで生成される。
【0149】
間引きされたフレームＦ［ｎ＋１］を垂直拡大したフレームＦｕ［ｎ＋１］の画像データは、隣接する偶数ラインの画素値を使用して補完することにより、偶数ラインの間の奇数ラインの画素値が生成される。また、フレームＦｕ［ｎ＋１］の先頭ラインＬ１の画像データは、ラインＬ２の画像データをコピーすることで生成される。
【0150】
図２３は、図２０の画像合成部５２Ｄの動作の一例を示す。図１４および図１９と同様の要素については、詳細な説明は省略する。図２３に示す動作では、図５に示した画像データが使用される。図２３では、Ｆ［ｎ］、Ｆ［ｎ＋１］に示す画像は、間引き画像とも称される。合計値Ｍの特徴および差分ＤＩＦの特徴は、図１４および図１９と同様である。
【0151】
図２３に示す星印は、信号機、車両（動体）および静止物体のそれぞれの画像において、画像データの好ましい合成方法を示す。図２０で説明されたように、比Ｍｒ、ＤＩＦｒがともに大きい信号機の画像では、フリッカの発生を抑制するために、フレームＦｍ、Ｆｉの画像データを画素毎に加算したフレームＦｍ＋Ｆｉの画素値をフレームＦ［ｎ２］の画素値とすることが好ましい。
【0152】
比Ｍｒが小さく、比ＤＩＦｒが大きい車両（動体）の画像では、画像のぶれ（残像）を抑制するために、フレームＦ［ｎ］の画素値をフレームＦ［ｎ２］の画素値とすることが好ましい。比Ｍｒ、ＤＩＦｒが両方小さい静止物体の画像では、画像の解像度を向上するために、フレームＦｍの画素値をフレームＦ［ｎ２］の画素値とすることが好ましい。
【0153】
図２４は、フレームレートが１２０ｆｐｓに設定されている場合に撮像装置１９Ｄからの画像データを低速で出力する例を示す。図２４において、実線枠で示すラインは、撮像装置１９Ｄから出力される画像データを示す。破線枠で示すラインは、撮像装置１９Ｄから画像データが出力されないことを示す。
【0154】
図２４のかぎ括弧内は、撮像装置１９Ｄからの画像データの出力を通常の速度で行う例を示す。通常の速度の場合、奇数フレームＦ［ｎ］の奇数ラインの画像データがフレームバッファ等のメモリに格納された後、偶数フレームＦ［ｎ＋１］の偶数ラインの画像データがフレームバッファ等のメモリに格納される。すなわち、画像データの出力を通常の速度で行う場合、メモリに格納された奇数フレームＦ［ｎ］の画像データを使用して、奇数フレームＦ［ｎ］と偶数フレームＦ［ｎ＋１］との画像データの合成が行われる。
【0155】
これに対して、画像データの出力を低速で行う場合、奇数フレームＦ［ｎ］の画像データがメモリに順次格納されている最中に、偶数フレームＦ［ｎ＋１］の画像データを撮像装置１９Ｄから出力することが可能になる。このため、奇数フレームＦ［ｎ］の画像データの全てをメモリに格納することなく、奇数フレームＦ［ｎ］と偶数フレームＦ［ｎ＋１］との画像データの合成を行うことができる。この結果、メモリの使用量を削減することができる。
【0156】
以上、この実施形態においても上述した実施形態と同様の効果を得ることができる。さらに、この実施形態では、撮像装置１９Ｄから画像処理装置１０Ｄにラインを間引いた画像データを出力する。これにより、撮像装置１９Ｄ内で読み出す画像データのデータ量および画像処理装置１０Ｄに転送する画像データのデータ量を削減しつつ、フリッカが抑制され、動体のぶれが抑制された画像データを生成することができる。また、撮像装置１９Ｄ内で読み出す画像データのデータ量を削減できるため、撮像装置１９Ｄの消費電力を削減することができる。換言すれば、フレームレートが１２０ｆｐｓに設定される場合の撮像装置１９Ｄの消費電力を、フレームレートが６０ｆｐｓに設定される場合の撮像装置１９Ｄの消費電力と同等にすることができる。
【0157】
以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。
【符号の説明】
【0158】
１０、１０Ｃ、１０Ｄ 画像処理装置
１１ 情報処理装置
１２ 表示装置
１３ ＥＣＵ
１４ 無線通信装置
１５ センサ
１６ 駆動装置
１７ ランプ装置
１８ ナビゲーション装置
１９（１９ａ、１９ｂ、１９ｃ、１９ｄ、１９ｅ） 撮像装置
１９Ｂ、１９Ｃ、１９Ｄ 撮像装置
２０ ＣＰＵ
２１ インタフェース装置
２２ ドライブ装置
２３ 補助記憶装置
２４ メモリ装置
３０ 記録媒体
４１、４１Ｃ 差分計算部
４２ 合計値計算部
４３、４３Ｃ 合成ゲイン計算部
４４、４４Ｃ、４４Ｄ ブレンド率計算部
４５、４５Ｄ ブレンド処理部
４６Ｄ フレーム再構成部
４７Ｄ、４８Ｄ 垂直拡大部
５１ 取得部
５２Ｃ、５２Ｄ 画像合成部
５３Ｃ 切り替え制御部
１００ 画像処理システム
１９０ 画素セルアレイ
１９１ 駆動部
１９２、１９２Ａ、１９２Ｂ 読み出し部
１９３ バス
１９４、１９４Ａ フリッカ検出部
１９５ 露光調整部
１９６、１９６Ａ、１９６Ｂ、１９６Ｃ 動作制御部
１９７Ｂ 画像合成部
２００ 移動体
ＢＵＳ バス
ＤＩＦ 差分
ＤＩＦｒ 比
ＥＸＰＴ 露光時間
Ｆｉ フレーム
Ｆｍ フレーム
Ｆ［ｎ］、Ｆ［ｎ＋１］ フレーム
Ｆ［ｎ２］ 画素値
Ｆｕ［ｎ］、Ｆｕ［ｎ＋１］
ＩＭＧ 画像
Ｋ 合成ゲイン
Ｍ 合計値
Ｍｒ 比
ＰＸ 画素セル
ＲＳＴ リセット信号
ＳＥＬ 選択信号
ＲＤ 読み出しデータ
α ブレンド率
１１ 情報処理装置
１２ 表示装置
１３ ＥＣＵ
１４ 無線通信装置
１５ センサ
１６ 駆動装置
１７ ランプ装置
１８ ナビゲーション装置
１９（１９ａ、１９ｂ、１９ｃ、１９ｄ、１９ｅ） 撮像装置
１９Ｂ、１９Ｃ、１９Ｄ 撮像装置
２０ ＣＰＵ
２１ インタフェース装置
２２ ドライブ装置
２３ 補助記憶装置
２４ メモリ装置
３０ 記録媒体
４１、４１Ｃ 差分計算部
４２ 合計値計算部
４３、４３Ｃ 合成ゲイン計算部
４４、４４Ｃ、４４Ｄ ブレンド率計算部
４５、４５Ｄ ブレンド処理部
４６Ｄ フレーム再構成部
４７Ｄ、４８Ｄ 垂直拡大部
５１ 取得部
５２Ｃ、５２Ｄ 画像合成部
５３Ｃ 切り替え制御部
１００ 画像処理システム
１９０ 画素セルアレイ
１９１ 駆動部
１９２、１９２Ａ、１９２Ｂ 読み出し部
１９３ バス
１９４、１９４Ａ フリッカ検出部
１９５ 露光調整部
１９６、１９６Ａ、１９６Ｂ、１９６Ｃ 動作制御部
１９７Ｂ 画像合成部
２００ 移動体
ＢＵＳ バス
ＤＩＦ 差分
ＤＩＦｒ 比
ＥＸＰＴ 露光時間
Ｆｉ フレーム
Ｆｍ フレーム
Ｆ［ｎ］、Ｆ［ｎ＋１］ フレーム
Ｆ［ｎ２］ 画素値
Ｆｕ［ｎ］、Ｆｕ［ｎ＋１］
ＩＭＧ 画像
Ｋ 合成ゲイン
Ｍ 合計値
Ｍｒ 比
ＰＸ 画素セル
ＲＳＴ リセット信号
ＳＥＬ 選択信号
ＲＤ 読み出しデータ
α ブレンド率
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】