特開2019-4203(P2019-4203A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニーセミコンダクタソリューションズ株式会社の特許一覧
特開2019-4203画像処理装置、撮像装置、画像処理方法、および、プログラム。
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2019-4203(P2019-4203A)
(43)【公開日】2019年1月10日
(54)【発明の名称】画像処理装置、撮像装置、画像処理方法、および、プログラム。
(51)【国際特許分類】
   H04N 5/235 20060101AFI20181207BHJP
   G06T 5/50 20060101ALI20181207BHJP
   H04N 5/232 20060101ALI20181207BHJP
   H04N 5/243 20060101ALI20181207BHJP
【FI】
   H04N5/235 700
   G06T5/50
   H04N5/232 290
   H04N5/243
   H04N5/235 500
【審査請求】未請求
【請求項の数】14
【出願形態】OL
【全頁数】33
(21)【出願番号】特願2017-114839(P2017-114839)
(22)【出願日】2017年6月12日
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
【住所又は居所】神奈川県厚木市旭町四丁目14番1号
(74)【代理人】
【識別番号】100112955
【弁理士】
【氏名又は名称】丸島 敏一
(72)【発明者】
【氏名】藤本 昌勝
【住所又は居所】神奈川県厚木市旭町四丁目14番1号 ソニーセミコンダクタソリューションズ株式会社内
【テーマコード(参考)】
5B057
5C122
【Fターム(参考)】
5B057AA16
5B057BA02
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CE06
5B057CE08
5C122DA03
5C122DA04
5C122DA14
5C122EA13
5C122EA21
5C122EA61
5C122FF09
5C122FH01
5C122FH03
5C122FH11
5C122FH18
5C122FH23
5C122HA13
5C122HA35
5C122HA88
5C122HB01
5C122HB02
5C122HB05
5C122HB06
5C122HB10
(57)【要約】
【課題】複数の画像を合成する装置において、合成画像の画質を向上させる。
【解決手段】画像処理装置は、検出部、合成比率生成部、および、合成部を具備する。検出部は、時系列順に撮像された複数の画像のいずれかである検出対象画像の露光期間内における光源の点滅の有無を検出して検出結果を出力する。合成比率生成部は、検出結果に基づいて光源の点滅がある場合には検出対象画像の割合が検出対象画像に該当しない他の画像よりも低い合成比率を生成する。合成部は、合成比率により複数の画像を合成する。
【選択図】図3
【特許請求の範囲】
【請求項1】
時系列順に撮像された複数の画像のいずれかである検出対象画像の露光期間内における光源の点滅の有無を検出して検出結果を出力する検出部と、
前記検出結果に基づいて前記光源の点滅がある場合には前記検出対象画像の割合が前記検出対象画像に該当しない他の画像よりも低い合成比率を生成する合成比率生成部と、
前記合成比率により前記複数の画像を合成する合成部と
を具備する画像処理装置。
【請求項2】
前記複数の画像の間の明るさの変化の有無を判定して判定結果を出力する判定部をさらに具備し、
前記合成比率生成部は、前記判定結果と前記検出結果とに基づいて前記合成比率を生成する請求項1記載の画像処理装置。
【請求項3】
前記合成比率生成部は、
所定の合成比率を算出する合成比率算出部と、
前記判定結果に基づいて前記算出された合成比率を変調する合成比率変調部と、
前記検出結果に基づいて前記光源の点滅のある場合には前記検出対象画像の割合を前記他の画像よりも低くする補正を前記変調が行われた合成比率に対して行う合成比率補正部と
を備え、
前記合成部は、前記補正が行われた前記合成比率により前記複数の画像を合成する
請求項2記載の画像処理装置。
【請求項4】
前記複数の画像のそれぞれにおいて、所定周波数より低い低周波数成分を通過させるローパスフィルタをさらに具備し、
前記判定部は、前記低周波数成分に基づいて前記変化の有無を判定する
請求項3記載の画像処理装置。
【請求項5】
前記合成比率補正部は、減算器により前記合成比率を補正する
請求項3記載の画像処理装置。
【請求項6】
前記合成比率補正部は、乗算器により前記合成比率を補正する
請求項3記載の画像処理装置。
【請求項7】
前記複数の画像のそれぞれは、露光開始のタイミングが互いに異なる所定数のラインを含み、
前記検出部は、前記ラインに沿ったエッジの有無を前記光源の点滅の有無として検出する請求項1記載の画像処理装置。
【請求項8】
前記検出部は、所定周波数より高い高周波数成分を通過させるハイパスフィルタを用いて前記エッジの有無を検出する請求項7記載の画像処理装置。
【請求項9】
前記複数の画像は、第1画像、第2画像および第3画像を含み、
前記検出部は、
前記第2画像の露光期間内における前記光源の点滅の有無を検出して検出結果を前段検出結果として出力する前段検出部と、
前記第3画像の露光期間内における前記光源の点滅の有無を検出して検出結果を後段検出結果として出力する後段検出部と
を備え、
前記合成比率生成部は、
前記前段検出結果に基づいて前記光源の点滅がある場合には前記第2画像の割合が前記第1画像よりも低い合成比率を前記前段合成比率として生成する前段合成比率生成部と、
前記後段検出結果に基づいて前記光源の点滅がある場合には前記第3画像の割合が前記第1画像および前記第2画像を合成した前段合成画像よりも低い合成比率を前記後段合成比率として生成する後段合成比率生成部と
を備え、
前記合成部は、
前段合成比率により前記第1画像および前記第2画像を合成して前記前段合成画像を出力する前段合成部と、
後段合成比率により前記前段合成画像および前記第3画像を合成する後段合成部と
を備える請求項1記載の画像処理装置。
【請求項10】
前記第1画像と前記第2画像との間の明るさの変化の有無を判定して判定結果を前段判定結果として出力する前段判定部と、
前記前段合成画像と前記第3画像との間の明るさの変化の有無を判定して判定結果を後段判定結果として出力する後段判定部と
をさらに具備し、
前記前段合成比率生成部は、前記前段判定結果と前記前段検出結果とに基づいて前記前段合成比率を生成し、
前記後段合成比率生成部は、前記後段判定結果と前記後段検出結果とに基づいて前記後段合成比率を生成する請求項9記載の画像処理装置。
【請求項11】
前記複数の画像のそれぞれの露光時間は、互いに異なる
請求項1記載の画像処理装置。
【請求項12】
時系列順に撮像された複数の画像を順に撮像する撮像部と
前記複数の画像のいずれかである検出対象画像の露光期間内における光源の点滅の有無を検出して検出結果を出力する検出部と、
前記検出結果に基づいて前記複数の画像のうち前記光源の点滅のある画像の割合が前記光源の点滅の無い画像よりも低い合成比率を生成する合成比率生成部と、
前記合成比率により前記複数の画像を合成する合成部と
を具備する撮像装置。
【請求項13】
時系列順に撮像された複数の画像のいずれかである検出対象画像の露光期間内における光源の点滅の有無を検出して検出結果を出力する検出手順と、
前記検出結果に基づいて前記光源の点滅がある場合には前記検出対象画像の割合が前記検出対象画像に該当しない他の画像よりも低い合成比率を生成する合成比率生成手順と、
前記合成比率により前記複数の画像を合成する合成手順と
を具備する画像処理方法。
【請求項14】
時系列順に撮像された複数の画像のいずれかである検出対象画像の露光期間内における光源の点滅の有無を検出して検出結果を出力する検出手順と、
前記検出結果に基づいて前記光源の点滅がある場合には前記検出対象画像の割合が前記検出対象画像に該当しない他の画像よりも低い合成比率を生成する合成比率生成手順と、
前記合成比率により前記複数の画像を合成する合成手順と
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、画像処理装置、撮像装置、および、画像処理方法、ならびに、当該画像処理方法をコンピュータに実行させるためのプログラムに関する。詳しくは、複数の画像を合成する画像処理装置、撮像装置、および、画像処理方法、ならびに、当該画像処理方法をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【0002】
従来より、撮像装置においては、ノイズの低減やダイナミックレンジの拡大を目的として、複数の画像データ(以下、単に「画像」と称する。)を合成する合成処理が行われている。例えば、露光時間が異なる2枚の画像を合成する撮像装置が提案されている(例えば、特許文献1参照。)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平5−64075号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述の従来技術では、合成によりダイナミックレンジを拡大することができるが、LED(Light Emitting Diode)などの周期的に点滅する光源を撮像する場合に、画質が低下するおそれがある。例えば、LED等の点滅する光源を撮像する際に、合成画像において、実際には存在しない黒い筋状の像が生じることがある。この実際に存在しない像は、障害像またはアーティファクトと呼ばれる。このような障害像が生じる原因としては、ローリングシャッター方式により複数のラインを順に露光する際に、あるラインの露光中に光源が消灯し、その暗いラインを合成したことなどが考えられる。このように、点滅する光源を撮像した際に、合成画像の画質が低下してしまうという問題がある。
【0005】
本技術はこのような状況に鑑みて生み出されたものであり、複数の画像を合成する装置において、合成画像の画質を向上させることを目的とする。
【課題を解決するための手段】
【0006】
本技術は、上述の問題点を解消するためになされたものであり、その第1の側面は、時系列順に撮像された複数の画像のいずれかである検出対象画像の露光期間内における光源の点滅の有無を検出して検出結果を出力する検出部と、上記検出結果に基づいて上記光源の点滅がある場合には上記検出対象画像の割合が上記検出対象画像に該当しない他の画像よりも低い合成比率を生成する合成比率生成部と、上記合成比率により上記複数の画像を合成する合成部と
を具備する画像処理装置、および、画像処理方法、ならびに、当該画像処理方法をコンピュータに実行させるためのプログラムである。これにより、光源の点滅がある場合には検出対象画像の割合が検出対象画像に該当しない他の画像よりも低い合成比率により複数の画像が合成されるという作用をもたらす。
【0007】
また、この第1の側面において、上記複数の画像の間の明るさの変化の有無を判定して判定結果を出力する判定部をさらに具備し、上記合成比率生成部は、上記判定結果と上記検出結果とに基づいて上記合成比率を生成してもよい。これにより、明るさの変化の有無の判定結果と検出結果とに基づいて生成された合成比率により複数の画像が合成されるという作用をもたらす。
【0008】
また、この第1の側面において、上記合成比率生成部は、所定の合成比率を算出する合成比率算出部と、上記判定結果に基づいて上記算出された合成比率を変調する合成比率変調部と、上記検出結果に基づいて上記光源の点滅のある場合には上記検出対象画像の割合を上記他の画像よりも低くする補正を上記変調された合成比率に対して行う合成比率補正部とを備え、上記合成部は、上記補正が行われた上記合成比率により上記複数の画像を合成してもよい。これにより、補正および変調が行われた合成比率により複数の画像が合成されるという作用をもたらす。
【0009】
また、この第1の側面において、上記複数の画像のそれぞれにおいて、所定周波数より低い低周波数成分を通過させるローパスフィルタをさらに具備し、上記判定部は、上記低周波数成分に基づいて上記変化の有無を判定してもよい。これにより、低周波数成分に基づいて明るさの変化の有無が判定されるという作用をもたらす。
【0010】
また、この第1の側面において、上記合成比率補正部は、減算器により上記合成比率を補正してもよい。これにより、減算器により補正された合成比率によって複数の画像が合成されるという作用をもたらす。
【0011】
また、この第1の側面において、上記合成比率補正部は、乗算器により上記合成比率を補正してもよい。これにより、乗算器により補正された合成比率によって複数の画像が合成されるという作用をもたらす。
【0012】
また、この第1の側面において、上記複数の画像のそれぞれは、露光開始のタイミングが互いに異なる所定数のラインを含み、上記検出部は、上記ラインに沿ったエッジの有無を上記光源の点滅の有無として検出してもよい。これにより、ラインに沿ったエッジの有無が光源の点滅の有無として検出されるという作用をもたらす。
【0013】
また、この第1の側面において、上記検出部は、所定周波数より高い高周波数成分を通過させるハイパスフィルタを用いて上記エッジの有無を検出してもよい。これにより、高周波数成分に基づいてエッジの有無が検出されるという作用をもたらす。
【0014】
また、この第1の側面において、上記複数の画像は、第1画像、第2画像および第3画像を含み、上記検出部は、上記第2画像の露光期間内における上記光源の点滅の有無を検出して検出結果を前段検出結果として出力する前段検出部と、上記第3画像の露光期間内における上記光源の点滅の有無を検出して検出結果を後段検出結果として出力する後段検出部とを備え、上記合成比率生成部は、上記前段検出結果に基づいて上記光源の点滅がある場合には上記第2画像の割合が上記第1画像よりも低い合成比率を上記前段合成比率として生成する前段合成比率生成部と、上記後段検出結果に基づいて上記光源の点滅がある場合には上記第3画像の割合が上記第1画像および上記第2画像を合成した前段合成画像よりも低い合成比率を上記後段合成比率として生成する後段合成比率生成部とを備え、上記合成部は、前段合成比率により上記第1画像および上記第2画像を合成して上記前段合成画像を出力する前段合成部と、後段合成比率により上記前段合成画像および上記第3画像を合成する後段合成部とを備えてもよい。これにより、第1画像および第2画像が合成され、前段合成画像および第3画像が合成されるという作用をもたらす。
【0015】
また、この第1の側面において、上記第1画像と上記第2画像との間の明るさの変化の有無を判定して判定結果を前段判定結果として出力する前段判定部と、上記前段合成画像と上記第3画像との間の明るさの変化の有無を判定して判定結果を後段判定結果として出力する後段判定部とをさらに具備し、上記前段合成比率生成部は、上記前段判定結果と上記前段検出結果とに基づいて上記前段合成比率を生成し、上記後段合成比率生成部は、上記後段判定結果と上記後段検出結果とに基づいて上記後段合成比率を生成してもよい。これにより、前段判定結果および前段検出結果に基づいて生成された前段合成比率により第1画像および第2画像が合成され、後段判定結果および後段検出結果に基づいて生成された後段合成比率により前段合成画像および第3画像が合成されるという作用をもたらす。
【0016】
また、この第1の側面において、上記複数の画像のそれぞれの露光時間は、互いに異なってもよい。これにより、露光時間が互いに異なる複数の画像が合成されるという作用をもたらす。
【0017】
また、本技術の第2の側面は、時系列順に撮像された複数の画像を順に撮像する撮像部と上記複数の画像のいずれかである検出対象画像の露光期間内における光源の点滅の有無を検出して検出結果を出力する検出部と、上記検出結果に基づいて上記複数の画像のうち上記光源の点滅のある画像の割合が上記光源の点滅の無い画像よりも低い合成比率を生成する合成比率生成部と、上記合成比率により上記複数の画像を合成する合成部とを具備する撮像装置である。複数の画像が順に撮像され、光源の点滅がある場合には検出対象画像の割合が検出対象画像に該当しない他の画像よりも低い合成比率により、それらの複数の画像が合成されるという作用をもたらす。
【発明の効果】
【0018】
本技術によれば、複数の画像を合成する画像処理装置において、合成画像の画質を向上させることができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【0019】
図1】本技術の第1の実施の形態における撮像装置の一構成例を示すブロック図である。
図2】本技術の第1の実施の形態における固体撮像素子の一構成例を示すブロック図である。
図3】本技術の第1の実施の形態における画像処理部の一構成例を示すブロック図である。
図4】本技術の第1の実施の形態における明るさと合成比率との関係の一例を示すグラフである。
図5】本技術の第1の実施の形態における変化判定部の一構成例を示すブロック図である。
図6】本技術の第1の実施の形態における差分信号と判定結果との関係の一例を示すグラフである。
図7】本技術の第1の実施の形態におけるエッジ検出部の一構成例を示すブロック図である。
図8】本技術の第1の実施の形態におけるエッジ指数と信号レベルとの関係の一例を示すグラフである。
図9】本技術の第1の実施の形態における撮像装置の露光タイミングの一例を示すタイミングチャートである。
図10】本技術の第1の実施の形態における短時間露光中に光源が点滅する際の撮像装置の露光タイミングの一例を示すタイミングチャートである。
図11】本技術の第1の実施の形態における短時間露光中に光源が点滅する際のライン毎の輝度レベルの一例を示すグラフである。
図12】本技術の第1の実施の形態における長時間露光中に光源が点滅する際の撮像装置の露光タイミングの一例を示すタイミングチャートである。
図13】本技術の第1の実施の形態における撮像装置の動作の一例を示すフローチャートである。
図14】本技術の第1の実施の形態における合成比率演算処理の一例を示すフローチャートである。
図15】明るさの変化の判定を行わない比較例におけるHDR合成画像の一例を示す図である。
図16】エッジ検出を行わない比較例におけるHDR合成画像の一例を示す図である。
図17】本技術の第1の実施の形態におけるHDR合成画像の一例を示す図である。
図18】本技術の第1の実施の形態の第1の変形例における画像処理部の一構成例を示すブロック図である。
図19】本技術の第1の実施の形態の第1の変形例におけるエッジ指数と信号レベルとの関係の一例を示すグラフである。
図20】本技術の第1の実施の形態の第2の変形例における画像処理部の一構成例を示すブロック図である。
図21】本技術の第1の実施の形態の第2の変形例におけるエッジ検出部の一構成例を示すブロック図である。
図22】本技術の第1の実施の形態の第2の変形例における短時間露光高周波数成分のラインごとの輝度レベルの一例を示すグラフである。
図23】本技術の第2の実施の形態における固体撮像素子の一構成例を示すブロック図である。
図24】本技術の第2の実施の形態における画像処理部の一構成例を示すブロック図である。
図25】本技術の第2の実施の形態における前段合成比率演算部の一構成例を示すブロック図である。
図26】本技術の第2の実施の形態における後段合成比率演算部の一構成例を示すブロック図である。
図27】車両制御システムの概略的な構成例を示すブロック図である。
図28】撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【0020】
以下、本技術を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(露光期間内の光源の点滅の有無を検出して2枚の画像を合成する例)
2.第2の実施の形態(露光期間内の光源の点滅の有無を検出して3枚の画像を合成する例)
3.移動体への応用例
【0021】
<1.第1の実施の形態>
[撮像装置の構成例]
図1は、第1の実施の形態における撮像装置100の一構成例を示すブロック図である。この撮像装置100は、光学部110、固体撮像素子200、DSP(Digital Signal Processing)回路120、表示部130、操作部140、バス150、電源部160、記録部170およびフレームメモリ180を備える。
【0022】
光学部110は、被写体からの入射光を集光して固体撮像素子200に導くものである。光学部110は、例えば、複数のレンズ、絞り、および、シャッターなどにより構成される。
【0023】
固体撮像素子200は、入射光を光電変換して画像(画像データ)を撮像するものである。この固体撮像素子200は、撮像した画像に対して様々な画像処理を行う。この画像処理には、複数の画像を合成する合成処理が含まれる。合成処理として、例えば、露光時間が互いに異なる複数の画像を合成するHDR(High-Dynamic-Range rendering)合成処理が実行される。固体撮像素子200は、HDR合成処理後の画像をHDR合成画像として信号線209を介してDSP回路120に出力する。
【0024】
DSP回路120は、固体撮像素子200からのHDR合成画像に対して所定のデジタル信号処理を実行するものである。例えば、デモザイク処理、ホワイトバランス処理やフィルタ処理などを含む様々なデジタル信号処理が実行される。これらの処理において、DSP回路120は、必要に応じてHDR合成画像をフレームメモリ180に保持させる。そして、DSP回路120は、処理したHDR合成画像を表示部130や記録部170に出力する。
【0025】
表示部130は、HDR合成画像や操作画面などを表示するものである。操作部140は、ユーザの操作に従って操作信号を生成するものである。
【0026】
バス150は、固体撮像素子200、DSP回路120、表示部130、操作部140、電源部160、記録部170およびフレームメモリ180が互いにデータをやり取りするための共通の経路である。
【0027】
電源部160は、撮像装置100内の回路に電源を供給するものである。記録部170は、HDR合成画像を記録するものである。フレームメモリ180は、HDR合成画像(フレーム)を保持するものである。
【0028】
なお、光学部110、固体撮像素子200、DSP回路120、表示部130、操作部140、バス150、電源部160、記録部170およびフレームメモリ180を同一の装置に設けているが、これらを複数の装置に分散して設けてもよい。例えば、光学部110や固体撮像素子200を撮像装置に配置し、DSP回路120などを情報処理装置に配置してもよい。
【0029】
[固体撮像素子の構成例]
図2は、本技術の第1の実施の形態における固体撮像素子200の一構成例を示すブロック図である。この固体撮像素子200は、撮像部205、バッファ250および画像処理部300を備える。
【0030】
撮像部205は、複数の画像を順に撮像するものである。この撮像部205は、走査回路210、画素アレイ部220、タイミング制御部230およびカラム信号処理部240を備える。
【0031】
画素アレイ部220には、複数の画素が二次元格子状に配列される。以下、所定方向に配列された画素の集合を「行」または「ライン」と称し、行に垂直な方向に配列された画素の集合を「列」と称する。
【0032】
走査回路210は、行(ライン)を順に選択して露光時間に亘って露光させるものである。選択された行内の画素のそれぞれは、露光時間に応じた画素信号をカラム信号処理部240に出力する。このように、ラインを順に露光させる露光制御は、ローリングシャッター方式と呼ばれる。
【0033】
タイミング制御部230は、所定周波数(例えば、60ヘルツ)の垂直同期信号VSYNCに同期して、走査回路210およびカラム信号処理部240の動作タイミングを制御するものである。垂直同期信号VSYNCは、例えば、固体撮像素子200の外部からバス150を介して入力される。
【0034】
カラム信号処理部240は、選択された行からの画素信号のそれぞれに対して、AD(Analog to Digital)変換処理やCDS(Correlated Double Sampling)処理など所定の信号処理を実行するものである。このカラム信号処理部240は、信号処理後の画素信号からなるラインデータを生成し、バッファ250および画像処理部300に供給する。このラインデータからなる画像は、RAW画像とも呼ばれる。
【0035】
バッファ250は、所定数のラインデータを保持して遅延させるものである。このバッファ250は、遅延したラインデータのそれぞれを画像処理部300に供給する。
【0036】
画像処理部300は、ラインデータからなる画像に対して合成処理(HDR合成処理など)を含む所定の画像処理を行うものである。このHDR合成処理において、画像処理部300は、遅延前のラインデータからなる現在のRAW画像と、遅延後のラインデータからなる過去のRAW画像とを合成する。HDR合成処理では、これらの2枚の画像の露光時間は互いに異なる。以下、露光時間の長い方のRAW画像を「長時間露光画像」と称し、露光時間の短い方のRAW画像を「短時間露光画像」と称する。画像処理部300は、HDR合成処理後のHDR合成画像をDSP回路120へ出力する。
【0037】
なお、画像処理部300を固体撮像素子200内に設けているが、画像処理部300の処理の少なくとも一部を固体撮像素子200の外部(DSP回路120など)で実行する構成であってもよい。
【0038】
[画像処理部の構成例]
図3は、本技術の第1の実施の形態における画像処理部300の一構成例を示すブロック図である。この画像処理部300は、ローパスフィルタ311および312と、変化判定部320と、エッジ検出部330と、合成比率生成部340と、合成部380とを備える。
【0039】
ローパスフィルタ311は、短時間露光画像のうち、所定周波数未満の低周波数成分を通過させるものである。このローパスフィルタ311は、その低周波数成分を短時間露光低周波数成分として変化判定部320およびエッジ検出部330に供給する。
【0040】
ローパスフィルタ312は、長時間露光画像のうち、所定周波数未満の低周波数成分を通過させるものである。このローパスフィルタ312は、その低周波数成分を長時間露光低周波数成分として変化判定部320および合成比率生成部340に供給する。ローパスフィルタ311および312として、例えば、平均化フィルタやガウシアンフィルタが用いられる。
【0041】
変化判定部320は、長時間露光低周波数成分および短時間露光低周波数成分に基づいて、長時間露光画像と短時間露光画像との間の明るさの変化の有無を画素ごとに判定するものである。画素数がN(Nは、整数)である場合には、長時間露光画像および短時間露光画像からなる組のそれぞれについて、判定がN回に亘って行われる。例えば、垂直同期信号VSYNCに近い周波数(例えば、60ヘルツ)の発光制御信号に同期して周期的に点滅する光源を撮像する場合に、長時間露光画像および短時間露光画像の一方で光源が点灯し、他方で光源が消灯することがある。このときに変化判定部320は、明るさの変化があると判定する。
【0042】
一方、周期的に点滅する光源が無い場合や長時間露光画像および短時間露光画像の両方で光源が点灯または消灯する場合には、変化判定部320は、明るさの変化が無いと判定する。明るさの変化の判定結果は、例えば、明るさの変化の度合いを示す「0」乃至「1」の実数により表される。変化判定部320は、判定結果を合成比率生成部340に供給する。なお、変化判定部320は、特許請求の範囲に記載の判定部の一例である。
【0043】
エッジ検出部330は、短時間露光画像においてラインに沿ったエッジの有無の検出により、その画像の露光時間内の光源の点滅の有無を検出するものである。エッジの検出結果は、例えば、エッジの度合いを示す「0」乃至「1」の実数により表される。エッジ検出部330は、検出結果を合成比率生成部340に供給する。なお、短時間露光画像は、特許請求の範囲に記載の検出対象画像の一例であり、エッジ検出部330は、特許請求の範囲に記載の検出部の一例である。
【0044】
合成比率生成部340は、長時間露光低周波数成分と判定結果と検出結果とに基づいて、HDR合成処理における合成比率を画素ごとに生成するものである。画素数がNである場合には、長時間露光画像および短時間露光画像の組のそれぞれについて、合成比率がN回に亘って生成される。合成比率は、例えば、「0」乃至「1」の実数により表される。この合成比率生成部340は、合成比率算出部350、合成比率変調部360および合成比率補正部370を備える。
【0045】
合成比率算出部350は、ローパスフィルタ312からの長時間露光低周波数成分における画素ごとに、その画素の明るさに応じた合成比率を算出するものである。例えば、画素が明るいほど、長時間露光画像の割合の高い合成比率が算出される。合成比率算出部350は、算出した合成比率を合成比率変調部360に出力する。
【0046】
ここで、仮にローパスフィルタ312通過前の長時間露光画像(RAW画像)を合成比率算出部350がそのまま用いて合成比率を算出すると、色ごとに異なる画素位置で合成比率の変更が生じて、その影響により合成画像に偽色信号が現れるおそれがある。そこで、撮像装置100では、ローパスフィルタ312によりRAW画像から生成した低周波数成分を合成比率算出部350で用いている。これにより、偽色信号の発生を抑制することができる。また、ローパスフィルタ312によりRAW画像に存在するランダムノイズの影響を軽減することができる。
【0047】
なお、モノクロの画像データなど、偽色信号が問題とならない場合やランダムノイズが少ない場合には、ローパスフィルタ312を設けない構成とすることもできる。ローパスフィルタ311についても同様に設けない構成とすることもできる。
【0048】
合成比率変調部360は、明るさの変化の判定結果に基づいて画素ごとに合成比率を変調するものである。この合成比率変調部360は、長時間露光画像および短時間露光画像のうち、光源が点灯した画像内の画素の割合を、消灯した画像内の対応する画素よりも高くする変調を行う。これは、消灯した画像の画素の割合を高くすると、HDR合成画像において、光源の部分の輝度が不足してしまうためである。変調において、例えば、次の式に示す演算が行われる。合成比率変調部360は、変調後の合成比率を合成比率補正部370に供給する。
m1=R−B ・・・式1
上式においてRm1は、変調後の合成比率であり、Rは、変調前の合成比率である。Bは、明るさの変化の判定結果を示す値である。
【0049】
合成比率補正部370は、エッジの検出結果に基づいて画素ごとに合成比率Rm1を補正するものである。この合成比率補正部370は、短時間露光画像においてエッジ(光源の点滅)がある場合には、そのエッジのある画素の割合を長時間露光画像内の対応する画素よりも低くする補正を行う。例えば、合成比率補正部370は、補正において減算器371により次の式に示す演算を行う。合成比率補正部370は、補正後の合成比率を合成部380に供給する。
m2=Rm1−E ・・・式2
上式においてRm2は、補正後の合成比率であり、Eは、エッジの検出結果を示す値である。これにより、露光中に光源が消灯した暗い画素の合成比率を低下させて、その画素の合成により合成画像に筋状の像が生じることを防止することができる。
【0050】
合成部380は、長時間露光画像と短時間露光画像とを、合成比率生成部340からの合成比率Rm2により合成するものである。この合成部380は、例えば、次の式により、合成を行う。
HDR=P×(1−Rm2)+P×Rm2 ・・・式3
上式において、PHDRは、HDR合成画像内の画素の画素値である。Pは、長時間露光画像内の対応する画素の画素値である。Pは、短時間露光画像内の対応する画素の画素値である。
【0051】
なお、合成比率生成部340は、「0」乃至「1」の実数を合成比率Rm2として求めているが、「0」乃至「100」のパーセント表記の値を合成比率Rm2として求めてもよい。この場合には式3の右辺を「100」により除算すればよい。
【0052】
図4は、本技術の第1の実施の形態における明るさと合成比率との関係の一例を示すグラフである。同図における縦軸は、合成比率Rであり、横軸は、長時間露光低周波数成分内の画素の明るさである。
【0053】
例えば、ある画素の明るさが「0」乃至「B1」である場合には、その画素について「0」の合成比率Rが算出される。式1乃至式3より、変調および補正がない場合にはHDR合成において長時間露光画像のみが用いられる。明るさが「B1」乃至「B2」である場合には、明るさに比例した「0」乃至「1」の合成比率Rが算出される。ここで、B1は実数であり、B2は、B1よりも大きな実数である。
【0054】
また、明るさが「B2」よりも大きい場合には、「1」の合成比率Rが算出される。式1乃至式3より、変調および補正がない場合にはHDR合成において短時間露光画像のみが用いられる。
【0055】
なお、合成比率生成部340は、長時間露光低周波数成分の明るさから合成比率Rを算出しているが、この構成に限定されない。例えば、合成比率生成部340は、短時間露光低周波数成分の明るさから合成比率Rを算出してもよい。また、合成比率生成部340は、固定値を合成比率Rとして用いてもよい。固定値を用いる場合には合成比率生成部340において合成比率算出部350は不要である。
【0056】
また、明るさが「B1」乃至「B2」の場合に合成比率生成部340は、「0」乃至「1」の合成比率Rを算出しているが、この構成に限定されない。例えば、合成比率生成部340は、明るさが所定値より大きい場合に合成比率Rを「1」とし、その所定値以下の場合に「0」としてもよい。
【0057】
[変化判定部の構成例]
図5は、本技術の第1の実施の形態における変化判定部320の一構成例を示すブロック図である。この変化判定部320は、乗算器321、減算器322、信号レベル比較部323、絶対値演算部324、乗算器325、閾値判定部326および乗算器327を備える。
【0058】
乗算器321は、短時間露光低周波数成分内の画素ごとに、その画素の信号レベルに露光比Rを乗算するものである。また、露光比Rは、次の式により表される。乗算器321は、乗算結果をLsとして減算器322および信号レベル比較部323に出力する。
=T/T
上式において、Tは、長時間露光画像の露光時間である。Tは、短時間露光画像の露光時間である。
【0059】
減算器322は、長時間露光低周波数成分内の画素ごとに、その信号レベルから、対応する乗算結果Lsを減算するものである。この減算器322は、減算結果を絶対値演算部324に出力する。
【0060】
絶対値演算部324は、減算結果の絶対値を演算して乗算器325に供給するものである。乗算器325は、減算結果の絶対値に所定の正規化ゲインを乗算するものである。ここで、正規化ゲインは、入力信号に対してかかるゲイン(例えば、オートゲインコントロールにおけるゲイン、キャリブレーションゲイン、レベルバランスゲイン、露光比ゲインなど)を色別に考慮して決定される。乗算器325は、乗算後の信号を差分信号として閾値判定部326に出力する。
【0061】
閾値判定部326は、差分信号のレベルが、所定の判定閾値を超えるか否かを判定するものである。例えば、閾値判定部326は、差分信号から判定閾値を減算し、その結果を判定結果として乗算器327に出力する。
【0062】
信号レベル比較部323は、乗算結果Lsと、長時間露光低周波数成分内の対応する画素の信号レベルとを比較するものである。乗算結果Lsの方が小さい場合に信号レベル比較部323は、比較結果として「+1」を乗算器327に出力する。一方、乗算結果Lsが、対応する信号レベル以上の場合に信号レベル比較部323は、比較結果として「−1」を乗算器327に出力する。
【0063】
乗算器327は、閾値判定部326の判定結果に、比較結果(「+1」または「−1」)を乗算して、符号付きの判定結果として合成比率変調部360へ出力するものである。
【0064】
図6は、本技術の第1の実施の形態における差分信号と判定結果との関係の一例を示すグラフである。差分信号が判定閾値Dth1以下の場合には、「0」の判定結果が出力される。また、差分信号が、判定閾値Dth1より高く、上限値Dth2以下の場合には、差分信号に比例した値が判定結果として出力される。ここで、Dth1は所定の実数であり、Dth2は、Dth1より大きい実数である。また、差分信号が上限値Dth2より高い場合には、固定値の判定結果が出力される。
【0065】
なお、閾値判定部326は、差分信号が、判定閾値Dth1より高く、上限値Dth2以下の場合には、差分信号に比例した値を判定結果として出力しているが、この構成に限定されない。例えば、閾値判定部326は、差分信号が判定閾値Dth1より高い場合に固定値を判定結果として出力し、差分信号が判定閾値Dth1以下の場合に「0」の判定結果を出力してもよい。
【0066】
[エッジ検出部の構成例]
図7は、本技術の第1の実施の形態におけるエッジ検出部330の一構成例を示すブロック図である。このエッジ検出部330は、減算器331およびエッジ指数演算部332を備える。
【0067】
減算器331は、短時間露光画像内の画素毎に、その画素値から短時間露光低周波成分内の対応する画素の画素値を減算するものである。減算器331は、減算結果を短時間露光高周波数成分としてエッジ指数演算部332に出力する。
【0068】
エッジ指数演算部332は、短時間露光高周波数成分内の画素ごとに、その画素の信号レベルに応じた値をエッジの度合いを示すエッジ指数として演算するものである。このエッジ指数演算部332は、演算したエッジ指数を検出結果として合成比率補正部370に供給する。
【0069】
図8は、本技術の第1の実施の形態におけるエッジ指数と信号レベルとの関係の一例を示すグラフである。同図における縦軸は、エッジ指数を示し、横軸は、短時間露光高周波数成分内のラインの信号レベルを示す。信号レベルが検出閾値H1以下の場合には「0」のエッジ指数が出力される。また、信号レベルが検出閾値H1より高く、上限値H2以下の場合には、信号レベルに比例した「0」乃至「1」の値がエッジ指数として出力される。ここで、H1は所定の実数であり、H2は、H1より大きい実数である。また、差分信号が上限値H2より高い場合には、「1」のエッジ指数が出力される。
【0070】
なお、エッジ指数演算部332は、信号レベルが検出閾値H1より高く、上限値H2以下の場合に「0」乃至「1」の値をエッジ指数として出力しているが、この構成に限定されない。例えば、エッジ指数演算部332は、信号レベルが検出閾値H1より高い場合に「1」をエッジ指数として出力し、信号レベルが検出閾値H1以下の場合に「0」をエッジ指数として出力してもよい。
【0071】
図9は、本技術の第1の実施の形態における撮像装置100の露光タイミングの一例を示すタイミングチャートである。撮像装置100は、垂直同期信号VSYNCに同期して、長時間露光画像および短時間露光画像を時系列順に撮像する。この撮像中に、所定周波数の発光制御信号に同期して周期的に点滅する光源が撮像範囲内に存在していたものとする。発光制御信号は、例えば、矩形波である。この発光制御信号がハイレベルの期間において光源が点灯し、ローレベルの期間において消灯するものとする。
【0072】
撮像装置100は、垂直同期信号VSYNCが立ち下がったタイミングT1に長時間露光画像内の最初のラインの露光を開始し、その後のタイミングT2に、最後のラインの露光を終了する。
【0073】
そして、タイミングT2の後に垂直同期信号VSYNCが立ち下がったタイミングT3に撮像装置100は、短時間露光画像内の最初のラインの露光を開始し、その後のタイミングT4に、最後のラインの露光を終了する。
【0074】
ここで、タイミングT1乃至T2の長時間露光画像の露光期間に亘って光源が点灯し、タイミングT3乃至T4の短時間露光画像の露光期間に亘って光源が消灯したものとする。
【0075】
この際には、点灯中に撮像された長時間露光画像が比較的明るくなり、差分信号が判定閾値を超えるため、撮像装置100は、明るさの変化があると判定する。そして、撮像装置100は、点灯した際の長時間露光画像の割合を優先的に高くして合成画像を生成する。
【0076】
また、撮像装置100は、タイミングT5乃至T6において長時間露光画像を撮像し、タイミングT7乃至T8において短時間露光画像を撮像する。
【0077】
ここで、タイミングT5乃至T6の長時間露光画像の露光期間に亘って光源が消灯し、タイミングT7乃至T8の短時間露光画像の露光期間に亘って光源が点灯したものとする。
【0078】
この際には、点灯中に撮像された短時間露光画像が比較的明るくなり、差分信号が判定閾値を超えるため、撮像装置100は、明るさの変化があると判定する。そして、撮像装置100は、点灯した際の短時間露光画像の割合を優先的に高くして合成画像を生成する。
【0079】
ここで、仮に明るさの判定を行わずに合成を行うと、光源が消灯したときの暗い画像も合成されてしまうため、合成画像において、光源の部分の明るさが不足してしまう。そこで、撮像装置100は、長時間露光画像および短時間露光画像の一方で光源が点灯し、他方で消灯した場合に、点灯した際の明るい画像の割合を高くして合成を行う。これにより、合成画像において、光源の部分の明るさの不足を防止することができる。
【0080】
図10は、本技術の第1の実施の形態における短時間露光中に光源が点滅する際の撮像装置100の露光タイミングの一例を示すタイミングチャートである。垂直同期信号VSYNCが立ち下がったタイミングT11に撮像装置100は、長時間露光画像の撮像を開始し、その後のタイミングT12に短時間露光画像の撮像を開始する。そして、長時間露光の露光期間に亘って光源が点灯したものとする。
【0081】
ここで、短時間露光画像の露光開始のタイミングT12から、その露光期間中のタイミングT13までにおいて、光源が点灯し、タイミングT13以降は消灯したものとする。この場合に撮像装置100は短時間露光画像においてエッジがあることを検出する。
【0082】
図11は、本技術の第1の実施の形態における短時間露光中に光源が点滅する際のライン毎の輝度レベルの一例を示すグラフである。同図における縦軸は輝度レベルを示し、横軸はラインを示す。また、太い実線は、長時間露光低周波数成分のラインごとの輝度レベルを示す。細い実線は、短時間露光画像のラインごとの輝度レベルを示す。一点鎖線は、短時間露光低周波数成分のラインごとの輝度レベルを示す。
【0083】
長時間露光画像においては、輝度レベルの変動があまり無い。一方、図11における短時間露光低周波数成分内のラインL1乃至L3は、図10における光源が点滅したタイミングT13の前後に露光されたため、輝度レベルの勾配が大きい。
【0084】
ラインL1までのラインにおいて、長時間露光低周波数成分と、短時間露光低周波数成分に露光比を乗算した結果との差分信号は、判定閾値以下である。このため、撮像装置100は、明るさの変化が無いと判定する。変化が無いため、撮像装置100は、「0」より大きく「1」未満の値に合成比率を変調する。すなわち、短時間露光画像が合成画像に反映される。
【0085】
一方、ラインL2以降のラインにおいて差分信号は、判定閾値を超える。このため、撮像装置100は、明るさの変化があると判定する。変化があるため、撮像装置100は合成比率を「0」に変調する。すなわち、短時間露光画像は合成画像に反映されない。
【0086】
ここで、仮に、変調後の合成比率のままで撮像装置100がHDR合成を行うと、合成画像においてラインL1の部分に、実際には存在しない筋状の像(障害像)が生じるおそれがある。
【0087】
障害像が生じるのは、ラインL1において光源の消灯が始まって明るさが変化しているにも関わらず、判定閾値が適切な数値でなく、差分信号が判定閾値を超えずに変化が無いと誤って判定されたためである。この誤判定により、暗いラインL1が合成されて、合成画像において筋状の障害像が生じてしまう。判定閾値が適切な値であれば誤判定は生じないが、撮像環境により適正値が変動するため、判定閾値の調整は困難である。
【0088】
そこで、この第1の実施の形態における撮像装置100は、短時間露光画像において、ラインに沿ったエッジの有無を検出する。露光期間中に光源が点滅した際には、ローリングシャッター方式では、ラインに沿ってエッジが生じる。このため、撮像装置100は、エッジの有無の検出により、露光期間中の光源の点滅の有無を検出することができる。
【0089】
そして、エッジにおいては前述の誤判定が生じるおそれがあるため、撮像装置100は、合成比率を「0」に補正する。すなわち、エッジにおいて短時間露光画像は合成画像に反映されない。これにより、暗いラインL1が合成されなくなるため、合成画像において筋状のアーティファクトの発生を抑制することができる。
【0090】
図12は、本技術の第1の実施の形態における長時間露光中に光源が点滅する際の撮像装置100の露光タイミングの一例を示すタイミングチャートである。
【0091】
垂直同期信号VSYNCが立ち下がったタイミングT21に撮像装置100は、長時間露光画像の撮像を開始し、その後のタイミングT23に短時間露光画像の撮像を開始する。そして、短時間露光の露光期間に亘って光源が点灯したものとする。
【0092】
ここで、長時間露光画像の露光開始のタイミングT21から、その露光期間中のタイミングT22までにおいて、光源が消灯し、タイミングT22以降は点灯したものとする。
【0093】
このように、長時間露光中に光源が点滅することも想定されるが、長時間露光中に光源が点滅しても、露光期間が長いためにライン間で明暗がはっきりするケースは少なく、点滅の生じた部分は、エッジで無くグラデーションのような像となる。また、エッジが発生したとしても、長時間露光低周波数成分には露光比を乗算しないため、誤差が生じにくく、明るさの変化の誤判定は発生しにくい。これらの理由により、長時間露光中の光源の点滅については、対策をとる必要性に乏しい。したがって撮像装置100では、長時間露光低周波数成分においてエッジを検出していない。
【0094】
なお、長時間露光中の光源の点滅による障害像が問題となる場合は、撮像装置100が、短時間露光低周波数成分に加えて、長時間露光低周波数成分においてもエッジを検出する構成としてもよい。
【0095】
[撮像装置の動作例]
図13は、本技術の第1の実施の形態における撮像装置100の動作の一例を示すフローチャートである。この動作は、例えば、HDR合成画像を撮像するための所定のアプリケーションが実行されたときに開始される。
【0096】
撮像装置100は、まず、長時間露光画像を撮像し(ステップS901)、次に短時間露光画像を撮像する(ステップS902)。また、撮像装置100は、合成比率を演算するための合成比率演算処理を実行する(ステップS910)。そして、撮像装置100は、演算した合成比率によりHDR合成を行う(ステップS903)。ステップS903の後に撮像装置100は、動作を終了する。複数のHDR画像を含む動画を撮像する場合には、ステップS901乃至S903の処理が繰り返し実行される。
【0097】
なお、撮像装置100は、最初に長時間露光画像を撮像し、次に短時間露光画像を撮像しているが、逆に短時間露光画像、長時間露光画像の順で撮像してもよい。
【0098】
図14は、本技術の第1の実施の形態における合成比率演算処理の一例を示すフローチャートである。撮像装置100内の画像処理部300は、長時間露光画像から長時間露光低周波数成分を抽出し(ステップS911)、その成分から合成比率Rを算出する(ステップS912)。
【0099】
また、画像処理部300は、短時間露光画像から短時間露光低周波数成分を抽出する(ステップS913)。そして、画像処理部300は、長時間露光低周波数成分と、短時間露光低周波数成分とに基づいて明るさの変化の有無を判定し(ステップS914)、判定結果に基づいて合成比率Rを変調する(ステップS915)。
【0100】
次いで画像処理部300は、短時間露光低周波数成分においてラインに沿ったエッジを検出し(ステップS916)、検出結果に基づいて変調後の合成比率Rm1を補正する(ステップS917)。ステップS917の後に、画像処理部300は、合成比率演算処理を終了する。
【0101】
図15は、明るさの変化の判定を行わない比較例におけるHDR合成画像510の一例を示す図である。このHDR合成画像510には、LEDなどを用いる看板511を含む。この看板511内の点滅部512および513は、周期的に点滅している。
【0102】
このような撮像環境において、撮像装置100が明るさの変化の判定を行わない場合には、合成対象の2枚の画像の一方のみで点滅部512および513が消灯した際に、その消灯した画像も合成されてしまうおそれがある。この結果、HDR合成画像510において点滅部512および513の明るさが不足し、黒くつぶれてしまう。一方、これらの光源以外の部分は、HDR合成により、ダイナミックレンジを拡大することができる。
【0103】
図16は、明るさの変化の判定を行うが、エッジ検出を行わない比較例におけるHDR合成画像520の一例を示す図である。このHDR合成画像520には、LEDなどを用いる看板521を含む。この看板521内の点滅部522および523は、周期的に点滅している。明るさの変化の判定により、合成対象の2枚の画像の一方のみで点滅部522および523が消灯しても、点灯した方の画像が優先的に合成されるため、点滅部522および523の明るさの不足を解消することができる。
【0104】
しかしながら、エッジの検出を行わない場合には、露光期間中に点滅部522および523が消灯した際に、ライン方向に沿った筋状のアーティファクト524が生じてしまう。これは、撮像装置100が、消灯したラインにおいて、明るさの変化が無いと誤判定して、その消灯した暗いラインを合成してしまうためである。
【0105】
図17は、本技術の第1の実施の形態におけるHDR合成画像530の一例を示す図である。このHDR合成画像530には、LEDなどを用いる看板531を含む。この看板531内の点滅部532および533は、周期的に点滅している。
【0106】
明るさの変化の判定により、合成対象の2枚の画像の一方のみで点滅部532および533が消灯しても、点灯した方の画像が優先的に合成されるため、点滅部532および533の明るさの不足を解消することができる。
【0107】
さらに、エッジの検出により、短時間露光画像の露光中に点滅部532および533が点滅しても、長時間露光画像が優先して合成されるため、筋状の障害像(アーティファクト)の発生を抑制することができる。
【0108】
このように、本技術の第1の実施の形態によれば、短時間露光画像の露光中における光源の点滅がある場合には、その画像の割合が比較的低い合成比率を画像処理部300が生成するため、点滅があった画像の合成による障害像の発生を抑制することができる。これにより、HDR合成画像の画質を向上させることができる。
【0109】
[第1の変形例]
上述の第1の実施の形態では、合成比率補正部370は、減算器371により合成比率を補正していたが、減算器の代わりに乗算器により補正することもできる。この第1の実施の形態の第1の変形例では、合成比率補正部370が、乗算器により合成比率を補正する点において第1の実施の形態と異なる。
【0110】
図18は、本技術の第1の実施の形態の第1の変形例における画像処理部300の一構成例を示すブロック図である。この第1の実施の形態の第1の変形例の画像処理部300は、減算器371の代わりに乗算器372を備える点において第1の実施の形態と異なる。合成比率補正部370は、乗算器372により式2の代わりに次の式に示す演算を行う。
m2=Rm1×E
上式により、第1の実施の形態のように検出結果Eの減算を行うと補正後の合成比率Rm2が零以下になる場合であっても、零より大きなRm2を得ることができる。例えば、補正前の合成比率Rm1が0.5で、エッジの検出結果Eも0.5の場合に、減算を行うと補正後の合成比率Rm2が零になるが、乗算では0.25となり、短時間露光画像を合成画像にある程度、反映させることができる。
【0111】
図19は、本技術の第1の実施の形態の第1の変形例におけるエッジ指数と信号レベルとの関係の一例を示すグラフである。同図における縦軸は、エッジ指数を示し、横軸は、短時間露光画像高周波数成分内のラインの信号レベルを示す。信号レベルが検出閾値H1以下の場合には「1」のエッジ指数が出力される。また、信号レベルが検出閾値H1より高く、上限値H2以下の場合には、信号レベルに反比例した値がエッジ指数として出力される。また、差分信号が上限値H2より高い場合には、「0」のエッジ指数が出力される。
【0112】
このように本技術の第1の実施の形態の第1の変形例では、合成比率補正部370は、乗算器372により合成比率を補正するため、乗算により、短時間露光画像の割合を低くする補正を行うことができる。
【0113】
[第2の変形例]
上述の第1の実施の形態では、エッジ検出部330は、ローパスフィルタを通過した短時間露光低周波数成分と、通過前の短時間露光画像との差分演算により短時間露光高周波数成分を生成していた。しかし、エッジ検出部330は、ハイパスフィルタにより短時間露光高周波数成分を生成することもできる。この第1の実施の形態の第2の変形例のエッジ検出部は、ハイパスフィルタにより短時間露光高周波数成分を生成する点において第1の実施の形態と異なる。
【0114】
図20は、本技術の第1の実施の形態の第2の変形例における画像処理部300の一構成例を示すブロック図である。この第1の実施の形態の第2の変形例の画像処理部300は、エッジ検出部330の代わりにエッジ検出部335を備える点において第1の実施の形態と異なる。また、ローパスフィルタ311は、短時間露光低周波数成分を変化判定部320へのみ出力し、エッジ検出部335へは出力しない。
【0115】
図21は、本技術の第1の実施の形態の第2の変形例におけるエッジ検出部335の一構成例を示すブロック図である。この第1の実施の形態の第2の変形例のエッジ検出部335は、ハイパスフィルタ336およびエッジ指数演算部332を備える。
【0116】
ハイパスフィルタ336は、短時間露光画像のうち、所定周波数より高い高周波数成分を短時間露光高周波数成分として通過させるものである。このハイパスフィルタ336は、短時間露光高周波数成分をエッジ指数演算部332に出力する。ハイパスフィルタ336として、例えば、ラプラシアンフィルタが用いられる。
【0117】
図22は、本技術の第1の実施の形態の第2の変形例における短時間露光高周波数成分のライン毎の輝度レベルの一例を示すグラフである。同図における縦軸は、輝度レベルを示し、横軸は、短時間露光高周波数成分におけるラインを示す。同図に例示するように、エッジの部分で、短時間露光高周波数成分の輝度レベルの符号が反転する。この場合には、例えば、正負のうち、負の輝度レベルに着目し、後段のエッジ指数演算部332は、その絶対値が大きいほど大きなエッジ指数を出力する。
【0118】
なお、第1の実施の形態の第2の変形例に、第1の変形例を適用することもできる。この場合にエッジ指数演算部332は、負の輝度レベルについて、その絶対値が大きいほど小さなエッジ指数を出力すればよい。
【0119】
このように、本技術の第1の実施の形態の第2の変形例では、エッジ検出部335は、ハイパスフィルタ336により高周波数成分を生成するため、ローパスフィルタ通過前後の信号の差分を求める減算器331を用いずにエッジを検出することができる。
【0120】
<2.第2の実施の形態>
上述の第1の実施の形態では、画像処理部300は、2枚の画像を合成していたが、合成枚数が2枚では、HDR合成画像の画質の向上が困難になるおそれがある。例えば、ダイナミックレンジをさらに拡大するために露光比を大きくすると、白飛びや黒つぶれなどが生じやすくなってしまう。一般に合成枚数を増加させると、階調表現が豊かになり、ノイズも低減して画質が向上する。この第2の実施の形態の画像処理部300は、合成枚数を増加した点において第1の実施の形態と異なる。
【0121】
図23は、本技術の第2の実施の形態における固体撮像素子200の一構成例を示すブロック図である。この第2の実施の形態の固体撮像素子200は、バッファ260をさらに備える点において第1の実施の形態と異なる。
【0122】
バッファ260は、所定数のラインデータを保持して遅延させるものである。このバッファ260は、遅延したラインデータのそれぞれを画像処理部300に供給する。
【0123】
また、第2の実施の形態のバッファ250は、遅延したラインデータのそれぞれをバッファ260および画像処理部300に供給する。撮像部205は、露光期間の異なる3枚の画像を順に撮像する。以下、3枚のうち露光時間の最も長い画像を「長時間露光画像」と称し、露光時間が2番目に長い画像を「中時間露光画像」と称し、露光時間の最も短い画像を「短時間露光画像」と称する。なお、長時間露光画像は、特許請求の範囲に記載の第1画像の一例である。中時間露光画像は、特許請求の範囲に記載の第2画像の一例である。短時間露光画像は、特許請求の範囲に記載の第3画像の一例である。
【0124】
図24は、本技術の第2の実施の形態における画像処理部300の一構成例を示すブロック図である。この第2の実施の形態の画像処理部300は、ローパスフィルタ311、312および313と、後段合成比率演算部410と、前段合成比率演算部420と、前段合成部430と、後段合成部440とを備える。
【0125】
ローパスフィルタ311は、短時間露光画像のうち、所定周波数未満の低周波数成分を通過させるものである。このローパスフィルタ311は、その低周波数成分を短時間露光低周波数成分として後段合成比率演算部410に供給する。
【0126】
ローパスフィルタ312は、中時間露光画像のうち、所定周波数未満の低周波数成分を通過させるものである。このローパスフィルタ312は、その低周波数成分を中時間露光低周波数成分として前段合成比率演算部420に供給する。
【0127】
ローパスフィルタ313は、長時間露光画像のうち、所定周波数未満の低周波数成分を通過させるものである。このローパスフィルタ313は、その低周波数成分を長時間露光低周波数成分として前段合成比率演算部420に供給する。
【0128】
前段合成比率演算部420は、中時間露光画像、中時間露光低周波数成分および長時間露光低周波数成分に基づいて前段合成比率Raを演算するものである。この前段合成比率演算部420は、演算した前段合成比率Raを前段合成部430に供給する。また、前段合成比率演算部420は、中時間露光低周波数成分および長時間露光低周波数成分を合成して前段合成画像低周波数成分として後段合成比率演算部410に供給する。
【0129】
後段合成比率演算部410は、短時間露光画像、短時間露光低周波数成分および前段合成画像低周波数成分に基づいて後段合成比率Rbを演算するものである。この後段合成比率演算部410は、演算した後段合成比率Rbを後段合成部440に供給する。
【0130】
前段合成部430は、長時間露光画像および中時間露光画像を前段合成比率Raにより合成するものである。この前段合成部430は、合成した画像を前段合成画像として後段合成部440に供給する。
【0131】
後段合成部440は、前段合成画像および短時間露光画像を後段合成比率Rbにより合成するものである。この前段合成部440は、合成した画像をHDR合成画像としてDSP回路120へ出力する。
【0132】
なお、画像処理部300は、3枚の画像を合成しているが、合成枚数は3枚に限定されず、4枚以上の画像を合成してもよい。4枚以上を合成する場合には、後段合成比率演算部410および後段合成部440と同様の構成の回路やプログラムが枚数に応じて追加される。
【0133】
図25は、本技術の第2の実施の形態における前段合成比率演算部420の一構成例を示すブロック図である。この前段合成比率演算部420は、前段変化判定部421、前段エッジ検出部422、前段合成比率生成部423および前段低周波数成分合成部427を備える。前段合成比率生成部423は、前段合成比率算出部424、前段合成比率変調部425および前段合成比率補正部426を備える。
【0134】
前段変化判定部421は、長時間露光低周波数成分と中時間露光低周波数成分に基づいて、長時間露光画像と中時間露光画像との間の明るさの変化の有無をラインごとに判定するものである。この前段変化判定部421は、判定結果を前段合成比率変調部425に供給する。なお、前段変化判定部421は、特許請求の範囲に記載の前段判定部の一例である。
【0135】
前段エッジ検出部422は、中時間露光画像および中時間露光低周波数成分に基づいて、中時間露光画像においてラインに沿ったエッジの有無を検出するものである。この前段エッジ検出部422は、検出結果を前段合成比率補正部426に供給する。なお、前段エッジ検出部422は、特許請求の範囲に記載の前段検出部の一例である。
【0136】
前段合成比率算出部424は、長時間露光低周波数成分における画素ごとに、その画素の明るさに応じた合成比率を算出するものである。この前段合成比率算出部424は、算出した合成比率を前段合成比率変調部425に出力する。
【0137】
前段合成比率変調部425は、明るさの変化の判定結果に基づいて画素ごとに合成比率を変調するものである。この前段合成比率変調部425は、変調後の合成比率を前段合成比率補正部426に供給する。
【0138】
前段合成比率補正部426は、エッジの検出結果に基づいて画素ごとに合成比率を補正するものである。この前段合成比率補正部426は、補正後の合成比率を前段合成比率Raとして前段低周波数成分合成部427および前段合成部430に供給する。
【0139】
前段低周波数成分合成部427は、前段合成比率Raにより中時間露光低周波数成分および長時間露光低周波数成分を合成して前段合成画像低周波数成分として後段合成比率演算部410に供給するものである。
【0140】
図26は、本技術の第2の実施の形態における後段合成比率演算部410の一構成例を示すブロック図である。この後段合成比率演算部410は、後段変化判定部411、後段エッジ検出部412および後段合成比率生成部413を備える。後段合成比率生成部413は、後段合成比率算出部414、後段合成比率変調部415および後段合成比率補正部416を備える。
【0141】
後段変化判定部411は、短時間露光低周波数成分および前段合成画像低周波数成分に基づいて、短時間露光画像と前段合成画像との間の明るさの変化の有無を画素ごとに判定するものである。この後段変化判定部411は、判定結果を後段合成比率変調部415に供給する。なお、後段変化判定部411は、特許請求の範囲に記載の後段判定部の一例である。
【0142】
後段エッジ検出部412は、短時間露光画像と短時間露光低周波数成分に基づいて、短時間露光画像においてラインに沿ったエッジの有無を検出するものである。この後段エッジ検出部412は、検出結果を後段合成比率補正部416に供給する。なお、後段エッジ検出部412は、特許請求の範囲に記載の後段検出部の一例である。
【0143】
後段合成比率算出部414は、前段合成画像低周波数成分における画素ごとに、その画素の明るさに応じた合成比率を算出するものである。この後段合成比率算出部414は、算出した合成比率を後段合成比率変調部415に出力する。
【0144】
後段合成比率変調部415は、明るさの変化の判定結果に基づいて画素ごとに合成比率を変調するものである。この後段合成比率変調部415は、変調後の合成比率を後段合成比率補正部416に供給する。
【0145】
後段合成比率補正部416は、エッジの検出結果に基づいて画素ごとに合成比率を補正するものである。この後段合成比率補正部416は、補正後の合成比率を後段合成比率Rbとして後段合成部440に供給する。
【0146】
このように、本技術の第2の実施の形態では、露光期間の異なる3枚の画像を合成するため、2枚を合成する場合と比較してHDR合成画像の画質を向上させることができる。
【0147】
<3.移動体への応用例>
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【0148】
図27は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【0149】
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図27に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
【0150】
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【0151】
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【0152】
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【0153】
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【0154】
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【0155】
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
【0156】
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0157】
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【0158】
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図27の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【0159】
図28は、撮像部12031の設置位置の例を示す図である。
【0160】
図28では、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
【0161】
撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【0162】
なお、図28には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
【0163】
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【0164】
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0165】
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【0166】
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
【0167】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部12031に適用され得る。具体的には、図2の固体撮像素子200は、図27の撮像部12031に適用することができる。撮像部12031に本開示に係る技術を適用することにより、より見やすい撮影画像を得ることができるため、ドライバの疲労を軽減することが可能になる。
【0168】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【0169】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disc)、メモリカード、ブルーレイディスク(Blu-ray(登録商標)Disc)等を用いることができる。
【0170】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【0171】
なお、本技術は以下のような構成もとることができる。
(1)時系列順に撮像された複数の画像のいずれかである検出対象画像の露光期間内における光源の点滅の有無を検出して検出結果を出力する検出部と、
前記検出結果に基づいて前記光源の点滅がある場合には前記検出対象画像の割合が前記検出対象画像に該当しない他の画像よりも低い合成比率を生成する合成比率生成部と、
前記合成比率により前記複数の画像を合成する合成部と
を具備する画像処理装置。
(2)前記複数の画像の間の明るさの変化の有無を判定して判定結果を出力する判定部をさらに具備し、
前記合成比率生成部は、前記判定結果と前記検出結果とに基づいて前記合成比率を生成する前記(1)記載の画像処理装置。
(3)前記合成比率生成部は、
所定の合成比率を算出する合成比率算出部と、
前記判定結果に基づいて前記算出された合成比率を変調する合成比率変調部と、
前記検出結果に基づいて前記光源の点滅のある場合には前記検出対象画像の割合を前記他の画像よりも低くする補正を前記変調された合成比率に対して行う合成比率補正部と
を備え、
前記合成部は、前記補正が行われた前記合成比率により前記複数の画像を合成する
前記(2)記載の画像処理装置。
(4)前記複数の画像のそれぞれにおいて、所定周波数より低い低周波数成分を通過させるローパスフィルタをさらに具備し、
前記判定部は、前記低周波数成分に基づいて前記変化の有無を判定する
前記(3)記載の画像処理装置。
(5)前記合成比率補正部は、減算器により前記合成比率を補正する
前記(3)または(4)に記載の画像処理装置。
(6)前記合成比率補正部は、乗算器により前記合成比率を補正する
前記(3)または(4)に記載の画像処理装置。
(7)前記複数の画像のそれぞれは、露光開始のタイミングが互いに異なる所定数のラインを含み、
前記検出部は、前記ラインに沿ったエッジの有無を前記光源の点滅の有無として検出する前記(1)から(6)のいずれかに記載の画像処理装置。
(8)前記検出部は、所定周波数より高い高周波数成分を通過させるハイパスフィルタを用いて前記エッジの有無を検出する前記(7)記載の画像処理装置。
(9)前記複数の画像は、第1画像、第2画像および第3画像を含み、
前記検出部は、
前記第2画像の露光期間内における前記光源の点滅の有無を検出して検出結果を前段検出結果として出力する前段検出部と、
前記第3画像の露光期間内における前記光源の点滅の有無を検出して検出結果を後段検出結果として出力する後段検出部と
を備え、
前記合成比率生成部は、
前記前段検出結果に基づいて前記光源の点滅がある場合には前記第2画像の割合が前記第1画像よりも低い合成比率を前記前段合成比率として生成する前段合成比率生成部と、
前記後段検出結果に基づいて前記光源の点滅がある場合には前記第3画像の割合が前記第1画像および前記第2画像を合成した前段合成画像よりも低い合成比率を前記後段合成比率として生成する後段合成比率生成部と
を備え、
前記合成部は、
前段合成比率により前記第1画像および前記第2画像を合成して前記前段合成画像を出力する前段合成部と、
後段合成比率により前記前段合成画像および前記第3画像を合成する後段合成部と
を備える前記(1)から(8)のいずれかに記載の画像処理装置。
(10)前記第1画像と前記第2画像との間の明るさの変化の有無を判定して判定結果を前段判定結果として出力する前段判定部と、
前記前段合成画像と前記第3画像との間の明るさの変化の有無を判定して判定結果を後段判定結果として出力する後段判定部と
をさらに具備し、
前記前段合成比率生成部は、前記前段判定結果と前記前段検出結果とに基づいて前記前段合成比率を生成し、
前記後段合成比率生成部は、前記後段判定結果と前記後段検出結果とに基づいて前記後段合成比率を生成する前記(9)記載の画像処理装置。
(11)前記複数の画像のそれぞれの露光時間は、互いに異なる
前記(1)から(10)のいずれかに記載の画像処理装置。
(12)時系列順に撮像された複数の画像を順に撮像する撮像部と
前記複数の画像のいずれかである検出対象画像の露光期間内における光源の点滅の有無を検出して検出結果を出力する検出部と、
前記検出結果に基づいて前記複数の画像のうち前記光源の点滅のある画像の割合が前記光源の点滅の無い画像よりも低い合成比率を生成する合成比率生成部と、
前記合成比率により前記複数の画像を合成する合成部と
を具備する撮像装置。
(13)時系列順に撮像された複数の画像のいずれかである検出対象画像の露光期間内における光源の点滅の有無を検出して検出結果を出力する検出手順と、
前記検出結果に基づいて前記光源の点滅がある場合には前記検出対象画像の割合が前記検出対象画像に該当しない他の画像よりも低い合成比率を生成する合成比率生成手順と、
前記合成比率により前記複数の画像を合成する合成手順と
を具備する画像処理方法。
(14)時系列順に撮像された複数の画像のいずれかである検出対象画像の露光期間内における光源の点滅の有無を検出して検出結果を出力する検出手順と、
前記検出結果に基づいて前記光源の点滅がある場合には前記検出対象画像の割合が前記検出対象画像に該当しない他の画像よりも低い合成比率を生成する合成比率生成手順と、
前記合成比率により前記複数の画像を合成する合成手順と
をコンピュータに実行させるためのプログラム。
【符号の説明】
【0172】
100 撮像装置
110 光学部
120 DSP回路
130 表示部
140 操作部
150 バス
160 電源部
170 記録部
180 フレームメモリ
200 固体撮像素子
205 撮像部
210 走査回路
220 画素アレイ部
230 タイミング制御部
240 カラム信号処理部
250、260 バッファ
300 画像処理部
311、312、313 ローパスフィルタ
320 変化判定部
321、325、327、372 乗算器
322、331、371 減算器
323 信号レベル比較部
324 絶対値演算部
326 閾値判定部
330、335 エッジ検出部
332 エッジ指数演算部
336 ハイパスフィルタ
340 合成比率生成部
350 合成比率算出部
360 合成比率変調部
370 合成比率補正部
380 合成部
410 後段合成比率演算部
411 後段変化判定部
412 後段エッジ検出部
413 後段合成比率生成部
414 後段合成比率算出部
415 後段合成比率変調部
416 後段合成比率補正部
420 前段合成比率演算部
421 前段変化判定部
422 前段エッジ検出部
423 前段合成比率生成部
424 前段合成比率算出部
425 前段合成比率変調部
426 前段合成比率補正部
427 前段低周波数成分合成部
430 前段合成部
440 後段合成部
12031 撮像部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28