特許 7237164 撮像装置、撮像方法、および映像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-02

(45)【発行日】2023-03-10

(54)【発明の名称】撮像装置、撮像方法、および映像処理プログラム

(51)【国際特許分類】

   H04N 23/745 20230101AFI20230303BHJP

   H04N 23/45 20230101ALI20230303BHJP

   H04N 23/60 20230101ALI20230303BHJP

【ＦＩ】

H04N23/745

H04N23/45

H04N23/60 500

H04N23/60

【請求項の数】 7

(21)【出願番号】P 2021541817

(86)(22)【出願日】2019-08-26

(86)【国際出願番号】 JP2019033349

(87)【国際公開番号】W WO2021038692

(87)【国際公開日】2021-03-04

【審査請求日】2022-01-18

(73)【特許権者】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(74)【代理人】

【識別番号】110000062

【氏名又は名称】弁理士法人第一国際特許事務所

(72)【発明者】

【氏名】澁谷 拓洋

【審査官】大西 宏

(56)【参考文献】

【文献】特開平１０－０９３８６６（ＪＰ，Ａ）

【文献】特開２０００－２２８７７５（ＪＰ，Ａ）

【文献】特開２００７－０６７７３６（ＪＰ，Ａ）

【文献】特開２０１３－０５１５２３（ＪＰ，Ａ）

【文献】特開２０１５－０９２６６０（ＪＰ，Ａ）

【文献】特開２０１５－２０７９４３（ＪＰ，Ａ）

【文献】特開２０１８－０６４２５７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／７４５

Ｈ０４Ｎ ２３／４５

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

被写体の光束を、赤成分、青成分、および２つの緑成分を含む各色成分に分けて複数の被写体像を得る光学系と、
複数の前記被写体像をそれぞれ受光して各色成分の映像信号を生成する複数の撮像素子と、
少なくとも２つの前記撮像素子の間で露光開始タイミングを所定の遅延時間ずらして撮像を行うことが可能な駆動部と、
前記露光開始タイミングのずれた前記撮像素子の間で、略同一の像位置で生成される映像信号のレベル相違を画素単位または画素ブロック単位に検出し、前記レベル相違に基づいて、撮像画像内に発生したフリッカエリアを領域検出する信号比較部と、
前記領域検出されたフリッカエリアを補正する信号補正部と
を備え、
前記駆動部は、緑成分を受光する前記少なくとも２つの前記撮像素子の一つとそれ以外の前記撮像素子との間で前記露光開始タイミングを前記所定の遅延時間ずらし、
前記信号比較部は、緑成分の２つの前記映像信号の間で前記レベル相違を検出し、緑成分の前記レベル相違の正負と、各色成分の前記撮像素子における露光開始タイミングの関係とに基づいて、各色成分の映像信号の内から前記フリッカエリアが発生している映像信号を選定し、
前記信号補正部は、前記選定された映像信号の前記フリッカエリアを補正する
ことを特徴とする撮像装置。

【請求項2】

請求項１に記載の撮像装置であって、
前記露光開始タイミングのずれた複数の前記撮像素子からそれぞれ出力される映像信号の少なくとも一方を遅延させて、複数の映像信号の間のフレーム期間のズレを低減する信号遅延部を備え、
前記信号比較部は、前記フレーム期間のズレを低減した複数の映像信号について前記レベル相違を検出する
ことを特徴とする撮像装置。

【請求項3】

請求項１または２に記載の撮像装置であって、
複数の前記撮像素子は、フレーム期間に非露光期間が生じるグローバルシャッタ方式で撮像する素子であり、
前記駆動部は、複数の前記撮像素子の撮像画像間で、フリッカエリアが同一エリアに発生しないように、前記遅延時間をコントロールする
ことを特徴とする撮像装置。

【請求項4】

請求項１または２に記載の撮像装置であって、
複数の前記撮像素子は、ローリングシャッタ方式で撮像する素子であり、
前記駆動部は、複数の前記撮像素子の撮像画像間で、帯状のフリッカエリアが同一ラインに発生しないように、前記遅延時間をコントロールする
ことを特徴とする撮像装置。

【請求項5】

請求項１～４のいずれか一項に記載の撮像装置であって、
緑成分をそれぞれ受光する前記少なくとも２つの前記撮像素子は、撮像位置に画素配列の位相をずらして配置され、
緑成分の２つの映像信号に基づいて超解像成分を演算し、映像信号の解像度を向上させる映像合成部を備えた
ことを特徴とする撮像装置。

【請求項6】

被写体の光束を複数に分けて複数の被写体像を得る光学系と、
複数の前記被写体像をそれぞれ受光する複数の撮像素子と、
を備えた撮像装置の撮像方法であって、
少なくとも２つの前記撮像素子の間で露光開始タイミングを所定の遅延時間ずらして撮像を行う駆動ステップと、
前記露光開始タイミングのずれた前記撮像素子の間で、略同一の像位置で生成される映像信号のレベル相違を画素単位または画素ブロック単位に検出し、前記レベル相違に基づいて、撮像画像内に発生したフリッカエリアを領域検出する信号比較ステップと、
前記領域検出されたフリッカエリアを補正する信号補正ステップと
を有し、
前記駆動ステップは、緑成分を受光する前記少なくとも２つの前記撮像素子の一つとそれ以外の前記撮像素子との間で露光開始タイミングを前記所定の遅延時間ずらして撮像を行い、
前記信号比較ステップは、緑成分の２つの前記映像信号の間で前記レベル相違を検出し、緑成分の前記レベル相違の正負と、各色成分の前記撮像素子における露光開始タイミングの関係とに基づいて、各色成分の映像信号の内から前記フリッカエリアが発生している映像信号を選定し、
前記信号補正ステップは、前記選定された映像信号の前記フリッカエリアを補正する
ことを特徴とする撮像方法。

【請求項7】

露光開始タイミングのずれた複数の映像信号を映像処理するコンピュータシステムを、請求項１～５のいずれか一項に記載の前記信号比較部、および前記信号補正部として機能させる
ことを特徴とする映像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置、撮像方法、および映像処理プログラムに関する。

【背景技術】

【0002】

近年、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子の性能向上により、ＣＣＤ（Charge Coupled Device）撮像素子が主流であった放送カメラなどの業務用撮像装置においても、ＣＭＯＳ撮像素子の採用が増えている。

【0003】

ＣＭＯＳ撮像素子は、主走査方向の水平ライン（以下「ライン」という）ごとに露光するローリングシャッタ方式のものと、フレーム単位に一括露光するグローバルシャッタ方式のものとがある。

【0004】

また、ＣＭＯＳ撮像素子は、１フレーム期間の全てを露光できず、１フレーム期間中に「非露光期間」が存在するものが多い。

【0005】

ところで、映像表示装置であるモニタやプロジェクタは、表示する画像に合わせて表示素子のスイッチマトリクスを組み替えた後にバックライトを発光する動作を繰り返して所定の映像を表示または投影している。

【0006】

一般に、この種の表示装置は、テレビジョン規格のフレーム周波数またはその逓倍周波数で点滅発光する。

【0007】

この場合、表示装置の発光期間が、撮像素子の非露光期間とタイミングが一致した瞬間に、表示装置の発光の一部または全部が露光されずに暗くなり、撮像画像に輝度ムラが生じる。
この輝度ムラは、一種のフリッカであり、グローバルシャッタ方式の撮像素子の場合は撮像画像すなわち１フレームを単位に発生する。また、ローリングシャッタ方式の撮像素子の場合は帯状すなわち複数ラインを単位に発生する。

【0008】

さらに、多くの場合、バックライトの発光周波数と撮像素子のフレーム周波数は完全には一致しない。そのため、バックライトの発光期間と撮像素子の非露光期間は僅かずつずれながら、一定の長周期を経て再びタイミングが重なる。

【0009】

これにより、グローバルシャッタ方式の撮像素子の場合、一定の長周期ごとに瞬間的に暗転するタイプのフリッカが発生する。

【0010】

また、ローリングシャッタ方式の撮像素子の場合、一定の長周期をかけて撮像画像内を帯状の輝度ムラが副走査方向に移動するタイプのフリッカが発生する。

【0011】

従来、フリッカを検出して補正する方法として、特許文献１には『映像信号の前後フレームのフレーム間差に基づいてフリッカを検出し補正する』旨の技術が開示されている。

【先行技術文献】

【特許文献】

【0012】

【文献】特表２００９－５２２９４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0013】

前述したフリッカを発生させないためには、撮像素子の非露光期間を無くすことが考えられる。すなわち１フレーム期間のほぼ全てを露光するということであり、ＣＣＤ撮像素子であれば可能である。しかしながら、ＣＭＯＳ撮像素子は、その構造原理上から非露光期間を無くすことができない場合が多い。

【0014】

また、特許文献１のように、前後フレームのフレーム間差に基づいてフリッカを検出する手段では、前後フレームの間に１フレーム期間に相当する時間間隔が存在する。そのため、１フレーム期間相当の時間間隔の間に被写体それ自体が明暗変化したり、被写体の帯状の模様が移動したりした場合、被写体それ自体の変化を誤ってフリッカとして検出してしまうという問題があった。

【0015】

さらに、バックライトの発光周波数と撮像素子のフレーム周波数が一致すると、バックライトの発光期間と撮像素子の非露光期間（または露光期間）が常に一致する。この場合、グローバルシャッタ方式の撮像素子では、被写体の実際の見た目とは異なり、撮像画像内の被写体が暗くなったまま（または明るくなったまま）になる。この状態でフレーム間差は検出されないため、特許文献１の技術ではフリッカを検出できない。また、ローリングシャッタ方式の撮像素子では、帯状のフリッカが撮像画像の一定位置に停止する。この場合も、フレーム間差は検出されないため、特許文献１の技術ではフリッカを検出できない。

【0016】

なお、発光周波数とフレーム周波数が一致することを避ける方策として、特許文献１には、撮像装置のフレーム周波数（フレームレート）を変化させる方法が開示されている。
しかしながら、フレーム周波数が外部機器と同期する場合や、放送カメラのように規格上においてフレーム周波数（フレームレート）が固定されている場合は、フレームレートを変化させる方策は採用できない。

【0017】

そこで、本発明は、フレーム周波数に拘わらず、フリッカの発生を検出する技術を提供することを目的とする。

【課題を解決するための手段】

【0018】

上記課題を解決するために、代表的な本発明の撮像装置の一つは、光学系、複数の撮像素子、駆動部、信号比較部、および信号補正部を備える。前記光学系は、被写体の光束を複数に分けて複数の被写体像を得る。複数の前記撮像素子は、複数の前記被写体像をそれぞれ受光する。前記駆動部は、少なくとも２つの前記撮像素子の間で露光開始タイミングを所定の遅延時間ずらして撮像を行う。前記信号比較部は、露光開始タイミングのずれた前記撮像素子の間において、略同一の像位置で生成される映像信号のレベル相違を画素単位または画素ブロック単位に検出し、前記レベル相違に基づいて撮像画像内に発生したフリッカエリアを領域検出する。前記信号補正部は、領域検出されたフリッカエリアを補正する。

【発明の効果】

【0019】

本発明によれば、フレーム周波数に拘わらず、フリッカの発生を検出することが可能になる。
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0020】

【図1】図１は、グローバルシャッタ方式の撮像素子に生じるフリッカエリアを説明する図である。

【図2】図２は、ローリングシャッタ方式の撮像素子に生じるフリッカエリアを説明する図である。

【図3】図３は、撮像装置１００の構成例を示すブロック図である。

【図4】図４は、グローバルシャッタ方式の撮像素子ａ，ｂにそれぞれ生じるフリッカエリアを示す図である。

【図5】図５は、グローバルシャッタ方式の撮像素子ａ，ｂにおけるフリッカエリアの検出および補正を説明する図である。

【図6】図６は、ローリングシャッタ方式の撮像素子ａ，ｂにそれぞれ生じるフリッカエリアを示す図である。

【図7】図７は、ローリングシャッタ方式の撮像素子ａ，ｂにおけるフリッカエリアの検出および補正を説明する図である。

【図8】図８は、撮像装置２００の構成例を示すブロック図である。

【図9】図９は、ディアルグリーン４板式の撮像装置２００の動作を示す流れ図（１／２）である。

【図10】図１０は、ディアルグリーン４板式の撮像装置２００の動作を示す流れ図（２／２）である。

【発明を実施するための形態】

【0021】

＜フリッカエリアの発生原因について＞
実施形態の説明に先立って、フリッカエリアの発生プロセスについて説明する。

【0022】

（１） グローバルシャッタ方式の撮像素子の例
図１は、グローバルシャッタ方式の撮像素子に生じるフリッカエリアを説明する図である。

【0023】

図１［Ａ］には、フリッカエリアが発生しないケースが示される。
同図の露光チャートに示すように、撮像素子は、１フレーム期間おきに、グローバルシャッタ方式による露光期間および非露光期間を繰り返す。
一方、撮像画像には、点滅光源として、プロジェクタ４０のプロジェクタ映像４１と、モニタ５０のモニタ映像５１とが写っている。図１［Ａ］のケースでは、プロジェクタ４０は、撮像素子の露光期間中に発光する。また、モニタ５０も、撮像素子の露光期間中に発光する。そのため、撮像素子の撮像画像には、プロジェクタ映像４１およびモニタ映像５１が明るく写り、フリッカエリアは発生しない。

【0024】

図１［Ｂ］には、プロジェクタ映像４１にフリッカエリアが発生するケースが示される。
同図のケースでは、プロジェクタ４０は、撮像素子の非露光期間中に発光する。一方、モニタ５０は、撮像素子の露光期間中に発光する。そのため、撮像素子の撮像画像では、プロジェクタ４０の発光を十分に露光できず、プロジェクタ映像４１の領域が暗くなってフリッカエリア４２が発生する。

【0025】

図１［Ｃ］には、モニタ映像５１にフリッカエリアが発生するケースが示される。
同図のケースでは、プロジェクタ４０は、撮像素子の露光期間中に発光する。一方、モニタ５０は、撮像素子の非露光期間中に発光する。そのため、撮像素子の撮像画像では、モニタ５０の発光を十分に露光できず、モニタ映像５１の領域が暗くなってフリッカエリア５２が発生する。

【0026】

前述のような発生プロセスにより、グローバルシャッタ方式の撮像素子には、フリッカエリア４２，５２が発生する。

【0027】

（２）ローリングシャッタ方式の撮像素子の例
図２は、ローリングシャッタ方式の撮像素子に生じるフリッカエリアを説明する図である。
同図の露光チャートに示すように、ローリングシャッタ方式の撮像素子は、ライン間において、露光期間および非露光期間のタイミングが徐々にずれる。

【0028】

プロジェクタ映像４１が位置する複数ラインの内、非露光期間がプロジェクタ４０の発光期間とタイミングが重なるラインについては、帯状のフリッカエリア４３が発生する。

【0029】

また、モニタ映像５１が位置する複数ラインの内、非露光期間がモニタ５０の発光期間とタイミングが重なるラインについては、帯状のフリッカエリア５３が発生する。
前述のような発生プロセスにより、ローリングシャッタ方式の撮像素子には、フリッカエリア４３，５３が発生する。

【0030】

続いて、本発明の個々の実施例について具体的に説明する。

【実施例1】

【0031】

＜実施例１の構成＞
実施例１として、グローバルシャッタ方式の撮像装置の実施形態について説明する。
図３は、撮像装置１００の構成例を示すブロック図である。
同図において、撮像装置１００は、レンズ１１０、光学系１２０、撮像素子ａ、撮像素子ｂ、駆動部１３０、映像信号処理部１４０、映像信号出力部１５０、およびＣＰＵ（Central Processing Unit）部１６０を備える。

【0032】

レンズ１１０は、被写体からの入射光を結像する。

【0033】

光学系１２０は、プリズムから構成され、レンズ１１０により結像される光束を分けて２つの被写体像を得る。

【0034】

実施例１では、撮像素子ａ，ｂは、グローバルシャッタ方式で駆動可能な撮像素子である。

【0035】

また、撮像素子ａ，ｂは、モノクロの撮像素子、またはカラーモザイクフィルタの撮像素子である。撮像素子ａ，ｂの撮像面は、光学系１２０により得られる各被写体像の略同一の像位置を受光するように位置決めして配置される。

【0036】

なお、撮像素子ａ，ｂは、超解像のために、撮像面の画素配列の位相を（例えば縦横方向に半位相ずつ）ずらして配置してもよい。

【0037】

また、撮像素子ａ，ｂは、広ダイナミックレンジ合成のために、受光する光量を互いに異ならせたり、露光時間を互いに異ならせてもよい。

【0038】

駆動部１３０は、撮像素子の駆動信号（例えば、水平同期信号や垂直同期信号など）を生成する駆動信号生成部１３１と、駆動信号を任意の遅延時間だけ遅延させる駆動遅延部１３２とを備える。

【0039】

この駆動遅延部１３２により、撮像素子ｂの露光開始タイミングは、撮像素子ａの露光開始タイミングに対して、所定の遅延時間だけ遅れる。

【0040】

映像信号処理部１４０は、信号遅延部１４１、信号比較部１４２、信号補正部１４３、映像合成部１４４、およびガンマ補正部１４５を備える。

【0041】

この信号遅延部１４１は、撮像素子ａから出力される映像信号Ｖａを遅延させて、映像信号Ｖａ′として出力する。この遅延処理により、映像信号Ｖａ′，Ｖｂの間のフレーム期間のズレは低減する。

【0042】

次に、信号比較部１４２は、フレーム期間のズレを低減した映像信号Ｖａ′，Ｖｂについて、画素単位または画素ブロック単位に信号レベルを比較してレベル相違を求める。

【0043】

信号比較部１４２は、求めたレベル相違に基づいて、撮像画像内に生じたフリッカエリアを領域検出する。

【0044】

信号補正部１４３は、領域検出されたフリッカエリアの影響を低減する補正を行う。補正後の映像信号Ｅａ，Ｅｂは、映像合成部１４４に入力される。

【0045】

映像合成部１４４は、フリッカエリアの影響を低減した映像信号Ｅａ，Ｅｂを所定の映像信号（輝度色差信号など）に合成する。

【0046】

ここで、撮像素子ａ，ｂが画素ずらし配列されている場合、映像合成部１４４は、映像信号の間で超解像成分を求めて、合成画像の解像度を高める処理を行う。

【0047】

また、撮像素子ａ，ｂの受光量（または露光時間）が互いに異なる場合、映像合成部１４４は、映像信号Ｖａ′，Ｖｂの白飛び成分や黒潰れ成分を互いに補完することにより、広ダイナミックレンジ合成の処理を行う。

【0048】

ガンマ補正部１４５は、合成された映像信号に対して利得補正、ガンマ補正、ニー補正、輪郭補正、デモザイク処理、および色補正などの映像信号処理を施す。

【0049】

映像信号出力部１５０は、映像信号処理部１４０から出力される映像信号を、ＨＤ－ＳＤＩ（High Definition Serial Digital Interface）などの所定の映像信号形式に変換し、外部に出力する。

【0050】

ＣＰＵ部１６０は、駆動部１３０の制御や、映像信号処理部１４０の制御などを実行する。

【0051】

＜実施例１の動作＞
次に、実施例１におけるフリッカエリアの検出および補正について具体的に説明する。

【0052】

図４は、グローバルシャッタ方式の撮像素子ａ，ｂにそれぞれ生じるフリッカエリア４２，５２を示す図である。
図４には、特許文献１においてフリッカ検出が困難となるケースとして、撮像装置１００のフレーム周波数（フレームレート）が点滅光源（プロジェクタ４０、モニタ５０）の発光周波数と略一致するケースをあえて示している。

【0053】

同図の露光チャートに示すように、駆動部１３０は、撮像素子ｂの露光開始タイミングを、撮像素子ａの露光開始タイミングに対して、例えばｎライン分の遅延時間だけ遅らせる。

【0054】

厳密にいえば、撮像素子ａの撮像画像と、撮像素子ｂの撮像画像は、露光開始タイミングに遅延時間分の時間差があるため、同一時刻の撮像画像ではない。しかし、例えば、フルＨＤ（フレーム周波数６０Ｈｚで総ライン数１１２５本のプログレッシブスキャン）の撮像素子の場合、ｎライン分の時間は（約１５マイクロ秒×ｎライン）という一瞬である。そのため、被写体が高速に動かない限り、撮像素子ａと撮像素子ｂには同一時刻の被写体が写るとみなせる。

【0055】

図４では、撮像装置１００は、被写体としてプロジェクタ４０とモニタ５０を撮影する。
図４に示すフレーム期間のタイミングにおいて、プロジェクタ４０は、撮像素子ａの露光期間に発光し、撮像素子ｂの非露光期間に発光する。モニタ５０は、撮像素子ａの非露光期間に発光し、撮像素子ｂの露光期間に発光する。

【0056】

その結果、撮像素子ａの撮像画像では、モニタ５０の発光は露光されず、モニタ映像５１の領域が暗くなってフリッカエリア５２が発生する。撮像素子ｂの撮像画像では、プロジェクタ４０の発光は露光されず、プロジェクタ映像４１の領域が暗くなってフリッカエリア４２が発生する。

【0057】

このように、遅延時間をコントロールすることにより、撮像素子ａ，ｂの非露光期間のタイミングがずれて、撮像素子ａ，ｂの撮像画像に発生するフリッカエリアが同一エリアに発生しなくなる。

【0058】

図５は、グローバルシャッタ方式の撮像素子ａ，ｂにおけるフリッカエリアの検出および補正を説明する図である。

【0059】

同図において、信号遅延部１４１は、撮像素子ａから出力される映像信号Ｖａを駆動遅延部１３２の遅延時間と同一時間だけ遅延させて、映像信号Ｖａ′として出力する。この信号処理により、映像信号Ｖａ′は、撮像素子ｂの映像信号Ｖｂとフレーム期間の位相が一致する。

【0060】

次に、信号比較部１４２は、映像信号Ｖａ′，Ｖｂを画素単位または画素ブロック単位に取り込み、両者の信号レベルを比較して局所的なレベル相違を求める。

【0061】

このような比較は、輝度成分について行ってもよいし、またカラーモザイクの色成分（例えばベイヤー配列の赤緑青の各色成分）別に行ってもよい。

【0062】

なお、撮像素子ａ，ｂの受光量（または露光時間）が予め異なる場合は、レベル相違を求める前に、映像信号Ｖａ′，Ｖｂの平均的な信号レベルを合わせておく。

【0063】

映像信号Ｖａ′，Ｖｂの画素位相が一致している場合は、単純に画素単位のレベル相違を求めることができる。また、レンズ１１０や光学系１２０や光学的ローパスフィルタなどの解像力の理由などから画素位相のズレが無視できる場合も、単純に画素単位のレベル相違を求めることができる。

【0064】

一方、画素位相のズレが無視できない場合は、映像信号Ｖａ′，Ｖｂの一方または両方について画素補間を行い、映像信号Ｖａ′，Ｖｂの画素位相を揃えてからレベル相違を求めてもよい。また、映像信号Ｖａ′，ＶｂにＬＰＦ（Low Pass Filter）を掛けて、映像信号波形を鈍らせてからレベル相違を求めてもよい。

【0065】

さらに、複数の画素（ｍ×ｍ画素など）からなる画素ブロック単位に信号レベルを比較してもよい。画素ブロックのサイズに対して画素位相のズレが小さい分だけ、前述した画素位相のズレの影響は軽減する。また、画素ブロック単位で信号レベルを求めることにより低照度ノイズなども抑えることができる。

【0066】

また、撮像装置１００内においてスルー画表示用などに映像信号Ｖａ′，Ｖｂをそれぞれ低解像度化している場合は、低解像度映像信号の間で信号レベルを比較することによって画素ブロック単位のレベル相違を得てもよい。

【0067】

一般に、フリッカエリア４２，５２は、点滅光源（プロジェクタ４０やモニタ５０）の発光期間と撮像素子ａ，ｂの非露光期間のタイミングが重なって生じる。そのため、フリッカエリア４２，５２は、フリッカの生じていない撮像画像に比べて信号レベルが低くなる。

【0068】

そこで、信号比較部１４２は、映像信号Ｖａ′において信号レベルが有意に低くなるフリッカエリア５２を、映像信号Ｖａ′のフリッカエリア５２と判定する。また、信号比較部１４２は、映像信号Ｖｂにおいて信号レベルが有意に低くなるフリッカエリア４２を、映像信号Ｖｂのフリッカエリア４２と判定する。

【0069】

信号比較部１４２は、フリッカエリア５２のレベル相違に基づく補正ゲインを縦横配列して、映像信号Ｖａ′に対するゲインマップＭａを生成する。また、信号比較部１４２は、フリッカエリア４２のレベル相違に基づく補正ゲインを縦横配列して、映像信号Ｖｂに対するゲインマップＭｂを生成する。

【0070】

信号補正部１４３は、映像信号Ｖａ′の各画素に対してゲインマップＭａの補正ゲイン分の補正を施すことにより、フリッカエリア５２を補正した映像信号Ｅａを生成する。また、信号補正部１４３は、映像信号Ｖｂの各画素に対してゲインマップＭｂの補正ゲイン分の補正を施すことにより、フリッカエリア４２を補正した映像信号Ｅｂを生成する。なお、映像信号Ｖａ′のフリッカエリア５２を、映像信号Ｖｂの対応エリアに置き換えて、フリッカエリア５２を補正した映像信号Ｅａを生成してもよい。また、映像信号Ｖｂのフリッカエリア４２を、映像信号Ｖａ′の対応エリアに置き換えて、フリッカエリア４２を補正した映像信号Ｅｂを生成してもよい。

【0071】

＜実施例１の効果など＞
（１）実施例１では、撮像素子ａ，ｂの露光開始タイミングを所定の遅延時間ずらす。その結果、撮像素子ａ，ｂの非露光期間のタイミングがずれる。そのため、フリッカの発生原因となる点滅光源が撮影画角内に存在する場合、撮像素子ａ，ｂそれぞれにおいて、フリッカの発生するフレーム（点滅光源の発光期間と非露光期間のタイミングが重なるフレーム）がずれる。そのため、撮像素子ａ，ｂの間において、略同一の像位置で生成される映像信号のどちらが暗いかを検出することにより、撮像素子ａ，ｂのどちらにフリッカが生じたかを判定することが可能になる。

【0072】

（２）また、実施例１では、撮像素子ａ，ｂの間において、略同一の像位置で生成される映像信号に生じたレベル相違の領域を画素単位または画素ブロック単位に検出するため、撮像画像内に発生したフリッカエリアを領域検出することが可能になる。

【0073】

（３）前述の特許文献１のように、前後フレームのフレーム間差に基づいてフリッカを検出し補正する技術では、撮像装置のフレーム周波数（フレームレート）が点滅光源の発光周波数と略一致した場合にフリッカを検出できないという問題があった。
しかしながら、実施例１では、露光開始タイミングのずれた撮像素子ａ，ｂのレベル相違を検出する方式であるため、図４に示したように、撮像装置のフレーム周波数（フレームレート）が点滅光源の発光周波数と略一致してもフリッカを検出し補正することが可能になる。したがって、フレーム周波数に拘わらずに、フリッカを検出して補正することが可能になる。

【0074】

（４）このようにフレーム周波数に拘わらずにフリッカを検出して補正できるため、フレーム周波数が外部機器との同期信号により固定されている装置や、テレビジョン放送規格のようにフレーム周波数（フレームレート）が厳密に規定される撮像仕様であっても、確実にフリッカを検出して補正することが可能になる。

【0075】

（５）また、実施例１では、露光開始タイミングのずれた複数の撮像素子ａ，ｂからそれぞれ出力される映像信号Ｖａ，Ｖｂの少なくとも一方を遅延させて複数の映像信号の間のフレーム期間のズレを低減する信号遅延部１４１を備える。そのため、信号比較部１４２は、フレーム期間のズレを低減した映像信号についてレベル相違を容易に検出することが可能になる。

【0076】

（６）さらに、実施例１では、撮像素子ａ，ｂの撮像画像間で、フリッカエリアが同一エリアに発生しないように、駆動部１３０の遅延時間がコントロールされる。このような状態は、例えば、撮像素子ａ，ｂの非露光期間の時間間隔（つまり遅延時間）を点滅光源の発光期間よりも長く設定することにより実現できる。その結果、撮像素子ａ，ｂにおいてフリッカが同一エリアに発生しないため、レベル相違が相殺されることがなく、フリッカエリアを検出し損なうことがない。

【0077】

（７）前述の特許文献１のように、前後フレームのフレーム間差に基づいてフリッカを検出する手段では、前後フレームの間に１フレーム期間に相当する時間間隔が存在する。そのため、１フレーム期間の時間間隔における被写体それ自体の明暗変化や帯模様の変化をフリッカと誤って検出してしまうという問題があった。しかしながら、実施例１の遅延時間は、１フレーム期間よりも十分に短くすることができる。そのため、映像信号Ｖａ′，Ｖｂの間において、（点滅光源ほど高速変化しない）被写体それ自体の明暗変化や帯模様の変化は僅かになる。そのため、実施例１では、被写体それ自体の明暗変化や帯模様の変化をフリッカとして誤検出する虞が少なくなる。

【実施例2】

【0078】

続いて、実施例２として、ローリングシャッタ方式の撮像装置の実施形態について説明する。

【0079】

＜実施例２の構成＞
実施例２の特徴は、撮像素子ａ，ｂにローリングシャッタ方式の撮像素子を採用する点と、駆動信号生成部１３１がローリングシャッタ方式の駆動信号を生成する点である。
実施例２のその他の構成は、実施例１の構成（図３）と同じため、ここでの重複説明を省略する。

【0080】

＜実施例２の動作＞
以下、実施例２におけるフリッカエリアの検出および補正について説明する。

【0081】

図６は、ローリングシャッタ方式の撮像素子ａ，ｂにそれぞれ生じるフリッカエリアを示す図である。
図６には、特許文献１においてフリッカ検出が困難となるケースとして、撮像装置１００のフレーム周波数（フレームレート）が点滅光源（プロジェクタ４０、モニタ５０）の発光周波数と略一致するケースをあえて示している。

【0082】

まず、撮像素子ａの撮像画像において、プロジェクタ映像４１が位置する複数ラインの内、非露光期間がプロジェクタ４０の発光期間とタイミングが重なるラインについては、帯状に暗くなったフリッカエリア４３ａが発生する。また、撮像素子ａの撮像画像において、モニタ映像５１が位置する複数ラインの内、非露光期間がモニタ５０の発光期間とタイミングが重なるラインについては、帯状に暗くなったフリッカエリア５３ａが発生する。

【0083】

一方、撮像素子ｂの撮像画像において、プロジェクタ映像４１が位置する複数ラインの内、非露光期間がプロジェクタ４０の発光期間とタイミングが重なるラインについては、帯状に暗くなったフリッカエリア４３ｂが発生する。また、撮像素子ｂの撮像画像において、モニタ映像５１が位置する複数ラインの内、非露光期間がモニタ５０の発光期間とタイミングが重なるラインについては、帯状に暗くなったフリッカエリア５３ｂが発生する。

【0084】

ここで、図６の露光チャートに示すように、駆動部１３０は、撮像素子ｂの露光開始タイミングを、撮像素子ａの露光開始タイミングに対して、例えばｎライン分の遅延時間だけ遅らせる。この遅延時間は、撮像素子ａに発生する帯状のフリッカエリア４３ａ，５３ａと、撮像素子ｂに発生する帯状のフリッカエリア４３ｂ，５３ｂとがそれぞれ同一ラインに発生しないように、コントロールされる。

【0085】

図７は、ローリングシャッタ方式の撮像素子ａ，ｂにおけるフリッカエリアの検出および補正を説明する図である。

【0086】

実施例２の動作上の特徴は、撮像素子ａの映像信号Ｖａ′について帯状のフリッカエリア４３ａ，５３ａが検出される点と、撮像素子ｂの映像信号Ｖｂについて帯状のフリッカエリア４３ｂ，５３ｂが検出される点である。
なお、その他の動作については、実施例１の動作（図５参照）と同じため、ここでの重複説明を省略する。

【0087】

＜実施例２の効果など＞
実施例２においても、実施例１と同様の効果を奏する。

【0088】

さらに、実施例２では、撮像素子ａ，ｂの撮像画像間で、帯状のフリッカエリアが同一ラインに発生しないように、駆動部１３０の遅延時間がコントロールされる。このような状態は、例えば、帯状のフリッカエリアの最大ライン数よりも、遅延時間を長く設定することにより実現できる。その結果、撮像素子ａ，ｂにおいてフリッカが同一ラインに発生しないため、レベル相違が相殺されることがなく、フリッカエリアを検出し損なうことがない。

【実施例3】

【0089】

実施例３は、デュアルグリーン方式の４板式撮像装置の実施形態である。

【0090】

図８は、撮像装置２００の構成例を示すブロック図である。
同図において、撮像装置２００は、レンズ２１０、光学系２２０、４つの撮像素子Ｒ，Ｂ，Ｇａ，Ｇｂ、駆動部２３０、映像信号処理部２４０、映像信号出力部２５０、およびＣＰＵ部２６０を備える。

【0091】

レンズ２１０は、被写体からの入射光を結像する。
光学系２２０は、ダイクロイックプリズムから構成され、レンズ２１０により結像される光束を赤成分、青成分、および２つの緑成分を含む各色成分に分けて４つの被写体像を得る。

【0092】

実施例３では、４つの撮像素子Ｒ，Ｂ，Ｇａ，Ｇｂは、グローバルシャッタ方式またはローリングシャッタ方式で駆動可能な撮像素子である。

【0093】

４つの撮像素子Ｒ，Ｂ，Ｇａ，Ｇｂの撮像面は、赤成分、青成分、および２つの緑成分の被写体像の略同一の像位置を受光するようにそれぞれ位置決めして配置される。

【0094】

なお、２つの撮像素子Ｇａ，Ｇｂは、図８に示すように、撮像面の画素配列の位相を例えば縦横方向に半位相ずつずらして配置される（空間画素ずらし）。

【0095】

また、撮像素子Ｇａ，Ｇｂは、広ダイナミックレンジ合成のために、受光する光量を互いに異ならせたり、露光時間を互いに異ならせてもよい。

【0096】

駆動部２３０は、撮像素子を駆動する信号（例えば、水平同期信号や垂直同期信号など）を生成する駆動信号生成部２３１と、駆動信号を任意の遅延時間だけ遅延させる駆動遅延部２３２とを備える。

【0097】

この駆動遅延部２３２により、撮像素子Ｇｂの露光開始タイミングは、その他の撮像素子Ｇａ，Ｒ，Ｂの露光開始タイミングに対して、所定の遅延時間だけ遅れる。

【0098】

映像信号処理部２４０は、信号遅延部２４１、信号比較部２４２、信号補正部２４３、映像合成部２４４、およびガンマ補正部２４５を備える。

【0099】

この信号遅延部２４１は、撮像素子Ｇａ，Ｒ，Ｂから映像信号として読み出されるＧａ信号，Ｒ信号，Ｂ信号をそれぞれ遅延させる。この遅延処理により、Ｇｂ信号、Ｇａ信号，Ｒ信号，およびＢ信号の間のフレーム期間のズレは低減する。

【0100】

次に、信号比較部２４２は、フレーム期間のズレを低減したＧａ信号およびＧｂ信号について、画素単位または画素ブロック単位に信号レベルを比較してレベル相違を求める。

【0101】

信号比較部２４２は、以上のように求めたレベル相違の正負と、各色成分の撮像素子Ｒ，Ｂ，Ｇａ，Ｇｂにおける露光開始タイミングの関係とに基づいて、映像信号の内からフリッカエリアが発生している映像信号を選定し、選定された映像信号に生じるフリッカエリアを領域検出する。

【0102】

信号補正部２４３は、求めたレベル相違に応じて、領域検出されたフリッカエリアの影響を低減する補正を行う。補正後の映像信号は、映像合成部２４４に入力される。

【0103】

映像合成部２４４は、フリッカエリアを補正した映像信号に基づいて、所定の映像信号（輝度色差信号など）を合成する。このとき、映像合成部２４４は、撮像素子Ｇａ，Ｇｂの空間画素ずらしに基づいて超解像成分を求め、映像信号の解像度を高める処理を行う。

【0104】

また、撮像素子Ｇａ，Ｇｂの受光量（または露光時間）が互いに異なる場合、映像合成部２４４は、Ｇａ信号、Ｇｂ信号の白飛び成分や黒潰れ成分を互いに補完することにより、広ダイナミックレンジ合成の処理を行う。

【0105】

ガンマ補正部２４５は、合成された映像信号に対して利得補正、ガンマ補正、ニー補正、輪郭補正、および色補正などの映像信号処理を施す。

【0106】

映像信号出力部２５０は、映像信号処理部１４０から出力される映像信号を、ＨＤ－ＳＤＩなどの所定の映像信号形式に変換し、外部に出力する。

【0107】

ＣＰＵ部２６０は、駆動部２３０の制御や、映像信号処理部２４０の制御などを実行する。

【0108】

＜実施例３の動作＞
続いて、実施例３の動作について具体的に説明する。
図９および図１０は、ディアルグリーン４板式の撮像装置２００の動作を示す流れ図である。
これらの図に示すステップ番号に沿って、フリッカの検出および補正の手順を説明する。

【0109】

ステップＳ１１： ＣＰＵ部２６０は、駆動遅延部２３２に対して、例えばｎライン分の遅延時間を設定する。
グローバルシャッタ方式の撮像素子Ｒ，Ｂ，Ｇａ，Ｇｂの場合、ＣＰＵ部２６０は、この遅延時間をフリッカの発生元である点滅光源の発光期間よりも長く設定する。この設定により、撮像素子Ｇａ，Ｇｂの撮像画像間で、フリッカエリアが同一エリアに発生しないようになる。
ローリングシャッタ方式の撮像素子Ｒ，Ｂ，Ｇａ，Ｇｂの場合、ＣＰＵ部２６０は、この遅延時間を帯状のフリッカエリアの最大ライン分の走査時間よりも長く設定する。この設定により、撮像素子Ｇａ，Ｇｂの撮像画像間で、帯状のフリッカエリアが同一ラインに発生しないようになる。

【0110】

ステップＳ１２： ＣＰＵ部２６０は、駆動遅延部２３２に設定した遅延時間を、信号遅延部２４１に対しても設定する。

【0111】

ステップＳ１３： ＣＰＵ部２６０は、撮像装置２００の撮影操作部（不図示）を介して、操作者による撮像／一時停止／停止の指示を受け付ける。撮像の指示に対して、ＣＰＵ部２６０はステップＳ１４に動作を移行する。一時停止の指示に対して、ＣＰＵ部２６０はステップＳ１３において動作を待機する。停止の指示に対して、ＣＰＵ部２６０は撮像装置２００の動作を停止する。

【0112】

ステップＳ１４： ＣＰＵ部２６０は、駆動部２３０に対して撮像動作を指示する。駆動部２３０内では、駆動信号生成部２３１により、撮像素子の駆動信号（例えば、水平同期信号や垂直同期信号など）が生成される。撮像素子Ｒ，Ｂ，Ｇａには、この駆動信号が供給される。一方、撮像素子Ｇｂには、駆動遅延部２３２を介してｎライン分の遅延時間だけ遅れた駆動信号が供給される。このように駆動信号を供給することにより、撮像素子Ｒ，Ｂ，Ｇａの露光開始タイミングに対して、撮像素子Ｇｂの露光開始タイミングはｎライン分の遅延時間だけ遅れる。

【0113】

ステップＳ１５： 信号遅延部２４１は、撮像素子Ｒ，Ｂ，Ｇａの映像信号をｎライン分の遅延時間だけ遅延させることにより、撮像素子Ｇｂの映像信号とのフレーム期間のズレを低減する。

【0114】

ステップＳ１６： 信号比較部２４２は、Ｇａ信号とＧｂ信号とを局所的（画素単位または画素ブロック単位）に比較して、レベル相違を求める。比較処理の詳細については実施例１，２と同様である。

【0115】

ステップＳ１７： 信号比較部２４２は、Ｇｂ信号が、Ｇａ信号よりもノイズレベルを有意に超えて暗くなるエリアを、Ｇｂ信号のフリッカエリアとして検出する。信号比較部２４２は、Ｇｂ信号のフリッカエリアに対して、（Ｇａ信号／Ｇｂ信号）の局所的なゲイン差（補正ゲイン）を配列し、Ｇｂ信号補正用のゲインマップＭｂを作成する。なお、ゲインマップＭｂの補正ゲインに対して局所平滑化の処理を施すことにより、ゲインマップＭｂに含まれるノイズを抑制してもよい。

【0116】

ステップＳ１８： 信号比較部２４２は、Ｇａ信号が、Ｇｂ信号よりもノイズレベルを有意に超えて暗くなるエリアを、Ｇａ信号のフリッカエリアとして検出する。信号比較部２４２は、Ｇａ信号のフリッカエリアに対して、（Ｇｂ信号／Ｇａ信号）の局所的なゲイン差（補正ゲイン）を配列し、Ｇａ信号補正用のゲインマップＭａを作成する。なお、ゲインマップＭａの補正ゲインに対して局所平滑化の処理を施すことにより、ゲインマップＭａに含まれるノイズを抑制してもよい。

【0117】

ステップＳ１９： ステップＳ１７においてＧｂ信号にフリッカエリアを検出すると、信号補正部２４３はステップＳ２０に動作を移行する。一方、Ｇｂ信号にフリッカエリアを検出しなかった場合、信号補正部２４３はステップＳ２３に動作を移行する。

【0118】

ステップＳ２０： 信号補正部２４３は、ゲインマップＭｂの代表値（例えば中間値や最大値や平均値など）が、撮像装置２００の撮像感度の限界を超えているか否かを判定する。ここでの撮像感度の限界は、映像信号のＳ／Ｎ比に基づいて、映像信号を増幅した場合にノイズ感が許容できなくなる増幅ゲインの上限値である。
撮像感度の限界を超えない場合、信号補正部２４３はステップＳ２１に動作を移行する。
逆に、撮像感度の限界を超えた場合、信号補正部２４３はステップＳ２２に動作を移行する。

【0119】

ステップＳ２１： 信号補正部２４３は、Ｇｂ信号のフリッカエリアをゲインマップＭｂの補正ゲインに従って増幅することにより、Ｇｂ信号の信号レベルをＧａ信号と同等レベルまで持ちあげてフリッカエリアを補正する。補正が完了すると、信号補正部２４３は、ステップＳ２３に動作を移行する。

【0120】

ステップＳ２２： 信号補正部２４３は、Ｇｂ信号のフリッカエリアをＧａ信号の対応エリアの補間画素値に置き換える。ここで、補間画素値を用いるのは、Ｇａ信号とＧｂ信号は、超解像のために空間画素ずらしが行われているため、画素位置の位相を揃える必要があるためである。

【0121】

ステップＳ２３： ステップＳ１８においてＧａ信号にフリッカエリアを検出すると、Ｇａ信号と同じフレーム期間に撮影されたＲ信号，Ｂ信号にも、同様のフリッカエリアが発生したと判定される。これは点滅光源の殆どが白色光であって、緑色以外の波長域についてもフリッカが生じるためである。この場合、信号補正部２４３はＲ，Ｂ，Ｇａ信号についてフリッカエリアの補正を行うため、ステップＳ２４に動作を移行する。
一方、Ｇａ信号にフリッカエリアを検出しない場合、Ｇａ信号と同じフレーム期間に撮影されたＲ信号，Ｂ信号にもフリッカエリアは発生しない。この場合、信号補正部２４３はＲ，Ｂ，Ｇａ信号についてフリッカエリアの補正を省いて、ステップＳ１３に動作を戻す。

【0122】

ステップＳ２４： 信号補正部２４３は、ゲインマップＭａの代表値（例えば中間値や最大値や平均値など）が、撮像装置２００の撮像感度の限界を超えているか否かを判定する。
撮像感度の限界を超えない場合、信号補正部２４３はステップＳ２５に動作を移行する。
逆に、撮像感度の限界を超えた場合、信号補正部２４３はステップＳ２６に動作を移行する。

【0123】

ステップＳ２５： 信号補正部２４３は、Ｇａ信号のフリッカエリアをゲインマップＭａの補正ゲインに従って増幅することにより、Ｇａ信号の信号レベルをＧｂ信号と同等レベルまで持ちあげてフリッカエリアを補正する。補正が完了すると、信号補正部２４３は、ステップＳ２７に動作を移行する。

【0124】

ステップＳ２６： 信号補正部２４３は、Ｇａ信号のフリッカエリアをＧｂ信号の対応エリアの補間画素値に置き換える。

【0125】

ステップＳ２７： 信号補正部２４３は、ゲインマップＭａに基づいて、Ｒ信号のフリッカエリアにゲイン補正を施す。例えば、Ｒ信号をゲインマップＭａの補正ゲインに従って増幅してもよい。また例えば、「ゲインマップＭａの緑成分の補正倍数」と「点滅光源の赤色光／緑色光の発光比率」との乗算値に基づいて、Ｒ信号のフリッカエリアをゲイン補正してもよい。

【0126】

ステップＳ２８： 信号補正部２４３は、ゲインマップＭａに基づいて、Ｂ信号のフリッカエリアにゲイン補正を施す。例えば、Ｂ信号をゲインマップＭａの補正ゲインに従って増幅してもよい。また例えば、「ゲインマップＭａの緑成分の補正倍数」と「点滅光源の青色光／緑色光の発光比率」との乗算値に基づいて、Ｂ信号のフリッカエリアをゲイン補正してもよい。

【0127】

前述した一連の動作を、フレーム期間ごとに繰り返すため、ＣＰＵ部２６０は動作をステップＳ１３に戻す。

【0128】

＜実施例３の効果など＞
実施例３は、実施例１，２と同様の効果に加えて、次の効果を奏する。

【0129】

（１）実施例３では、デュアルグリーン用の撮像素子Ｇａ，Ｇｂの露光開始タイミングを所定の遅延時間ずらす。その結果、撮像素子Ｇａ，Ｇｂの非露光期間のタイミングが重ならない。そのため、フリッカの発生原因となる点滅光源が撮影画角内に存在した場合、撮像素子Ｇａ，Ｇｂにおいて、点滅光源の発光期間と非露光期間のタイミングが重なるフレームやラインをずらすことが可能になる。したがって、撮像素子Ｇａ，Ｇｂの間において、略同一の像位置で生成されるＧ信号のどちらが暗いかを検出することにより、撮像素子Ｇａ，Ｇｂのどちらにフリッカが生じたかを判定することが可能になる。

【0130】

（２）また、実施例３では、デュアルグリーン方式の撮像素子Ｇａ，Ｇｂの間において、略同一の像位置で生成されるＧａ信号およびＧｂ信号のレベル相違の領域を画素単位または画素ブロック単位に検出することにより、撮像画像内に発生したフリッカエリアを領域検出することが可能になる。さらに、残りの撮像素子Ｒ，Ｂについては、撮像素子Ｇａと露光開始タイミング（すなわちフレーム期間）が一致するため、撮像素子Ｒ，Ｂには、撮像素子Ｇａと同様のフリッカエリアが発生していると判定することが可能になる。

【0131】

（３）さらに、実施例３では、実施例１，２（図４，図６参照）で説明したと同様に、撮像装置のフレーム周波数（フレームレート）が点滅光源の発光周波数と略一致してもフリッカを検出し補正することが可能になる。したがって、フレーム周波数に拘わらずに、フリッカの発生を検出して補正することが可能になる。

【0132】

（４）このようにフレーム周波数に拘わらずにフリッカを検出して補正できるため、フレーム周波数が外部機器との同期信号により固定されている装置や、テレビジョン放送規格のようにフレーム周波数（フレームレート）が厳密に規定される撮像仕様であっても、確実にフリッカを検出して補正することが可能になる。

【0133】

（５）また、実施例３では、露光開始タイミングの先行するＧａ信号，Ｒ信号，およびＢ信号を遅延させることにより、Ｇｂ信号とのフレーム期間のズレを低減する。そのため、従来のディアルグリーン方式の４板式撮像装置と同様の映像信号（フレーム期間の略一致した映像信号と互換性のある映像信号）を得ることができる。また、信号比較部２４２は、Ｇａ信号とＧｂ信号との間でフレーム期間が略一致した状態でレベル相違を容易に検出することが可能になる。なお、実施例３の別バリエーションとして、駆動遅延部２３２を介して遅延時間だけ遅れた駆動信号を撮像素子Ｒ，Ｂ，Ｇａに供給してもよい。この場合、信号遅延部２４１が撮像素子Ｇｂの映像信号を遅延時間だけ遅延させることにより、撮像素子Ｒ，Ｂ，Ｇａ，Ｇｂの映像信号のフレーム期間を揃えることが可能になる。

【0134】

（６）さらに、実施例３では、撮像素子Ｇａ，Ｇｂの撮像画像間で、フリッカエリアが同一エリアまたは同一ラインに発生しないように、駆動部２３０の遅延時間がコントロールされる。したがって、撮像素子Ｇａ，Ｇｂの略同一の像位置で生成される映像信号間においてフリッカが一緒に発生しないため、レベル相違が相殺されることがなく、フリッカエリアを検出し損なうことがない。

【0135】

（７）また、実施例３の遅延時間は、１フレーム期間よりも十分に短くすることができる。そのため、Ｇａ信号，Ｇｂ信号の間において、（点滅光源ほど高速変化しない）被写体それ自体の明暗変化や帯模様の変化は僅かになる。そのため、実施例３では、被写体それ自体の明暗変化や帯模様の変化をフリッカとして誤検出する虞が少なくなる。

【0136】

＜実施形態の補足事項＞
前述した実施例では、プリズムを用いて複数の被写体像を得るケースについて説明した。しかしながら、本発明はこれに限定されない。

【0137】

例えば、ハーフミラー光学系や、瞳分割光学系や、複眼光学系などの複数の被写体像を得る光学系を採用してもよい。

【0138】

また、複数の被写体像を得る瞳分割光学系と、複数の被写体像をそれぞれ受光する複数の撮像素子（撮像画素群）とを一体に備えるものとして、瞳分割式の撮像素子を採用してもよい。なお、この瞳分割式の撮像素子に対して、信号遅延部、信号比較部、信号補正部を含む映像処理回路をさらに積層構造にすることにより、本発明の撮像装置を１チップの撮像素子により実現してもよい。さらに、１チップの撮像素子に対して、複数の撮像画素群を露光開始タイミングをずらして駆動する駆動部をさらに付加してもよい。

【0139】

さらに、前述した実施例では、撮像装置に信号比較部および信号補正部を内蔵するケースについて説明した。しかしながら、本発明はこれに限定されない。撮像装置を、カメラと映像処理装置との組み合わせにより構成し、映像処理装置の側に信号比較部および信号補正部の機能を設けてもよい。

【0140】

このような映像処理装置を、ハードウェアとしてＣＰＵ（Central Processing Unit）やメモリなどを備えたコンピュータシステムとして構成してもよい。このハードウェアが映像処理プログラム（図９，図１０のステップＳ１６～Ｓ２８と同様のプログラム）を実行することにより、コンピュータシステムを信号比較部および信号補正部として機能させてもよい。

【0141】

さらに、このハードウェアの一部または全部については、専用の装置、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、ＰＬＤ(programmable logic device）などで代替してもよい。

【0142】

また、ハードウェアの一部または全部をネットワーク上のサーバに集中または分散してクラウド配置することにより、複数ユーザがネットワークを介してフリッカエリアの検出および補正に係る映像処理サービスの提供を受けるようにしてもよい。

【0143】

なお、前述した実施形態では、「撮像処理」と「フリッカエリアの検出および補正」とを同時並行して実施するケースについて説明した。しかしながら、本発明はこれに限定されない。例えば、カメラ側において露光開始をずらして撮影された映像信号を最小限の映像処理を施してＲＡＷデータとして記録する。この記録済みのＲＡＷデータを後から信号比較部および信号補正部の機能を有する映像処理装置（ＲＡＷ現像処理装置や映像処理プログラム）で処理して「フリッカエリアの検出および補正」を実施してもよい。

【0144】

なお、本発明は前述した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成や処理を備えるものに限定されるものではない。

【0145】

また、ある実施例の構成や処理の一部を他の実施例の構成や処理に置き換えることが可能であり、また、ある実施例の構成や処理に他の実施例の構成や処理を加えることも可能である。

【0146】

さらに、各実施例の構成や処理の一部について、他の構成や処理の追加・削除・置換をすることが可能である。

【符号の説明】

【0147】

ａ…撮像素子、ｂ…撮像素子、Ｂ…撮像素子、Ｒ…撮像素子、Ｇａ…撮像素子、Ｇｂ…撮像素子、４０…プロジェクタ、４１…プロジェクタ映像、４２…フリッカエリア、４３…フリッカエリア、４３ａ…フリッカエリア、４３ｂ…フリッカエリア、５０…モニタ、５１…モニタ映像、５２…フリッカエリア、５３…フリッカエリア、５３ａ…フリッカエリア、５３ｂ…フリッカエリア、１００…撮像装置、１１０…レンズ、１２０…光学系、１３０…駆動部、１３１…駆動信号生成部、１３２…駆動遅延部、１４０…映像信号処理部、１４１…信号遅延部、１４２…信号比較部、１４３…信号補正部、１４４…映像合成部、１４５…ガンマ補正部、１５０…映像信号出力部、１６０…ＣＰＵ部、２００…撮像装置、２１０…レンズ、２２０…光学系、２３０…駆動部、２３１…駆動信号生成部、２３２…駆動遅延部、２４０…映像信号処理部、２４１…信号遅延部、２４２…信号比較部、２４３…信号補正部、２４４…映像合成部、２４５…ガンマ補正部、２５０…映像信号出力部、２６０…ＣＰＵ部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】