特許 7439029 撮像装置、撮像方法、プログラムおよび記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-16

(45)【発行日】2024-02-27

(54)【発明の名称】撮像装置、撮像方法、プログラムおよび記憶媒体

(51)【国際特許分類】

   H04N 23/741 20230101AFI20240219BHJP

   G03B 7/091 20210101ALI20240219BHJP

   G03B 15/00 20210101ALI20240219BHJP

   G03B 15/05 20210101ALI20240219BHJP

   H04N 23/60 20230101ALI20240219BHJP

   H04N 23/70 20230101ALI20240219BHJP

   H04N 23/745 20230101ALI20240219BHJP

【ＦＩ】

H04N23/741

G03B7/091

G03B15/00 H

G03B15/05

H04N23/60 500

H04N23/70

H04N23/745

【請求項の数】 10

(21)【出願番号】P 2021150259

(22)【出願日】2021-09-15

(65)【公開番号】P2023042864

(43)【公開日】2023-03-28

【審査請求日】2022-09-13

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】柳沢 啓介

【審査官】登丸 久寿

(56)【参考文献】

【文献】特開２０２０－０８８６５１（ＪＰ，Ａ）

【文献】特開２０２０－１７８１８６（ＪＰ，Ａ）

【文献】特開２０２０－０２８０８０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／７４１

Ｇ０３Ｂ ７／０９１

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １５／０５

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／７０

Ｈ０４Ｎ ２３／７４５

(57)【特許請求の範囲】

【請求項1】

画像を撮像する撮像手段と、
フリッカーを検出する検出手段と、
前記撮像手段から出力された複数の画像を合成して合成画像を生成する合成手段と、を有し、
前記検出手段が前記フリッカーを検出した場合、前記撮像手段は、一度の露光で異なるゲインをかけることによって前記複数の画像を出力し、
前記検出手段が前記フリッカーを検出しなかった場合、前記撮像手段は、複数回の露光によって前記複数の画像を出力し、
前記検出手段が前記フリッカーを検出しなかった場合、前記撮像手段が複数回の露光によって出力する前記複数の画像は露出が異なることを特徴とする撮像装置。

【請求項2】

前記検出手段が前記フリッカーを検出しなかった場合、前記撮像手段は、複数回の露光で同じ被写体領域に対して撮像し、前記複数の画像を出力することを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記合成手段が生成する合成画像は、前記複数の画像よりもダイナミックレンジが広いことを特徴とする請求項１または２に記載の撮像装置。

【請求項4】

前記検出手段が前記フリッカーを検出した場合、前記撮像手段は、前記フリッカーのピークのタイミングにあわせて撮像し、前記複数の画像を出力することを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。

【請求項5】

前記撮像手段から測光情報を取得する測光手段を有し、
前記検出手段は、前記測光情報に基づいて、前記フリッカーを検出することを特徴とする請求項１ないし４のいずれか１項に記載の撮像装置。

【請求項6】

前記撮像手段から測光情報を取得する測光手段を有し、
前記検出手段がフリッカーを検出する場合、前記撮像手段は、前記測光情報に基づいて前記複数のゲインを決めることを特徴とする請求項１ないし４のいずれか１項に記載の撮像装置。

【請求項7】

前記撮像手段は、一度の露光で得られる信号に異なるゲインをかけて出力するアンプを備えることを特徴とする請求項１ないし６のいずれか１項に記載の撮像装置。

【請求項8】

画像を撮像する撮像ステップと、
フリッカーを検出する検出ステップと、
前記撮像ステップにて出力された複数の画像を合成して合成画像を生成する合成ステップと、を有し、
前記検出ステップにおいて前記フリッカーを検出した場合、前記撮像ステップにおいては、一度の露光で異なるゲインをかけることによって前記複数の画像を出力し、
前記検出ステップにおいて前記フリッカーを検出しなかった場合、前記撮像ステップにおいては、複数回の露光によって前記複数の画像を出力し、
前記検出ステップにおいて前記フリッカーを検出しなかった場合、前記撮像ステップにおいては、複数回の露光によって出力する前記複数の画像は露出が異なることを特徴とする撮像方法。

【請求項9】

撮像方法をコンピュータに動作させるプログラムであって、
画像を撮像する撮像ステップと、
フリッカーを検出する検出ステップと、
前記撮像ステップにて出力された複数の画像を合成して合成画像を生成する合成ステップと、を有し、
前記検出ステップにおいて前記フリッカーを検出した場合、前記撮像ステップにおいては、一度の露光で異なるゲインをかけることによって前記複数の画像を出力し、
前記検出ステップにおいて前記フリッカーを検出しなかった場合、前記撮像ステップにおいては、複数回の露光によって前記複数の画像を出力し、
前記検出ステップにおいて前記フリッカーを検出しなかった場合、前記撮像ステップにおいては、複数回の露光によって出力する前記複数の画像は露出が異なることを特徴とするプログラム。

【請求項10】

請求項９に記載のプログラムを記憶したコンピュータが読み出し可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置に関し、特に画像のダイナミックレンジを拡大するために複数の画像を合成する撮像装置に関するものである。

【背景技術】

【0002】

露出が異なる複数の画像を合成することにより、ダイナミックレンジを拡大した画像を取得する技術（ＨＤＲ合成）が知られている。ＨＤＲ合成では、露出条件を互いに変えて同一被写体領域を複数回撮像し、撮像で得られた輝度の異なる画像の輝度に基づいて輝度レベルを合わせる。低輝度領域では高露出で撮影した画像を、高輝度では低露出で撮影した画像を用いるように合成することで、ダイナミックレンジの広い画像を得ることができる。

【0003】

しかし、ＬＥＤ光源などのフリッカー光源が存在する場合、フリッカーの点滅によって撮像した画像間で被写体の輝度レベルがずれてしまい、それらの画像を合成すると不自然な描写になってしまう場合がある。

【0004】

特許文献１では、ＨＤＲ合成ではフリッカーを撮像した画像に対してＨＤＲ合成を行う場合、フリッカーによる影響を低減するために、フリッカーの振幅に基づいて合成比率を変更する技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１６－１４６５９２

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に記載の技術を用いると、合成比率を変更してしまうと、合成画像におけるダイナミックレンジの拡大効果が減少してしまう可能性もある。

【0007】

本発明は、上記の課題を鑑みてなされたものであり、一度の露光で異なるゲインのかかる画像を取得することによって、フリッカー光源があるシーンでＨＤＲ合成を行う時にフリッカーの点滅による影響を抑えることを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するため、本願発明は、画像を撮像する撮像手段と、フリッカーを検出する検出手段と、前記撮像手段から出力された複数の画像を合成して合成画像を生成する合成手段と、を有し、前記検出手段が前記フリッカーを検出した場合、前記撮像手段が一度の露光で異なるゲインをかけることによって前記複数の画像を出力し、前記検出手段が前記フリッカーを検出しなかった場合、前記撮像手段が複数回の露光によって前記複数の画像を出力し、前記検出手段が前記フリッカーを検出しなかった場合、前記撮像手段が複数回の露光によって出力する複数の画像は露出が異なることを特徴とする撮像装置を提供する。

【発明の効果】

【0009】

本発明によれば、フリッカー光源があるシーンにおいてもフリッカーの点滅による影響を抑えて、好適なＨＤＲ画像を生成することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の第１の実施形態におけるデジタルカメラの構造を示すブロック図である。

【図2】本発明の第１の実施形態における撮像素子の一例の構造を説明するためのブロック図である。

【図3】本発明の第１の実施形態におけるＨＤＲ合成を説明するためのフローチャートである。

【図4】本発明の第１の実施形態におけるフリッカーの発生状況の判定を説明するための図である。

【図5】本発明の第１の実施形態における露光のタイミングとフリッカーのピークとの関係を説明するための図である。

【図6】本発明の第２の実施形態におけるアンダー画像とオーバー画像との合成比率の一例を説明するためのグラフである。

【図7】本発明の第２の実施形態におけるＨＤＲ合成を説明するためのフローチャートである。

【発明を実施するための形態】

【0011】

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

【0012】

（第１の実施形態）
以下、図を用いながら第１の実施形態について説明する。

【0013】

図１は、本実施形態におけるデジタルカメラの構造を示すブロック図である。図１の各ブロックについて詳細を下記に説明する。

【0014】

撮像光学系１０１は、被写体の光を取り込み、撮像素子１０２に光を結像して入光する。

【0015】

撮像素子１０２は撮像光学系１０１から入射光を受け、それを電気信号へ変換し、出力する。代表的なものとして、ＣＣＤイメージセンサー（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）や、ＣＭＯＳイメージセンサーなどがあげられる。

【0016】

これら撮像素子１０２から出力される映像信号は、アナログの映像信号を直接出力するものと、撮像素子１０２の内部でＡＤ（アナログデジタル）変換処理を行い、ＬＶＤＳ（Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）をはじめとするデジタルデータで出力するものがある。

【0017】

ここで、本発明で用いる撮像素子の一例を説明する。

【0018】

図２は、本実施形態における撮像素子の一例の構造を説明するためのブロック図である。

【0019】

タイミング・パルス制御部２０１はこの撮像素子の各ブロックに対する動作ＣＬＫを供給したり、各ブロックにタイミング信号を供給したりして、撮像素子の動作を制御するものである。

【0020】

垂直走査回路２０２は、２次元に配置された画素部２０３が有した画素信号電圧を、１フレーム中に順次読み出しするためのタイミング制御を行う。一般的に、映像信号は１フレーム中に上部の行から下部の行にかけて、行単位で順次読み出される。

【0021】

画素部２０３は、入射光量に応じて光電変換し、電圧として出力する光電変換素子である。本実施形態では、画素部２０３は取り込まれた光を電荷に変換し、容量ＦＤ（Ｆｌｏａｔｉｎｇ Ｄｉｆｆｕｓｉｏｎ）に電荷を蓄積する。ＦＤの容量の大きさは大、小２種類で変更可能で、ＩＳＯ感度に応じて容量を変更することでＳＮを改善させるものである。基本的に低ＩＳＯ感度では容量を大に設定し、高ＩＳＯ感度においては容量を小に設定して使用する。なお、後述する２つのゲインの異なる画像の出力時には、２つのゲインで電荷の蓄積する容量は共通となる。また、容量の大きさは本実施形態で大小２種類に限定されるものではなく、三段階以上の設定が可能であってもよい。

【0022】

列ＡＭＰ２０４は、画素部２０３から読み出された信号を電気的に増幅するために用いられる。列ＡＭＰ２０４で信号を増幅することにより、増幅された列以降の列ＡＤＣ２０５の出すノイズに対して、画素の信号レベルを増幅し、等価的にＳＮを改善させるものである。また、タイミング・パルス制御部から、列ＡＭＰのゲインを変更できるような構造となっている。本撮像素子では、ＨＤＲ画像生成用として、列ＡＭＰ部に入力メモリを２つ持ち、列ＡＭＰゲインを変更して２種類のゲインを出力することが可能である。入力メモリを２つ持つことで、ＦＤから読み出されたある時刻の信号に対して２つのゲインをかけて出力できるため、データ量は増えるものの、同時性を持った２つのゲインの異なる画像を得ることができる。なお、本実施形態において２つの出力としているが、同時出力数は本実施形態で限定されるものではない。

【0023】

列ＡＤＣ２０５は、列ＡＭＰ２０４からの読み出し信号をアナログデジタル変換する。

【0024】

デジタル化された信号は水平転送回路２０６により順次読みだされる。

【0025】

水平転送回路２０６の出力は信号処理回路２０７に入力される。信号処理回路２０７はデジタル的に信号処理を行う回路であり、デジタル処理で一定量のオフセット値を加えるほかに、シフト演算や乗算を行うことで、簡易にゲイン演算を行うことができる。また、画素部２０３に、意図的に遮光した画素領域を持つことで、これを利用したデジタルの黒レベルクランプ動作を行ってもよい。

【0026】

信号処理回路２０７の出力は、外部出力回路２０８に渡される。外部出力回路２０８はシリアライザー機能を有し、信号処理回路２０７からの多ビットの入力パラレル信号をシリアル信号に変換する。また、信号処理回路２０７が変換したシリアル信号を、例えばＬＶＤＳ信号等に変換し、外部デバイスとの画像情報の受け渡しとして出力する。

【0027】

画像取得部１０３は、撮像素子１０２から出力された映像信号をキャプチャし、各処理を行うブロックから構成される。撮像素子１０２内部でＡＤ変換を行わない場合は、アナログデジタル変換を行うアナログフロントエンドも含まれる。画像取得部１０３では、撮像素子１０２の固定パターンノイズの除去や、黒レベルクランプ処理などを行う。そして、映像信号記録に使用する画像と、撮像素子制御のための評価用信号に分離する役割も備える。

【0028】

信号処理部１０４は、デジタルカメラの代表的な画像処理機能となる画素加算機能やノイズリダクション、ガンマ補正、ニー補正、デジタルゲインなどをはじめ、キズ補正など各種画像処理を行う。ほかに、信号処理部１０４は、フリッカーの検出処理やフリッカーのピークタイミングの演算処理なども行う。画像取得部１０３や信号処理部１０４には、それぞれの補正や画像処理に必要となる設定値を記憶しておく記憶回路も含まれ、ブロック図には明示していない。

【0029】

画像合成部１０５は、信号処理部１０４から出力されたＨＤＲ生成用の映像信号から、任意の合成方法を用いてＨＤＲ画像に合成する。

【0030】

信号記録部１０６は、画像合成部１０５から受けた映像信号を記憶装置もしくは記憶媒体へ記録する。

【0031】

露出制御部１０７は、後述する測光部１１０から受けた測光情報から最適露光量を算出することができる。そして、撮像素子制御部１０８の動作を決定し制御を伝達する。

【0032】

測光光学系１０９は、撮像光学系１０１と同様に、被写体の光を取り込み、測光部１１０に入光する。

【0033】

測光部１１０は、測光光学系１０９で取り込んだ光を光電変換して、測光情報を露出制御部１０７へ伝える。

【0034】

次に、本実施形態における、フリッカー検出の結果に応じて複数枚の画像を取得し、取得した複数枚の画像からＨＤＲ画像を合成する方法について、図を用いて説明する。

【0035】

図３は、本実施形態におけるＨＤＲ合成を説明するためのフローチャートである。

【0036】

まずステップＳ３０１において、測光部１１０で取得した測光情報を使ってフリッカーの有無を判定する。

【0037】

図４は本実施形態におけるフリッカーの発生状況の判定を説明するための図である。実際には、測光光学系１０９が環境における光源の発光周期と位相を測定する。波形４００は撮像環境における光源の強度変化の一例を表しており、測光光学系１０９で観測する対象である。図４における区間４０１～区間４０６は測光光学系１０９での蓄積動作のタイミングを表している。フリッカーの周波数は、交流周波数に従うので、日本国内では、５０Ｈｚまたは６０Ｈｚである。フリッカーの周波数が５０Ｈｚまたは６０Ｈｚのとき、測光光学系１０９が、少なくとも１２０Ｈｚでのサンプリングを行えば、フリッカーの検出が可能になる。同時に、測光光学系１０９は、フリッカーの周波数も検出できる。

【0038】

ステップＳ３０１でフリッカーを検出しなかった場合、ステップＳ３０２に進む。ステップＳ３０２において、撮像素子１０２は撮像素子制御部１０８の指示に基づいて、露出制御部１０７で算出した露出条件で撮像を行う。次に、ステップＳ３０３において、撮像素子１０２は撮像素子制御部１０８の指示に基づいて、ステップＳ３０２で撮像した露出条件とは異なる露出条件で撮像を行う。ステップＳ３０２とステップＳ３０３とでの２回の撮像で、明るさの異なる２枚の画像を取得することができる。

【0039】

ステップＳ３０１でフリッカーを検出した場合、ステップＳ３０４に進む。ステップＳ３０４において、画像処理部１０４は、撮像素子１０２が一度の露光で取得した信号に２種類のゲインをかけることで、明るさの異なる２枚の画像を取得する。ステップＳ３０４で画像処理部１０４が使用する２つゲインのうちの１つは、画像を適正露出までもちあげられるゲインである。ステップＳ３０４で撮像素子１０２が取得した２枚の画像は同一露光で取得しているため、フリッカーの点滅による画像間での信号値の差分の発生を回避することができる。また、この時、ダイナミックレンジ拡大効果をはかるために、撮像素子１０２でかけるゲインを考慮してアンダー露出で露光してよい。

【0040】

なお、ステップＳ３０４では、撮像素子１０２は、一度の露光で取得した信号に３種類以上のゲインをかけて、３枚以上の画像を生成してもよい。

【0041】

さらに、ステップＳ３０４、撮像素子１０２が撮像するための露光のタイミングをフリッカーのピークに合わせることで、より好適な画像を取得することができる。

【0042】

図５は、本実施形態における露光のタイミングとフリッカーのピークとの関係を説明するための図である。

【0043】

撮像タイミングが区間５０１の場合と波形５００のピーク付近である区間５０２の場合では、フリッカー光源の明るさが異なる。例えば、ＬＥＤ光源などの光源がフリッカーしている時、撮像するタイミングによってＬＥＤ光源が消灯した画像になってしまう。これを回避するために、ステップＳ３０１で特定したフリッカー光源の発光周期を基にフリッカーのピークタイミングに合わせて露光を行うのは好ましい。

【0044】

ステップＳ３０５で、信号処理部１０４は、ステップＳ３０２およびステップＳ３０３、またはステップ３０４で撮像素子１０２が撮像した画像に対して、現像処理を行う。現像処理では、信号処理部１０４は、明るさの異なる画像の同一被写体の輝度を揃えるように、各々の画像に好適なガンマカーブを適用する。

【0045】

ステップＳ３０６で、信号処理部１０４は、ステップＳ３０２およびステップＳ３０３、またはステップ３０４で撮像素子１０２が撮像した画像を合成してＨＤＲ画像を生成する。

【0046】

以下では、アンダー画像とオーバー画像との２枚の画像のＨＤＲ合成処理について説明する。なお、ここで、アンダー画像は、フリッカーを検出した場合はアンダー露出で撮像した画像とし、フリッカーを検出しなかった場合はＬｏｗゲインで取得した画像をとする。オーバー画像は同様に、フリッカーを検出した場合はオーバー露出で撮像した画像とし、フリッカーを検出しなかった場合はＨｉｇｈゲインで取得した画像とする。

【0047】

図６は、本実施形態におけるアンダー画像とオーバー画像との合成比率の一例を説明するためのグラフである。図６に示したように、合成画像においては、合成比率の基準となる画像を決定し、合成比率基準画像の輝度が低い場合は、オーバー画像を使用して、合成比率基準画像の輝度が高い場合は、アンダー画像を使用する。合成比率基準画像の輝度が中間領域の場合は、オーバー画像とアンダー画像の合成比率を徐々に変化させることで、自然な見えとなるＨＤＲ画像を生成することができる。

【0048】

以上の処理は２枚の画像を使用したＨＤＲ合成処理の例であるが、３枚以上の画像を使用する際も同様に、合成比率基準画像の輝度値に応じて各画像の合成比率を設定することで実現できる。

【0049】

本実施形態によれば、フリッカー光源があるシーンにおいてもフリッカーの点滅による影響を抑えて、好適なＨＤＲ画像を生成することができる。

【0050】

（第２の実施形態）
第２の実施形態では、第１の実施形態と異なり、撮像素子１０２で一度の露光で取得した信号に２種類のゲインをかけて明るさが異なる２枚の画像を取得する場合に、測光部１１０で取得した測光情報に基づいてゲイン量を決定する。

【0051】

ＨＤＲ合成処理によりダイナミックレンジを拡大するためには、アンダー画像はできるだけアンダー露出で露光して、現像時に適正露出までゲインアップすることが望ましい。しかし、アンダー露出で撮像した画像の輝度が低くなると、適正露出まで持ち上げるために必要なゲインも増えるため、ノイズが増加してしまう。第２の実施形態では、測光情報に基づいてゲインを決めることで、必要以上にノイズを増加させずにダイナミックレンジを拡大する方法を提供する。

【0052】

第２の実施形態におけるデジタルカメラの構成などは、第１の実施形態と同様であるため、詳細な説明は省略する。

【0053】

図７は、本実施形態におけるＨＤＲ合成を説明するためのフローチャートである。図７におけるステップＳ７０１ないしステップＳ７０６は、第１の実施形態におけるステップＳ３０１ないしステップＳ３０６と同様である。

【0054】

本実施形態では、ステップＳ７０１でフリッカーを検出した場合、ステップＳ７１１に進み、画像処理部１０４は測光部１１０が測光した測光情報に基づいてゲインを算出する。具体的に、たとえば、撮像シーンのダイナミックレンジが高輝度側に広い場合は、露光条件を適正露出より大きく下げて設定して、ゲインを高く設定する。逆に、撮像シーンのダイナミックレンジがそれほど広くない場合は、露光条件を適正露出より少し下げて設定して、ゲインを低く設定する。

【0055】

ステップＳ７０４において、画像処理部１０４ステップＳ７１１で決定した露光条件とゲインに基づいて、一度の露光で異なる２種類のゲインをかける。

【0056】

本実施形態によれば、フリッカー光源があるシーンにおいてもフリッカーの点滅による影響を抑えて、かつ、必要以上にノイズを増加させずにダイナミックレンジを拡大することができる。

【0057】

（その他の実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。

【0058】

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0059】

１０１ 撮像光学系
１０２ 撮像素子
１０３ 画像取得部
１０４ 信号処理部
１０５ 画像合成部
１０６ 信号記録部
１０７ 露出制御部
１０８ 撮像素子制御部
１０９ 測光光学系
１１０ 測光部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】