特許 7185556 撮像装置及びその制御方法、プログラム、記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-29

(45)【発行日】2022-12-07

(54)【発明の名称】撮像装置及びその制御方法、プログラム、記憶媒体

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221130BHJP

   H04N 5/235 20060101ALI20221130BHJP

   G03B 7/091 20210101ALI20221130BHJP

   G06T 5/00 20060101ALI20221130BHJP

   H04N 1/407 20060101ALI20221130BHJP

【ＦＩ】

H04N5/232

H04N5/235 100

G03B7/091

G06T5/00 740

H04N1/407

【請求項の数】 11

(21)【出願番号】P 2019027652

(22)【出願日】2019-02-19

(65)【公開番号】P2020136891

(43)【公開日】2020-08-31

【審査請求日】2022-01-31

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】菅谷 温人

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】特開２０１８－０７４１９９（ＪＰ，Ａ）

【文献】特開２０１３－０１７００２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／２３５

Ｇ０３Ｂ ７／０９１

Ｇ０６Ｔ ５／００

Ｈ０４Ｎ １／４０７

(57)【特許請求の範囲】

【請求項1】

被写体像を撮像する撮像手段と、
前記撮像手段で撮像する際の露出量を算出する算出手段と、
前記撮像手段により撮像された画像信号に輝度のレンジを圧縮するレンジ補正を行うレンジ補正手段と、
前記レンジ補正に起因する前記画像信号の輝度変化量を特定する特定手段と、
前記特定手段によって特定された輝度変化量に基づいて、前記露出量、および前記レンジ補正を行う場合の入出力特性における基準となる輝度値の少なくとも一方を変更する変更手段と、
を備えることを特徴とする撮像装置。

【請求項2】

前記画像信号に含まれるノイズ量を推定する推定手段をさらに備え、前記レンジ補正手段は、前記推定手段によって推定されたノイズ量が大きいほど、前記画像信号に前記レンジ補正を行う場合の入出力特性における出力最大値と出力最小値の差分を小さくすることを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記レンジ補正を行う前の画像信号の輝度分布または統計量を記録する記録手段をさらに備え、前記特定手段は、前記レンジ補正を行った後の画像信号の輝度分布または統計量と、前記記録手段に記録された輝度分布または統計量とに基づいて、前記輝度変化量を特定することを特徴とする請求項１または２に記載の撮像装置。

【請求項4】

前記特定手段により、前記レンジ補正によって前記画像信号の輝度が増加したと特定された場合には、前記変更手段は、輝度を減少させるように前記露出量を変更することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。

【請求項5】

前記特定手段により、前記レンジ補正によって前記画像信号の輝度が減少したと特定された場合には、前記変更手段は、輝度を増加させるように前記基準となる輝度値を変更することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。

【請求項6】

前記画像信号の画質の優先度を設定する設定手段をさらに備え、前記変更手段は、前記優先度に基づいて、前記露出量を変更することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。

【請求項7】

前記レンジ補正を行う前の画像信号の明部の頻度が第１の所定値以上であるかどうかを判定する判定手段をさらに備え、前記明部の頻度が前記第１の所定値以上と判定された場合は、前記変更手段による前記露出量の変更を制限することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。

【請求項8】

前記レンジ補正を行う前の画像信号の暗部の頻度が第２の所定値以上であるかどうかを判定する判定手段をさらに備え、前記暗部の頻度が前記第２の所定値以上と判定された場合は、前記変更手段による前記露出量の変更を制限することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。

【請求項9】

被写体像を撮像する撮像手段を備える撮像装置を制御する方法であって、
前記撮像手段で撮像する際の露出量を算出する算出工程と、
前記撮像手段により撮像された画像信号に輝度のレンジを圧縮するレンジ補正を行うレンジ補正工程と、
前記レンジ補正に起因する前記画像信号の輝度変化量を特定する特定工程と、
前記特定工程において特定された輝度変化量に基づいて前記露出量、または前記レンジ補正を行う場合の入出力特性における基準となる輝度値を変更する変更工程と、
を有することを特徴とする撮像装置の制御方法。

【請求項10】

請求項９に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。

【請求項11】

請求項９に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、符号量の削減を行うことができる撮像装置に関するものである。

【背景技術】

【0002】

低照度環境においてカメラによる撮像が行われた場合、一般に、自動利得制御（Automatic Gain Control：ＡＧＣ）によって画像のゲインを上げる処理が行われる。しかしながら、この場合、画像の明るさは上がるが、ノイズが増加し、符号量の大きい画像となってしまう。長時間の撮影、および記録を行う必要がある監視カメラにおいて、符号量の大きさは運用コストの増大につながるため、符号化効率の高い画像を生成する必要がある。

【0003】

特許文献１には、符号量の削減を目的として、画像を撮像した際の照度を検出し、画像の輝度の階調特性を補正する補正特性の、少なくとも出力最小輝度と出力最大輝度の何れかを、検出された照度に応じて補正する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－１３５５５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述の特許文献１に開示された従来技術では、階調補正前後の信号変化量を考慮していないため、補正を行ったことによって、画像が全体として暗くなったり、明るくなったりする。

【0006】

この課題があるために、階調補正後の画像は露出が適正でないように見え、画質の観点から十分に階調補正を行うことが出来ない場合があった。また、階調補正前の画像のノイズ量が大きい場合には、階調補正を行っても十分な符号量の削減効果が得られない場合があった。

【0007】

本発明は上述した課題に鑑みてなされたものであり、その目的は、符号量の削減を行うとともに、階調補正による輝度変化を抑制可能な撮像装置を提供することである。

【課題を解決するための手段】

【0008】

本発明に係わる撮像装置は、被写体像を撮像する撮像手段と、前記撮像手段で撮像する際の露出量を算出する算出手段と、前記撮像手段により撮像された画像信号に輝度のレンジを圧縮するレンジ補正を行うレンジ補正手段と、前記レンジ補正に起因する前記画像信号の輝度変化量を特定する特定手段と、前記特定手段によって特定された輝度変化量に基づいて、前記露出量、および前記レンジ補正を行う場合の入出力特性における基準となる輝度値の少なくとも一方を変更する変更手段と、を備えることを特徴とする。

【発明の効果】

【0009】

本発明によれば、符号量の削減を行うとともに、階調補正による輝度変化を抑制可能な撮像装置を提供することが可能となる。

【図面の簡単な説明】

【0010】

【図1】本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図。

【図2】撮像部の構成を示す図。

【図3】輝度レンジ補正の入出力特性、および輝度レンジ補正による輝度分布の変化の例を示す図。

【図4】第１の実施形態における階調補正の動作を示すフローチャート。

【図5】第２の実施形態に係わる撮像装置の構成を示すブロック図。

【図6】第２の実施形態で生じ得る輝度分布の変化の例を示す図。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置１００の構成を示すブロック図である。

【0013】

撮像装置１００は、撮像部１０１と、露出制御部１０２と、画像処理部１０３と、ノイズ量推定部１０４と、輝度レンジ補正部１０５と、カメラ制御部１０６と、符号化部１０７と、メモリ１０８とを備える。

【0014】

撮像部１０１は、図２に示すように、レンズ１０１ａ、絞り１０１ｂ、撮像素子１０１ｃ、増幅器１０１ｄおよびＡ／Ｄ変換器１０１ｅを備える。

【0015】

レンズ１０１ａは、撮像光学系としての数枚のレンズ群からなる。絞り１０１ｂはレンズ１０１ａを介して撮像素子１０１ｃに入射する光量を調整するために用いられる。撮像素子１０１ｃはＣＣＤやＣＭＯＳセンサなどからなり、レンズ１０１ａを介して結像された被写体像をアナログ画像信号に変換する。増幅器１０１ｄは、撮像素子１０１ｃから出力された電気信号に対して所定の増幅率で増幅処理を行う。Ａ／Ｄ変換器１０１ｅは、増幅器１０１ｄによって増幅処理されたアナログ画像信号をデジタル画像信号へと変換する。

【0016】

露出制御部１０２は、撮像部１０１から出力された画像信号から算出された被写体輝度と所定の露出補正量に基づき、絞り１０１ｂの駆動制御、撮像素子１０１ｃにおける電荷の蓄積時間の制御、増幅器１０１ｄの増幅率の制御のうち少なくとも１つを行うことで露出量を制御する。ただし、増幅器１０１ｄの増幅率を増加させた場合、画像が明るくなるが、画像のノイズ量が増加するため、符号化効率の観点からは望ましくない。

【0017】

画像処理部１０３は、撮像部１０１により得られた撮像画像信号に対して、ノイズ低減処理、ガンマ補正処理を含む種々の画像処理を行った出力画像信号を生成するとともに、メモリ１０８に出力画像の輝度分布、もしくは輝度に関する所定の統計量を記録する。

【0018】

ノイズ量推定部１０４は、画像処理部１０３からの出力画像のノイズ量を推定する。本実施形態では、あらかじめ撮像素子１０１ｃの特性に応じて決定された増幅器１０１ｄの増幅率とノイズ量の関係を示すテーブルを参照する場合について説明する。このとき、このテーブルを参照することにより、上記の増幅率によって一意にノイズ量が特定されるが、撮像素子１０１ｃにおける電荷の蓄積時間、画像処理部１０３で行われた画像処理の種類、強度、に基づいてノイズ量が補正されてもよい。

【0019】

輝度レンジ補正部１０５は、ノイズ量推定部１０４が推定したノイズ量に基づいて、画像処理部１０３の出力画像に対して、出力信号の最大値と最小値の差分ΔＹＯＵＴが入力信号の最大値と最小値の差分ΔＹＩＮ以下となるような所定の入出力特性に従って階調補正を行う。本実施形態では、階調補正時の入力信号と出力信号の関係が、以下の式（１）で表される場合について説明する。

【0020】

出力信号＝入力信号×ΔＹＯＵＴ／ΔＹＩＮ＋ＯＦＦＳＥＴ …（１）
ここで、ΔＹＯＵＴ／ΔＹＩＮは輝度レンジ補正における信号の圧縮率、ＯＦＦＳＥＴは画像全体の基準輝度を表す。このとき、式（１）で表現される入出力特性２１の出力最大値と出力最小値の差分ΔＹ１（図３（ａ）参照）が小さいほど、画像のコントラストは低下し、ノイズ量も低減されるため、出力画像を符号化する際の符号化効率は向上する。また、一般的に画像に含まれるノイズ量が多いほど符号化効率は低下するため、輝度レンジ補正部１０５は、ノイズ量推定部１０３が推定したノイズ量が大きいほどΔＹ１が小さくなるよう制御する。

【0021】

図３（ａ）は、式（１）で表現される入出力特性２１を横軸を入力輝度、縦軸を出力輝度として示している。また、入出力特性２０は輝度レンジ補正を行わない場合の基準入出力特性である。ΔＹ０は、基準入出力特性２０の出力最大値と出力最小値の差分である。

【0022】

図３（ｂ）は、ある画像の輝度分布３０に対して輝度レンジ補正を行った場合の輝度分布３１の変化の例を示す図である。

【0023】

図３（ｂ）に示すように、輝度レンジ補正を行った画像の輝度分布３１では、高輝度側と低輝度側の少なくとも一方に、図３（ｂ）のΔＹＨ、ΔＹＬに示すような輝度として出現しない輝度領域が生じる。つまり、ΔＹＨ、ΔＹＬがそれぞれ０以上となる範囲でＯＦＦＳＥＴの値を変動させることにより輝度分布３１の形状（画像のコントラスト、ノイズ量）を変化させることなく、画像全体の輝度を制御可能である。また、本実施形態では入出力特性が直線で表現されるが、入出力特性が曲線、折れ線で表現される場合であっても、同様にＯＦＦＳＥＴによる輝度制御が可能である。

【0024】

また、圧縮率、基準輝度が同一であっても、画像の輝度分布によって、輝度レンジ補正に起因する輝度変化量は異なる。入出力特性２０と入出力特性２１の交点よりも低輝度側に入力輝度が集中している程、明るくなり、高輝度側に入力輝度が集中している程、暗くなるためである。

【0025】

カメラ制御部１０６は、メモリ１０８に記録された輝度分布、もしくは輝度に関する所定の統計量と輝度レンジ補正部１０５の出力画像の輝度分布、もしくは輝度に関する所定の統計量に基づいて、輝度変化量を特定する。本実施形態では、統計量として画像全体の輝度平均値を用いる場合について説明するが、輝度平均値を算出する画像の領域を別途限定したり、所定の輝度範囲を対象として輝度平均値の算出に用いるようにしてもよい。また、平均値でなく、最頻値といった統計量を採用したり、分散を組み合わせて用いることも可能である。

【0026】

カメラ制御部１０６は、さらに、特定された輝度変化量に基づいて、露出制御部１０２および輝度レンジ補正部１０５に露出補正量、基準輝度のうち少なくとも１つを指示し、輝度レンジ補正部１０５の出力画像の輝度を制御する。符号化部１０６は、輝度レンジ補正部１０５からの出力画像をＭＰＥＧやＨ．２６４といった符号化方式で符号化し、不図示の記録媒体に記録する。

【0027】

次に、図４は、輝度レンジ補正処理および露出制御処理による輝度制御手順を示すフローチャートである。

【0028】

Ｓ４０１において、輝度レンジ補正部１０５は、前述したようにノイズ量推定部１０４によって推定されたノイズ量に基づいて、信号の圧縮率を算出する。ここで、基準輝度はカメラ制御部１０６によって決定されるが、初期値として、輝度レンジ補正前後の画像の残差二乗和が最小となるよう設定されることが望ましい。また、入出力特性２０と入出力特性２１の交点の入力輝度に近い輝度である程、輝度レンジ補正前後の画像における差分が小さくなる。そのため、入出力特性２０と入出力特性２１の交点となる入力輝度が画像処理部１０３の出力画像の輝度の平均値、もしくは最頻値となるように基準輝度の初期値を設定してもよい。

【0029】

Ｓ４０２において、カメラ制御部１０６は、画像処理部１０３の出力画像の輝度平均値と輝度レンジ補正部１０５の出力画像の輝度平均値の差分を算出する。

【0030】

Ｓ４０３において、カメラ制御部１０６は平均輝度値の差分に基づいて、輝度レンジ補正により画像が暗くなった（輝度が減少した）か、明るくなった（輝度が増加した）かを判定し、暗くなったと判定された場合はＳ４０４へ進む。明るくなったと判定された場合はＳ４０５へ進む。

【0031】

Ｓ４０４において、カメラ制御部１０６は、平均輝度の差分の量だけ輝度レンジ補正部１０５の出力画像が明るくなるように、輝度レンジ補正部１０５に指示し、基準輝度を増加させる。ここで、輝度レンジ補正部１０５の出力画像が明るくなるように露出補正量を変更してもよいが、露出補正量を変更することにより増幅率が増加し、ノイズ量が増加する場合には、基準輝度を増加させるほうが望ましい。

【0032】

Ｓ４０５において、カメラ制御部１０６は、平均輝度の差分の量だけ輝度レンジ補正部１０５の出力画像が暗くなるように、露出制御部１０２に指示し、露出補正量を変更させる。ここで、輝度レンジ補正部１０５の出力画像が暗くなるように基準輝度を変更してもよいが、露出補正量を変更することで増幅率が低下し、ノイズ量が低下する場合には、露出補正量を変更するほうが望ましい。

【0033】

また、符号化部１０７において、連続する画像の時間方向の相関を用いた符号化を行う符号化方式が採用されている場合、基準輝度、露出補正量の変更によって画像の時間方向の相関が著しく低下することを抑制する必要がある。そのため、１ステップで変更可能な基準輝度、及び露出補正量を設定することが、望ましい。

【0034】

Ｓ４０６では、被写体輝度と露出補正量に基づき、撮像部１０１を制御し、露出を変更する。

【0035】

以上のように、本実施形態では、輝度のレンジを圧縮し、さらに、輝度分布に応じて増幅率を低下させることにより、符号化効率を向上させるとともに、画像全体の輝度の変化を抑制することが可能となる。

【0036】

（第２の実施形態）
図５は、本発明の第２の実施形態に係わる撮像装置５００の構成を示すブロック図である。撮像装置５００において、第１の実施形態の撮像装置１００と同様の機能部分に関しては図１と同様の符号を付して説明を省略する。図５に示す通り、第２の実施形態の撮像装置５００は、図１の構成に加えて輝度分布解析部５０１、画質優先度設定部５０２を備える。

【0037】

輝度分布解析部５０１は、画像処理部１０３の出力画像の輝度分布に対して、所定の閾値に基づいて、明部の頻度、および、暗部の頻度を算出する。画質優先度設定部５０２は、画質の優先度を設定する。

【0038】

第１の実施形態において、カメラ制御部１０６が基準輝度、露出補正量を変更することによって、明部、または、暗部の階調が失われる場合がある。

【0039】

図６（ａ）は、明部の階調が失われた場合の輝度分布の例を示し、図６（ｂ）は、暗部の階調が失われた場合の輝度分布の例を示す。所定の圧縮率で輝度レンジ補正された輝度分布６０に対して、基準輝度の変更を行った結果、明部の階調が失われる場合を輝度分布６１、露出補正量の変更を行った結果、暗部の階調が失われる場合を輝度分布６２で示している。

【0040】

そのため、第２の実施形態では、カメラ制御部１０６が基準輝度、露出補正量を変更する際に、輝度分布解析部５０１の解析結果に基づいて、基準輝度、露出補正量の変更範囲を制限する。

【0041】

このとき、輝度分布解析部５０１は、画像処理部１０３の出力画像の輝度分布を第１の閾値、第２の閾値によって高輝度領域、中輝度領域、低輝度領域に分割する。そして、高輝度領域の輝度頻度の合計が第３の閾値以上（第１の所定値以上）の場合には、輝度レンジ補正部１０５の出力画像が明るくなるように行う基準輝度、露出補正量の変更を行わずに、圧縮率を低減させてもよい。

【0042】

また、低輝度領域の輝度頻度の合計が第４の閾値以上（第２の所定値以上）の場合には、輝度レンジ補正部１０５の出力画像が暗くなるように行う基準輝度、露出補正量の変更を行わずに、圧縮率を低減させてもよい。

【0043】

また、記録媒体の容量、記録媒体に至るネットワークの帯域制限等の制約によって、画質と符号化効率の優先度が変化する場合がある。そのため、第２の実施形態では、画質優先度設定部５０２によって画質と符号化効率の優先度を変更可能な構成とする。このとき、画質の優先度は不図示の操作部によって任意の値を設定可能としてもよいし、外部装置から受信し、適応的に設定するようにしてもよい。

【0044】

画質優先度設定部５０２によって画質の優先度が所定の基準値よりも低く設定された場合、カメラ制御部１０６は、圧縮率の増加、増幅率の低下のうち少なくとも１つを行う。このとき、増幅率の低下によって、画像の輝度が低下するため、基準輝度を増加させてもよい。

【0045】

以上のように、本実施形態では、第１の実施形態で生じ得る明部、および暗部の階調の損失を抑制し、画質の優先度に基づいた画質と符号化効率の制御が可能となる。

【0046】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【0047】

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

【符号の説明】

【0048】

１００：撮像装置、１０１：撮像部、１０２：露出制御部、１０３：画像処理部、１０４：ノイズ量推定部、１０５：輝度レンジ補正部、１０６：カメラ制御部、１０７：符号化部、１０８：メモリ、５０１：輝度解析部、５０２：画質優先度設定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】