特開 2022-168631 撮像システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022168631

(43)【公開日】2022-11-08

(54)【発明の名称】撮像システム

(51)【国際特許分類】

   H04N 5/235 20060101AFI20221031BHJP

   H04N 5/232 20060101ALI20221031BHJP

   G06T 5/00 20060101ALI20221031BHJP

   G03B 15/00 20210101ALI20221031BHJP

【ＦＩ】

H04N5/235 500

H04N5/232 290

G06T5/00 740

G03B15/00

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021074231

(22)【出願日】2021-04-26

(71)【出願人】

【識別番号】720001060

【氏名又は名称】ヤンマーホールディングス株式会社

(74)【代理人】

【識別番号】110000947

【氏名又は名称】弁理士法人あーく事務所

(72)【発明者】

【氏名】友保 洋平

【テーマコード（参考）】

5B057

5C122

【Ｆターム（参考）】

5B057BA02

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CC02

5B057CE08

5B057CE11

5C122EA12

5C122EA21

5C122FA09

5C122FH09

5C122FH15

5C122FH18

5C122HA88

5C122HB01

5C122HB06

(57)【要約】

【課題】ＨＤＲ合成に使用する画像枚数を制限することなく、任意枚数の画像を取得可能とし、ＨＤＲ合成による階調再現精度が向上する、撮像システムを提供する。
【解決手段】撮像システム１０は、カメラモジュール１１と、基準画像を取得する基準画像取得部２１と、基準画像の画素値を算出する基準画素値算出部２３と、基準画像の露光時間と、基準画素値算出部の算出した基準画素値と、予め設定された目標画素値とから、目標露光設定を算出する目標露光設定算出部２４と、目標露光設定に設定された画像を取得する画像取得部２１と、画像取得部２１により取得した画像を用いてＨＤＲ合成をする、ＨＤＲ合成処理部２９と、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

カメラモジュールと、
前記カメラモジュールから、基準画像を取得する基準画像取得部と、
前記基準画像の画素値を算出する基準画素値算出部と、
前記基準画像の露光時間と、前記基準画素値算出部の算出した基準画素値と、予め設定された目標画素値とから、目標露光設定を算出する目標露光設定算出部と、
前記目標露光設定算出部に設定された画像を取得する画像取得部と、
前記画像取得部により取得した画像を用いてＨＤＲ合成をする、ＨＤＲ合成処理部と、を含む、撮像システム。

【請求項2】

前記基準画像を複数に分割する画像分割部を含む、請求項１に記載の撮像システム。

【請求項3】

前記目標露光設定算出部は、前記画像分割部で分割された画像ごとに、前記目標露光設定を算出する、請求項２に記載の撮像システム。

【請求項4】

前記画像分割部で分割された画像ごとに、前記目標露光設定の重複をカウントし、
前記重複カウントが所定値以上の前記目標露光設定を抽出し、
前記画像取得部は、前記抽出された目標露光設定で画像を取得する、請求項２に記載の撮像システム。

【請求項5】

前記画像取得部は前記カメラモジュールからの画像を取得し、
前記カメラモジュールは、前記カメラモジュールに固有のカメラ特性関数を有し、
前記カメラ特性関数は、前記露光時間と前記画素値とが線形の関係を有する、請求項１～４のいずれか一つに記載の撮像システム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は撮像システムに関し、特に、ハイダイナミックレンジ（High Dynamic Range,ＨＤＲ）合成処理に適した画像を効率的に取得する撮像システムに関する。

【背景技術】

【0002】

従来の、ハイダイナミックレンジ画像生成方法およびハイダイナミックレンジ画像生成装置が例えば、特許第６２４０１４３号公報（特許文献１）に開示されている。同公報によれば、画素値のヒストグラム情報に基づいて算出した露光設定と拡張因子によって、高速なＨＤＲ合成処理を行なうことが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６２４０１４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献1に記載のような、ハイダイナミックレンジ画像生成装置においては、フレーム０、フレーム１、およびフレーム２の３枚だけに画像枚数が限られるため（段落番号００１０等）、撮影シーンによっては、得られた画像が有するシーン情報が不足し、階調再現精度が制限されるという問題があった。
この発明は、上記の様な問題点を解消するためになされたもので、ＨＤＲ合成に使用する画像枚数を制限することなく、任意枚数の画像を取得可能とし、ＨＤＲ合成による階調再現精度が向上する、ハイダイナミックレンジの画像が生成できる、撮像システムを提供することを目的とする。

【課題を解決するための手段】

【0005】

この発明にかかる、ハイダイナミックレンジの画像が生成できる撮像システムは、カメラモジュールと、カメラモジュールから基準画像を取得する基準画像取得部と、基準画像の画素値を算出する基準画素値算出部と、基準画像の露光時間と、基準画素値算出部の算出した基準画素値と、予め設定された目標画素値とから、目標露光設定値を算出する目標露光設定算出部と、目標露光設定値に設定された画像を取得する画像取得部と、画像取得部により取得した画像を用いてＨＤＲ合成をする、ＨＤＲ合成処理部と、を含む。
好ましくは、基準画像を複数に分割する画像分割部を含む。
さらに好ましくは、目標露光設定算出部は、画像分割部で分割された画像ごとに、目標露光設定を算出する。
この発明の一実施の形態によれば、画像分割部で分割された画像ごとに、目標露光設定の重複をカウントし、重複カウントが所定値以上の目標露光設定を抽出し、画像取得部は、抽出された目標露光設定で画像を取得する。
画像取得部はカメラモジュールからの画像を取得し、カメラモジュールは、カメラモジュールに固有のカメラ特性関数を有し、カメラ特性関数は、露光時間と画素値とが線形の関係を有してもよい。

【発明の効果】

【0006】

この発明によれば、基準画像の露光時間と、基準画素値と、予め設定された目標画素値とから、目標露光設定を算出して、それを用いた画像を取得してＨＤＲ合成に必要な画像を取得することができる。
その結果、撮影シーンに応じた適切な階調再現精度を得ることができる撮像システムを提供できる。

【図面の簡単な説明】

【0007】

【図1】この発明の一実施の形態に係る撮像システムの構成を示すブロック図である。

【図2】画像分割部の分割例を示す図である。

【図3】カメラ特性関数の例を示す図である。

【図4】露光設定、画素値および光量の関係の例を示す図である。

【図5】撮像システムの処理内容を示すフローチャートである。

【発明を実施するための形態】

【0008】

以下、この発明の実施の形態について図面を参照して説明する。図１は、この発明の一実施の形態に係る、ＨＤＲ合成に必要な画像を取得することができる撮像システムの構成を示すブロック図である。
図１を参照して、この発明の一実施の形態に係る撮像システム１０は、画像を撮像するカメラモジュール１１と、カメラモジュール１１に接続された制御部（ハイダイナミックレンジ画像生成部）２０とを含む。

【0009】

制御部２０は、ＣＰＵおよびメモリを備えたマイクロコンピュータで構成され、カメラモジュール１１からの画像データを取得する画像取得部２１と、画像取得部２１が取得した基準画像Jrefを任意の複数の画像に分割する画像分割部２２と、画像分割部２２が分割した画像から基準となる基準画素値を算出する基準画素値算出部２３と、基準画素値算出部２３が算出した基準画素値Zrefを基に目標露光設定値を算出する目標露光設定算出部２４と、目標露光設定算出部２４が算出した露光設定Eaを入力、それをカメラモジュール１１に設定する露光設定部２６と、基準露光設定Erefを算出し、それを目標露光設定算出部２４、および露光設定部２６に出力する基準露光算出部２７と、画像取得部２１からの画像データJaを基に、ＨＤＲ合成をするＨＤＲ合成処理部２９と、を含む。
なお、この実施の形態で、基準画素とは、何らかの目標（画素）を得るために必要な画素で、ある基準画素に対して、情報を復元する（ダイナミックレンジの広い情報得る）ために必要な画素を目標画素という。

【0010】

次に、各部について説明する。カメラモジュール１１は、カメラモジュールに入射する光線を画像データに変換する。

【0011】

画像取得部２１は、入力された画像が最初の基準画像であれば、基準画像取得部として作動し、画像分割部２２へ基準画像Jrefを転送し、それ以外の場合は、ＨＤＲ合成処理部２９へ転送する。

【0012】

画像分割部２２は、画像をＭ×Ｎに分割する。分割例を図２に示す。ここで、Ｍは１から画像の幅、Ｎは１から画像の高さまでの整数値を取り得る。すなわち、分割画像としては、単一の画像でも良いし、複数でもよく、任意の数に分割可能である。
このように、画像分割部２２を設けて、分割画像ごとの露光設定を可能にしたのは、例えば、画像の半分が黒く、残りの半分が白である時に、画像全体で平均を取るとグレーになってしまい、本当に必要な露光設定ができなくなる恐れがあるためである。

【0013】

基準画素値算出部２３は、入力された画像の複数の画素値を使って、単一の画素値を計算する。計算された単一の基準画素値Zrefを目標露光設定算出部２４へ送る。単一の基準画素値のとしては、分割した画像の画素値の平均値、または中央値などが考えられる。
目標露光設定算出部２４は、予め設定された目標画素値を含む画像を得るための露光設定を算出する。この露光設定は、目標画素値、基準画素値、基準露光設定およびカメラ特性関数によって画像分割数（Ｍ×Ｎ）だけ得られ、所要画像数に応じて、必要な数を選択することができる。

【0014】

カメラ特性関数および露光設定算出の詳細は後述する。
露光設定部２６は、カメラモジュール１１の露光設定を行なう。露光設定としては、露光時間（シャッタースピード）、ゲインなどがある。
基準露光算出部２７は、基準画像を取得するための露光設定を算出する。この例として、ＡＥ（自動露光調整）機能などを適用する。基準露光算出部２７は、基準露光設定Erefを目標露光設定算出部２４と、露光設定部２６へ送信する。
露光設定部２６は、露光設定情報をカメラモジュール１１へ送信する。
ＨＤＲ合成処理部２９は、画像分割数（Ｍ×Ｎ）だけ得られた、複数の画像を使用して、ハイダイナミックレンジ（ＨＤＲ）合成処理を行なう。

【0015】

次に、カメラ特性関数について説明する。カメラ特性関数は、カメラの受光量（ｉ）および露光設定（ｅ）と、画素値（ｚ）との関係を表す。図３にカメラ特性関数の例を示す。図３に示すように、ｆ（Ｘ）がカメラの特性関数を表す。この実施の形態においては、カメラ特性関数は、基本的に線形であるとする。
したがって、ある露光時間の設定において得られた画素値があれば、露光時間を何倍にすれば、画素値が何倍になるかが分かる。そこから、目標画素値になる様な目標の露光時間を計算することができる。

【0016】

すなわち、この実施の形態においては、目標画素値を予め設定しておいて、その目標画素値から逆算して目標露光時間を算出する。
ここでは、カメラ特性関数は、（１）に示す関係がある。
ｚ＝ｆ（ｘ）＝ｆ（ｅ*ｉ）・・・・・・（１）
Ｚｔｇｔ／Ｚｒｅｆ＝ｆ（Ｘｔｇｔ）／ｆ（Ｘｒｅｆ）
＝ｆ（Ｅｔｇｔ*Ｉ）／ｆ（Ｅｒｅｆ*Ｉ）・・・・・・（２）

【0017】

ここで、Ｚｔｇｔは、所望の画素値（目標画素値）であり、Ｚｒｅｆは、基準画素値である。
次に、露光設定部２６に設定するために、目標露光設定算出部２４が行なう、露光設定の算出について説明する。上に説明した式（１）の関係により、実際のシーンの受光量（ｉ）が未知でも、露光設定(ｅ)、カメラ特性関数f(x)および得られた画素値zが分かれば、受光量（ｉ）を求めることができる。

【0018】

このことから、画像取得部２１が取得した基準画像Jrefから基準画素値算出部２３が算出した基準画素値Zref、および基準露光設定Erefが分かれば、f(x)は既知なのでZref、Erefに対するシーン光量Iが分かる。また、所望の画素値Ztgtも予め決定することができるので、式（２）によって、所望の画素値Ztgtを得るための目標露光設定Etgtを得ることができる。
なお、所望の画素値Ztgtを得るための目標露光設定Etgtは、画像分割部２２で分割した画像数Ｍ×Ｎだけ得ることができる。得られたEtgtの集合をEssとする。

【0019】

撮像システムの構成によっては任意の画像枚数Ａを上限としたい場合がある。そこで、Essの中から所要数Ａだけ露光設定を選択可能とする。
この露光設定の選択方法としては、
（１）Essの中で重複をカウントし、重複上位からＡ個の露光設定を抽出する。
（２）Etgt算出の際に、例えば、分割画像GabとGcb（a, b, c, dは任意の整数）の基準画素値Zref1とZref2が数値として近い場合、両者の平均値を新たな基準画素値Zref’とする。といった方法を取り得る。

【0020】

ここで、任意の露光設定Eから得られた画素値Zkと光量Ikの関係例を図４に示す。ここでは、１つの画像において、所定の露光設定内で、全画素をカバーできる状態から、できない状態までの３つの画素について説明する。
図４（ａ）は、画像中の画素１～画素３の位置を示す図であり、図４（ｂ）は、画素１の露光設定ｅと画素値Zkと光量Ikとの関係を示す図であり、図４（ｃ）は、画素２の露光設定ｅと画素値Zkと光量Ikとの関係を示す図であり、図４（ｄ）は、画素３の露光設定ｅと画素値Zkと光量Ikとの関係を示す図である。

【0021】

次に、制御部２０の動作について説明する。基本的に、まず、カメラモジュールに適当な露光時間を設定して基準画像を取得し、取得した基準画像から目標画素値合うような露光時間を計算する。計算した露光時間を使って画像を新たに追加で取得し、これと基準画像とを使ってＨＤＲ合成処理を行なう。すなわち、予め目標とする画素値を複数準備することによって、任意の複数の画像の取得が可能になる、というのが大きな流れである。以下、具体的に説明する。
図５は、制御部２０が行なう動作を示すフローチャートである。図５を参照して、まず、目標画素値候補Ｔ、および上限とする画像枚数Ａを目標露光設定算出部２４に設定する（ステップＳ１１およびＳ１２、以下、ステップを省略する）。ここで、ＴはＡ以上である。
基準露光算出部２７で、基準画像用の適当な基準露光設定Erefを複数設定する（Ｓ１３）。

【0022】

露光設定部２６で設定された露光設定でカメラモジュール１１で画像を撮像し、画像取得部２１で基準画像Jrefを取得する（Ｓ１４）。この基準画像を画像分割部２２に送る。画像分割部２２は、図２に示したように、基準画像JrefをＭ×Ｎに分割する(Gmn)（Ｓ１５）。
分割されたGmnについて、Ｍ×Ｎ個になるまで、基準画素値算出部２３で基準画素値Zrefを算出する（Ｓ１６～Ｓ１８）。

【0023】

カメラ特性関数で説明したように、基準画像Jrefから基準画素値算出部２３が算出した基準画素値Zref、および基準露光算出部２７で設定された基準露光設定Erefが分かれば、f(x)は既知なのでZref、Erefに対するシーン光量Iが分かり、所望の画素値Ztgtも予め決定することができるので、所望の画素値Ztgtを得るための目標露光設定Etgtを目標露光設定算出部２４で算出することができる（Ｓ１９～Ｓ２０）。算出した目標露光設定Etgtを、目標露光設定算出部２４にある、露光設定候補群Essに格納する（Ｓ２１～Ｓ２３）。
このようにして、分割した画像数Ｍ×Ｎになるまで、目標露光設定を繰り返す。

【0024】

その後、露光設定部２６に、Essから上限の画像枚数Ａだけ選択的に露光時間を抽出する（Ｓ２４）。その後、露光設定Eaを露光設定部２６に設定し（Ｓ２６）、画像取得部２１で画像データJaを取得する（Ｓ２７）。これを上限の画像枚数Ａまで繰り返す（Ｓ２８）。その後、ＨＤＲ処理を行なう（Ｓ２９）。
なお、上記実施の形態においては、カメラ特性関数が線形である場合について説明したが、これに限らず、カメラ特性関数が数式で表されるものであれば、同様に適用できる。

【0025】

以上のように、この実施の形態においては、基準画像の露光時間と、基準画素値と、予め設定された目標画素値とから、目標露光設定時間を算出して、それを用いた画像を取得してＨＤＲ合成に必要な画像を取得することができるため、撮影シーンに応じた適切な階調再現精度を得ることができる撮像システムを提供できる。

【0026】

以上、図面を参照してこの発明の実施形態を説明したが、この発明は、図示した実施形態のものに限定されない。図示した実施形態に対して、この発明と同一の範囲内において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。

【産業上の利用可能性】

【0027】

この発明によれば、撮影シーンに応じた適切な階調再現精度を得ることができる撮像システムを提供できるため、撮像システムとして有利に利用される。

【符号の説明】

【0028】

１０ 撮像システム、１１ カメラモジュール、２０ 制御部、２１ 画像取得部、２２ 画像分割部、２３ 基準画素値算出部、２４ 目標露光設定算出部、２６ 露光設定部、２７ 基準露光算出部、２９ ＨＤＲ合成処理部。

【図1】

【図2】

【図3】

【図4】

【図5】