▶ センサーズ・アンリミテッド・インコーポレーテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-18
(45)【発行日】2023-10-26
(54)【発明の名称】画像強調の方法及び撮像システム
(51)【国際特許分類】
G06T 5/00 20060101AFI20231019BHJP
G06T 5/40 20060101ALI20231019BHJP
【ＦＩ】
G06T5/00
G06T5/40
【請求項の数】
18
(21)【出願番号】P 2019145037
(22)【出願日】2019-08-07
(65)【公開番号】P2020024704
(43)【公開日】2020-02-13
【審査請求日】2022-02-08
(31)【優先権主張番号】16/057,280
(32)【優先日】2018-08-07
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】516320322
【氏名又は名称】センサーズ・アンリミテッド・インコーポレーテッド
(74)【代理人】
【識別番号】100086232
【弁理士】
【氏名又は名称】小林 博通
(74)【代理人】
【識別番号】100092613
【弁理士】
【氏名又は名称】富岡 潔
(72)【発明者】
【氏名】トゥク－ウェン ングエン
【審査官】▲高▼橋 真之
(56)【参考文献】
【文献】特開２００８－０１７３２１（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１１／０１１６７１３（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ５／００－ ５／４０
(57)【特許請求の範囲】
【請求項1】
画像強調の方法であって、焦点面アレイにおいて受信された入力画像に対応する入力ヒストグラムを構築することであって、前記入力ヒストグラムは、前記入力画像に対応する画素値分布を表す、前記構築することと、
ゼロ値から始まり、画素カウントによる前記入力ヒストグラムの予め定められた比率に到達する画素ビン値を表す分割値において終わる前記入力ヒストグラムの第１の帯域に対してヒストグラム平坦化を実行して、平坦化曲線の第１の部分を生成することと、
前記分割値から始まり、画素カウントによる前記入力ヒストグラムの全てに到達する画素ビン値において終わる前記入力ヒストグラムの第２の帯域に対してヒストグラム平坦化を実行して、前記平坦化曲線の第２の部分を生成することと、
前記平坦化曲線の前記第１の部分及び／または前記平坦化曲線の前記第２の部分のうちの少なくとも１つをスケーリングして、前記平坦化曲線を完成するように、前記分割値において前記平坦化曲線の前記第１の部分及び前記第２の部分を接続及び平滑化することと、
前記入力画像に前記平坦化曲線を適用して、対応する強調された画像を生成することと、
を含む、前記方法。
【請求項2】
前記分割値は、画素カウントによる前記入力ヒストグラムの半分に到達する画素ビン値にある、請求項１に記載の方法。
【請求項3】
強調されたビデオデータのストリームを生成することを更に含み、前記ビデオデータは、一連の画像を含み、入力ヒストグラムを構築すること、前記第１の帯域に対してヒストグラム平坦化を実行すること、前記第２の帯域に対してヒストグラム平坦化を実行すること、スケーリングすること、及び前記強調された平坦化曲線を適用することは、前記一連の画像内の画像ごとに繰り返される、請求項２に記載の方法。
【請求項4】
前記分割値は、前記一連の画像内のそれぞれの画像ごとに、画素カウントによるそれぞれの前記入力ヒストグラムの半分に到達する画素ビン値にある、請求項３に記載の方法。
【請求項5】
ヒストグラム平坦化を実行し、スケーリングするためのパラメータは、前記一連の画像に対して一定である、請求項３に記載の方法。
【請求項6】
入力ヒストグラムを構築すること、前記第１の帯域に対してヒストグラム平坦化を実行すること、前記第２の帯域に対してヒストグラム平坦化を実行すること、及びスケーリングすることは、前記一連の画像内の各々の画像のリアルタイム強調のためにリアルタイムで繰り返される、請求項３に記載の方法。
【請求項7】
入力ヒストグラムを構築すること、前記第１の帯域に対してヒストグラム平坦化を実行すること、前記第２の帯域に対してヒストグラム平坦化を実行すること、及びスケーリングすることは、前記焦点面アレイにおいて受信された画像ごとに自動化及び繰り返され、ヒストグラム平坦化を実行し、スケーリングするためのパラメータは、焦点面アレイにおいて受信された全ての入力画像に対して一定に保持される、請求項１に記載の方法。
【請求項8】
前記強調された画像に対応する強調されたヒストグラムは、前記入力ヒストグラムの平均値とは異なる平均値を有する、請求項１に記載の方法。
【請求項9】
前記第１の帯域に対してヒストグラム平坦化を実行することは、前記第１の帯域に対して累積分布関数を使用することを含み、前記累積分布関数は、前記入力ヒストグラムにわたって正規化され、前記第２の帯域に対してヒストグラム平坦化を実行することは、前記分割値において新たな累積分布関数を開始することを含み、前記新たな累積分布関数は、前記入力ヒストグラムの前記第２の帯域のみにわたって正規化される、請求項１に記載の方法。
【請求項10】
焦点面アレイに光学的に結合された光学系であって、前記焦点面アレイは、前記光学系によってその上に焦点を合わせられた画像を受信するように構成される、前記光学系と、前記焦点面アレイに動作可能に接続されたコントローラと、を含み、
前記コントローラは、機械可読命令を含み、前記機械可読命令は、前記コントローラに、
焦点面アレイにおいて受信された入力画像に対応する入力ヒストグラムを構築することであって、前記入力ヒストグラムは、前記入力画像に対応する画素値分布を表す、前記構築することと、
ゼロ値から始まり、画素カウントによる前記入力ヒストグラムの予め定められた比率に到達する画素ビン値を表す分割値において終わる前記入力ヒストグラムの第１の帯域に対してヒストグラム平坦化を実行して、平坦化曲線の第１の部分を生成することと、
前記分割値から始まり、画素カウントによる前記入力ヒストグラムの全てに到達する画素ビン値において終わる前記入力ヒストグラムの第２の帯域に対してヒストグラム平坦化を実行して、前記平坦化曲線の第２の部分を生成することと、
前記平坦化曲線の前記第１の部分及び／または前記平坦化曲線の前記第２の部分のうちの少なくとも１つをスケーリングして、前記平坦化曲線を完成するように、前記分割値において前記平坦化曲線の前記第１の部分及び前記第２の部分を接続及び平滑化することと、
前記入力画像に前記平坦化曲線を適用して、対応する強調された画像を生成することと、
を行わせるように構成される、撮像システム。
【請求項11】
前記分割値は、画素カウントによる前記入力ヒストグラムの半分に到達する画素ビン値にある、請求項１０に記載のシステム。
【請求項12】
前記機械可読命令は、前記コントローラに、強調されたビデオデータのストリームを生成することを行わせるように構成され、前記ビデオデータは、一連の画像を含み、入力ヒストグラムを構築すること、前記第１の帯域に対してヒストグラム平坦化を実行すること、前記第２の帯域に対してヒストグラム平坦化を実行すること、スケーリングすること、及び前記強調された平坦化曲線を適用することは、前記一連の画像内の画像ごとに繰り返される、請求項１１に記載のシステム。
【請求項13】
前記分割値は、前記一連の画像内のそれぞれの画像ごとに、画素カウントによるそれぞれの前記入力ヒストグラムの半分に到達する画素ビン値にある、請求項１２に記載のシステム。
【請求項14】
ヒストグラム平坦化を実行し、スケーリングするためのパラメータは、前記一連の画像に対して一定である、請求項１２に記載のシステム。
【請求項15】
入力ヒストグラムを構築すること、前記第１の帯域に対してヒストグラム平坦化を実行すること、前記第２の帯域に対してヒストグラム平坦化を実行すること、及びスケーリングすることは、前記一連の画像内の各々の画像のリアルタイム強調のためにリアルタイムで繰り返される、請求項１２に記載のシステム。
【請求項16】
入力ヒストグラムを構築すること、前記第１の帯域に対してヒストグラム平坦化を実行すること、前記第２の帯域に対してヒストグラム平坦化を実行すること、及びスケーリングすることは、前記焦点面アレイにおいて受信された画像ごとに自動化及び繰り返され、ヒストグラム平坦化を実行し、スケーリングするためのパラメータは、焦点面アレイにおいて受信された全ての入力画像に対して一定に保持される、請求項１０に記載のシステム。
【請求項17】
前記強調された画像に対応する強調されたヒストグラムは、前記入力ヒストグラムの平均値とは異なる平均値を有する、請求項１０に記載のシステム。
【請求項18】
前記第１の帯域に対してヒストグラム平坦化を実行することは、前記第１の帯域に対して累積分布関数を使用することを含み、前記累積分布関数は、前記入力ヒストグラムにわたって正規化され、前記第２の帯域に対してヒストグラム平坦化を実行することは、前記分割値において新たな累積分布関数を開始することを含み、前記新たな累積分布関数は、前記入力ヒストグラムの前記第２の帯域のみにわたって正規化される、請求項１０に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、撮像システムに関し、特に、撮像システムにおける画像強調に関する。
【背景技術】
【0002】
画像ヒストグラムは、画像内の色調分布のグラフィカル表現及び／または概念的表現である。画素データは、最も暗い値から最も明るい値にわたる横軸に沿って分布した値の離散ビンにビン分割される。所与のビンの縦方向の高さは、その値のビンに分類される画像データにおける画素の数を表す。このようにしてデータを配列することは、画像内の値分布の即時的な視覚的評価をグラフィカルに可能にする。このようにしてデータを配列することは、データの容易な操作を概念的に可能にして、例えば、コントラストを改善し、または露出過度もしくは露出不足を補正するなどの場合、画像内の色調分布を改善する。
【発明の概要】
【発明が解決しようとする課題】
【0003】
ヒストグラム平坦化は、いずれの画像情報も損失することなく、全体的なコントラストを効果的に改善する一般的な習慣である。しかしながら、従来のヒストグラム平坦化は、輝度を維持しない。また、飽和して見える画像をもたらす傾向がある。
【0004】
従来の技術は、それらの意図した目的のために十分であると考えられてきた。しかしながら、改善された画像強調に対する必要性がなおも存在する。本開示は、この必要性に対する解決策を提供する。
【課題を解決するための手段】
【0005】
画像強調の方法は、焦点面アレイにおいて受信された入力画像に対応する入力ヒストグラムを構築することを含み、入力ヒストグラムは、入力画像に対応する画素値分布を表す。方法は、ゼロ値から始まり、画素カウントによる入力ヒストグラムの予め定められた比率に到達する画素ビン値を表す分割値において終わる入力ヒストグラムの第１の帯域に対してヒストグラム平坦化を実行して、平坦化曲線の第１の部分を生成することを含む。方法は、分割値から始まり、画素カウントによる入力ヒストグラムの全てに到達する画素ビン値において終わる入力ヒストグラムの第２の帯域に対してヒストグラム平坦化を実行して、平坦化曲線の第２の部分を生成することを含む。方法は、平坦化曲線の第１の部分及び／または平坦化曲線の第２の部分のうちの少なくとも１つをスケーリングして、平坦化曲線を完成するように、分割値において平坦化曲線の第１の部分及び第２の部分を接続及び平滑化することを含む。方法は、入力画像に平坦化曲線を適用して、対応する強調された画像を生成することを含む。
【0006】
分割値は、画素カウントによる入力ヒストグラムの半分に到達する画素ビン値にあることができる。方法は、強調されたビデオデータのストリームを生成することを含むことができ、ビデオデータは、一連の画像を含み、入力ヒストグラムを構築すること、第１の帯域に対してヒストグラム平坦化を実行すること、第２の帯域に対してヒストグラム平坦化を実行すること、スケーリングすること、及び平坦化曲線を適用することは、一連の画像内の画像ごとに繰り返される。分割値は、一連の画像内のそれぞれの画像ごとに、画素カウントによるそれぞれの入力ヒストグラムの半分に到達する画素ビン値にあることができる。ヒストグラム平坦化を実行し、スケーリングするためのパラメータは、一連の画像に対して一定であることができる。入力ヒストグラムを構築すること、第１の帯域に対してヒストグラム平坦化を実行すること、第２の帯域に対してヒストグラム平坦化を実行すること、及びスケーリングすることは、一連の画像内の各々の画像のリアルタイム強調のためにリアルタイムで繰り返されることができる。
【0007】
入力ヒストグラムを構築すること、第１の帯域に対してヒストグラム平坦化を実行すること、第２の帯域に対してヒストグラム平坦化を実行すること、及びスケーリングすることは、例えば、焦点面アレイにおいて受信された画像ごとに自動化及び繰り返されることができ、ヒストグラム平坦化を実行し、スケーリングするためのパラメータは、焦点面アレイにおいて受信された全ての入力画像に対して一定に保持される。
【0008】
強調されたヒストグラムは、入力ヒストグラムの平均値とは異なる平均値を有することができる。第１の帯域に対してヒストグラム平坦化を実行することは、第１の帯域に対して累積分布関数を使用することを含むことができ、累積分布関数は、入力ヒストグラムにわたって正規化され、第２の帯域に対してヒストグラム平坦化を実行することは、分割値において新たな累積分布関数を開始することを含み、新たな累積分布関数は、入力ヒストグラムの第２の帯域のみにわたって正規化される。
【0009】
撮像システムは、焦点面アレイに光学的に結合された光学系を含み、焦点面アレイは、光学系によってその上に焦点を合わせられた画像を受信するように構成される。コントローラは、焦点面アレイに動作可能に接続され、コントローラは、コントローラに、上記開示され、または本明細書で開示される方法のいずれかを実行させるように構成された機械可読命令を含む。
【0010】
主題の開示のシステム及び方法のそれらの特徴及び他の特徴は、図面と併用して好ましい実施形態の以下の詳細な説明から当業者にとって更に容易に明らかになるであろう。
【0011】
主題の開示が属する分野における当業者が、過度な実験なく、主題の開示のデバイス及び方法をどのように作成及び使用するかを容易に理解するように、その好ましい実施形態は、特定の図面を参照して、本明細書で以下に詳細に説明される。
【図面の簡単な説明】
【0012】
【図1】焦点面アレイ（ＦＰＡ）及びコントローラを示す、本開示に従って構築された撮像システムの例示的な実施形態の概略図である。
【図3】第１の列内の３つの未加工画像、中間列内の従来のヒストグラム平坦化によって補正された３つの画像、並びに第３の列内の本明細書で開示されるシステム及び方法を使用して補正された３つの画像を示す図である。
【発明を実施するための形態】
【0013】
ここで、図面への参照が行われ、同一の参照符号は、主題の開示の同様の構造的特徴または態様を識別する。説明及び例示の目的のために、並びに限定することなく、開示に従った撮像システムの例示的な実施形態の部分的な表示が図１に示され、参照符号１００によって全体的に指定される。開示に従った撮像システムの他の実施形態、またはその態様は、説明されるように、図２～３において提供される。本明細書で説明されるシステム及び方法は、リアルタイムな強調において画像及びビデオ品質を改善するために使用されることができる。
【0014】
撮像システム１００、例えば、カメラシステムは、例えば、筐体１０４内で焦点面アレイ１０６に光学的に結合された１つ以上のレンズ素子を含む光学系１０２を含み、焦点面アレイ１０６は、光学系１０２によってその上に焦点を合わせられた画像を受信するように構成される。コントローラ１０８は、焦点面アレイ１０６に動作可能に接続され、コントローラは、コントローラに、本明細書で説明される方法のいずれかを実行させるように構成された機械可読命令を含む。コントローラ１０８は、画像を出力するための、例えば、表示、印刷、または記憶などのための出力インタフェース１１０に接続される。
【0015】
ここで、図２を参照して、画像強調の方法は、図１の焦点面アレイ１０６において受信された入力または未加工画像１３０に対応する入力ヒストグラム１１２を構築することを含む。入力ヒストグラム１１２は、入力画像１３０に対応する画素値分布を表す。方法は、ゼロ値ビン（図２の横軸の左端）から始まり、画素カウントによる入力ヒストグラムの予め定められた比率に到達する画素ビン値を表す横軸上の分割値１１４において終わる入力ヒストグラムの第１の帯域１１６に対してヒストグラム平坦化を実行して、平坦化曲線１２３の第１の部分１２０を生成することを含む。方法はまた、分割値１１４から始まり、画素カウントによる入力ヒストグラムの全てに到達する画素ビン値において終わるヒストグラムの第２の帯域１１８に対してヒストグラム平坦化を実行して、平坦化曲線１２３（例えば、図２における横軸の右端）の第２の部分１２２を生成することを含む。
【0016】
第１の帯域１１６に対してヒストグラム平坦化を実行することは、第１の帯域１１６に対して累積分布関数を使用することを含むことができ、累積分布関数（ＣＤＦ）は、入力ヒストグラム１１２全体にわたって正規化される（例えば、入力画像が２０メガピクセルを有する場合、ＣＤＦは、２０メガピクセルにわたって正規化される）。この実施例では、分割値１１４は、図２における縦軸上で５０％または０．５にあり、画素の半分は、第１の帯域１１８内にある。第２の帯域１１８に対してヒストグラム平坦化を実行することは、分割値１１４において新たなＣＤＦを開始することを含み、新たなＣＤＦは、入力ヒストグラム１１２の第２の帯域１１８のみにわたって正規化される（例えば、入力画像が２０メガピクセルを有し、分割値１１４が５０％である場合、新たなＣＤＦは次いで、１０メガピクセルのみにわたって正規化される）。結果は、連結された平坦化曲線の第１の部分１２０及び第２の部分１２２により、図２における実施例では、事前にスケーリングされた平坦化曲線１２３が１００％を超える値に到達し、それは、縦スケール上で１５０％の値または１．５の正規化された値に到達する。
【0017】
方法は、平坦化曲線の第１の部分１２０及び／または第２の部分１２２のうちの少なくとも１つをスケーリングして、最終平坦化曲線１２４を完成するように、分割値１１４において平坦化曲線の第１の部分１２０及び第２の部分１２２を接続及び平滑化することを含み、最終平坦化曲線１２４は、１００％の最大値を有するように再度スケールダウンされる。この実施例では、平坦化曲線１２３の第１の部分１２０及び第２の部分１２２は、図２におけるポイント１１５（分割値１１４に対応する）において連結され、図２における最終平坦化曲線１２４を生成するように共にスケールダウンされる。方法は、入力画像に最終平坦化曲線１２４を適用して、対応する強調された画像（例えば、図３における画像１３８、１４０、及び１４２）を生成することを含む。図２はまた、破線内の標準ＣＤＦ曲線１５０、及び入力画像１３０に曲線１５０を適用することによって得られたヒストグラム平坦化ヒストグラム１５２を示す。結果として生じる出力画像は、ヒストグラム平坦化された画像１３６である。比較して、最終平坦化曲線１２４は、未加工画像１３０に適用され、強調された画像１４２に対応する強調されたヒストグラム１５４が得られる。画像１３０、１３６、及び１４２は更に、図３を参照して以下で比較される。
【0018】
分割値１１４は、ＣＤＦによって、画素カウントによる入力ヒストグラムの半分に到達する画素ビン値にある。当業者は、本開示の範囲から逸脱することなく、いずれかの予め定められた画素ビン値が、分割値、例えば、画素の２５％または画素の７５％などのために使用されることができることを容易に認識するであろう。
【0019】
方法は、強調されたビデオデータのストリームを生成することを含み、ビデオデータは、一連の画像を含み、入力ヒストグラム１１２を構築すること、第１の帯域１１６に対してヒストグラム平坦化を実行すること、第２の帯域１１８に対してヒストグラム平坦化を実行すること、スケーリングすること、及び強調された平坦化曲線１２４を適用して、強調された画像を生成することは、一連の画像内の画像ごとに繰り返される。分割値１１４は常に、一連の画像内のそれぞれの画像ごとに、ＣＤＦによって画素カウントによる入力ヒストグラムの半分に到達することであることができる。ヒストグラム平坦化を実行し、スケーリングするための他のパラメータはまた、一連の画像に対して一定に保持されることができる。入力ヒストグラム１１２を構築すること、第１の帯域１１６に対してヒストグラム平坦化を実行すること、第２の帯域１１８に対してヒストグラム平坦化を実行すること、及びスケーリングすることは、一連の画像内の各々の画像のリアルタイム強調のためにリアルタイムに繰り返されることができる。言い換えると、撮像システム１００によって捕捉されたビデオは、それらの方法によりリアルタイムで強調されることができ、よって、例えば、ディスプレイ上でビデオを見ているユーザは、ビデオが捕捉されたようにリアルタイムで強調されたイメージを見る。
【0020】
同様に、静止画像撮影のコンテキストでは、入力ヒストグラム１１２を構築すること、第１の帯域１１６に対してヒストグラム平坦化を実行すること、第２の帯域１１８に対してヒストグラム平坦化を実行すること、及びスケーリングすることは、図１の焦点面アレイ１０６において受信された画像ごとに自動化及び繰り返され、ヒストグラム平坦化を実行し、スケーリングするためのパラメータは、焦点面アレイ１０６において受信された全ての入力画像に対して一定に保持される。静止撮影またはビデオ捕捉のために使用されるかに関わらず、本明細書で開示されるシステム及び方法は、リアルタイムでの自動された画像強調を提供することができる。
【0021】
上記述べられた処理が平均を維持させないので、所与の画像に対する結果として生じる強調されたヒストグラム１５４は、入力画像に対する入力ヒストグラム１１２の平均値とは異なる平均値を有する。これは、強調されたヒストグラムを生成するために平均値が維持された場合に対して、改善された微光での性能を可能にする。
【0022】
ここで、図３を参照して、第１の列内の３つの未加工画像１２６、１２８、及び１３０が示される。それらの３つの画像１２６、１２８、及び１３０は、中間列内の３つのそれぞれの画像１３２、１３４、及び１３６を生成するように、従来のヒストグラム平坦化によって補正される。３つの画像１２６、１２８、及び１３０はまた、図３の第３の列内の３つのそれぞれの強調された画像１３８、１４０、及び１４２を生成するように、本明細書で開示されるシステム及び方法を使用して補正される。第１の画像１２６に対して、従来のヒストグラム平坦化は、画像１３２の最前面内で白飛びされた輝度値または飽和された輝度値をもたらし、本明細書で開示される技術に従った強調された画像１３８内では、最前面はあまり白飛びされず、またはあまり飽和されず、詳細を維持すると共に、暗値においてコントラストを改善する。同様に、画像１２８に対して、画像１３４を生成するために使用される従来のヒストグラム平坦化は、光源を囲む広い領域を白飛びさせ、本開示に従った強調された画像１４０は、暗い領域内の視覚性を改善し、例えば、光源の周りの領域を白飛びさせることなく、画像１４０の右側の木を視認可能にする。同様に、画像１３０に対して、最前面内の草は、従来のヒストグラム平坦化によって生成された画像１３６内で白飛びされ、本開示に従った強調された画像１４２は、最前面内の草をあまり白飛びさせることなく、暗い背景内の詳細の強調された視認性をもたらす。
【0023】
グレイスケール画像の例示的なコンテキストにおいて示され、及び説明されたが、当業者は、本明細書で開示されるシステム及び方法が、本開示の範囲から逸脱することなく、色及び／または複数帯域画像（例えば、異なる赤外線帯域を含む）に適用されることができることを容易に認識するであろう。
【0024】
本開示の方法及びシステムは、上記説明され、及び図面において示されたように、従来技術に対してリアルタイム強調における改善された画像及びビデオ品質を含む優れた特性を有する画像を強調することをもたらす。主題の開示の装置及び方法が好ましい実施形態を参照して示され、及び説明されてきたが、当業者は、主題の開示の範囲から逸脱することなく、それらへの変更及び／または修正が行われてもよいことを容易に認識するであろう。
【図1】
【図2】
【図3】