特開 2023-26343 画像処理および画像合成における画像データおよび関連するノイズモデルの同時のかつ整合的な取り扱い

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023026343

(43)【公開日】2023-02-24

(54)【発明の名称】画像処理および画像合成における画像データおよび関連するノイズモデルの同時のかつ整合的な取り扱い

(51)【国際特許分類】

   G06T 5/00 20060101AFI20230216BHJP

   G06T 1/20 20060101ALI20230216BHJP

【ＦＩ】

G06T5/00 705

G06T1/20 C

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022120920

(22)【出願日】2022-07-28

(31)【優先権主張番号】21191349

(32)【優先日】2021-08-13

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】520435588

【氏名又は名称】ドットフォトン・アーゲー

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】クリストフ・クラウセン

(72)【発明者】

【氏名】ブリュノ・サンギネッティ

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CD10

5B057CE02

5B057CE08

5B057CF05

5B057CH05

5B057CH20

5B057DA16

5B057DB02

5B057DB09

5B057DC36

5B057DC40

(57)【要約】      （修正有）

【課題】画像全体にわたって整合性のあるノイズモデルを維持する画像処理方法を提供する。
【解決手段】方法は、処理すべき入力生画像データ１１０を含む入力データ１００を、格納および／または送信するために取得するステップを含む。入力生画像データ１１０が、画像データの取得に使用されるイメージセンサの画素の値ｙを含む。方法はまた、入力生画像データ１１０を処理するステップ１３０と、出力データ１４０を提供することによって処理された画像データを出力するステップと、を含む。入力データ１００を取得するステップは、入力データ１００から入力ノイズモデル１２０を取得するステップを含む。入力生画像データ１１０を処理するステップ１３０は、少なくとも１つの前処理動作又は画像合成動作を含む。
【選択図】図1

【特許請求の範囲】

【請求項1】

ノイズおよび情報を含む画像データを処理するための方法であって、
- 処理すべき入力生画像データ(110)を含む入力データ(100)を、格納および／または送信するために取得するステップであって、前記入力生画像データ(110)が、前記画像データの取得に使用されるイメージセンサの画素の値yを含む、ステップと、
- 前記入力生画像データ(110)を処理するステップ(130)と、
- 出力データ(140)を提供することによって前記処理された画像データを出力するステップと
を含み、
入力データ(100)を取得する前記ステップが、
°前記入力データ(100)から入力ノイズモデル(120)を取得するステップであって、前記入力ノイズモデル(120)が、前記入力生画像データ(110)内に存在するノイズを反映するように適合されており、前記入力生画像データ(110)と前記入力ノイズモデル(120)が一緒に、前記入力生画像データ(110)を前記入力ノイズモデル(120)にリンクさせる様式で前記入力データ(100)を形成する、ステップ
を含み、
前記入力生画像データ(110)を処理するステップ(130)が、
°前記入力生画像データ(110)の画素値を補正する処理動作、
°前記入力生画像データ(110)にフラットフィールド補正を適用する処理動作、
°前記入力生画像データ(110)に光感度不均一性の補正を適用する処理動作、
°前記入力生画像データ(110)にビニング動作および／または平均化動作を適用する処理動作、
°前記入力生画像データ(110)の正規化を実行する処理動作、
°前記入力生画像データ(110)に、丸め動作および／もしくは切り捨て動作、ならびに／または整数量子化を適用する処理動作、
°特に、前記入力生画像データ(110)に基づいて合成画像を作成および／もしくは追加することによって、かつ／または前記入力生画像データ(110)を変調することによって、画像合成を実行する処理動作
のうちの少なくとも1つを含み、
前記処理するステップ(130)が、
°前記入力ノイズモデル(120)に基づいて、かつ前記入力生画像データ(110)に適用された前記処理動作に応じて、前記出力データ(140)内に存在するノイズを反映するように適合された出力ノイズモデル(160)を決定するステップと、
°前記入力生画像データ(110)に適用された前記処理動作、ならびに前記入力ノイズモデル(120)および／または前記出力ノイズモデル(160)に基づいて、前記出力ノイズモデル(160)と統計的に整合性のある出力生画像データ(150)を生成するステップと
をさらに含み、
前記処理された画像データを出力する前記ステップが、
°前記出力生画像データ(150)および前記出力ノイズモデル(160)を格納および／または送信するステップであって、前記出力生画像データ(150)と前記出力ノイズモデル(160)が一緒に、前記出力生画像データ(150)を前記出力ノイズモデル(160)にリンクさせる様式で前記出力データ(140)を形成する、ステップ
を含み、
処理(130)がパイプライン処理のために適合されるように、前記出力データ(140)を入力データ(100)として、前記処理動作のうちのいずれか1つによって単独で、または前記処理動作の任意の組み合わせによって前記処理(130)を可能にすることを特徴とする方法。

【請求項2】

前記入力ノイズモデル(120)および／または前記出力ノイズモデル(160)が、前記画像データの取得に使用される前記イメージセンサの所与の画素の値yの平均画素値μ_yの、画素値標準偏差σ_yに対するマッピングσ_y(μ_y)、平均画素値μ_yの、画素値分散

【数1】

に対するマッピング

【数2】

、または平均画素値μ_yの、信号対雑音比SNR_yに対するマッピングSNR_y(μ_y)によって表現されることを特徴とする、請求項1に記載の方法。

【請求項3】

前記入力ノイズモデル(120)および／または前記出力ノイズモデル(160)が、
- 線形もしくは非線形補間によって連続モデルσ_y(μ_y)を得るように適合された有限点集合、
- 連続モデルσ_y(μ_y)を近似する多項式関数を構築するように適合された係数セット、または
- 連続モデルσ_y(μ_y)に関する自由パラメータが前記自由パラメータに特有の値と組み合わされた関数
によって表現され、
ただしσ_yは、前記画像データの取得に使用されるイメージセンサの所与の画素の値yの、その平均値μ_yに対する標準偏差であることを特徴とする、請求項1または2に記載の方法。

【請求項4】

前記入力ノイズモデル(120)および／または前記出力ノイズモデル(160)が、前記入力生画像データ(110)および／または前記出力生画像データ(150)内の、

【数3】

によって表されるポアソン-ガウス分布に従うノイズを表現するように適合され、
ただしσ_yは、前記画像データの取得に使用される前記イメージセンサの所与の画素の値yの、その平均値μ_yに対する標準偏差であり、σ_y.darkは、光がない状態での画素値の標準偏差であり、μ_y.darkは、光がない状態での画素値の平均値であり、Kはゲイン係数であることを特徴とする、請求項1から3のいずれか一項に記載の方法。

【請求項5】

前記処理するステップ(130)が、前記画像データの取得に使用されるイメージセンサの所与の画素の値yにノイズ整合的動作を表現する変換S(y,q)を適用するステップを含み、ただしqは画素値低減係数であり、0<q<1であり、前記処理ステップ(130)が、前記入力ノイズモデル(120)と同一である出力ノイズモデル(160)を使用することを特徴とする、請求項1から4のいずれか一項に記載の方法。

【請求項6】

ノイズ整合的スケーリング動作を表現する前記変換S(y,q)が、y'=q・y+δ(y,q)によって表され、ただしy'は、前記変換を適用した後の補正済み画素値であり、δは、正規分布からサンプリングされた(疑似)乱数であり、前記正規分布は、平均値0および分散

【数4】

を有し、ただし

【数5】

は、前記出力生画像データ(150)の前記ノイズの標準偏差σ_y(qy)を画素値低減係数qの分だけ低減させる係数であり、q<q'<1であることを特徴とする、請求項5に記載の方法。

【請求項7】

ノイズ整合的スケーリング動作を表現する前記変換S(y,q)の前記(疑似)乱数δの分布の分散が、

【数6】

によって表されることを特徴とする、請求項4および6に記載の方法。

【請求項8】

前記処理するステップ(130)が、前記画像データの取得に使用されるイメージセンサの所与の画素の値yにノイズ不整合的動作を適用するステップを含み、前記処理ステップ(130)が、前記入力ノイズモデル(120)に比べて異なっているとともに前記出力データ(140)の前記出力生画像データ(150)の前記ノイズと整合性のある出力ノイズモデル(160)を使用することを特徴とする、請求項1から4のいずれか一項に記載の方法。

【請求項9】

前記入力生画像データ(110)を処理するステップ(130)中に適用される前記少なくとも1つの処理動作が、
°前記入力生画像データ(110)の画素値を補正すること、
°前記入力生画像データ(110)にフラットフィールド補正を適用すること、
°前記入力生画像データ(110)に光感度不均一性の補正を適用すること
を含む処理動作の群から選択され、
前記入力ノイズモデル(120)が前記出力生画像データ(150)の全ての画素値に対して有効なままであることを確実にすることによって、前記出力ノイズモデル(160)が前記入力ノイズモデル(120)と同一である様式で、前記処理動作の各々が前記入力生画像データ(110)に適用されることを特徴とする、請求項5から7のいずれか一項と組み合わせた請求項1から4のいずれか一項に記載の方法。

【請求項10】

°前記入力生画像データ(110)の画素値を補正することが、補正済み画素値y'_C=S(y_L+y_R-μ_y.dark,q=1/2)を代入するために近傍画素値y_Lおよびy_Rを使用することによって不良画素値y_Cを交換することによって実行され、ただしqは前記画素値低減係数であり、μ_y.darkは、光がない状態での画素値の平均値であり、かつ／または
°前記入力生画像データ(110)にフラットフィールド補正を適用することが、N(i,j)が参照フラットフィールド画像を表現し、iおよびjが画素座標を表す、

【数7】

による画素依存低減係数q(i,j)を使用することによって、補正済み画素値y'=q・y+δ(y,q)を代入することにより実行され、かつ／または
°前記入力生画像データ(110)に光感度不均一性の補正を適用することが、N(i,j)が前記画像データの取得に使用されるイメージセンサの較正によって決定される空間的に変化する相対検出効率を表現し、iおよびjが画素座標を表す、

【数8】

による画素依存低減係数q(i,j)を使用することによって、補正済み画素値y'=q・y+δ(y,q)を代入することにより実行されることを特徴とする、請求項9に記載の方法。

【請求項11】

前記入力生画像データ(110)を処理するステップ(130)中に適用される少なくとも1つの処理動作が、
°前記入力生画像データ(110)にビニング動作および／または平均化動作を適用すること、
°前記入力生画像データ(110)の正規化を実行すること、
°前記入力生画像データ(110)に、丸め動作および／もしくは切り捨て動作、ならびに／または整数量子化を適用すること、
°特に、前記入力生画像データ(110)に基づいて合成画像を作成および／もしくは追加することによって、かつ／または前記入力生画像データ(110)を変調することによって、画像合成を実行すること
を含む処理動作の群から選択され、
処理(130)する前記ステップ中に決定された前記出力ノイズモデル(160)が前記出力生画像データ(150)の全ての画素値に対して有効であることを確実にすることによって、前記出力ノイズモデル(160)が前記入力ノイズモデル(120)に比べて異なっている様式で、前記処理動作の各々が前記入力生画像データ(110)に適用されることを特徴とする、請求項8と組み合わせた請求項1から4のいずれか一項に記載の方法。

【請求項12】

°前記入力生画像データ(110)にビニング動作を適用することが、N=n・m個の画素の、もしくはN回の露光のグループを形成すること、各グループに、iが画素座標を表す出力画素値

【数9】

を代入すること、および黒レベルをμ_Y.dark=Nμ_y.darkに増大させるとともに読み出しノイズを

【数10】

に増大させることにより、対応する出力ノイズモデルσ_Y(μ_Y)を決定することによって実行され、かつ／あるいは
°前記入力生画像データ(110)にビニング動作を適用することが、N=n・m個の画素のグループを形成すること、各グループに、iが画素座標を表す出力画素値

【数11】

を代入すること、および黒レベルμ_Y.darkを維持するとともに読み出しノイズを

【数12】

に増大させることにより、対応する出力ノイズモデルσ_Y(μ_Y)を決定することによって実行され、かつ／あるいは
°前記入力生画像データ(110)に平均化動作を適用することが、N=n・m個の画素のグループを形成すること、各グループに出力画素値

【数13】

を代入すること、および黒レベルμ_Y.darkを維持するとともに読み出しノイズを

【数14】

に低減させることにより、対応する出力ノイズモデルσ_Y(μ_Y)を決定することによって実行され、かつ／あるいは
°前記入力生画像データ(110)の正規化を実施することが、異なるパラメータ

【数15】

を有するポアソン-ガウスノイズモデルをもつ数M個の異なる装置からもたらされる画像入力データ(100)の系列i=1,2...,M}について、正規化された最大の読み出しノイズ

【数16】

を有する入力ノイズモデル(120)を決定すること、画像入力データ(100)の、添え字番号iを有する各画素値y_iに、出力画素値

【数17】

を代入することによって行われ、δ_iが、平均値0および分散

【数18】

を有する正規分布からサンプリングされた(疑似)乱数であり、パラメータ{K=1,μ_ε.dark=0,σ_ε.dark=σ_ε}を有する出力ノイズモデル(160)が、画像出力データ(140)の前記系列i=1,2...,M}の全ての出力生画像データ(150)に共通であり、かつ／あるいは
°前記入力生画像データ(110)に、丸め動作および／もしくは切り捨て動作、ならびに／または整数量子化を適用することが、前記丸め／切り捨て／量子化動作の前に、画素ごとに異なる乱数Δを、y'=round(y+Δ)に従って加算し、同時に、前記出力ノイズモデルの読み出しノイズを、

【数19】

に従って適合させることによって行われ、ただし

【数20】

は前記乱数Δの分布の分散であり、かつ／あるいは
°特に、前記入力生画像データ(110)に基づいて合成画像を作成および／もしくは追加することによって、かつ／または前記入力生画像データ(110)を変調することによって、画像合成を実行することが、前記入力生画像データ(110)に比べて低減された信号対雑音比を有するとともに同じ出力ノイズモデル(160)を有する画像を模倣することによって行われるか、または前記入力生画像データ(110)に比べて増大された信号対雑音比を有する画像を模倣することによって行われ、前記出力ノイズモデル(160)が、入力生画像データ(110)の単一セットのノイズモデルによって、もしくは正規化された入力生画像データ(110)のセットのノイズモデルによって実現されることを特徴とする、請求項11に記載の方法。

【請求項13】

前記出力生画像データ(150)および前記出力ノイズモデル(160)を格納および／または送信するステップであって、前記出力生画像データ(150)と前記出力ノイズモデル(160)が一緒に、前記出力生画像データ(150)を前記出力ノイズモデル(160)にリンクさせる様式で前記出力データ(140)を形成する、ステップが、
- 前記出力生画像データ(150)を前記出力ノイズモデル(160)と一緒に、コンテナファイル内、好ましくはタグドイメージファイルフォーマット(TIFF)のファイル内に格納すること、または
- 前記出力生画像データ(150)を第1のファイル内に格納し、前記出力ノイズモデル(160)を第2の、別個のサイドカーファイル内に格納することであって、前記サイドカーファイルが、前記出力生画像データ(150)を含む前記第1のファイルに結合され、前記サイドカーファイルが、前記第1のファイルによってサポートされていない追加の(メタ)データを格納するように適合されている、前記格納すること、または
- 前記出力ノイズモデル(160)を、特定の出力生画像データ(150)をその関連する出力ノイズモデル(160)にリンクさせるように適合されたデータベース内に格納すること
によって実行されることを特徴とする、請求項1から12のいずれか一項に記載の方法。

【請求項14】

前記出力ノイズモデル(160)を格納および／または送信するステップが、前記出力ノイズモデルのパラメータのデジタル表現を格納および／または送信することによって実行され、前記パラメータが、固定の定義を有する関数または関数のカタログに渡され、後者の場合に使用される特定の関数が、追加の識別パラメータによって選択されることを特徴とする、請求項13に記載の方法。

【請求項15】

請求項1から14のいずれか一項に記載の方法を実行するように適合された、コンピュータ可読媒体内に格納されたコンピュータプログラム手段。

【請求項16】

請求項15に記載のコンピュータプログラム手段が装備された装置であって、前記装置が、マイクロプロセッサ、フィールドプログラマブルゲートアレイ、イメージセンサ、携帯電話、特にデジタルカメラを装備したスマートフォン、デジタル写真装置、デジタルビデオカメラ、スキャン装置、タブレット、パーソナルコンピュータ、サーバ、顕微鏡、望遠鏡、衛星を含む群から選択されることを特徴とする、装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理の分野に関し、詳細には、ノイズおよび情報を含む画像データを処理するための方法であって、処理すべき入力生画像データを含む入力データを、格納および／または送信するために取得するステップであって、前記入力生画像データが、画像データの取得に使用されるイメージセンサの画素の値を含む、ステップと、前記入力生画像データを処理するステップと、処理された画像データを、出力データを提供することによって出力するステップとを含む、方法に関する。

【背景技術】

【0002】

一般に、本発明は、ますます多くの装置に搭載されつつあるイメージセンサの文脈に位置する。画像データはこれにより容易かつ安価に大量生成が可能であり、洗練された処理アルゴリズムが広範な応用を可能にしている。

【0003】

処理アルゴリズムの全体性能は、概して、画像データの質に大きく依存する。生画像データ、すなわち取得装置からの変更されていない画像データから開始して、任意の種類の処理および解析を実施することが、しばしば最良である。カラーフィルタアレイからRGBデータへの画像データの変換または標準的な不可逆的圧縮の適用を含むがそれらに限定されない動作が、重大な情報および質の損失を招くことがあり、そうした動作は回避すべきである。この理由から、出願人は、欧州特許出願EP 3 820 150に開示した、復元された画像データが非圧縮の生センサデータと統計的に等価になる画像圧縮技法を、これまでに開発している。

【0004】

生画像データにはしばしば、例えば、イメージセンサの不均一な応答もしくは不良画素、不完全な照度、または歪みおよび周辺減光(vignetting)を招く不完全な光学素子によって生じる、不完全性がある。画像の処理および解析からより良好な結果を得るために、加えて、主観的により良好な見た目の画像を得るために、そのような問題に対処しようと従来技術において数多くの方法が開発されてきた。これらの方法は、個々の画像の外観の改善にかなり成功しているが、一般に認識されているように、生画像データのノイズが非線形の振る舞いをする信号依存成分を含んでいることにより、画像データの統計的性質を維持し損なっている。この理由から、画素値のスケーリングや画素値を近傍の平均と置換することなどの線形補正を適用すると、ノイズの局所的特性が修正され、ノイズが画像全体にわたって不整合になる。

【0005】

例えば、米国特許第7,683,948号は、画像処理における不良画素交換のための方法について開示しており、この方法では、壊れた画素が検出され、選択された周辺画素の平均、平均値、最大値、または他の統計的関数と交換される。平均、平均値、または中央値を適用すると、ノイズレベルが期待値に満たない、交換後の画素値がもたらされ、これは、連続したいくつかの画像を同時処理する際に明らかとなる。

【0006】

Seibertらによる「Flat-field correction technique for digital detectors」というタイトルの文献は、センサの不均一な応答を補正するための方法について明らかにしている。この方法は、個々の画素ごとに応答曲線を測定することに基づいている。次いで、曲線を線形モデルによって近似し、画素ごとに2つのパラメータを生成する。次いで、画素固有の応答曲線に対する正規化を使用して、フラットフィールド補正を達成する。この手法は、画像の外観を改善するのに役立つが、画像データの統計的特性をほぼ確実に悪化させる。より最近では、米国特許第9,143,709号が、この方法を、非線形応答を有するイメージセンサに適したものになるように適合させているが、不整合なノイズに関する上述した問題は残っている。

【0007】

Adobe Inc.によるデジタルネガティブ(DNG)仕様でも、不良画素および周辺減光を補正する必要性が認識されている。これは、それらの特定の目的のために特別にパラメータ化された、いわゆるオペコードによって表現される動作を提供することにより、対処されている。当該のオペコードは、FixVignetteRadial、FixBadPixelsConstant、およびFixBadPixelsListである。しかし、上記の従来技術と同様に、これらの実装も、上記した意味での整合性のあるノイズを保全しようとしない。具体的には、FixVignetteRadialは、径方向に変化する正規化を適用することによって機能し、上記の従来技術の方法に等価であり、FixBadPixelsConstantおよびFixBadPixelsListは、補間を使用した不良画素の補正を目的としており、これは、画素値を局所平均と交換することと等価である。

【0008】

一部の従来技術も、画像処理にノイズモデルを使用する。例えば、前記DNG仕様は、ノイズプロファイルについての情報をDNGファイル形式に格納することを許している。この場合、主要な目的は、ノイズプロファイルをノイズ除去に使用することである。しかし、大多数の画像データには、ノイズ特性についてのどんな情報も付属しておらず、さまざまな量の補正および前処理のため、適切なノイズモデルが存在すらしないことがある。例えばAzzariおよびFoiによる「Variance Stabilization for Noisy+Estimate Combination in Iterative Poisson Denoising」という文献において提案されているような、画像データから直接的にノイズパラメータを推定するノイズ除去方法が開発されてきた。しかし、画像データからの直接的なノイズモデルの推定は、しばしば不十分であり、そのような技法は、一般的な画像処理目的に高信頼に使用することができない。

【0009】

ノイズモデルは、ノイズ除去以外の応用例、例えばx線を用いる医療イメージングの分野にも恩恵をもたらし、その場合、さまざまな画像診断法についての患者の放射線被ばくの低減の可能性を、シミュレーションを通じて調査することが可能である。ここで、少ないx線量には、信号対雑音比(SNR)の減少という犠牲が伴い、SNRは、その結果として、ノイズモデルを使用することでしか現実的にシミュレーションすることができない。スケーリングとノイズ注入の組み合わせを通じて線量低減をシミュレーションするための方法が、Veldkampらによる「A Technique for Simulating the Effect of Dose Reduction on Image Quality in Digital Chest Radiography」という文献に開示されており、同文献では、前記ノイズ注入にノイズモデルが使用されている。しかし、上述した応用例と同様に、ノイズモデルの使用は、この従来技術応用例においても依然として極めて限定されたままである。

【0010】

最後に、ますます多くの応用が、画像データの処理および／または解釈を機械学習技法に頼っている。より古典的な画像処理において、中心的な課題は一般に、適切なアルゴリズムの発明および開発であったが、機械学習の文脈におけるさらなる課題は、質の高い大量のトレーニングデータの入手である。

【0011】

機械学習を用いて高信頼の結果を得るために、トレーニング画像セットは、ターゲット環境において期待される全てのバリエーションのサンプルを収容していなければならず、トレーニングデータ量は、パラメータ空間とともに指数関数的に増える。この問題は、データ拡張の導入によって、すなわち、既存のデータの修正版である合成画像をトレーニングセットに追加することによって、一部軽減されてきた。そのような修正の例には、幾何学的変換(回転、並進、スケーリング、および反転)、ならびにコントラストおよび色の操作、またはノイズの注入が含まれる。従来技術によるそのような種類のデータ拡張は、ノイズモデルの使用を含まない。

【0012】

要約すると、従来技術による撮像の不完全さの補正および合成画像の生成には、それらにおいて、画像の外観に焦点が当てられることによって、生画像データの主要な特性のうちの1つ、すなわち、信号と基本的な物理的原理および取得装置の技術的性質から生じるノイズとの間の非常に特殊な関係が無視される、という欠点がある。この関係を断つと、処理アルゴリズムにおける、画像生データ内に含まれたノイズおよび／または測定上の不確実さの高信頼の使用が妨げられ、機械学習用のトレーニングセットに、混乱させる要素が導入され、さまざまなセンサから生じる画像データの適切かつ整合性のある正規化を見いだすことが事実上不可能になる。

【発明の概要】

【発明が解決しようとする課題】

【0013】

上述した欠点を克服することが、本発明の目的である。一般に、画像全体にわたって整合性のあるノイズモデルを維持する画像処理方法を提供することが、本発明の一目的である。画像データのユーザが、明確に定義された統計的性質を有する画像データを得られるようにすること、およびこの統計的性質を、これらの画像データに基づくユーザ自身の計算および解析に利用できるようにすることが、本発明のさらなる目的である。

【0014】

取得ハードウェアまたは取得状況において存在するさまざまな不完全性を補正する画像前処理方法を提供することが、本発明のさらなる目的である。

【0015】

生成された合成画像データが、機械学習アルゴリズムのトレーニング、困難な状況下での画像処理の検証、および他の類似の目的に十分に適したものになるように既存の画像データから合成画像データを生成するための方法を提供することが、本発明の別の目的である。

【課題を解決するための手段】

【0016】

この趣旨で、本発明は、請求項1に列挙された特徴によって特徴付けられるとともに上記で特定した目的の達成を可能にする方法を提案する。具体的には、本発明による方法は、入力データを取得するステップが、
°前記入力データから入力ノイズモデルを取得するステップであって、前記入力ノイズモデルが、前記入力生画像データ内に存在するノイズを反映するように適合されており、前記入力生画像データと前記入力ノイズモデルが一緒に、入力生画像データを入力ノイズモデルにリンクさせる様式で前記入力データを形成する、ステップ
を含むことによって従来技術とは区別され、
前記入力生画像データを処理するステップが、
°前記入力生画像データの画素値を補正する処理動作、
°前記入力生画像データにフラットフィールド補正を適用する処理動作、
°前記入力生画像データに光感度不均一性の補正を適用する処理動作、
°前記入力生画像データにビニング動作および／または平均化動作を適用する処理動作、
°前記入力生画像データの正規化を実行する処理動作、
°前記入力生画像データに、丸め動作および／もしくは切り捨て動作、ならびに／または整数量子化を適用する処理動作、
°特に、前記入力生画像データに基づいて合成画像を作成および／もしくは追加することによって、かつ／または前記入力生画像データを変調することによって、画像合成を実行する処理動作
のうちの少なくとも1つを含み、
前記処理ステップが、
°前記入力ノイズモデルに基づいて、かつ入力生画像データに適用された前記処理動作に応じて、前記出力データ内に存在するノイズを反映するように適合された出力ノイズモデルを決定するステップと、
°入力生画像データに適用された前記処理動作、ならびに前記入力ノイズモデルおよび／または前記出力ノイズモデルに基づいて、前記出力ノイズモデルと統計的に整合性のある出力生画像データを生成するステップと
をさらに含むことによって従来技術とは区別され、
また、処理された画像データを出力するステップが、
°前記出力生画像データおよび前記出力ノイズモデルを格納および／または送信するステップであって、前記出力生画像データと前記出力ノイズモデルが一緒に、出力生画像データを出力ノイズモデルにリンクさせる様式で前記出力データを形成する、ステップ
を含み、
前記処理がパイプライン処理のために適合されるように、前記出力データを入力データとして、前記処理動作のうちのいずれか1つによって単独で、または前記処理動作の任意の組み合わせによって処理を可能にする
ことによって従来技術とは区別される。

【0017】

このようにして、画像データとノイズモデルは、画像処理パイプラインを一緒に通過する不可分のエンティティとして見なされる。パイプライン内の個々の処理ステップは、画像データとノイズモデルのどちらか一方、または両方を修正することができる。したがって、処理された画像データは、いかなる場合にも、出力ノイズモデルと整合性のある統計的特性を有する。ノイズモデルにより、さらに、画像データのユーザが、個々の画素値についての不確実さを得られるようになり、したがって、これらの画素値に基づくユーザ自身の計算および解析をすることができるようになる。

【0018】

さらに、本発明は、前記処理動作のうちの少なくともいくつかによって、デッドピクセル値の交換、光感度不均一性の補正、ならびに不均一な照度および周辺減光の補正を含むフラットフィールド補正のための方法を提供する。そのような画像前処理は、入力データのノイズモデルが前処理後に有効なままである、すなわち出力データに適用可能なままであることを可能にする様式で実行される。

【0019】

本発明は、合成画像データの生成、特に、入力データと同じノイズモデルに従う合成画像データの生成を可能にする方法も提供する。具体的には、露光時間または光収集の低減を模倣した合成画像を生成するための方法が提供される。

【0020】

本発明による方法は、さまざまな実施形態において実現することができる。

【0021】

特に好ましい一実施形態では、前記入力ノイズモデルおよび／または前記出力ノイズモデルが、画像データの取得に使用されるイメージセンサの所与の画素の値の平均画素値の、画素値標準偏差に対するマッピング、平均画素値の、画素値分散に対するマッピング、または平均画素値の、信号対雑音比に対するマッピングによって表現される。

【0022】

さらにより好ましくは、前記入力ノイズモデルおよび／または前記出力ノイズモデルは、前記入力生画像データおよび／または前記出力生画像データ内の、ポアソン-ガウス分布に従うノイズを表現するように適合される。

【0023】

別の特に好ましい実施形態では、前記入力生画像データに比べて統計的に等価であるとともに前記出力ノイズモデルと整合性のある出力生画像データを生成することは、ノイズ整合的スケーリング動作を表す変換を、画像データの取得に使用されるイメージセンサの所与の画素の値に適用することによって確実にされ、前記変換は、画素値低減を実施することができる。

【0024】

本発明の他の特徴および利点については、従属請求項において、ならびに以下に図を参照して本発明をより詳細に開示する説明の中で、言及される。

【0025】

添付の図は、本発明の原理ならびにいくつかの実施形態を例示的かつ概略的に示す。

【図面の簡単な説明】

【0026】

【図1】本発明によるノイズ整合的画像処理の概略図である。

【図2】入力生画像データおよび入力ノイズモデルからなる初期の入力データから開始する画像処理パイプラインの性能を最適化するようにいくつかの特徴を組み合わせた、本発明によるノイズ整合的画像処理方法の一実施形態の図である。

【図3】本発明によるノイズ整合的画像処理方法のいくつかの実施形態について、入力データに作用する2つ以上の処理動作を組み合わせて、各前記処理動作の組み合わされた機能を実施する単一処理動作にできることを、概略的に示す図である。

【発明を実施するための形態】

【0027】

以下では、本発明について、上述した図を参照して詳細に説明する。

【0028】

本発明の概念を図1に示す。本発明は、生画像データ110の処理に関するが、確立された方法とは対照的に、生画像データ110は、処理アルゴリズム130に対する入力データ100の一部でしかない。処理アルゴリズム130は、第2の入力としてノイズモデル120を必要とする。一緒になって入力データ100を形成する生画像データ110とノイズモデル120は、次いで、一緒に処理されて、出力生画像データ150および出力ノイズモデル160からなる出力データ140が生成する。処理130は、その出力のあらゆる画素が出力ノイズモデル160と整合性のある出力生画像データ150を生成する。ノイズ整合的処理130の例を以下に示す。一部の処理アルゴリズムでは、出力ノイズモデル160は入力ノイズモデル120と同一である。出力画像データ150が生と表記されている理由は、それが、センサからもたらされる実際の生画像データと統計的に等価であり、この出力画像データ150に対して出力ノイズモデル160が適用されるためである。したがって、出力データ140は、ノイズ整合的処理130の別のステップの入力データ100としての働きをするように適合されており、したがって、処理パイプライン全体をそれに基づいて構築することができる。

【0029】

ノイズモデル
ノイズモデルは、本発明の不可欠な構成ブロックである。例えば、EMVA1288規格に従って、以下では、ノイズモデルとして、所与の画素の値yの標準偏差σ_yをその平均値μ_yに関連付けるマッピングσ_y(μ_y)を考慮する。一般に、平均値μ_yは、画素に衝突する光子の束および波長に応じて決まるが、標準偏差σ_yは、平均値μ_yのみに応じて決まる。以下では、上記で導入したマッピングσ_y(μ_y)に焦点を当てるが、画素分散

【0030】

【数1】

【0031】

の平均値μ_y依存性や、信号対雑音比

【0032】

【数2】

【0033】

、ただしμ_y.darkは黒レベル、すなわち照明がない状態での平均画素値である、など、σ_y(μ_y)をそれを使用して抽出することのできる等価マッピングが存在する。

【0034】

上述したマッピング／モデルは、同一条件下で取得を反復した場合の画素値変動を定量化する、いわゆる時間ノイズに関係する。原理的に、所与のイメージセンサの各画素はそれ自体の特性マッピングσ_y(μ_y)を有することができるが、最近のイメージセンサは極めて良好な均一性に到達しており、したがって、多くの場合、センサの全ての画素に同じモデルを使用すると、良好な近似値が形成される。しかし、イメージセンサは、同一照度で露光された異なる画素の平均値の差を定量化する空間ノイズを呈することがある。空間ノイズはしばしば、前処理を用いて低減させるか、または除去することさえできる。不良画素は、空間ノイズの極端な形態と見なすことができる。

【0035】

処理すべき画像データのタイプに応じて、マッピングσ_y(μ_y)を適切にパラメータ化したものは、ノイズモデルのデジタル表現となることができる。入力ノイズモデル120または出力ノイズモデル160として使用可能なこの例は、
・有限点集合{(μ_i,σ_i)}、そこから、線形補間もしくは非線形補間によって、または前記点集合の他の任意の適切な近似によって、連続モデルσ_y(μ_y)が得られる、あるいは
・σ_y(μ_y)を近似する多項式を構築するために使用される係数セット、あるいは
・自由パラメータがそれらのパラメータに特有の値と組み合わされた任意の種類の関数
である。

【0036】

ノイズ整合的処理130の目的において、入力生画像データ110は、入力ノイズモデル120のデジタル表現と結合されて、入力データ100を形成する。以下に説明する本発明のさまざまな実施形態では、この結合は、
・生画像データをノイズモデルと一緒に、適切な(単一の)コンテナファイル、例えばタグドイメージファイルフォーマット(TIFF)のファイル内に格納すること、または
・ノイズモデルを、いわゆるサイドカーファイル、すなわち(第2の)ファイル内に格納し、それが、生画像データがその中に格納されている(第1の)ファイルに結合され、前記サイドカーファイルは、生画像データファイルによってサポートされていない追加の(メタ)データを格納するように適合されていること、または
・ノイズモデルを、対応する(単一の)生画像データファイル内に格納された特定の生画像データをその関連するノイズモデルにリンクさせるデータベース内に格納すること
などのさまざまな方途またはその組み合わせのいずれかにおいて達成することができる。

【0037】

いずれにせよ、本発明によれば、ノイズモデルを格納することが、モデルのパラメータのデジタル表現を格納することを意味する。本発明のいくつかの実施形態では、これらのパラメータは、固定の定義を有する関数に渡される。他の実施形態では、実装が関数のカタログからなり、使用される特定の関数が、追加の識別パラメータによって選択される。本発明のいくつかの実施形態は、これまでに論じたように、ごく一般的な意味でのノイズモデルを利用しているが、他の実施形態は、センサ出力が入射光量に正比例する線形イメージセンサに一般に使用される、ポアソン-ガウスノイズモデルに特化する。ポアソン-ガウスノイズモデルは、

【0038】

【数3】

【0039】

によって与えられ、
ただしσ_y.darkは、光がない状態での画素値の標準偏差を表し、しばしば読み出しノイズと呼ばれ、μ_y.darkは、光がない状態での画素値の平均値であり、Kはゲイン係数である。したがって、ポアソン-ガウスノイズモデルは、3つのパラメータ{K,μ_y.dark,σ_y.dark}によって表される。

【0040】

ポアソン-ガウスノイズモデルは、大多数のイメージセンサによって出力される生画像データに適用可能であることに留意されたい。ポアソン-ガウスノイズモデルは、線形センサを用いた画像取得の際に自然発生する画素値の変動の統計量の正式な表現である。ポアソン-ガウスノイズモデルは、遍在しているにもかかわらず、その重要性は画像データの補正および処理に関する従来技術において一般に無視されている。

【0041】

ノイズ整合的処理
本発明の主題である画像データ処理は、2つのカテゴリに分割することができる。第1のカテゴリは、主として取得ハードウェアまたは取得状況における不完全性を補正するという、または画像データを特定の方途で標準化するという目的をもった、画像前処理である。第2のカテゴリは、次いでそれを使用して画像処理アルゴリズムの信頼性をテストし改善することのできる、または機械学習の文脈においてトレーニングデータセットを豊富にすることのできる、画像データの合成に関する。

【0042】

従来技術にはどちらの処理カテゴリも存在するが、従来技術では、基礎をなすノイズモデルに注目されておらず、またノイズモデルと整合性のある出力データを生成しようとする、または処理が画像統計量に、したがってノイズモデルにどのように影響を及ぼすかを考慮しようとする努力が行われていない。従来技術では、ノイズ除去やデコンボリューションのような、ノイズに特に関係する処理アルゴリズムのみが、場合によっては、導入部において述べたような特定的かつ限定的な形でノイズモデルを使用している。これらの場合でさえ、従来技術の焦点は常に、方法を処理パイプライン全体に一般化しようと試みることなく、また何らかのノイズモデルと引き続き整合性のある出力データを生成することなく、関係する単一の動作に当てられてきた。

【0043】

しかし、画像全体にわたって整合性のある正確なノイズモデルを有する画像は、特に処理アルゴリズムにおいてノイズモデルが考慮に入れられる場合、はるかにより高信頼の処理を可能にする。反対に、整合性のあるどんなノイズモデルにも従わない画像は、それらの予期せぬ統計量でアルゴリズムを混乱させる傾向がある。これが特に当てはまるのは、ノイズおよびノイズ相関を含めて画像データの全ての側面をそれらの解析の際に考慮する、深層学習およびニューラルネットワークに基づくアルゴリズムの場合である。

【0044】

この文脈における2つの重要な特記事項は、a)入力が単に、単一の画素値およびそのノイズモデルである場合、どの動作も、その画素についての信号対雑音比を確実に増大させることができるとは限らず、低減が起こり得ること、およびb)信号対雑音比は一般に、照度が高いほど(したがって画素値が大きいほど)増大するが、その向上は線形でも比例でもない、ということである。これに基づいて、初期平均画素値に係数q、ただし0<q<1である、を乗算した積に対応する照度の低減を模倣することができ、それぞれ達成することができる。そうするためには、初期画素値yを、補正済み画素値y'=q・y+δ(y,q)と交換し、ただしδは、正規分布からサンプリングされた(疑似)乱数であり、この正規分布は、平均値0および分散

【0045】

【数4】

【0046】

を有し、ただし

【0047】

【数5】

【0048】

は、出力生画像データ150のノイズの標準偏差σ_y(qy)を係数qという実際の画素値低減の分だけ低減させる係数である。q<q'<1であることに留意されたい。この変換は、ノイズ整合的スケーリング動作を表し、それは記号S(y,q)によって表され、すなわちS(y,q)=q・y+δ(y,q)であり、本発明の文脈におけるその用法は、以下においてより明らかになる。実際のところ、この変換は、正しく適用されるとき、画像補正の文脈においてそれを使用してより洗練された動作を実施することができる。

【0049】

ポアソン-ガウスノイズモデルの特定のケースでは、疑似乱数δ(y,q)に使用される分散は、

【0050】

【数6】

【0051】

によって与えられる。

【0052】

不良画素補正
従来技術では、不良画素は一般に、イメージング装置のハードウェアにおいて、または処理パイプラインの一部としてのソフトウェアにおいて、正しく機能している近傍画素を用いた補間によって補正される。補間の結果、結果として得られる画素値は、機能している画素の場合ほどは変動せず、補間された画素は、異なる光感度曲線によって明確に識別することができる。

【0053】

不良画素のノイズは期待値未満であるので、それらの統計量は、ノイズを加算することによって、ノイズモデルと整合性があるようにすることができる。これは、ノイズ整合的スケーリングを用いて達成される。例えば、その値y_Cを、値y_Lおよびy_Rを有する左右の近傍を使用することによって交換すべき不良画素を考慮されたい。この値y_Cに、式
y'_C=S(y_L+y_R-μ_y.dark,q=1/2)
を代入することができ、上式は、概して、補間を使用することによるものと同じ値を再現し、それに加えて、ノイズモデルと整合性のあるy_Cの標準偏差も再現する。

【0054】

フラットフィールド補正
アパーチャ、レンズ、およびフィルタはしばしば、例えば周辺減光、すなわち均一に照明されたシーンが撮像されると縁部に向かうにつれて暗く見えること、において見られるような、入射光子の空間的に不均一な「捕捉」という結果を招く。従来技術では、これを補正する標準的な方途は、参照フラットフィールド画像N(i,j)、ただしiおよびjは画素座標を表す、に対して、
y'(i,j)=y(i,j)/N(i,j)
を通じて正規化することによるものである。

【0055】

この場合、フラットフィールド画像は可能な限りノイズフリーとすべきであり、それは、数学的に平滑な関数を参照画像に当てはめることによって、または多数の参照画像を平均化することによって、達成することができる。加えて、通常はオリジナル画像の中で比較的明るい部分(通常は中心)を保全したいと思うので、N(i,j)は、範囲0<N(i,j)≦1に対して正規化すべきである。

【0056】

この方法は、画像の輝度を正規化するために使用することができるが、同じノイズモデルを画像全体に使用することはもはや不可能となり、というのも、以前に比較的暗かった部分は、この時点で、画像の以前に比較的明るかった部分と同じ輝度を有するが、画像の以前に比較的明るかった部分よりも大きな相対ノイズを有するためである。

【0057】

本発明では、ノイズ整合的フラットフィールド補正は、画像の比較的明るい部分を暗くするための画素依存係数q(i,j)を用いたノイズ依存スケーリングを使用することによって達成される。ノイズ整合的スケーリングの全ての考慮事項、すなわち、補正済み画素値を決定するための式y'=q・y+δ(y,q)の使用に関する、は引き続き該当し、ノイズ整合的フラットフィールド補正を確実なものにするなどのためのq(i,j)の値は、

【0058】

【数7】

【0059】

である。

【0060】

光感度不均一性の補正
光感度不均一性は、個々の画素の変化する検出効率によって生じる、特別な種類の不均一な照度である。その差は、通常は1%から2%程度であり、数ある中でもとりわけ、画素のアクティブエリア内での吸収の差によって生じ得る。

【0061】

変化する検出効率は、不均一な照度または露光に等価であり、N(i,j)として、画像データの取得に使用されるイメージセンサの慎重な較正を通じて決定される空間的に変化する相対検出効率を使用することによって、フラットフィールド補正と同じ方途で補正することができる。

【0062】

ビニングおよび平均化
上に提示したノイズ整合的処理方法は、出力生画像データ150が確実に入力ノイズモデル120と引き続き整合性があるようにするものである。多くのユースケースでは、修正されてはいるものの出力生画像データ150の全体に引き続き適用可能な出力ノイズモデル160をもたらす処理を実施することが求められ、またはそれを実施することに関心がもたれている。例えば、ビニング動作を用いて空間分解能を犠牲にし、その結果として、信号対雑音比を増加させる場合がある。ここで重要なのは、整合的に修正されたノイズモデルを有するビニングしたデータと、ノイズモデルが同じままであり、したがってビニングしたデータとはノイズモデルが不整合であるクロップしたデータ(cropped data)とを、その次の処理ステップが区別することができるように、ノイズモデルを更新することである。

【0063】

ビニング動作の一実現形態は、N=n・m個の画素からなるグループの和をとり、それによって、各グループについて、値

【0064】

【数8】

【0065】

、ただし添え字iはビニングされるブロック内の空間位置をラベル付けしたものである、を有する出力画素があるようにすることからなる。

【0066】

出力ノイズモデルσ_Y(μ_Y)は、新たな暗条件を考慮に入れるように更新されなければならない。具体的には、Yは、黒レベルのN倍の寄与を有し、すなわちμ_Y.dark=Nμ_y.darkであり、出力モデル内の読み出しノイズは、

【0067】

【数9】

【0068】

である。

【0069】

ビニング動作の別の実現形態では、出力画素値が

【0070】

【数10】

【0071】

として計算される。

【0072】

これには、出力ノイズモデルの黒レベルが、入力ノイズモデルの黒レベルと同一であり、したがって、0からμ_y.darkの間のほとんど使用されない画素値の範囲が必要以上に拡大されない、という利点がある。

【0073】

以下に説明する、平均に基づくビニング動作とは対照的に、上記の2つのビニング動作では整数を整数に対してマッピングしており、したがって、小数部を丸めるかまたは切り捨てることに関連する精度の損失のリスクがない。

【0074】

ビニング動作の別のバージョンでは、入力画素値の平均

【0075】

【数11】

【0076】

をとることによって、出力画素値が得られる。

【0077】

これは、出力生画像データ150のデジタル表現が、固定のビット深度を有する整数値などの有界データタイプであるときに特に有用であり、というのも、それにより、大きな値の和のクリッピングが回避されるためである。平均化の場合、データの黒レベルは変更されないままであるが、出力ノイズは入力ノイズよりも小さく、

【0078】

【数12】

【0079】

である。具体的には、

【0080】

【数13】

【0081】

であり、ポアソン-ガウスノイズモデルの場合、出力モデルのゲインパラメータはK/Nに等しい。

【0082】

同様に、同じ位置にあるが別々に露光したものである画素を合計または平均化することができる。この場合、出力生画像データ150は、入力生画像データ110と同じ次元を有するが、出力ノイズモデル160は、空間和または空間平均の場合と同様に修正しなければならない。例えば、N回の露光を平均化して、画素値

【0083】

【数14】

【0084】

、ただし添え字iはこの場合は露光番号をラベル付けしたものであり、値y_iは、画像データ内の、出力画素値

【0085】

【数15】

【0086】

と同じ位置を表す、を有する出力画像を得ることができる。露光平均の出力ノイズモデルにおいて、

【0087】

【数16】

【0088】

であり、ポアソン-ガウスノイズモデルの場合、出力ゲインパラメータはK/Nに等しい。

【0089】

正規化
ノイズ整合的処理のいくつかの実施形態は、入力生画像データ110として、異なるパラメータ

【0090】

【数17】

【0091】

を有するポアソン-ガウスノイズモデルをもつ数M個の異なる装置からもたらされる画像の系列を有し、処理のゴールは、単一の出力ノイズモデル160に従う、出力画像の系列によって形成された出力生画像データ150を生成することである。これは、どのノイズモデルが、正規化された最大の読み出しノイズ

【0092】

【数18】

【0093】

を有するかを決定すること、および入力画像iの各画素値y_iについて、

【0094】

【数19】

【0095】

、ただしδ_iは、平均値0および分散

【0096】

【数20】

【0097】

を有する正規分布からサンプリングされた(疑似)乱数である、としての出力画素値ε_iを代入することによって、達成することができる。その場合、共通の出力ノイズモデル160のパラメータは、{K=1,μ_ε.dark=0,σ_ε.dark=σ_ε}となる。

【0098】

整数量子化
上述した動作のいくつかでは、補正に浮動小数点演算または浮動小数点乱数を使用しており、入力画素値に対する変化は小さい場合がある。補正全体は、実際のところ1(unity)よりも小さい場合があり、例えば画素値10に2%の低減が適用されるべき場合、実効的な補正済み画素値は9.8となり得る。一般に、そのような小さな補正は、補正済み値を非整数表現(例えば固定小数点、浮動小数点、または有理数)として保存することによって、適用することができる。しかし、多くのユースケースでは、整数表現の出力を有することが望ましい。切り捨てや丸めなどの単純な(naive)実装では、所望の補正係数と適用された実効的な補正との間の差が生じることがある。例えば、切り捨てまたは丸めは、画像データの統計的平均値の、バイアスとしても知られる意図せぬシフトを導入することがある。これを回避するために、本発明による方法の好ましい一実施形態は、実際の丸め動作の前のディザリング、すなわち画素ごとに異なる適切に選択された乱数Δの加算が関与する、ノイズ整合的丸め動作、すなわち
y'=round(y+Δ)
を提供する。

【0099】

特に関心があるのは、-1/2から+1/2の間の一様分布に従う乱数、および-1から+1の間の三角分布、すなわち前記一様分布の2つの独立したサンプルを加算することにより形成される分布に従う乱数であり、というのも、どちらの分布もゼロバイアスを導入するためである。さらに、後者は、Δとは相関関係のない量子化雑音をもたらす。一部の応用では、Δに他のランダム分布を使用することから恩恵を受ける場合がある。

【0100】

量子化動作は、わずかな量の余分なノイズを導入し、それにより、出力ノイズモデルの読み出しノイズを、

【0101】

【数21】

【0102】

、ただし

【0103】

【数22】

【0104】

は乱数Δの分布の分散である、に従って適合させる必要がある。この追加のノイズのため、また処理過程の誤差(processing error)の導入を最小限に抑えるために、本発明による処理パイプラインの好ましい実装形態は、量子化を一度だけ、パイプラインの最終動作として実施する。

【0105】

露光スケーリングおよびゲインスケーリングによる画像合成
上に提示した正規化手順は、機械学習およびアルゴリズムテストに十分適しており、というのも、この正規化手順により、アルゴリズムが取り扱えなければならない、または耐性をもたねばならないノイズモデルの数を増大させることなく、多数のソースからデータを収集することが可能になるためである。

【0106】

トレーニングデータまたはテストデータの量をさらに増大させるためには、同じノイズモデル内で、低減された信号対雑音比を有する画像を模倣することができる。このノイズモデルは、オリジナルの入力データ100の単一セットの、モデルとすることもでき、または、上記した手順に従うことによって生成された、正規化された入力データのセットの、モデルとすることもできる。次いで、露光時間または検出効率の、係数qによる低減に等価な性質を有する合成画像を、入力生画像データ110の値yを有する各画素に、上でより詳細に定義したようなノイズ整合的スケーリングS(y,q)を適用することによって、生成することができる。

【0107】

他の状況では、信号を一定に維持しながらノイズレベルを増大させることが望ましい。ポアソン-ガウス入力ノイズモデルの場合、これは2つの方途において達成することができる。自明な方途は、0平均値および所望の標準偏差σ_δを有する(疑似)乱数値δを、入力画像データ110の全ての画素値に加算するというものである。これは、読み出しノイズパラメータを増大させることに実質的に対応し、読み出しノイズパラメータは、出力ノイズモデル内で、

【0108】

【数23】

【0109】

に変更されるべきである。別の手法は、正規化と、係数qによる露光スケーリングとを組み合わせ、それに続いて、新たなゲイン係数K'=K/qを適用し、入力黒レベルμ_y.darkを再び加算すること、すなわち

【0110】

【数24】

【0111】

からなる。この変換によって、出力生画像データ150は、統計的に入力生画像データ110と同じ平均値を有し、出力ノイズモデルは、新たなパラメータ{K'=K/q,μ_y.dark,σ_y.dark'=σ_y.dark/q}を有する。

【0112】

上記の説明から明らかなのは、本発明による方法の前記処理ステップ130が、一般に、すなわち全てのケースにおいて、一方では、前記入力ノイズモデル120に基づいて、かつ入力生画像データ110に適用された前記処理動作に応じて、前記出力データ140内に存在するノイズを反映するように適合された出力ノイズモデル160を決定するステップを含むとともに、他方では、入力生画像データ110に適用された前記処理動作、ならびに前記入力ノイズモデル120および／または前記出力ノイズモデル160に基づいて、前記出力ノイズモデル160と統計的に整合性のある出力生画像データ150を生成するステップを含み、これら2つのステップは言うまでもなく相互に依存している、ということである。

【0113】

実際のところ、処理が、ノイズ整合的である動作(もしくは一連の動作)であり、したがって、入力ノイズモデル内で、すなわち入力ノイズモデルを出力ノイズモデルとして使用することによって生じるか、または処理が、ノイズ整合的でない動作(もしくは一連の動作)であり、したがって、処理された画像データと整合性のある出力ノイズモデルを生成するように入力ノイズモデルを同時に修正する、のどちらか一方である。

【0114】

上述した第1の解決策の場合、前記処理ステップ130は、好ましくは、画像データの取得に使用されるイメージセンサの所与の画素の値yにノイズ整合的動作を表す変換S(y,q)を適用するステップを含み、ただしqは画素値低減係数であり、0<q<1であり、前記処理ステップ130は、入力ノイズモデル120と同一である出力ノイズモデル160を使用する。

【0115】

上述した第2の解決策の場合、前記処理ステップ130は、好ましくは、画像データの取得に使用されるイメージセンサの所与の画素の値yにノイズ不整合的動作を適用するステップを含み、前記処理ステップ130は、入力ノイズモデル120に比べて異なっているとともに出力データ140の出力生画像データ150のノイズと統計的に整合性のある出力ノイズモデル160を使用する。

【0116】

取得した画像データが、関連するノイズモデルと整合性があることを検証する一方途は、画像のセットを、個々の画像の対間の差をいずれもノイズによるものとすることができるように同一条件下で取得するというものである。好ましくは、単一画像の画素値は、可能な全ての画素値の大部分を網羅すべきである。次いで、各画素位置iについて、セット内の全ての画像を使用して、平均値μ_iおよび標準偏差σ_iを計算する。セット内の画像の数が多いほど、平均値μ_iおよび標準偏差σ_iの推定が良好になる。最後に、点(μ_i,σ_i)が、ノイズモデルの関数σ_y(μ_y)によってうまく近似されるかどうかをチェックする。同様に、処理動作の出力ノイズモデルが、出力ノイズモデルと整合性があることを、前記セットの各個々の画像を、処理動作を通過させて、出力画像データ内の各画素位置について平均値および標準偏差(μ'_i,σ'_i)を抽出することによって、検証することができる。全ての点(μ'_i,σ'_i)が出力ノイズモデルの関数σ'_y(μ'_y)によってうまく近似される場合、出力ノイズモデルは出力画像データと整合性があると見なされる。

【0117】

図2は、入力生画像データ110および入力ノイズモデル120からなる初期の入力データ100から開始する画像処理パイプラインの全体性能を最適化するようにいくつかの特徴を組み合わせた、本発明によるノイズ整合的画像処理方法の一実施形態の図である。本発明の文脈では入力データ100が入力生画像データ110とノイズモデル120の両方からなる必要があるので、処理動作をそれぞれが概略的に表す後続のブロック310、320、330、340、350、360、370を接続する2つの矢印311、312はそれぞれ、生画像データとノイズモデル情報がどちらも、各処理動作を通じて伝搬されることを記号表示したものである。この入力データは、1つまたは複数の動作310、320、330、340、350、360、370を通じて処理される。これらの動作は、入力データ(画像データおよびノイズモデル)を取り扱い、処理された出力生画像データ150、およびこの処理された出力生画像データに関連する出力ノイズモデル160を供給し、これら2つの部分は、一緒になって出力データ140を形成する。動作310、320、330、340、350、360、370においてノイズモデルが利用可能であることにより、動作の性能が高まる。オプションで、特定の処理動作385、すなわち処理パイプラインの特定の要素は、画像データとノイズデータの両方を利用することができるが、図2にただ1つの矢印311がこの特定の処理動作385に対応するブロックから出ていることによって概略的に示すような、画像データのみの出力が可能であり、この特定の処理動作385は、処理パイプラインの終わりに追加されてよく、またこの特定の処理動作385は、例えばデコンボリューションとすることができる。しかし、この特定の処理動作385より前は、各中間ステップにおいて生画像データとノイズモデルデータがどちらも利用可能であり、したがって、先行の処理動作からの出力データ365が、次の処理動作のための入力データ365となる。オプションで、やはり処理パイプラインの終わりに追加されてもよく、また分類またはセグメンテーションとすることのできる、いくつかの追加処理動作390は、ノイズモデルデータを必要としないかつ／または出力しないことがあるが、それでもなお、本発明によるノイズ整合的画像処理方法におけるその地点まで、質の高い処理パイプラインからの恩恵を受けることができ、それによって、最終結果395がより精密になり、より十分適格となり、より高信頼になる。

【0118】

図3は、本発明によるノイズ整合的画像処理方法のいくつかの実施形態について、図3にブロック520、521、522によって記号表示し、入力データ100に作用する、2つ以上の処理動作を組み合わせて、出力生画像データ150と出力ノイズモデル160の両方からなる出力データ140を生成するなどのために各個々の処理動作520、521、522の組み合わされた機能を実施する単一処理動作510にできることを、概略的に示す。一例として、画素線形化(pixel linearization)と周辺減光補正を組み合わせて、1つの単一処理動作510にすることができる。図3において連続するブロック100、510、140を接続する2つの矢印はそれぞれ、この場合も、生画像データとノイズモデル情報がどちらも、単一処理動作に組み合わされた各処理動作を通じて伝搬されることを記号表示したものである。

【0119】

最後に、本発明は、上記した方法を実装するように適合された、コンピュータ可読媒体内に格納されたコンピュータプログラム手段、ならびにそのようなコンピュータプログラム手段を装備した装置にも関する。例えば、そのような装置は、マイクロプロセッサ、フィールドプログラマブルゲートアレイ、イメージセンサ、携帯電話、特にデジタルカメラを装備したスマートフォン、デジタル写真装置、デジタルビデオカメラ、スキャン装置、タブレット、パーソナルコンピュータ、サーバ、顕微鏡、望遠鏡、または衛星とすることができる。

【0120】

本発明による方法のさまざまな実施形態の上記の説明に照らして、その利点は明らかである。

【0121】

第1に、本発明による整合性のあるノイズモデルが利用できることにより、多様な画像処理応用に強力な恩恵がもたらされる。実際のところ、ノイズモデルは、画像データの統計的不確実さを表すので、特に科学的および計測学的な応用の許容限界および再現性の点で価値ある見識をもたらす。これは、本発明による方法によって可能になる。反対に、整合性のあるノイズモデルがないと、画像の処理および解析の信頼性が低下し、その場合、結果は、画像データに適用された補正または前処理の程度に応じて決まり得る。これは、本発明による方法の使用によって回避することができる。

【0122】

第2に、本発明による整合性のあるノイズモデルが利用できることにより、画像データの処理および／または解釈を機械学習技法に頼る応用にも強力な恩恵がもたらされ、というのも、これにより、ノイズモデルを使用してアルゴリズムの効率を高めるとともにアルゴリズムの潜在的な混乱ポイントをなくすことができるので、質の高い大量のトレーニングデータの入手が可能になるためである。機械学習の文脈では、これはさらにいっそう重要であり、というのも、機械学習アルゴリズムは、ノイズやノイズ相関などの統計的性質を無視する人間の観察者よりもはるかに強力にデータの(統計的)性質を利用するためである。

【符号の説明】

【0123】

100 入力データ、ブロック
110 入力生画像データ、入力画像データ
120 入力ノイズモデル
130 処理アルゴリズム、ノイズ整合的処理、処理ステップ
140 出力データ、ブロック
150 出力生画像データ、出力画像データ
160 出力ノイズモデル
310 ブロック、動作
311 矢印
312 矢印
320 ブロック、動作
330 ブロック、動作
340 ブロック、動作
350 ブロック、動作
360 ブロック、動作
365 出力データ、入力データ
370 ブロック、動作
385 特定の処理動作
390 追加処理動作
395 最終結果
510 単一処理動作、ブロック
520 ブロック、処理動作
521 ブロック、処理動作
522 ブロック、処理動作

【図1】

【図2】

【図3】

【外国語明細書】