特表 2025-500092 画像を処理するための方法および画像プロセッサユニット

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-01-09

(54)【発明の名称】画像を処理するための方法および画像プロセッサユニット

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241226BHJP

   H04N 25/683 20230101ALI20241226BHJP

【ＦＩ】

G06T7/00 610

G06T7/00 350C

H04N25/683

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023544745

(86)(22)【出願日】2022-01-12

(85)【翻訳文提出日】2023-07-25

(86)【国際出願番号】 EP2022050520

(87)【国際公開番号】W WO2023134846

(87)【国際公開日】2023-07-20

(81)【指定国・地域】

(71)【出願人】

【識別番号】518295185

【氏名又は名称】シェンチェン グディックス テクノロジー カンパニー，リミテッド

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(74)【代理人】

【識別番号】100132883

【弁理士】

【氏名又は名称】森川 泰司

(74)【代理人】

【識別番号】100148633

【弁理士】

【氏名又は名称】桜田 圭

(74)【代理人】

【識別番号】100147924

【弁理士】

【氏名又は名称】美恵 英樹

(72)【発明者】

【氏名】エル－ヤマニー、ノア

【テーマコード（参考）】

5C024

5L096

【Ｆターム（参考）】

5C024CX26

5L096AA02

5L096BA03

5L096CA18

5L096EA06

5L096EA12

5L096HA11

(57)【要約】

本発明は、画像センサによって与えられた画像データを処理するための方法であって、画像データは、ピクセルのアレイを備え、本方法は、
ａ）選択されたピクセルとそれぞれのピクセルに隣接して位置し、それぞれのピクセルの同じ色に割り当てられたピクセルのセットとの間のそれぞれのローカル明るさ差を決定することと、
ｂ）選択されたピクセルのためのローカル明るさ差が、上限しきい値を超えているおよび／または下限しきい値よりも小さいとき、ならびに選択されたピクセルのためのローカル明るさ差が、選択されたピクセルに隣接して位置するピクセルのセットのために決定された加重最大ローカル明るさ差を超えているおよび／または選択されたピクセルに隣接して位置するピクセルのセットのために決定された加重最小ローカル明るさ差よりも小さいとき、選択されたピクセルを欠陥ピクセルとして識別することと
のステップを備える、方法を開示する。

【特許請求の範囲】

【請求項1】

画像センサによって与えられた画像データを処理するための方法であって、前記画像データは、ピクセルのアレイを備え、
ａ）選択されたピクセルと、それぞれのピクセルに隣接して位置し前記それぞれのピクセルの同じ色に割り当てられたピクセルのセットとの間の、それぞれのローカル明るさ差を決定することと、
ｂ）前記選択されたピクセルのための前記ローカル明るさ差が、上限しきい値を超えているおよび／または下限しきい値よりも小さいとき、ならびに前記選択されたピクセルのための前記ローカル明るさ差が、前記選択されたピクセルに隣接して位置するピクセルの前記セットのために決定された加重最大ローカル明るさ差を超えているおよび／または前記選択されたピクセルに隣接して位置するピクセルの前記セットのために決定された加重最小ローカル明るさ差よりも小さいとき、前記選択されたピクセルを欠陥ピクセルとして識別することと
のステップによって特徴づけられる、方法。

【請求項2】

前記ステップａ）において前記選択されたピクセルに隣接して位置するピクセルの前記セットのための平均値を計算することと、前記選択されたピクセルの値と隣接ピクセルの前記セットの前記計算された平均値との間の前記差を計算することによって前記選択されたピクセルのための前記それぞれのローカル明るさ差を決定することとによって特徴づけられる、請求項１に記載の方法。

【請求項3】

前記平均値は、前記選択されたピクセルを囲み、前記選択されたピクセルの前記同じ色に割り当てられているピクセルのセットの平均値、アルファトリム平均値または中央値として計算される、請求項２に記載の方法。

【請求項4】

前記選択されたピクセルのための前記ローカル明るさ差を決定するステップａ）において考慮されたピクセルの前記セットが、あらかじめ決定されたサイズのウィンドウ、好ましくは、４×４、５×５、６×６または８×８のウィンドウ中に位置すること、ここにおいて、ピクセルの前記セットは、前記選択されたピクセルの前記同じ色に割り当てられる、の点で特徴づけられる、請求項１から３の一項に記載の方法。

【請求項5】

前記ローカル明るさ差が決定される前記選択されたピクセルは、前記ウィンドウの中央に位置する、請求項４に記載の方法。

【請求項6】

－ あらかじめ決定されたサイズのウィンドウ中の前記選択されたピクセルに隣接して位置するピクセルのセットの最大ローカル明るさ差を決定することと、
－ 前記ローカル明るさ差が前記加重最大ローカル明るさ差を超えるとき、前記選択されたピクセルを欠陥ホットピクセルとして識別することと
によって特徴づけられる、請求項１から５の一項に記載の方法。

【請求項7】

－ あらかじめ決定されたサイズのウィンドウ中の前記選択されたピクセルに隣接して位置するピクセルのセットの最小ローカル明るさ差を決定することと、
－ 前記ローカル明るさ差が前記加重最小ローカル明るさ差よりも小さいとき、前記選択されたピクセルを欠陥コールドピクセルとして識別することと
によって特徴づけられる、請求項１から６の一項に記載の方法。

【請求項8】

－ あらかじめ決定されたサイズのウィンドウ中の前記選択されたピクセルに隣接して位置するピクセルのセットのための２番目に大きいローカル明るさ差を決定することおよび／またはあらかじめ決定されたサイズのウィンドウ中の前記選択されたピクセルに隣接して位置するピクセルの前記セットのための２番目に小さいローカル明るさ差を決定することと、
－ 前記ローカル明るさ差が加重された前記２番目に大きいローカル明るさ差を超えるとき、前記選択されたピクセルを欠陥ホットピクセルとして識別することおよび／または前記ローカル明るさ差が加重された前記２番目に小さいローカル明るさ差よりも小さいとき、前記選択されたピクセルを欠陥コールドピクセルとして識別することと
によって特徴づけられる、請求項１から５の一項に記載の方法。

【請求項9】

正値を有する前記セット中の前記ローカル明るさ差分値からあらかじめ決定されたサイズのウィンドウ中の前記選択されたピクセルに隣接して位置するピクセルのセットのための前記２番目に大きいローカル明るさ差を決定すること、および／または正値を有する前記セット中の前記ローカル明るさ差分値からあらかじめ決定されたサイズのウィンドウ中の前記選択されたピクセルに隣接して位置するピクセルの前記セットのための前記２番目に小さいローカル明るさ差を決定することの点で特徴づけられる、請求項８に記載の方法。

【請求項10】

ニューラルネットワークの使用による前記最小および最大ローカル明るさ差のための欠陥ピクセルまたは／および重み付け係数として選択されたピクセルを識別することについて考慮される前記上限しきい値および／または下限しきい値を適応させること
によって特徴づけられる、請求項１から９の一項に記載の方法。

【請求項11】

選択されたピクセルのための前記それぞれのローカル明るさ差を決定する前記ステップａ）と前記選択されたピクセルを欠陥ピクセルとして識別する前記ステップｂ）とは、画像のための画像カメラによって与えられたピクセルアレイの各ピクセルを選択し、選択されたピクセルごとに前記方法を繰り返すことによって繰り返し行われる、請求項１から１０の一項に記載の方法。

【請求項12】

欠陥として識別されたピクセルを補正することによって特徴づけられる、請求項１から１１の一項に記載の方法。

【請求項13】

画像センサによって与えられた画像データを処理するための画像プロセッサユニットであって、前記画像データは、ピクセルのアレイを備え、前記画像処理ユニットは、請求項１から１２の一項に記載の方法の前記ステップを行うように構成されるという点を特徴とする、画像プロセッサユニット。

【請求項14】

コンピュータプログラムであって、前記プログラムが処理ユニットによって実行されたときに、請求項１から１２の一項に記載の方法のステップを前記処理ユニットに行わせる命令を備えるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像センサによって与えられた画像データを処理するための方法であって、画像データは、ピクセルのアレイを備える、方法に関する。

【0002】

本発明は、画像センサによって与えられた画像データを処理するための画像プロセッサユニットであって、画像データは、ピクセルのアレイを備える、画像プロセッサユニットにさらに関する。

【0003】

本発明は、上記の方法を行うためのコンピュータプログラムにさらに関する。

【背景技術】

【0004】

デジタルイメージャは、スマートフォン、タブレット、ノートブック、カメラ、車、および装着型などの日用品で広く使用されている。それらの製品中で撮像システムの多くは、シャープな画像／ビデオを生成するために自動焦点合わせ（ＡＦ）の特徴を有する。自動焦点合わせに対する従来の手法は、コントラスト検出に基づく。レンズは、シーンのコントラストが最も高い位置に移動される。コントラスト自動焦点合わせは、概して、遅く、したがって、位相検出オートフォーカス（ＰＤＡＦ）の技術が、焦点合わせの速度および時としてその精度を改善するためにそれに結合され得る。

【0005】

ＰＤＡＦセンサは、全センサエリアにわたって配置されるいわゆる位相検出（ＰＤ）ピクセルを有する。位相検出ピクセルから導出される位相情報は、焦点距離を決定するために使用され得、これは、次いで、最適な焦点をもつ位置に移動するようにレンズを駆動させ、位相情報が十分に正確である場合、そのプロセスは一般に極めて高速である。位相検出ピクセルは、一般に、センサ全体にわたって水平および垂直方向に周期的に配置される。それらのピクセルから位相情報を抽出した後に、それらは、隠蔽または補正されなければならない。そうでない場合、それらは、画像にわたってクラスタ化された欠陥のメッシュのように見える可能性がある。したがって、高画質を維持するために画像信号プロセッサ中に位相検出ピクセル隠蔽（ＰＰＣ）モジュールを有することが重要である。

【0006】

ＩＳ＆Ｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ ２０１７、４６～５１頁中のＮ．Ｅｌ－Ｙａｍａｎｙの「Ｒｏｂｕｓｔ Ｄｅｆｅｃｔ Ｐｉｘｅｌ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｃｏｒｒｅｃｔｉｏｎ ｆｏｒ Ｂａｙｅｒ Ｉｍａｇｉｎｇ Ｓｙｓｔｅｍｓ」は、ホットピクセル、コールドピクセル、または両方のタイプの混合のシングレットおよびカプレットを識別するための方法を開示する。それらのピクセルは、画像処理パイプライン中に早期に補正されず、デモザイク処理動作およびフィルタ処理動作は、画質に有害である着色されたクラスタを拡散させ、そのように見えさせることになる。本方法は、ベイヤーセンサから来た未加工データに作用する。欠陥ピクセルは、２つの条件が満たされる場合に識別される。第１の条件では、ピクセルがそのピクセルを中心とするＳ×Ｓのベイヤーウィンドウ中のそれの同じ色のネイバーと著しく異なるのかどうかがチェックされる。第２の条件では、３×３のベイヤーウィンドウがピクセルを中心とするときに色チャネルごとにピクセル中のローカル明るさ差が最小ローカル明るさ差よりもホットピクセルについて著しく高いのかまたはコールドピクセルについて著しく低いのかどうかがテストされる。

【0007】

検出された欠陥ピクセルは、指向性フィルタの使用によって決定されるロバストな詳細を維持した推定値と置き換えられる。

【0008】

Ｐｒｏｃ．ＳＰＩＥ６５０２、Ｄｉｇｉｔａｌ Ｐｈｏｔｏｇｒａｐｈｙ ＩＩＩ，６５０２０Ｊ，２０－０２－２００７におけるＥ．Ｃｈａｎｇの「Ｋｅｒｎｅｌ－ｓｉｚｅ ｓｅｌｅｃｔｉｏｎ ｆｏｒ ｄｅｆｅｃｔ ｐｉｘｅｌ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ａｎｄ ｃｏｒｒｅｃｔｉｏｎ」は、欠陥ピクセルの補正のための変動するカーネルサイズをもつ最小値と最大値とを制限するフィルタについて説明する。

【0009】

Ｐｒｏｃ．ＳＰＩＥ Ｉｎｔ．Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｐｈｏｔｏｅｌｅｃｔｒｏｎｉｃ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｉｍａｇｉｎｇ、ｖｏｌ．７３８４、ｐ．７３８４２Ｖ－１－６中のＳ．Ｗａｎｇ、Ｓ．Ｙａｏ、Ｏ．Ｆａｕｒｉｅ、およびＺ．Ｓｈｉの「Ａｄａｐｔｉｖｅ ｄｅｆｅｃｔ ｃｏｒｒｅｃｔｉｏｎ ａｎｄ ｎｏｉｓｅ ｓｕｐｐｒｅｓｓｉｏｎ ｍｏｄｕｌｅ ｉｎ ｔｈｅ ＣＩＳ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍ」は、ＣＭＯＳイメージセンサチップ中の実装のために欠陥ピクセルの補正機能を組み合わせる空間適応型雑音抑圧アルゴリズムについて説明する。中央部を加重した中央値フィルタが、欠陥ピクセルを補正するために与えられる。ランダム雑音は、それらのバックグラウンドの詳細レベルに従って別々に扱われる。

【0010】

Ｐｒｏｃ．ＳＰＩＥ Ｓｅｎｓｏｒｓ ａｎｄ Ｃａｍｅｒａ Ｓｙｓｔｅｍｓ ｆｏｒ Ｓｃｉｅｎｔｉｆｉｃ、Ｉｎｄｕｓｔｒｉａｌ ａｎｄ Ｄｉｇｉｔａｌ Ｐｈｏｔｏｇｒａｐｈｙ Ａｐｐｌｉｃａｔｉｏｎｓ ＩＶ、第５０１７巻、３６０～３７０頁、２００３中のＡ．Ｔａｎｂａｋｕｃｈｉ、Ａ．ｖａｎ ｄｅｒ Ｓｉｊｄｅ、Ｂ．Ｄｉｌｌｅｎ、Ａ．ＴｈｅｕｗｉｓｓｅｎおよびＷ．ｄｅ Ｈａａｎの「Ａｄａｐｔｉｖｅ ｐｉｘｅｌ ｄｅｆｅｃｔ ｃｏｒｒｅｃｔｉｏｎ」は、未加工のベイヤー画像データを利用する欠陥補正アルゴリズムを提示する。画像中のピクセルが欠陥であるとわかる場合、隣接ピクセルは、欠陥ピクセルを補間するための最良の情報を与える。方向微分が、欠陥色平面に最近点を相関させるために使用される。

【0011】

ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ、Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、１２５７～１２６０頁、２０１１中のＭ．Ｓｃｈｏｂｅｒｉ、Ｊ．Ｓｅｉｌｅｒ、Ｂ．Ｋａｓｐｅｒ、Ｓ．ＦｏｅｓｓｅｌおよびＡ．Ｋａｕｐの「Ｓｐａｒｓｉｔｙ－ｂａｓｅｄ ｄｅｔｅｃｔ ｐｉｘｅｌ ｃｏｍｐｅｎｓａｔｉｏｎ ｆｏｒ ａｒｂｉｔｒａｒｙ ｃａｍｅｒａ ｒａｗ ｉｍａｇｅｓ」は、欠陥ピクセルを検出し、欠陥ピクセルのための欠損値を補間するためのアルゴリズムを開示する。前に補間されたピクセルが再使用される。

【発明の概要】

【0012】

本発明の目的は、欠陥ピクセルを検出するためのロバストな方式を提供する改善された方法および画像プロセッサユニットを提供することである。

【0013】

目的は、請求項１の特徴を備える方法と、請求項１２の特徴を備える画像プロセッサユニットと、請求項１３に記載のコンピュータプログラムとによって達成される。好ましい実施形態は、従属請求項において開示されている。

【0014】

ａ）選択されたピクセルとそれぞれのピクセルに隣接して位置し、それぞれのピクセルの同じ色に割り当てられたピクセルのセットとの間のそれぞれのローカル明るさ差を決定することと、
ｂ）選択されたピクセルのためのローカル明るさ差が、上限しきい値を超えているおよび／または下限しきい値よりも小さいとき、ならびに選択されたピクセルのためのローカル明るさ差が、選択されたピクセルに隣接して位置するピクセルのセットのために決定された加重最大ローカル明るさ差を超えているおよび／またはそれぞれのピクセルに隣接して位置するピクセルのセットのために決定された加重最小ローカル明るさ差よりも小さいとき、選択されたピクセルを欠陥ピクセルとして識別することと
のステップを行うことが提案される。

【0015】

選択されたピクセルを欠陥ピクセルとして識別するために、２つの検出条件が組み合わされる。条件は、原則として、ピクセルアレイを与えるために画像センサによって使用される色フィルタアレイから独立している。異なるタイプの欠陥は、所与のしきい値と重み付け係数とによって容易にチューニングされ得る条件の組合せによって識別され得る。

【0016】

所与のしきい値と選択されたピクセルのためのローカル明るさ差を比較することによって、選択されたピクセルが、選択されたピクセルと周囲のピクセルのセットとを含む小さいウィンドウ中のそれの同じ色のネイバーと著しく異なるのかどうかがチェックされる。選択されたピクセルは、本方法がそれぞれの色フィルタアレイのパターンを有するピクセルアレイ中で行われるとき、すなわち、デモザイク処理のステップの前に、小さいウィンドウの中央に置かれ得る。

【0017】

第２の条件では、選択されたピクセルのためのローカル明るさが、選択されたピクセルに隣接して位置する隣接ピクセルのために決定されたローカル明るさ差に対して比較される。好ましくは、選択されたピクセルのローカル明るさ差が、選択されたピクセルが中心に置かれる小さいウィンドウ中の同じ色のネイバーのローカル明るさ差と著しく異なるのかどうかがチェックされる。最大ローカル明るさ差と最小ローカル明るさ差とは、必ずしもローカル明るさ差のセットの絶対最大値または最小値であるとは限らない。これは、１つの選択された最大値／最小値、たとえばセットの１番目の（絶対の）または好ましくは２番目のまたはさらには３番目の、４番目の、．．．最大値／最小値として理解され、これは、ローカル明るさ差を表す値のセットからの外れ値として絶対最大値／最小値を除外することに対応する。したがって、同じく、極大値／極小値または調整された最大値／最小値は、本発明によれば最大／最小ローカル明るさ差の意味中に含まれる。

【0018】

第２の条件は、現実の欠陥ピクセルと小さい画像詳細とを区別することを可能にする。

【0019】

２つの条件の組合せは、低い計算量と信頼できる結果とでピクセルのアレイのピクセルデータを備える画像データストリームに対して容易に行われ得る選択されたピクセルを欠陥として識別するためのロバストな方式を与える。方法は、標準ベイヤー、クアッドベイヤー、ＲＧＢＷ、ノナセルおよびヘキサデカベイヤー色フィルタアレイパターンなどの様々な色フィルタアレイのために使用され得る。ホット欠陥、コールド欠陥または欠陥の両方のタイプの混合のシングレットまたはカプレットを容易に識別することが可能である。方法はまた、高次の欠陥を識別することに基づく。

【0020】

ステップａ）において選択されたピクセルのためのそれぞれのローカル明るさ差を決定することについて、それぞれのピクセルに隣接して位置するピクセルのセットの平均値が計算され得る。選択されたピクセルのためのそれぞれのローカル明るさ差は、次いで、選択されたピクセルの値と隣接ピクセルのセットの計算された平均値との間の差として計算され得る。

【0021】

隣接ピクセルは、選択されたピクセルに直接隣接して位置し得る。ピクセルアレイ中で選択されたピクセルと隣接するピクセルとの間にピクセルをもつ選択されたピクセルの近くに位置する隣接ピクセルについて考慮することも可能である。

【0022】

選択されたピクセルのためのそれぞれのローカル明るさ差を決定することについて考慮される隣接ピクセルのセットは、選択されたピクセルと同じ色に割り当てられたそれらの隣接ピクセルからのみ選択され得る。ピクセルのセットの隣接ピクセルの平均値は、ローカル明るさ差を選択されたピクセルの値と隣接ピクセルのセットの計算された平均値との間の差として決定するために計算される。

【0023】

したがって、選択されたピクセルはそれぞれ、それぞれのローカル明るさ差分値に割り当てられ得る。

【0024】

平均値は、選択されたピクセルを囲み、選択されたピクセルの同じ色に割り当てられているピクセルのセットの平均値、アルファトリム平均値または中央値として計算され得る。

【0025】

アルファトリム平均値を決定する場合、ピクセル値は、平均から除外されるいくつかのピクセル値の上位および下位α部分上のサイズによってソートされる。たとえば、２アルファトリム平均フィルタは、平均値を計算するための２つのピクセル値、すなわち、最低値および最高値（すなわち、それぞれの色のための輝度レベル）を削除する。

【0026】

中間点フィルタなどのような平均値を計算するための他の方法も適用可能である。

【0027】

選択されたピクセルのためのローカル明るさ差を決定するステップａ）において考慮されたピクセルのセットは、あらかじめ決定されたサイズのウィンドウ、好ましくは、４×４、５×５、６×６または８×８のウィンドウ中に位置し得、ここにおいて、ピクセルのセットは、選択されたピクセルの同じ色に割り当てられる。

【0028】

選択されたピクセルは、このウィンドウの中央に位置し得る。

【0029】

選択されたピクセルを含むウィンドウ、ここにおいて、ウィンドウのフレームは、選択されたピクセルを囲む、の使用によって、ウィンドウ内の同じ色のピクセルは、隣接ピクセルのセットのために選択される。

【0030】

第１の条件は、あらかじめ決定されたサイズのウィンドウ中の選択されたピクセルに隣接して位置するピクセルのセットの最大ローカル明るさ差を決定し、ローカル明るさ差が加重最大ローカル明るさ差を超えるとき、選択されたピクセルを欠陥ホットピクセルとして識別すること、またはあらかじめ決定されたサイズのウィンドウ中の選択されたピクセルに隣接して位置するピクセルのセットの最小ローカル明るさ差を決定し、ローカル明るさ差が加重最小ローカル明るさ差よりも小さいとき、選択されたピクセルを欠陥コールドピクセルとして識別することを行うことによってホットピクセルまたはコールドピクセルを識別するためにチェックされ得る。

【0031】

欠陥ピクセルを識別するための改善された検出結果は、ローカル差の最大値または最小値の代わりに２番目に大きいローカル差または２番目に小さいローカル差について考慮することによって達成され得る。最大ローカル差分値ではなく、より小さい２番目に大きいローカル差分値について考慮することによって、または最小ローカル差分値の場合、最小値ではなく、２番目に小さい値を考慮することによって、ローカル差分値の外れ値が除外されるように見える。これは、平均値の代わりに平均値のための中央値について考慮することと比較され得る。

【0032】

より好ましくは、ローカル差の低次の最大値、たとえば、２番目に大きいローカル明るさ差が、ローカル明るさ差の正値のセットから決定される。同様に、ローカル差の低次の最小値、たとえば、２番目に小さいローカル明るさ差が、ローカル明るさ差の負値のセットから決定される。

【0033】

別のオプションは、選択されたピクセルに隣接して位置するピクセルのセットのローカル明るさ差の絶対値から最大値を決定することである。その場合、第２の条件のための最小値の考慮は注目しない。

【0034】

本発明の意味における最大ローカル差または最小ローカル差はまた、外れ値を除外するときに２番目、３番目、４番目などに大きいまたは小さいローカル差分値を含む。選択されたピクセルを欠陥ピクセルとして識別するために考慮される上限しきい値および／または下限しきい値は、方法に適用するためにあらかじめ決定され、メモリ中に記憶され得る。代替として、上限および下限しきい値は、最終的な画質を改善するのに必要とされるように適応され得る。好ましくは、上限および／または下限しきい値は、ニューラルネットワークの使用によって適応され得る。

【0035】

同じことは、最小および最大ローカル明るさ差のために考慮される重み付け係数に適用され、これは、やはり、画質を改善するために固定値としてプリセットされるか、または変数として適応され得る。好ましくは、最小および最大ローカル明るさ差のために考慮される重み付け係数は、高い最終的な画質を与えるためにニューラルネットワークの使用によって適応的に学習され、改善される。重み付け係数は、最大ローカル明るさ差と最小ローカル明るさ差とのための１つの値として設定され得る。任意選択で、最大ローカル明るさ差と最小ローカル明るさ差との各々は、それぞれの重み付け係数に割り当てられる。

【0036】

選択されたピクセルのためのそれぞれのローカル明るさ差を決定するステップａ）と選択されたピクセルを欠陥ピクセルとして識別するステップｂ）とは、画像のための画像カメラによって与えられたピクセルアレイの各ピクセルを選択し、選択されたピクセルごとに方法を繰り返すことによって繰り返し行われ得る。代替として、ピクセルアレイの各ピクセルではなく、ピクセルアレイの様々なピクセル、たとえば、ピクセルアレイ内の特定の選択された色のピクセルのみが、方法を繰り返すときに選択され得る。

【0037】

ピクセルを欠陥として識別した後に、ピクセルアレイを備える画像データは、欠陥として識別されるピクセルを補正することによってさらに処理され得る。

【0038】

画像プロセッサユニットは、上記で説明された方法のステップを行うことによって画像データを処理するために配置される。画像プロセッサユニットは、ＦＰＧＡまたは適切にプログラムされたマイクロプロセッサまたはデータ信号プロセッサのようなハードウェアユニットであり得る。

【0039】

方法は、プログラムが処理ユニットによって実行されるとき、処理ユニットに前述の方法のステップを行わせる命令を備えるコンピュータプログラムの使用によって容易に行われ得る。

【0040】

本発明は、添付の図面中の一例によって説明される。

【図面の簡単な説明】

【0041】

【図1】画像データを処理するための方法のブロック図。

【図2】選択されたピクセルと隣接ピクセルのウィンドウとをもつベイヤー色フィルタアレイパターンのための例示的なピクセルアレイを示す図。

【図3】欠陥として識別されたピクセルを補正するための例示的な方法のブロック図。

【発明を実施するための形態】

【0042】

図１は、画像センサによって与えられる画像データを処理するための方法のブロック図および画像プロセッサユニットの機能ユニットを示し、ここにおいて、画像データは、さらなるステップのための入力として使用されるピクセルのアレイＰＡ_INを備える。

【0043】

ステップａ）は、ピクセルアレイＰＡ_INの選択されたピクセルとそれぞれのピクセルに隣接して位置し、それぞれのピクセルの同じ色に割り当てられたピクセルのセットとの間のそれぞれのローカル明るさ差を決定する。

【0044】

ピクセルアレイ中の選択されたピクセルの位置ｘ，ｙのためのローカル明るさ差ＬＢＤ（ｘ，ｙ）は、次のように選択されたピクセルＰ（ｘ，ｙ）の値と選択されたピクセルＰ（ｘ，ｙ）のロバストな推定値ｐ＿ｅｓｔ（ｘ，ｙ）との間の差として決定され得る。

【0045】

【数1】

【0046】

選択されたピクセルＰ（ｘ，ｙ）のロバストな推定値ｐ＿ｅｓｔ（ｘ，ｙ）は、選択されたピクセルＰ（ｘ，ｙ）に隣接して位置するピクセルのセットのピクセル値の使用によって決定され得る。たとえば、あらかじめ決定されたウィンドウ内に位置する、前記ウィンドウは、選択されたピクセルＰ（ｘ，ｙ）を含む、選択されたピクセルと同じ色のすべてのピクセルの平均値または中央値は、ロバストな推定値ｐ＿ｅｓｔ（ｘ，ｙ）のために計算され得る。好ましくは、選択されたピクセルＰ（ｘ，ｙ）は、ウィンドウの中央に位置する。

【0047】

欠陥のカプレットを検出または識別するために、ロバストな推定値ｐ＿ｅｓｔ（ｘ，ｙ）は、選択されたピクセルＰ（ｘ，ｙ）が中心に置かれる未加工のウィンドウ上でのカプレットの存在にロバストでなければならない。１つの可能性は、未加工のウィンドウ中の同じ色のネイバーの（α＝２をもつ）アルファトリム平均としてｐ＿ｅｓｔ（ｘ，ｙ）を計算することである。

【0048】

これは、ベイヤー色フィルタアレイパターンについて図１に示されている例示的なアレイによってより良く理解され得る。たとえば、選択されたピクセルＰ（ｘ，ｙ）は、Ｇ（２，３）である。この選択されたピクセルＧ（２，３）の周りの小さいウィンドウ３×３が、隣接ピクセルのセットのための同じ値のピクセルを選択するために使用される。この例示的な事例では、ピクセルＧ（１，２）、Ｇ（３，２）、Ｇ（１，４）およびＧ（３，４）が隣接ピクセルのセットのために選択される。

【0049】

隣接ピクセルＧ（１，２）、Ｇ（３，２）、Ｇ（１，４）およびＧ（３，４）のこのセットの平均値が、計算され、得られた平均値が、ロバストな推定値ｐ＿ｅｓｔ（ｘ，ｙ）として使用される。

【0050】

２アルファトリム平均の場合、たとえば、４つのピクセルのセットの最高値と最低値とが無視され、平均値は、（たとえば４つの）隣接ピクセルのセットの残りの中間のピクセル値から（たとえば、２つ残った４つのピクセルを用いて）計算される。

【0051】

同様に、特定のサイズのウィンドウは、選択された赤いＲ（ｘ，ｙ）ピクセルのための選択された青いＢ（ｘ，ｙ）ピクセルを中心とする。それぞれの色をもつ選択されたピクセルのために使用されるウィンドウのサイズは、それぞれの色に依存して異なって選定され得る。ウィンドウのサイズは、たとえば、それが特定の色の選択されたピクセルのための隣接ピクセルのセットのために割り当てられた同じ色の少なくとも３つの隣接ピクセルを含むように選定され得る。ウィンドウのサイズは、それぞれの異なる色フィルタアレイパターンおよび／または特定の選択されたピクセルＰ（ｘ，ｙ）のロケーションに応じて選択され得る。目的は、同じ色の十分な数の隣接ピクセルの使用によって選択されたピクセル値Ｐ（ｘ，ｙ）のロバストな推定値を決定することである。

【0052】

十分な数の隣接ピクセルを保護するための１つのオプションであるローカルデモザイクプロセスが追加で行われ得、したがって、選択されたピクセルＰ（ｘ，ｙ）の周りの小さいウィンドウが、選択されたピクセルの色と同じ色の十分に多い数のピクセル値をもった状態で選定され得る。

【0053】

図１のステップｂ）では、選択されたピクセルＰ（ｘ，ｙ）のためのローカル明るさ差ＬＢＤ（ｘ，ｙ）が、上限しきい値Ｓ＿ｈｏｔを超えるおよび／または下限しきい値Ｓ＿ｃｏｌｄよりも小さいとき、選択されたピクセルＰｙ（ｘ，ｙ）は欠陥ピクセルとして識別される。これは、以下の式によって表され得る。

【0054】

ホットピクセルの場合：ＬＢＤ（ｘ，ｙ）＞Ｓ＿ｈｏｔ
コールドピクセルの場合：ＬＢＤ（ｘ，ｙ）＜Ｓ＿ｃｏｌｄ
代替として、１つの共通しきい値Ｓが、この共通の上限／下限しきい値Ｓとローカル明るさ差の絶対値を比較するときに、上限および下限しきい値のために設定され得る。これは、以下の式によって表され得る。

【0055】

【数2】

【0056】

ローカル明るさ差がしきい値Ｓまたは上限／下限しきい値、Ｓ＿ｈｏｔおよびＳ＿ｃｏｌｄよりも大きいまたは小さいという条件は、ローカル明るさ差ＬＢＤ（ｘ，ｙ）が、やはり、しきい値Ｓ、Ｓ＿ｈｏｔ、Ｓ＿ｃｏｌｄに等しいという条件を含む。

【0057】

加重値と共通しきい値との使用によって、ローカル明るさ差ＬＢＤ（ｘ，ｙ）が上限しきい値Ｓを超え、下限しきい値Ｓよりも低いのかどうかが１つのステップ内でチェックされる。

【0058】

さらに、ステップｂ）では、やはり第２の条件が適用される、すなわち、選択されたピクセルＰ（ｘ，ｙ）におけるローカル明るさ差ＬＢＤ（ｘ，ｙ）が隣接ピクセルのローカル明るさ差ＬＢＤ（ｉ，ｊ）とは著しく異なるという事例において選択されたピクセルＰ（ｘ，ｙ）が欠陥ピクセルとして識別される。これは、現実の欠陥ピクセルと小さい画像詳細とを区別することを可能にする。

【0059】

したがって、ローカル明るさ差が、選択されたピクセルＰ（ｘ，ｙ）のためだけでなく、隣接して、すなわち、選択されたピクセルＰ（ｘ，ｙ）の直接のまたは間接的なネイバーとして位置するピクセルＰ（ｉ，ｊ）のためにも計算される。ロバストな推定ｐ＿ｅｓｔ（ｘ，ｙ）を計算することに関して、隣接ピクセルのセットのピクセルとそれらのそれぞれのローカル明るさ差ＬＢＤ（ｘ，ｙ）とが、加重最大ローカル明るさ差ＬＢＤ（ｉ，ｊ）と加重最小ローカル明るさ差ＬＢＤ（ｉ，ｊ）とを決定するために考慮される。これは、以下の数式によって表され得る。

【0060】

ホットピクセルの場合：ＬＢＤ（ｘ，ｙ）＞Ｆ＿ｈｏｔ×ｍａｘ（ＬＢＤ（ｉ，ｊ）∀（ｉ，ｊ）∈Ω）
コールドピクセルの場合：ＬＢＤ（ｘ，ｙ）＜Ｆ＿ｈｏｔ×ｍｉｎ（ＬＢＤ（ｉ，ｊ）∀（ｉ，ｊ）∈Ω）
Ωは、選択されたピクセルＰ（ｘ，ｙ）が中心に置かれるウィンドウ内のピクセルアレイ中の同じ色ピクセルの集合である。ＬＢＤ（ｘ，ｙ）は、選択されたピクセルＰ（ｘ，ｙ）のために決定されたローカル明るさ差である。Ｆ＿ｈｏｔとＦ＿ｃｏｌｄとは、同じ値を有することも異なる値を有することもあるであろう重み付け係数である。位置ｉ、ｊは、選択されたピクセルＰ（ｘ，ｙ）と同じ色の隣接ピクセルに関係するピクセルアレイウィンドウ中の特定のピクセル位置ｘ，ｙに関連する。

【0061】

カプレットに対してロバストになるために、Ωは、たとえば、ウィンドウ中で最大／最小のＬＢＤ値をもつ同じ色のピクセルを除外することによってロバストネス戦略を含まなければならない。これは、隣接ピクセルのセットのためのローカル明るさ差ＬＢＤ（ｉ，ｊ）のセットの２番目に大きい値と２番目に小さい値とについての考慮によって達成され得る。これは、以下の式によって表され得る。

【0062】

ホットピクセルの場合：ＬＢＤ（ｘ，ｙ）＞Ｆ＿ｈｏｔ×２ｎｄ ｍａｘ（ＬＢＤ＿ｐｏｓｉｔｉｖｅ（ｉ，ｊ）∀（ｉ，ｊ）∈Ω）
コールドピクセルの場合：ＬＢＤ（ｘ，ｙ）＜Ｆ＿ｈｏｔ×２ｎｄ ｍｉｎ（ＬＢＤ＿ｎｅｇａｔｉｖｅ∀（ｉ，ｊ）（ｉ，ｊ）∈Ω）
ＬＢＤ＿ｐｏｓｉｔｉｖｅ（ｉ，ｊ）は、ピクセル行列中のそれぞれのピクセル位置ｉ，ｊにおけるセットΩ中の正値のローカル明るさ差を示す。ＬＢＤ＿ｎｅｇａｔｉｖｅ（ｉ，ｊ）は、ピクセル行列中のそれぞれのピクセル位置ｉ，ｊにおけるセットΩ中の負値のローカル明るさ差を示す。

【0063】

上限および下限しきい値Ｓ、Ｓ＿ｈｏｔおよびＳ＿ｃｏｌｄと重み付け係数Ｆ＿ｈｏｔおよびＦ＿ｃｏｌｄとは、メモリ中に物理的に記憶されるか、変更され得る。それらは、しきい値Ｓと重み付け係数Ｆとを適応させるためのニューラルネットワークを含むステップｃ）に入力される。

【0064】

小さい重み付け係数Ｆ、Ｆ＿ｈｏｔおよびＦ＿ｃｏｌｄを使用することは、より多くの誤検出を生じることになる。重み付け係数Ｆに関する大きい値、Ｆ＿ｈｏｔおよびＦ＿ｃｏｌｄを使用することは、より少ない誤検出を生じることになる。

【0065】

好ましくは、Ｓは、［０，２＾ＮＢｉｔｓ－１］のグループから選択され得、重み付け係数Ｆ≧１であり、ここで、ＮＢｉｔｓは未加工のデータのビット深度である。

【0066】

ステップｃ）では、しきい値Ｓ、Ｓ＿ｈｏｔ、Ｓ＿ｃｏｌｄと重み付け係数Ｆ、Ｆ＿ｈｏｔ、Ｆ＿ｃｏｌｄとは、欠陥検出と詳細の維持、すなわち、画質との間の最良のトレードを達成するように一緒にチューニングされ得る。適応は、１００％に近い改善された欠陥検出レートと好ましくは０％に近い低減された誤検出レートを達成する学習ベースのフレームワーク、すなわち、ニューラルネットワークの使用によって実施され得る。

【0067】

ニューラルネットワークは、最適化された画質を達成するという目的によって学習され得る。

【0068】

ステップｂ）の結果は、このロケーション中のピクセルを欠陥として識別するｘ，ｙの位置の単純なリストによって与えられ得る欠陥ピクセルＤ（ｘ，ｙ）の識別情報である。そのような欠陥（ホットピクセル、コールドピクセル）に関する追加情報が任意選択で含まれ得る。

【0069】

ステップｄ）では、欠陥ピクセルの補正のステップは、入来ピクセルアレイＰＡ_INと欠陥として識別されるピクセルまたはピクセルロケーションＤ（ｘ，ｙ）とに基づいて行われ得る。

【0070】

欠陥ピクセルの補正は、従来技術において知られている。欠陥ピクセルの補正のための好適な方法は、出力ＰＡ_OUTにおいて補正されたピクセルアレイを達成するように選択され得る。

【0071】

好ましくは、欠陥ピクセルの補正は、画像詳細を維持しようとし、したがって、可能な場合、指向性の補正を使用し、補正において使用される情報を小さい近傍に限定することに依拠する。

【0072】

図３は、最も近い同じ色のネイバーの補間を介してピクセルを補正するために最も近いネイバーの補正のステップｅ）を使用する欠陥ピクセルの補正のための例示的な好ましい実施形態を示す。

【0073】

別個の経路中で、ステップｆ）、ｇ）、ｈ）、およびｉ）が、いずれも無指向性の事前補正の第１のステップｆ）に基づく指向性の補正ｈ）と無指向性の補正ｉ）とを実行するために実施される。指向性の補正のステップｈ）を行う前に、指向性のフィルタ処理がステップｇ）において行われる。

【0074】

欠陥補正機構は、色フィルタアレイデータ中の色フィルタアレイパターンと色チャネル配置とに応じて３つの動作のうちのどれが補正のために利用されるのかを決定する。特に、色フィルタアレイパターン中の所与の色チャネルが対称性を示し、したがって、指向性の推定および補正を容易にするとき、デフォルトの補正方式は、無指向性の事前補正のステップｆ）、指向性のフィルタ処理のステップｇ）、および指向性の補正のステップｈ）、または代替として、無指向性の補正のステップｉ）をもつ３ステップのプロシージャに従うことができる。

【0075】

ステップｆ）の「無指向性の事前補正」では、ロバストな推定値が、補正されているピクセルが中心に置かれる未加工の画像データ中ですべての識別された欠陥ピクセルについて計算され、すべての欠陥のないピクセルは、そのまま残される。ステップｆ）におけるこの事前補正（前処理）の目的は、補正されているピクセルの周りの未加工の画像データの中間のクリーンな推定値を与えること、したがって、そのピクセル位置におけるロバストな方向識別を容易にすることである。上述のように定義されるロバストな推定値ｐ＿ｅｓｔ（ｘ，ｙ）は、このステップにおいて使用され得る。

【0076】

指向性のフィルタ処理のステップｇ）は、補正されているピクセル位置における特徴方向を識別するのに役立つ。したがって、指向性のフィルタ処理は、指向性のフィルタのセットを用いてそれの同じ色のネイバーとともにピクセルを畳み込むことによってピクセル位置において実施される。フィルタセットの最大絶対応答に基づいて、特徴方向が識別される。

【0077】

数およびサイズおよび係数は、以下のいくつかのファクタに依存する。

【0078】

１．補正方式において識別およびサポートされるように予定されるいくつかの方向
２．ピクセルが中心に置かれる未加工のサポートのサイズ
３．色フィルタアレイチャネル配置
４．フィルタのタイプ、たとえば、勾配ベースまたはそれ以外
補正されているピクセル中の特徴方向が識別されると、ピクセルは、指向性の補正のステップｈ）において識別された方向に沿ってクリーンで、同じ色のピクセルを補間することによって補正され得る。補正アーティファクトの可能性を低減または除去するために、指向性の補正は、一般に、ピクセルの小さい近傍に限定される。

【0079】

特徴方向が、たとえば、様々な平坦領域中で識別されない場合、無指向性の補正が、欠陥ピクセルをそれのロバストな推定値と、たとえば、ｐ＿ｅｓｔ（ｘ，ｙ）によって置き換えることによって追跡され得る。ステップは、図３のステップｉ）として識別される。

【0080】

ＲＧＢＷ色フィルタアレイパターン中のＲ、Ｇ、もしくはＢチャネルまたはクアッドベイヤー色フィルタアレイパターン中のＲおよびＧおよびＧチャネルなどのフィルタアレイパターン中の所与の色チャネルが対称性を示さないとき、欠陥補正方式は、最も近いネイバーの補正のステップｅ）にのみ依拠することができる。

【0081】

ステップｅ）では、ロバストな推定値が、欠陥ピクセルを補正するために使用される。そのような推定値のための１つの可能性は、たとえば、補正されているピクセルの近傍中における同じ色のピクセルのアルファトリム平均である。別の可能性は、それらの同じ色のネイバーの何らかの加重平均である。

【0082】

もちろん、指向性のまたはコンテンツアウェアな補正は、無指向性の補正よりもよい画質を与えることになる。したがって、最も近いネイバーを補間するときに、補間戦略は、できる限り方向を識別しようと試みるか、または補正されているピクセルＰ（ｘ，ｙ）中の未加工の画像データ中のコンテンツを考慮に入れることが好ましい。

【0083】

欠陥として識別されるピクセルを補正する図１のステップｄ）は、標準ベイヤー、クアッドベイヤー、ＲＧＢＷおよびヘキサデカベイヤー色フィルタアレイパターンなどの様々な色フィルタアレイパターンで使用され得る。ロバストな事前補正、指向性のフィルタ、指向性／無指向性の補正（補間）および最も近いネイバーの補正の定義は、異なるフレーバーを帯び得る。それらは、与えられた複雑性と所望の画質とに応じて固定されたグローバルな定義からローカルな定義に変更され得る。

【0084】

本発明による画像データを処理するための方法は、ホット欠陥、コールド欠陥または両方のタイプの混合のシングレットおよび／またはカプレットを補正することができる。たとえば、未加工の画像データのサイズの適切な調整で、高次の欠陥を扱うことができる。

【図1】

【図2】

【図3】

【国際調査報告】