特表 2024-544800 画像センサの画像データを処理するための方法及び画像プロセッサユニット及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-05

(54)【発明の名称】画像センサの画像データを処理するための方法及び画像プロセッサユニット及びコンピュータプログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241128BHJP

   H04N 23/54 20230101ALI20241128BHJP

   H04N 25/70 20230101ALI20241128BHJP

【ＦＩ】

H04N23/60 500

H04N23/54

H04N25/70

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022580837

(86)(22)【出願日】2021-12-08

(85)【翻訳文提出日】2023-02-01

(86)【国際出願番号】 EP2021084758

(87)【国際公開番号】W WO2023104298

(87)【国際公開日】2023-06-15

(81)【指定国・地域】

(71)【出願人】

【識別番号】518295185

【氏名又は名称】シェンチェン グディックス テクノロジー カンパニー，リミテッド

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(74)【代理人】

【識別番号】100132883

【弁理士】

【氏名又は名称】森川 泰司

(74)【代理人】

【識別番号】100148633

【弁理士】

【氏名又は名称】桜田 圭

(74)【代理人】

【識別番号】100147924

【弁理士】

【氏名又は名称】美恵 英樹

(72)【発明者】

【氏名】エル－ヤマニー、ノア

【テーマコード（参考）】

5C024

5C122

【Ｆターム（参考）】

5C024CY17

5C024GX02

5C122EA14

5C122FC06

5C122FH11

5C122FH14

5C122FH23

5C122HA13

5C122HA35

(57)【要約】

本発明は、画像センサの画像データを処理するための方法を開示し、画像センサは、画像ピクセルデータを提供するピクセル行列のセンサエリアを備え、ピクセル行列は、予め定義された場所に位相検出ピクセルを備え、画像ピクセルデータのセットは、位相検出ピクセルの位相検出情報を備え、カラーチャネル中のそれぞれの位相検出ピクセルの対称又は非対称位置決めのいずれかに応じて位相検出ピクセルの予め定義された場所についての画像ピクセルデータを算出するステップが実行される。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像センサの画像データを処理するための方法であって、前記画像センサは、画像ピクセルデータを提供するピクセル行列のセンサエリアを備え、前記ピクセル行列は、予め定義された場所に位相検出ピクセルを備え、画像ピクセルデータのセットが、前記位相検出ピクセルの位相検出情報を備える方法において、
前記方法が、それぞれのカラーチャネル中のそれぞれの前記位相検出ピクセルの対称位置決め又は非対称位置決めのいずれかに応じて、前記位相検出ピクセルの前記予め定義された場所についての画像ピクセルデータを算出するステップによって特徴付けられる、方法。

【請求項2】

前記位相検出ピクセルの位置に割り当てられた色に従って、同色のセンサピクセルの隣接画像ピクセル値に応じて前記カラーチャネル中の非対称位置決めされた位相検出ピクセルについての前記画像ピクセルデータを算出することを特徴とする、請求項１に記載の方法。

【請求項3】

前記画像ピクセルデータは、選択された前記位相検出ピクセルの位置の周りに位置する同色ピクセルの最近隣接画像ピクセル値のアベレージ値として算出されることを特徴とする、請求項２に記載の方法。

【請求項4】

ａ）カラーチャネル中の対称位置決めされた位相検出ピクセルについての前記画像ピクセルデータを算出することであって、この算出は、
ｂ）ステップａ）において関連するピクセル画像データを算出するために選択されたそれぞれの選択された前記位相検出ピクセルの周りの所定のエリア中に位置する位相検出ピクセルについての画像ピクセルデータを推定することと、
ｃ）選択された前記位相検出ピクセルの位置において特徴方向を識別することと、
ｄ）識別された前記特徴方向に選択された前記位相検出ピクセルに隣接して位置する補間されたピクセルデータに応じて画像ピクセル値を算出することと
を行うことによって算出されることを特徴とする、請求項１～３のいずれか一項に記載の方法。

【請求項5】

それぞれの画像ピクセル値は、特徴方向をステップｃ）において識別することができない場合に、選択された前記位相検出ピクセルに隣接し且つその周りにある選択されたエリア中に位置する前記ピクセルデータに応じて算出される、請求項４に記載の方法。

【請求項6】

選択された位相検出ピクセルの場所についてのピクセル値は、選択された前記位相検出ピクセルの位置に割り当てられた関連する前記カラーチャネルと同じ色に関連する隣接ピクセル値の使用によって算出されることを特徴とする、請求項１～５のいずれか一項に記載の方法。

【請求項7】

カラーチャネルパラメータに応じてカラーチャネル中の前記位相検出ピクセルの対称又は非対称配置を決定する第１のステップによって特徴付けられる、請求項１～６のいずれか一項に記載の方法。

【請求項8】

前記位相検出ピクセルの対称又は非対称配置の状態が予め設定される、請求項１～６のいずれか一項に記載の方法。

【請求項9】

画像センサの画像データを処理するための画像プロセッサユニットであって、前記画像センサは、画像ピクセルデータを提供するピクセル行列のセンサエリアを備え、前記ピクセル行列は、予め定義された場所に位相検出ピクセルを備え、前記画像センサは、前記画像プロセッサユニットの入力において画像ピクセルデータを提供し、画像ピクセルデータのセットは、前記位相検出ピクセルの位相検出情報を備える画像プロセッサユニットにおいて、前記画像プロセッサユニットは、カラーチャネル中のそれぞれの前記位相検出ピクセルの対称位置決め又は非対称位置決めのいずれかに応じて、前記位相検出ピクセルの前記予め定義された場所について算出される画像ピクセルデータのために構成されていることを特徴とする、画像プロセッサユニット。

【請求項10】

前記画像プロセッサユニットは、請求項１～８のいずれか一項に記載のステップを実行することによって画像データを処理するように構成されていることを特徴とする、請求項９に記載の画像プロセッサユニット。

【請求項11】

命令を備えるコンピュータプログラムであって、前記命令は、前記コンピュータプログラムが処理ユニットによって実行されると、前記処理ユニットに、請求項１～８のいずれか一項に記載の方法のステップを実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像センサの画像データを処理するための方法に関し、画像センサは、画像ピクセルデータを提供するピクセル行列のセンサエリアを備え、ピクセル行列は、予め定義された場所に位相検出ピクセルを備え、画像ピクセルデータのセットは、位相検出ピクセルの位相検出情報を備える。

【0002】

本発明は、画像センサの画像データを処理するための画像プロセッサユニットと、処理ユニットによって実行されると、処理ユニットに、上述の方法に従って画像センサの画像データを処理させる命令を備えるコンピュータプログラムとに更に関する。

【0003】

画像センサは、画像ピクセルデータを提供するピクセル行列のセンサエリアを備える。ピクセル行列は、予め定義された場所に位相検出ピクセルを備え、画像センサは、画像プロセッサユニットの入力において画像ピクセルデータを提供し、画像ピクセルデータのセットは、位相検出ピクセルの位相検出情報を備える。

【背景技術】

【0004】

デジタルイメージャは、スマートフォン、タブレット、ノートブック、カメラ、車、及びウェアラブルなどの日用品に幅広く使用されている。それらの製品における撮像システムの多くは、鮮明な画像／映像を生成するために自動焦点合わせ（ＡＦ：automatic focusing）の機能を有する。自動焦点合わせへの従来のアプローチは、コントラスト検出に基づく。レンズは、シーンコントラストが最も高い位置に移動される。コントラスト自動焦点合わせは、一般に遅く、そのため、焦点合わせの速度、及び時として正確度を改善するために、位相検出オートフォーカス（ＰＤＡＦ：phase detection autofocus）の技術をコントラスト自動焦点合わせと組み合わせることができる。

【0005】

ＰＤＡＦセンサは、センサエリア全体にわたって配置された、いわゆる位相検出（ＰＤ：phase detection）ピクセルを有する。位相検出ピクセルから導出された位相情報は、焦点距離を決定するために使用することができ、それは、次に、レンズを駆動して、最適焦点を有する位置まで移動させ、そのプロセスは、位相情報が十分に正確である場合、典型的には非常に高速である。位相検出ピクセルは、典型的には、センサ全体にわたって水平及び垂直方向に周期的に配置される。それらのピクセルから位相情報を抽出した後、それらは、隠蔽又は補正されなければならない。さもなければ、それらは、画像にわたってクラスタ化された欠陥のメッシュ（mesh of clustered defects）のように見える可能性がある。従って、高い画像品質を維持するために、画像信号プロセッサ中に位相検出ピクセル隠蔽（ＰＰＣ：phase detection pixel concealment）モジュールを有することが必須である。

【0006】

N. El-Yamany: “Robust Defect Pixel Detection and Correction for Bayer Imaging Systems,” in: IS&T International Symposium on Electronic Imaging 2017, p. 46-51は、ホットピクセル、コールドピクセル、又は両方のタイプの混合のシングレット（singlets）及びカプレット（couplets）を識別するための方法を開示している。それらのピクセルは、画像処理パイプラインにおいて初期に補正されず、デモザイキング及びフィルタリング動作は、それらを画像品質に有害な有色クラスタ（coloured clusters）として拡散させ、且つそのように見えさせるであろう。本方法は、ベイヤーセンサから来る生データに対して作用する。２つの条件が満たされる場合、欠陥ピクセルが識別される。第１の条件では、ピクセルがそのピクセルを中心とするＳ×Ｓベイヤーウィンドウ中のその同色近隣物（same-colour neighbours）と有意に異なるかどうかがチェックされる。第２の条件では、ピクセルにおける局所輝度差が、３×３ベイヤーウィンドウがピクセルを中心とするときに、カラーチャネル毎の最小局所輝度差よりも有意に、ホットピクセルの場合は高いか、又はコールドピクセルの場合は低いかがテストされる。

【0007】

検出された欠陥ピクセルは、ロバストで詳細を保持する推定値と置き換えられ、それは、方向フィルタの使用によって決定される。

【0008】

E. Chang: “Kernel-size selection for defect pixel identification and correction”, in: Proc. SPIE 6502, Digital Photography III, 65020J, 20-02-2007は、欠陥ピクセル補正のための変動するカーネルサイズを有する境界ｍｉｎ－ｍａｘフィルタ（bounding min-max filter）を説明している。

【0009】

S. Wang, S. Yao, O. Faurie, and Z. Shi: “Adaptive defect correction and noise suppression module in the CIS image processing system”, in: Proc. SPIE Int. Symposium on Photoelectronic Detection and Imaging, vol. 7384, p. 73842V-1-6は、ＣＭＯＳ画像センサチップにおける実装のために欠陥ピクセル補正機能を組み合わせる空間適応雑音抑制アルゴリズム（spatial adaptive noise suppression algorithm）を説明している。中央重み付けメディアンフィルタ（centre weighted median filter）が、欠陥ピクセルを補正するために提供される。ランダム雑音は、それらの背景の詳細レベルに従って別個に処理される。

【0010】

A. Tanbakuchi, A. van der Sijde, B. Dillen, A. Theuwissen and W. de Haan: “Adaptive pixel defect correction”, in: Proc. SPIE Sensors and Camera Systems for Scientific, Industrial and Digital Photography Applications IV, vol. 5017, pp. 360-370, 2003は、生ベイヤー画像データを利用する欠陥補正アルゴリズムを提示している。画像中のピクセルに欠陥があると分かった場合、近隣するピクセルは、欠陥ピクセルを補間するのに最良な情報を提供する。方向微分が、最近点を欠陥カラー平面に相関させるために使用される。

【0011】

M. Schoberi, J. Seiler, B. Kasper, S. Foessel and A. Kaup: “Sparsity-based detect pixel compensation for arbitrary camera raw images”, in: IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 1257-1260, 2011は、欠陥ピクセルを検出し、欠陥ピクセルについての欠損値を補間するためのアルゴリズムを開示している。以前に補間されたピクセルは、再使用される。

【発明の概要】

【0012】

本発明の目的は、改善された方法及び画像プロセッサユニットを提供することであり、それは、汎用フレームワークにおける撮像センサにおける位相ピクセル隠蔽のためのロバストな方式を提供し、計算の複雑性を低く維持し、いかなるチューニング又は制御パラメータも必要としない。

【0013】

本目的は、請求項１に記載の特徴を備える方法と、請求項９に記載の特徴を備える画像プロセッサユニットと、請求項１１に記載の特徴を処理するコンピュータプログラムとによって達成される。好ましい実施形態は、従属請求項に開示する。

【0014】

カラーチャネル中のそれぞれの位相検出ピクセルの対称又は非対称位置決めのうちのいずれかに応じて位相検出ピクセルの予め定義された場所についての画像ピクセルデータを算出するステップを実行することが提案される。

【0015】

これは、計算の複雑性の低さを伴って、且ついかなるチューニング又は制御パラメータも必要とすることなく、欠陥ピクセルを補正することを可能にする。

【0016】

位相検出ピクセルの予め定義された場所において画像データを提供して、画像を完成させ、予め定義されたＰＤピクセルの場所においてアーティファクトを回避するために、画像ピクセルデータが、これらの場所のために算出される。画像センサの画像生データが処理され、位相検出ピクセルの場所における欠損画像ピクセルデータは、それぞれのカラーチャネル中のそれぞれの位相検出ピクセルの対称又は非対称位置決めに応じて、２つの異なる方法で決定される。

【0017】

位相検出ピクセルは、画像センサのカラーフィルタアレイ中の１つ以上のカラーチャネル中に位置決めすることができる。例えば、位相検出ピクセルは、ＲＧＢＷセンサのＢ及びＷチャネル中に、又は標準ベイヤーセンサ中のＢチャネル中に位置決めすることができる。

【0018】

位相検出ピクセルがＲＧＢＷカラーチャネル配置におけるＷチャネル、又は標準ベイヤーカラーチャネル配置におけるＲ、Ｇ、及びＢチャネルなど、対称性を示すカラーチャネル中に位置決めされると、位相検出ピクセルの予め定義された場所についての画像ピクセルデータは、対称カラーチャネル配置のために指定された第１の手順において算出される。

【0019】

カラーチャネルの配置が非対称である場合、位相検出ピクセルの予め定義された位置についての画像ピクセルデータは、第２の手順に従って算出される。

【0020】

このことから、位相検出ピクセルが対称性を示すカラーチャネル中に位置決めされるか、又は非対称性を示すカラーチャネル中に位置決めされるかが決定的である。

【0021】

これは、位相検出ピクセル挙動を予め較正するか、又は予め知っている必要なしに、ロバストな位相検出ピクセルの隠蔽（concealment）を可能にする。パラメータのチューニングが必要とされず、計算の複雑性を非常に低く保つことができる。従って、本方法は、リアルタイムのリソース制約のある画像信号処理に適している。

【0022】

位相検出ピクセルがカラーチャネル中に非対称に位置決めされる、即ち、カラーチャネルが非対称性を示す場合、画像ピクセルデータは、好ましくは、位相検出ピクセルの位置に割り当てられた色に従って同色のセンサピクセルの隣接画像ピクセル値に応じて算出することができる。

【0023】

好ましくは、画像ピクセルデータは、選択された位相検出ピクセルの位置の周りに位置する同色ピクセルの最も近い（最近）隣接画像ピクセル値のアベレージ値として算出される。例えば、位相検出ピクセルがＲＧＢＷカラーフィルタアレイパッド中のＲ、Ｇ、若しくはＢチャネル、又はクアッドベイヤーカラーフィルタアレイパターン中のＲ及びＧ及びＢチャネルなど、対称性を示さないカラーチャネル中に位置決めされるとき、位相ピクセル隠蔽は、最近近隣物隠蔽の１つのステップにのみ依拠する。位相検出ピクセルの場所についての画像ピクセルデータは、位相検出ピクセルの場所の最近近隣物から決定されたロバストな推定値として算出される。そのような推定値の１つの可能性は、例えば、隠蔽されているピクセルの近傍（neighbourhood）中の同色ピクセルのアルファトリム平均（alpha-trimmed mean）である。別の可能性は、それらの同色近隣物のいくらか重み付けされたアベレージである。

【0024】

非対称位置決めされた位相検出ピクセルについての画像ピクセルデータを算出するための承認された方法では、方向又はコンテンツアウェア隠蔽が、非方向補正よりも良好な画像品質を与えることができる。従って、最も近い（最近）近隣物を補間するとき、補間戦略は、可能な限り方向を識別しようと試みるか、又は補正されているピクセルにおける生サポート（raw support）におけるコンテンツを考慮に入れることが好ましい。オプションは、同色ピクセルの最近近隣物の画像ピクセル値を重み付けすることである。

【0025】

それぞれのカラーチャネル中に対称に位置決めされた位相検出ピクセルについての画像ピクセルデータを算出するために、関連するピクセル画像データを算出するために選択されたそれぞれの選択された位相検出ピクセルの周りの所定のエリア中に位置する位相検出ピクセルについての画像ピクセルデータを推定することと、選択された位相検出ピクセルの位置において特徴方向（feature direction）を識別することと、識別された特徴方向に選択された位相検出ピクセルに隣接して位置する補間されたピクセルデータに応じて画像ピクセルデータを算出することとを行うことが好ましい。

【0026】

このことから、対称性を示すカラーチャネルに対して、一連のステップが、位相検出ピクセルの場所についての画像ピクセルデータを算出するために処理される。具体的には、位相検出ピクセルがＲＧＢＷカラーフィルタアレイ中のＷチャネル、又は標準ベイヤーカラーフィルタアレイ中のＲ及びＧ及びＢチャネルなど、対称性を示すカラーチャネル中に位置決めされるとき、方向推定及び補正が、対称性のために容易にされる。まず、ロバストな推定値が、位相検出ピクセルの場所の各々について算出される。次いで、方向フィルタリングが、識別された特徴方向に基づいて実行される。位相検出ピクセルの場所の周囲における位相検出ピクセルについてのロバストな推定値の許容された決定は、方向フィルタリングの品質を改善する。位相検出ピクセルの場所についての画像ピクセルデータは、次いで、方向隠蔽又は非方向隠蔽として算出される。

【0027】

好ましくは、それぞれの画像ピクセル値は、特徴方向を識別することができない場合に、選択された位相検出ピクセルに隣接し且つその周りにある選択されたエリア中に位置するピクセルデータに応じて算出される。

【0028】

そうでなければ、選択された位相検出ピクセルの場所のピクセル値は、選択された位相検出ピクセルの位置に割り当てられた関連するカラーチャネルと同じ色に関連する隣接ピクセル値の使用によって算出される。

【0029】

好ましくは、第１のステップでは、カラーチャネル中の位相検出ピクセルの対称又は非対称配置は、カラーチャネルパラメータに応じて決定される。

【0030】

位相検出ピクセルの対称又は非対称配置の状態はまた、予め言及され、従って、知られ得、そのため、決定ステップは必要とされない。

【0031】

位相検出ピクセルは、接続されたピクセルのクラスタとして画像センサ中に位置決めすることができる。カラーフィルタアレイ又は位相検出ピクセルの特定の配置にかかわらず、入力された生データは、ピクセルの位相検出クラスタをカラーチャネル当たり位相検出ピクセルのシングレットに、大きいクラスタの場合にはカプレットに分解するように、第１のステップで処理することができる。ピクセルの位相検出クラスタは、画像センサ全体にわたって水平及び垂直方向に周期的に反復する。

【0032】

例えば、特に位相検出ピクセルが画像センサエリアの水平及び／又は垂直方向に周期的に反復するときに、位相検出ピクセルのクラスタをシングレット及び／又はカプレットに分解することが好ましい。例として、それは、カラーチャネル（例えばＢチャネル）中の置き換えられた検出ピクセルのカプレットを同じカラーチャネル（例えばＢチャネル）中のクアドラプレット（quadruplet）に分解することによって実行することができる。クアドラプレットは、同じカラーチャネル中の４つのシングレットに更に分解することができる。２つのカプレットは、例えば、同じカラーチャネルの４つのシングレットに分解することができる。分解方式によって、クラスタのシングレット及び／又はカプレットへの多くの他の分解が考えられる。各シングレット位相検出ピクセルは、それ自体の近隣物を有し、他の接続された位相検出ピクセルとは無関係に隠蔽されるであろう。

【0033】

本発明は、同封の図面を用いて例として説明する。

【図面の簡単な説明】

【0034】

【図1】ＲＧＢＷカラーフィルタアレイ中の例証的な位相検出ピクセルの位置。

【図2】位相検出ピクセルを備えるＣＭＯＳ ＲＧＢＷセンサの例。

【図3】画像センサの画像データを処理するための方法のフロー図。

【0035】

図１は、ＲＧＢＷカラーフィルタアレイデータ上の例証的な位相検出配置の一部を示す。８×８アレイ中の赤Ｒ、緑Ｇ、青Ｂ、及び白Ｗピクセル、並びにピクセルの位置が、数字によって識別され、括弧内の文字は、ピクセルのそれぞれの色を識別する。完全なパターンは、図１の左上側に第１の４×４行列によって示す交互の青及び白ピクセルの行列によって各々形成された青ブロック（１（Ｂ），２（Ｗ），３（Ｂ），４（Ｗ）；９（Ｗ），１０（Ｂ），１１（Ｗ），１２（Ｂ）；１７（Ｂ），１８（Ｗ），１９（Ｂ），２０（Ｗ）；２５（Ｗ），２６（Ｂ），２７（Ｗ），２８（Ｂ））と、図１の右上側に第２の４×４行列において示す交互の緑及び白ピクセルの行列によって各々形成された緑ブロックと、図１の右下側に第２の４×４行列において示す交互の赤及び白ピクセルの４×４行列によって各々形成された赤ブロックとから成り得る。完全なパターンの第１のラインは、交互の青及び緑ブロックのシーケンスによって形成され得、隣接する第２のラインは、交互の緑及び赤ブロックのシーケンスによって形成され得る。第１及び第２のラインのそのようなグループは、パターンの全てのライン、例えば高さを形成するために反復され、パターンの幅は、ラインの長さによって決定される。

【0036】

位相検出ピクセルは、厚いフレームによって識別される。

【0037】

位相検出ピクセルの位置において、それぞれの割り当てられたカラー画像ピクセル値は、欠損している。これは、特に生センサデータ（raw sensor data）を処理した後に、画像中の欠陥が見えるようになる効果を有する。

【0038】

それぞれのカラーチャネル中に配置された位相検出ピクセルは、カプレットを形成する。例えば、青チャネル１（Ｂ）、１０（Ｂ）、１９（Ｂ）、及び２８（Ｂ）中の４つの位相検出ピクセルは、クアドラプレットを形成し、その一方で、白チャネル２（Ｗ）及び９（Ｗ）中の位相検出ピクセルの第１の対は、第１のカプレットを形成し、白チャネル２０（Ｗ）及び２７（Ｗ）中の位相検出ピクセルの第２の対は、白チャネル中に第２のカプレットを形成する。問題は、次いで、青チャネル中のクアドラプレット及び白チャネル中の２つのカプレットの隠蔽に帰着する。青チャネル中の４つの位相検出ピクセル（クアドラプレット）は、白チャネル中の他の４つの位相検出ピクセル（２つのカプレット）とは無関係に補正される。

【0039】

図２は、緑Ｇ、赤Ｒ、及び青Ｂピクセル、並びに位相検出ピクセルの対ＰＡ、ＰＢを備えるＣＭＯＳセンサの例を提示する。画像センサは、ＵＳ８，５３１，５６３ Ｂ２に説明されているように、水平及び垂直方向に配置されたピクセル上にカラーセンサを含み、ここで、全ての色は、それらの方向の各ライン中に配置される。

【0040】

位相検出ピクセルは、この例証的な画像センサ中で使用される反復する６×６グリッドの緑画像ピクセルの位置中に配置される。

【0041】

位相検出ピクセルの位置において関連する色についての画像データを隠蔽するために、本方法は、対称性を示すカラーチャネル中の位相検出ピクセルの位置と非対称性を示すカラーチャネル中の位相検出ピクセルの位置との間を区別する。

【0042】

しかしながら、位相検出ピクセルは、カラーフィルタアレイ中の１つ以上のカラーチャネル中に位置決めすることができる。例えば、位相検出ピクセルは、図１に示すようなＲＧＢＷセンサのＢ及びＷチャネル中に、又は標準ベイヤーセンサ中のＢチャネル中に位置決めすることができる。

【0043】

加えて、位相検出ピクセルはまた、図１及び図２に示すような接続されたピクセルのクラスタとして位置決めすることができる。

【0044】

カラーフィルタアレイ及び位相検出ピクセルの特定の配置にかかわらず、画像センサ全体にわたって水平及び垂直方向に周期的に反復する位相検出ピクセルのクラスタを、カラーチャネル当たり位相検出ピクセルのシングレットに、又は大きいクラスタの場合にはカプレットに分解することが好ましい。

【0045】

例えば、図１に示す位相検出ピクセル配置の位相検出ピクセルは、
Ａ）Ｂチャネル中のクアドラプレットに分解することができ、それは、Ｂチャネル中の４つのシングレットに更に分解することができるか、又は、
Ｂ）Ｗチャネル中の２つのカプレットに分解することができ、それは、Ｗチャネル中の４つのシングレットに更に分解することができる。

【0046】

各シングレット位相検出ピクセルは、それ自体の近隣物を有し、他の接続された位相検出ピクセルとは無関係に隠蔽されるであろう。

【0047】

図３は、画像センサの画像データを処理する方法を示し、それは、図１及び図２に例証的に示すように、画像ピクセルデータを提供するピクセル行列のセンサエリアを備える。

【0048】

本方法は、対称性を示すカラーチャネル中に位置決めされた位相検出ピクセルと、対称性を示さないカラーチャネル、即ち、非対称カラーチャネル中に位置決めされた位相検出ピクセルとの間を区別する。

【0049】

画像ピクセル生データは、位相検出ピクセルが対称性を示さないカラーチャネル中に位置決めされるとき、最も近い（最近）近隣物隠蔽の方法（closest neighbours concealment ）によって、ステップＡ）で処理される。これは、例えば、ＲＧＢＷカラーフィルタアレイパターン中のＲ、Ｇ、若しくはＢチャネル、又はＲ及びＧ及びＢチャネル、並びにクアッドベイヤーカラーフィルタアレイパターンの場合である。

【0050】

ステップＡ）では、ロバストな推定値が、位相検出ピクセルを隠蔽するために使用される。そのような推定値の１つの可能性は、例えば、隠蔽されているピクセルの近傍中の同色ピクセルのアルファトリム平均を算出することである。別の可能性は、カラーフィルタアレイ中の位相検出ピクセルの位置に割り当てられた同色を有する位相検出ピクセルに直接近隣するそれらの画像ピクセルのいくらか重み付けされたアベレージである。

【0051】

例えば、図２のライン２、列３における位置において緑カラーチャネル中の位相検出ピクセルＰＡ（Ｇ）を隠蔽するために、表示された位相検出ピクセルについての画像値は、ライン１、列４、ライン２、列２、ライン３、列２及び３における位置において緑ピクセルの４つの直接近隣する画像ピクセル値を補間することによって算出される。

【0052】

画像品質は、コンテンツ又は方向に従って同色の近隣する画像ピクセルを重み付けすることによって改善することができる。この方向又はコンテンツアウェア隠蔽は、可能な限り方向を識別しようと試みるか、又は補正されているピクセルの生サポートにおけるコンテンツを考慮に入れる戦略を使用して、最近近隣物を補間する。

【0053】

本方法は、カラーフィルタアレイ中のカラーチャネル配置に応じて決定し、その経路は、ステップＡ）又はステップＢ）、Ｃ）、及びＤ）又はＥ）のシーケンスのうちのいずれかにおいて選択される。

【0054】

位相検出ピクセルが対称性を示すカラーチャネル中に位置決めされるとき、非方向中間隠蔽のステップＤ）で始まる上部経路が選択される。これは、例えば、ＲＧＢＷカラーフィルタアレイ中のＷチャネル、又は標準ベイヤーカラーフィルタアレイ中のＲ及びＧ及びＢチャネル中に位置する位相検出ピクセルの場合である。対称性は、補正における方向推定を容易にする。

【0055】

ステップＢ）では、非方向事前隠蔽（non-directional pre-concealment）が実行される。ロバストな推定値（事前隠蔽）が、位相検出ピクセルの各々について算出される。全ての他の非位相検出ピクセルは、そのままに保たれる。

【0056】

この事前隠蔽、即ち、ステップＢ）における事前処理の目的は、隠蔽されている位相検出ピクセルの周りの生サポートの中間のクリーンな推定値を提供することである。これは、次に、生サポート中の他の位相検出ピクセルの存在によって乱されることなく、その位相検出ピクセルの位置におけるロバストな方向識別を容易にする。

【0057】

Ｐ＿ｐｄ＿ｅｓｔ（ｘ，ｙ）は、位置（ｘ，ｙ）のＰＤピクセルのロバストな推定値を示すとし、ここで、ｘ及びｙは、センサのピクセル座標である。生サポートは、ピクセルＰ（ｘ，ｙ）を中心とするＮ×Ｎウィンドウとして定義することができ、例えば、Ｎ＝３又は５である。Ｐ＿ｐｄ＿ｅｓｔ（ｘ，ｙ）は、Ｐ（ｘ，ｙ）を中心とする生ウィンドウ中の他の同色位相ピクセルの存在に対してロバストでなければならない。位置（ｘ，ｙ）におけるＰＤピクセルの周りの同色の重み付けされた画像ピクセル値のアルファトリム平均（例えば、重み付け係数アルファ＝２を使用する）など、あらゆるロバストな推定値を使用することができる。推定値は、必要であれば、生ウィンドウ中の他の位相検出ピクセルを除外し得る。

【0058】

以下のステップｃ）では、方向フィルタリングが、特徴方向を識別するために実行される。このステップでは、目的は、隠蔽されている位相検出ピクセルＰ（ｘ，ｙ）の位置において特徴方向を識別することである。従って、方向フィルタリングは、事前隠蔽結果に対して実行される。具体的には、位相検出ピクセルの位置において、その同色近隣物と共にピクセルは、方向フィルタのセットで畳み込みされる。フィルタセットの最大絶対応答に基づいて、特徴方向は、位相検出ピクセルの位置において識別される。

【0059】

フィルタの数、サイズ、及び係数は、以下から選択されたいくつかの要素に依存する：
ａ）隠蔽方式において識別及び支持されるように計画された方向の数、
ｂ）位相検出ピクセルを中心とする生サポートのサイズ、
ｃ）カラーフィルタアレイチャネル配置、及び、
ｄ）フィルタのタイプ（勾配ベース又はその他）。

【0060】

それぞれの位相検出ピクセルの位置Ｐ（ｘ，ｙ）における特徴方向が識別された場合、位相検出ピクセルＰ（ｘ，ｙ）は、識別された方向に沿って色に割り当てられた画像ピクセルを補間することと共に方向隠蔽によってステップＤ）において隠蔽される。補正アーティファクトの可能性を低減又は除去するために、方向補正は、典型的には、ピクセルの小さい近傍に制限される。これは、例えば、隠蔽される位相検出ピクセルＰ（ｘ，ｙ）を中心とするＮ×Ｎウィンドウに制限される可能性があり、例えば、Ｎ＝３又は５である。

【0061】

特徴方向が識別されない場合、例えば、非常に平滑な領域では、非方向隠蔽のステップＥ）が、位相検出ピクセルＰ（ｘ，ｙ）をそのロバストな推定値と、例えば、Ｐ＿ｐｄ＿ｅｓｔ（ｘ，ｙ）によって、置き換えることによって、ステップＤ）の代わりに実行される。ステップＤ）において直接補間を介して位相検出ピクセルＰ（ｘ，ｙ）を隠蔽するとき、１つ以上の位相検出ピクセルが識別された方向に沿って存在する場合、事前隠蔽ステップＢ）において算出されたそのロバストな推定値Ｐ＿ｐｄ＿ｅｓｔ（ｘ，ｙ）は、ロバストな隠蔽結果を保証し、より良好な画像品質を達成するために使用されるべきである。

【0062】

開示した方法は、位相検出ピクセルの値を知る必要がない。その位置のみが必要とされる。また、位相検出ピクセル挙動に関する仮定も必要ない。このことから、本方法は、位相検出ピクセルの前に配置されたカラーフィルタのタイプにかかわらず、及びカラーチャネルアレイのカラーチャネルにおける精度にかかわらず、位相検出ピクセル隠蔽に適用可能である。

【0063】

補正された画像ピクセル生データは、そのため、更に処理される。

【図1】

【図2】

【図3】

【国際調査報告】