知財求人 - 知財ポータルサイト「IP Force」
特許7598914デジタル画像における色収差を抑制するための方法およびデバイス
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-04
(45)【発行日】2024-12-12
(54)【発明の名称】デジタル画像における色収差を抑制するための方法およびデバイス
(51)【国際特許分類】
G06T 5/00 20240101AFI20241205BHJP
H04N 23/60 20230101ALI20241205BHJP
H04N 25/611 20230101ALI20241205BHJP
【ＦＩ】
G06T5/00 700
H04N23/60 500
H04N25/611
【請求項の数】
24
【外国語出願】
(21)【出願番号】P 2022176193
(22)【出願日】2022-11-02
(65)【公開番号】P2023071610
(43)【公開日】2023-05-23
【審査請求日】2024-08-01
(31)【優先権主張番号】21207671
(32)【優先日】2021-11-11
(33)【優先権主張国・地域又は機関】EP
【早期審査対象出願】
(73)【特許権者】
【識別番号】502208205
【氏名又は名称】アクシス アーベー
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】ダルグレン， ガナー
(72)【発明者】
【氏名】イェップソン カーリン， ヨーアン
【審査官】佐田 宏史
(56)【参考文献】
【文献】特開２０１３－２０７６０９（ＪＰ，Ａ）
【文献】特開２０１２－１９９９００（ＪＰ，Ａ）
【文献】特開２０１６－０５１０８４（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２１／０３４２９８１（ＵＳ，Ａ１）
【文献】Joonyoung Chang et al.，"Correction of Axial and Lateral Chromatic Aberration With False Color Filtering"，IEEE Transactions on Image Processing ，米国，IEEE，2012年11月20日，Vol.22, No.3，pp.1186-1198
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００，５／００
Ｈ０４Ｎ １／４０，１／４６－１／６２，２３／６０，２５／６１１
(57)【特許請求の範囲】
【請求項1】
処理能力を有するデバイス上で実行されたときに、複数の色チャネルを有するデジタル画像における色収差を抑制するための方法を実施するための命令が記憶された非一時的コンピュータ可読記憶媒体であって、前記方法はプロセッサとメモリを有する画像処理デバイスによって実行され、前記方法は、第１の色チャネルのオーバーシュート成分を減算することによって前記第１の色チャネルを負に補正することを含み、
前記減算は、少なくとも１つのさらなる色チャネルの局所値に依存する下側しきい値に従い、
前記下側しきい値が、複数ピクセルのグループの粒度を有することを特徴とする、非一時的コンピュータ可読記憶媒体。
【請求項2】
前記下側しきい値が第２の色チャネルの局所値である、請求項１に記載の非一時的コンピュータ可読記憶媒体。
【請求項3】
前記下側しきい値が、第２の色チャネルおよび第３の色チャネルの局所値の組み合わせである、請求項１に記載の非一時的コンピュータ可読記憶媒体。
【請求項4】
前記減算が、１つの画素の粒度を有する、請求項１に記載の非一時的コンピュータ可読記憶媒体。
【請求項5】
前記第１の色チャネルが、青色、青みがかった色、赤色、または赤みがかった色の原色を表す、請求項１に記載の非一時的コンピュータ可読記憶媒体。
【請求項6】
前記下側しきい値が、前記デジタル画像の全体にわたって均一に実施される、請求項１に記載の非一時的コンピュータ可読記憶媒体。
【請求項7】
前記下側しきい値が、前記デジタル画像のサブエリアにおいてのみ実施される、請求項１に記載の非一時的コンピュータ可読記憶媒体。
【請求項8】
前記デジタル画像の前記第１の色チャネルと同じ前記色チャネルのローパスフィルタリングされたコピーとの間の差を計算することによって前記オーバーシュート成分を抽出することをさらに含む、請求項１に記載の非一時的コンピュータ可読記憶媒体。
【請求項9】
前記オーバーシュート成分の前記抽出が、前記差をランプ関数と、
一定のスケーリングファクタと、
ゼロにおいて超線形漸近性を有するスケーリング関数と、のうちの一または複数で構成することをさらに含む、請求項８に記載の非一時的コンピュータ可読記憶媒体。
【請求項10】
前記負の補正を第２の色チャネルに適用することをさらに含む、請求項１に記載の非一時的コンピュータ可読記憶媒体。
【請求項11】
少なくとも１つの他の色チャネルの局所値に依存する上側しきい値に従う同じ前記色チャネルのアンダーシュート成分を加算することによって、前記第１の色チャネルまたは前記色チャネルのうちの別の色チャネルを正に補正することをさらに含む、請求項１に記載の非一時的コンピュータ可読記憶媒体。
【請求項12】
前記負の補正および任意の正の補正が、前記デジタル画像の任意のダイナミックレンジ圧縮、トーンマッピング、またはシャープニングの前に実行される、請求項１に記載の非一時的コンピュータ可読記憶媒体。
【請求項13】
複数の色チャネルを有するデジタル画像における色収差を抑制するための、方法を実行するように構成された、メモリ及び処理回路を含む、画像処理デバイスであって、
前記方法は、第１の色チャネルのオーバーシュート成分を減算することによって前記第１の色チャネルを負に補正することを含み、
前記減算は、少なくとも１つのさらなる色チャネルの局所値に依存する下側しきい値に従い、
前記下側しきい値が、複数ピクセルのグループの粒度を有することを特徴とする、画像処理デバイス。
【請求項14】
前記下側しきい値が第２の色チャネルの局所値である、請求項１３に記載の画像処理デバイス。
【請求項15】
前記下側しきい値が、第２の色チャネルおよび第３の色チャネルの局所値の組み合わせである、請求項１３に記載の画像処理デバイス。
【請求項16】
前記減算が、１つの画素の粒度を有する、請求項１３に記載の画像処理デバイス。
【請求項17】
前記第１の色チャネルが、青色、青みがかった色、赤色、または赤みがかった色の原色を表す、請求項１３に記載の画像処理デバイス。
【請求項18】
前記下側しきい値が、前記デジタル画像の全体にわたって均一に実施される、請求項１３に記載の画像処理デバイス。
【請求項19】
前記下側しきい値が、前記デジタル画像のサブエリアにおいてのみ実施される、請求項１３に記載の画像処理デバイス。
【請求項20】
前記デジタル画像の前記第１の色チャネルと同じ前記色チャネルのローパスフィルタリングされたコピーとの間の差を計算することによって前記オーバーシュート成分を抽出することをさらに含む、請求項１３に記載の画像処理デバイス。
【請求項21】
前記オーバーシュート成分の前記抽出が、前記差を
ランプ関数と、
一定のスケーリングファクタと、
ゼロにおいて超線形漸近性を有するスケーリング関数と、のうちの一または複数で構成することをさらに含む、請求項２０に記載の画像処理デバイス。
【請求項22】
前記負の補正を第２の色チャネルに適用することをさらに含む、請求項１３に記載の画像処理デバイス。
【請求項23】
少なくとも１つの他の色チャネルの局所値に依存する上側しきい値に従う同じ前記色チャネルのアンダーシュート成分を加算することによって、前記第１の色チャネルまたは前記色チャネルのうちの別の色チャネルを正に補正することをさらに含む、請求項１３に記載の画像処理デバイス。
【請求項24】
前記負の補正および任意の正の補正が、前記デジタル画像の任意のダイナミックレンジ圧縮、トーンマッピング、またはシャープニングの前に実行される、請求項１３に記載の画像処理デバイス。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、デジタル画像処理の分野に関し、特に、色収差を抑制するための方法およびデバイスに関する。
【背景技術】
【0002】
レンズシステムなどの撮像システムを介してカメラによって取り込まれた画像は、必然的に歪みを含む。様々な種類の歪みがあり、それらの大きさは、撮像システムに関連するいくつかの要因、ならびに撮像されたシーンの特徴、またはこれら２つの組み合わせに依存する。色収差は、異なる波長の光が屈折媒体、より具体的には撮像システムのレンズを通過するときに異なるように屈折するという事実に起因し得る。色収差には、軸方向（または縦方向）色収差と横方向（または横断方向）色収差の２つの主なタイプがある。
【0003】
軸上色収差は、その光軸に平行なレンズに入射する光のそれぞれの波長成分の焦点の軸方向の広がりに対応する。概して、より短い波長の焦点は、比較的長い波長の焦点よりもレンズに近い。説明のために、図１は、光軸１０８および緑色波長成分１１２の画像平面１０４を有するレンズ１０２を示す。青色成分１０６の焦点距離は短く、赤色成分１１０の焦点距離は長いことが分かる。その結果、赤色成分、緑色成分および青色成分のそれぞれのシャープネスは、それら自体の間で均一ではない。複数の屈折要素を有する複雑な光学機器の設計では、これらの要素の選択および間隔が、可視スペクトルのほぼ中心にある緑色成分１１２に対して最適化されることは珍しくない。軸上色収差に関連するアーチファクトは、３つの色（赤、緑、青）すべてが同時に焦点を合わせて撮像されるわけではないため、画像内の色付き領域を含み、それによって画像内のエッジに不鮮明な外観を与える。
【0004】
倍率色収差では、異なる波長成分は共通の画像平面に集光されるが、光軸に対して横方向の広がりを示す。倍率色収差は、一般に、レンズに斜めに当たる光線に対してより顕著である。したがって、画像平面の中心では発生しない。図２は、倍率色収差のいくつかの影響を示す。画像平面１０４がすべての波長に共通であることを除いて、図１と同じ符号が使用されている。シーン内の一点から放射される異なる色の光線は、異なる波長の焦点が画像平面１０４内で横方向にシフトするように屈折することが分かる。
【0005】
軸上色収差および倍率色収差は、異なる光学系に対して異なる程度に影響を及ぼす。両方のタイプは、高グレードのアクロマティック光学系の使用によって大幅に低減することができるが、多くの重要な用途にはコストがかかりすぎる可能性がある。アクロマティック光学系の使用が正当化されていない比較的単純な光学システムでは、ユーザは、システムが不完全な生画像を提供することを受け入れる必要があり得るが、その後の画像処理を適用して不完全性を減らすか、またはそれらをあまり妨害しないようにすることができる。
【0006】
本発明は、しばしば青色フリンジングと呼ばれる一種の色収差に対処する。青色フリンジングの目に見える兆候は、青色、紫色、またはマゼンタのハローが撮像された物体の周りに形成されることであり、このハローは、暗い領域が画像内の明るい領域と交わるエッジ、例えば、逆光の物体または高コントラストの物体の周りで特に顕著である。青色または青みがかったフリンジを生成する上述の光学現象は、赤色または赤みがかったフリンジも生成する可能性がある。所与の撮像システムは、主に青色フリンジングによって、またはあまり一般的ではないが、主に赤色フリンジングによって影響を受ける可能性がある。青色と赤色のフリンジングが等しく重要である撮像システムでは、色収差は紫色フリンジングと呼ばれることがある。
【0007】
青色フリンジングのアーチファクトは長い間研究されており、一般によく理解されているが、青色フリンジを抑制または除去することを目的とした利用可能な画像処理技術は依然として望まれている。実際、青色フリンジを補償することを目的とするいくつかの技術は、新しいアーチファクトを画像に導入する代償としてそうする傾向がある。新しいアーチファクトは、最悪の場合、ダイナミックレンジ圧縮（ＤＲＣ）、トーンマッピング、およびシャープニングなど、アーチファクトを人間の観察者にとってより混乱させる後続の処理ステップによって増幅され得る。例えば、ＤＲＣは、青色フリンジが通常位置する暗い領域を明るくする傾向があり、これにより、観察者がより視認できるようになる。
【発明の概要】
【0008】
本開示の１つの目的は、新しい視覚的アーチファクトを導入することなくデジタル画像における色収差を抑制するのに適した方法およびデバイスを利用可能にすることである。別の目的は、下流の画像処理ステップによって視覚的アーチファクトに変換されやすいパターンを導入する可能性が低いそのような方法およびデバイスを利用可能にすることである。特定の目的は、デジタル画像における青色フリンジの抑制を改善することである。さらに、局所的に動作する、すなわち、完全なデジタル画像を特徴付けるグローバル量を計算する必要なしに、そのような抑制を利用可能にすることが望ましい。最後に、さらに別の目的は、監視用途のためのデジタルビデオカメラでの使用に適したそのような方法およびデバイスを提案することである。
【0009】
これらの目的の少なくともいくつかは、独立請求項に定義される本発明によって達成される。従属請求項は、本発明の有利な実施形態に関する。
【0010】
本発明の第１の態様では、複数の色チャネルを有するデジタル画像における色収差を抑制するのに適した方法が提供される。本方法は、第１の色チャネルのオーバーシュート成分を減算することによって第１の色チャネルを負に補正するステップを含む。この減算演算は、オーバーシュート成分を制限なく減算するのではなく、下側しきい値に従う。下側しきい値は、少なくとも１つのさらなる色チャネルの局所値に依存する。
【0011】
第１の色チャネルは、撮像システムが最適に機能せず、したがって撮像の欠陥に比較的さらされる波長に対応することができる。例えば、上記でより詳細に説明したように、第１の色チャネルの焦点は、撮像システムの設計スペクトルのより中心に位置する波長の焦点から軸方向または横方向にずれてもよい。使用されるカラーシステムに応じて、第１の色チャネルは、（青色フリンジングに対処するための）青色もしくは青みがかった色相、または（赤色フリンジングに対処するための）赤色もしくは赤みがかった色相であってもよい。本発明者らは、第１の色チャネルに対して実行される補償が、デジタル画像のさらなる色チャネルのうちの一または複数に対してバランスされるべきであることを認識した。これにより、過剰補償、したがって過剰なアンチフリンジの形成が回避されるが、これは、青色フリンジでは、アンチフリンジに黄みがかかる。そのようなバランスを達成するための１つの方法は、第１の色チャネルの結果として得られる値が下側しきい値を下回らないという意味で、さらなる色チャネルから下側しきい値を形成し、減算演算を下側しきい値を条件とすることである。
【0012】
いくつかの実施形態では、下側しきい値は第２の色チャネルの局所値である。第２の色チャネルは、撮像システムの設計スペクトルの中心波長、例えば、緑色または緑色がかった色に対応してもよい。
【0013】
他の実施形態では、下側しきい値は、第２および第３の（および任意のさらなる）色チャネルの局所値の組み合わせである。組み合わせは、算術平均、幾何平均、または調和平均であってもよく、これらの手段の各々は、関与する色チャネルの均一または不均一な重み付けを有してもよい。これは、第２および第３の色チャネルがそれらの間でかなり異なる場合でも、第１の色チャネルの負の補正が視覚的に許容可能な結果を生成することを確実にするのに役立ち得る。
【0014】
いくつかの実施形態では、下側しきい値は１つの画素の粒度を有し、「局所値」は画素値である。他の実施形態では、下側しきい値は、４、９、１６、２５などの画素の正方形のグループ、菱形のまたは異なる形状のグループなどの複数の画素のグループの粒度を有する。これにより、下側しきい値を形成する計算労力が低減される。例えば、１つの画素グループの下側しきい値は、中央に位置する画素の値に設定されてもよく、または画素グループ内の画素値の平均値または中央値に設定されてもよい。
【0015】
いくつかの実施形態では、下側しきい値はデジタル画像全体にわたって均一に適用される。すなわち、下側しきい値は依然としてさらなる色チャネルの局所値に基づいており、したがってデジタル画像にわたって変化し得るが、オーバーシュート成分の減算は、その値がどのようなものであっても、下側しきい値を条件とする。あるいは、下側しきい値はデジタル画像の部分領域でのみ適用され、他の場所では制限なくフルオーバーシュート成分が減算される。そのような実施形態における総計算労力は、より低くなり得る。
【0016】
いくつかの実施形態では、オーバーシュート成分は、デジタル画像の第１の色チャネルと同じ色チャネルのローパスフィルタリングされたコピーとの間の差として計算される。差は、例えば、上で概説した画素グループ化のうちの１つを使用して、画素ごとの差またはより高い粒度を有する差であってもよい。差は、ランピング（すなわち、その正または負の部分が保持され得る）、線形スケーリングおよび非線形スケーリングのうちの一または複数をさらに受けてもよい。疑義を避けるために、本開示における「オーバーシュート成分」という用語は、デジタル画像またはデジタルビデオフレームの静的量を指し、それは、いくつかの高次の動的システムにおける名辞の遷移と直接関連していない。
【0017】
負の補正は、２つ以上の色チャネルに適用できることが理解される。例えば、いくつかの実施形態によれば、紫色フリンジングの影響は、同じデジタル画像の青色チャネルと赤色チャネルの両方に負の補正を適用することによって低減することができる。
【0018】
第１の色チャネルの負の補正は、正の補正と並行して実行できることがさらに理解される。正の補正は、第１の色チャネルまたはデジタル画像の別の色チャネルに適用されてもよい。正の補正は、同じ色チャネル被写体のアンダーシュート成分を加算することを含んでもよい。任意選択的に、アンダーシュート成分の加算は、正の補正が適用される色チャネルとは異なる少なくとも１つの色チャネルの局所値に依存する上側しきい値を条件としてもよい。
【0019】
いくつかの実施形態では、負の補正（および任意の正の補正）は、デジタル画像の任意のダイナミックレンジ圧縮、トーンマッピング、またはシャープニングの前に実行される。ダイナミックレンジ圧縮、トーンマッピング、およびシャープニングは、そうしなければ色収差に関連して補償されていないアーチファクトを増幅する傾向があるため、このシーケンシングが好ましい。
【0020】
本発明の第２の態様では、多色チャネルのデジタル画像における色収差を抑制するように構成された画像処理デバイスが提供される。画像処理デバイスは、第１の態様による方法を実行するように構成されたメモリおよび処理回路を含む。画像処理デバイスは、デジタルビデオカメラ、特に監視関連のユースケース用のビデオカメラの内蔵構成要素であってもよい。
【0021】
第２の態様は、第１の態様の効果および利点を共有し、対応する程度の技術的変形を伴って実施することができる。
【0022】
本発明はさらに、コンピュータ、特に画像処理デバイスに上記方法を実行させるための命令を含むコンピュータプログラムに関する。コンピュータプログラムは、データキャリアに記憶または配布することができる。本明細書で使用される場合、「データキャリア」は、変調された電磁波もしくは光波などの一時的データキャリア、または非一時的データキャリアであってもよい。非一時的データキャリアは、磁気、光学、またはソリッドステートタイプの永続的および非永続的記憶媒体などの揮発性および不揮発性メモリを含む。依然として「データキャリア」の範囲内で、そのようなメモリは固定的に取り付けられてもよく、または携帯可能であってもよい。
【0023】
本開示では、「青色フリンジ」、「青色フリンジング」、および特定の色を指す類似の用語は、広義に解釈されるべきであり、すなわち、赤色フリンジ、マゼンタフリンジなどは共通の屈折関連現象から生じると理解されるべきである。さらに、異なる色のアーチファクトは、類似の技術によってしばしば改善することができることが理解される。
【0024】
一般に、特許請求の範囲で使用されるすべての用語は、本明細書で特に明示的に定義されない限り、技術分野におけるそれらの通常の意味に従って解釈されるべきである。「要素、装置、構成要素、手段、ステップなど」へのすべての言及は、特に明記しない限り、要素、装置、構成要素、手段、ステップなどの少なくとも１つの例を指すものとして広く解釈されるべきである。本明細書に開示する任意の方法のステップは、明示的に述べられていない限り、記載された正確な順序で実行される必要はない。
【0025】
以下、添付の図面を参照して、態様および実施形態を例として説明する。
【図面の簡単な説明】
【0026】
【図1】軸上色収差の影響を示す概略図である。
【図2】倍率色収差の影響を示す概略図である。
【図3】本発明の実施形態による、デジタル画像における色収差を抑制するための方法のフローチャートである。
【図4】撮像システムのブロック図である。
【図5】本発明による画像処理デバイスを撮像システム内または撮像システムに配置することができる方法を示す図である。
【図6】本発明による画像処理デバイスを撮像システム内または撮像システムに配置することができる方法を示す図である。
【図7】本発明による画像処理デバイスを撮像システムに配置することができる方法を示す図である。
【図8】本明細書の実施形態による色収差抑制のいくつかの態様を示す概略的な信号処理図である。
【発明を実施するための形態】
【0027】
本開示の態様は、本発明の特定の実施形態が示されている添付の図面を参照して以下でより完全に説明される。しかしながら、これらの態様は、多くの異なる形態で具現化されてもよく、限定するものとして解釈されるべきではない。むしろ、これらの実施形態は、本開示が徹底的かつ完全であり、本発明のすべての態様の範囲を当業者に完全に伝えるように、例として提供される。説明全体を通して、同様の符号は同様の要素を指す。
【0028】
【0029】
図４は、撮像システム、この場合はデジタルビデオカメラの概略図である。撮像システムは、画像センサ１２２上のシーンを撮像するレンズシステム１２０を有する。画像センサ１２２には、既知の、通常はモザイク状のパターンに従って、異なる画素が特定の波長領域の放射を受け取るように、例えばベイヤーフィルタなどのカラーフィルタアレイが設けられる。画像センサ１２２の個々のセンサ画素の信号を読み取った後に、デモザイク処理が実行される１２４。この時点で、シーン内の色情報が抽出されている、すなわち、シーンからの検出信号は、カラーフィルタ配列が設計されているカラーシステムの成分に分離されている。色チャネルは、原色を構成する波長であってもよく、可視色空間のサブセット（色域）内の所望の点に組み合わせることができる。色チャネルは、例えば、指定された赤色Ｒ、緑色Ｇ、および青色Ｂの色に対応することができる。色再現の不十分さを補正するために、デモザイク処理されたセンサ出力に色補正マトリクスが適用される１２６。色補正マトリクスは、画像センサ１２２の各画素について、波長依存の応答を考慮に入れる較正マトリクスとして説明することができる。簡単なプロセスでは、色補正マトリクスは、撮像システムで既知のターゲットを撮像することによって推定され、ターゲットは、通常、演色チャートである。その結果、既知の色特性のターゲット、結果として得られる画像センサ応答、および適用されるとセンサ応答を既知のターゲットに近づけるはずの色補正マトリクスが存在し、最適な色補正マトリクスを生成する傾向がある最適化タスクを効果的にもたらす。色の誤差は様々な方法で記述することができ、最小の合計誤差を推定するための多くのアルゴリズムがある。本発明は、特定の色誤差測定または最適化アルゴリズムを提唱しない。色補正マトリクス１２６を適用するとき、（デモザイク処理１２４に続く）画像センサからの応答は、演色チャートに従ってそれが有するべき値に、または少なくともそれに近い値に変換される。最先端の撮像システムでは、演色チャートの撮像を実行する実際のステップを省略することができ、特定のセンサおよび撮像システムのスペクトル応答データを使用することによって、色補正マトリクスを推定することができる。
【0030】
色補正マトリクス１２６の適用に続いて、画像センサからの応答は、画素ごとに、全色誤差が最小化される真の、または少なくともより正確な色表現に補正されるべきである。得られた画像は、画像処理パイプライン１２８に送られる。色補正マトリクス１２６の適用は、画像処理パイプライン１２８の一体部分と見なすことができることに留意されたい。画像処理パイプライン１２８は、ノイズフィルタリング（空間的および／または時間的ノイズを除去するため）、歪み補正（例えば樽形歪みの影響を排除するため）、グローバルおよび／またはローカルトーンマッピング（例えば、広範囲の強度を含むシーンの撮像を可能にする）、変換（例えば、回転）、フラットフィールド補正（例えば、口径食の影響を除去するため）、オーバーレイの適用（例えば、プライバシーマスク、説明テキスト）、ダイナミックレンジ補正（ダイナミックレンジ圧縮を含む）、シャープニングなどを含むことができる。これらの例示的な動作は、実施者が適切と考える順序で配置されてもよい。画像処理パイプライン１２８はまた、物体検出、物体認識、警報トリガなどを実行する解析エンジンに関連付けられてもよい。画像処理パイプライン１２８に続いて、デジタル画像をエンコーダ１３０に転送することができ、エンコーダは、符号化プロトコルに従って画像データを符号化し、所望の画像フォーマットで受信者、サーバ、クラウドストレージなどに転送する役割を果たす。
【0031】
図３は、本発明の実施形態による、デジタル画像における色収差を抑制するための方法３００のフローチャートである。方法３００は、図５～図７に示すタイプの画像処理デバイス５１０で実施することができる。図４の撮像システムの連続するステージに関して、画像処理パイプライン１２８の前に方法３００を実行することが有利である。好ましくは、方法３００は、色補正マトリクス１２６が適用された後に実行される。あるいは、方法３００は、画像処理パイプライン１２８に統合されてもよく、任意のノイズフィルタリングの後に、およびその中の任意のダイナミックレンジ圧縮、トーンマッピング、またはシャープニング操作の前に実行されることが好ましい。同じシーンの２つの露光がマージされる二重露光および同様のシステムでは、露光マージ後に、すなわちマージされた画像上で方法３００を実行することが好ましい。
【0032】
全体的なレベルでは、方法３００は、負の補正ブロック３１０と任意選択の正の補正ブロック３２０と、で構成される。ブロック３１０、３２０の各々は、デジタル画像の１つの色チャネルまたは複数の色チャネルに適用することができる。正の補正３２０は、存在する場合には、負の補正３１０を受けるものとは異なる色チャネルに適用することができる。好ましくは、補正３１０、３２０は、青色（青みがかった）または赤色（赤みがかった）の色チャネルなど、撮像システムの設計スペクトル内の非中心波長を表す色チャネルに適用される。ブロック３１０、３２０の順序は、図３に示す通りであってもよいし、反転されていてもよい。一または複数の負の補正が一または複数の正の補正と交互になるスタガシーケンスも可能である。例えば、第１の色チャネルの負の補正の後に第１の成分の正の補正が続き、次に、第１の成分の正の補正の後に第２の色チャネルの負の補正が続いてもよく、任意選択で、さらなる正および／または負の補正を伴ってもよい。
【0033】
負の補正３１０がデジタル画像の第１の色チャネルに適用される場合、デジタル画像の第１の色チャネルに関連する画像データからオーバーシュート成分を抽出するステップ３１２を含む。青色フリンジングは鋭いエッジを強調することが知られているので、オーバーシュート成分は、第１の色チャネルの高い周波数成分を表すように選択されてもよく、ここで、周波数は画像データの空間変動を指す。そのような高い周波数成分を取得する１つの方法は、最初に第１の色チャネルのローパス（ＬＰ）フィルタリングされたコピーを計算し、次いで元の第１の色チャネルからＬＰフィルタリングされたコピーを減算することである。
【0034】
デジタル画像は、３つの色チャネル
を有する空間表現の形態で提供され、その各々は、画素を指定するインデックス対（
）の関数として対応する値（例えば、強度、輝度）を表すと仮定する。（上述したように、より粗い粒度を使用することができ、インデックス対
は所定の画素グループを指定する。）値関数は、テーブル、特にルックアップテーブルとして表すことができ、エントリは８ビット（４＋４）浮動小数点数であってもよい。３つの色チャネルは、共通または同等のユニットで表される。好ましくは、３つの色チャネルは共通の線形ユニットにあり、それによってクロスチャネル処理が単純化され、例えば、値トリプレットの線形スケーリングは色相を本質的に保存する。色チャネルは、元のまたはほぼ元のダイナミックレンジを有してもよいし、または事前圧縮されたダイナミックレンジを有してもよい。方法３００は、収差によって潜在的に影響を受ける画像領域を検出するために画素飽和の発生に依存しないので、方法３００は、高ダイナミックレンジ（ＨＤＲ）画像にも適用することができる。方法３００は、実際には、下側しきい値が依存するさらなる色チャネルの局所値が飽和によって変更されていないため、ＨＤＲ画像に適用されるとより良好に機能することができる。
【0035】
これらのタイプのうちの１つの空間表現は、デジタル撮像システムの構成要素間で画像を交換するための簡単なフォーマットである。方法３００がデジタル画像を取得した撮像システムの外部の後処理に利用される場合には、デジタル画像は、記憶またはデータ転送に適した圧縮フォーマットで提供されてもよい。この場合、すべての色チャネルが共通または同等のユニットにある空間表現に画像データを解凍（またはアンパック）する必要があり得る。デジタル画像が予測符号化ビデオシーケンスのフレームである場合であって、任意選択的にシーケンスの前または後のフレームに頼る場合には、同様の手順が方法３００の有用な準備となり得る。さらに、方法３００は、ＹＣｂＣｒフォーマットの画像データには容易に適用することができず、ルーマＹ成分およびクロマＣｂ、Ｃｒ成分のいずれも色と直接関係がないことに留意されたい。したがって、ＲＧＢなどの色チャネルに関する表現への予備変換が必要である。
【0036】
ステップ３１２に戻ると、文献は、上記のタイプのうちの１つに従って符号化されたデジタル画像のチャネルのＬＰフィルタリングされたコピーを提供する（３１２．１）ためのいくつかの適切なアルゴリズムを開示している。例としてフーリエ変換が含まれる。１つの選択肢は、色チャネルの空間表現
（ここで、
はデジタル画像の解像度である）を、
について
であるように、周波数表現
にフーリエ変換（例えば、高速フーリエ変換（ＦＦＴ）または直接フーリエ変換（ＤＦＴ）を使用）し、次いでこれを
より低い周波数コンテンツのみを含む空間表現に逆変換することである。
について
であることを保証するために、より高い周波数成分の計算を取り止めるようにフーリエ型変換を設計してもよいし、または逆変換の前に、引き続いてそれらの周波数成分を除去してもよい。上限
は、同様のシーンおよび／または同等の輝度および着色を有する画像に対して暫定的な
値のための方法３００を実行することによって経験的に決定され、視覚的に満足のいく結果が達成されるまで調整を行うことができる。あるいは、非知覚的評価を利用し、代わりに補償された第１の色チャネルの周波数応答および／またはシャープネスを、緑色または緑みがかった色などの中心に位置する波長に対応する同じ量の色チャネルと比較することができる。
【0037】
別の選択肢は、空間表現
をカーネル
で畳み込むことによってローパスフィルタリングされたコピーを計算すること（３１２．１）である。
畳み込みは、一様なぼかし、例えばガウスぼかしに対応することができ、その場合、カーネルは原点に対して対称である。
代替的または追加的に、カーネル
は、デジタル画像が取得された撮像システム内の光学系の点拡がり関数（ＰＳＦ）を補償するように設計されてもよい。ＰＳＦが軸上画像点と軸外画像点とで異なる場合、カーネルは上記の対称性を有さなくてもよく、むしろ、カーネルは
に依存する。畳み込み演算は、適切に選択されたカーネル
について、次に説明する異なる計算３１２．２を含む方法３００の一または複数のさらなるステップを吸収するように設計することができることに留意されたい。
【0038】
実施態様では、ランタイム（例えば、オンチップ）メモリの要件を低減するために、大きな間隔でサポートされるカーネル
は、複数の合計サブカーネル
に都合よく分割することができ、各サブカーネルは比較的小さな間隔でサポートされる。任意選択で、実施者は、サブカーネルの可変オフセットを定義することができ、オフセットは（サブカーネル自体ではなく）光軸からの距離に依存するようにすることができる。
【0039】
次に、色チャネルとＬＰフィルタリングされたコピーとの差を計算するステップ３１２．２が続く。
この差は、任意選択的に、後続のステップで使用される前に、例えば、差関数を少なくとも１つの他の関数
で構成すること３１２．３によってさらに処理することができ、その結果、オーバーシュート成分は、以下のように得られる。
好ましくは、関数
は、ほぼどこでも減少しないか、またはほぼどこでも増加する。方法３００のコンピュータ実装では、関数
は、効率的なソフトウェアコードが公開されている区分的線形（ＰＷＬ）関数として表すことができる。
【0040】
第１の選択肢は、それぞれ以下のように定義される、正の部分または負の部分の
としての関数などの、ランプ関数
またはこれらの局所的に平滑化されたバージョンを使用することである。
【0041】
第２の選択肢は、一定のスケーリングファクタ
を使用することであり、係数
を使用して負の補償３１０の大きさを調整することができる。好ましくは、係数
は、デジタル画像全体にわたって第１の色チャネルに対して一定である。第２の色チャネルの対応する係数
は、第１の係数
とは無関係であり得る。上述した定数
と同様に、係数
は、異なる暫定的な値を試行し、視覚的に最も心地よいものを選択することによって経験的に決定されてもよい。非知覚的評価も可能であり、補償された第１の色チャネルおよび中心に位置する波長に対応する基準色チャネルの周波数応答および／またはシャープネス・インジケータ値が比較される。
【0042】
第３の選択肢は、非線形スケーリング関数を使用することである。例えば、以下のような、ゼロにおいて超線形漸近性を有する非減少スケーリング関数を使用することができ、
これは
について、
の場合に
の任意の倍数よりも速くゼロになる。差
が超線形漸近性を有するスケーリング関数で構成される場合には、その差が有意であるが他の場所ではない画素（または画素グループ）に負の補償３１０が適用される。実際、青色フリンジングが無視できる画像領域は、アーチファクトを不必要に導入するリスクを負わないように、そのまま残すことができる。スケーリング関数は、現在のユースケースにおける「有意な」差および「無視できる」フリンジングの知覚にスケーリングを適合させる必要がある場合には、拡張バージョン
に置き換えることができる。
【0043】
異なる実施形態では、第１、第２および第３の選択肢は、対応する機能を前記
に合成することによって有利に組み合わせることができる。
【0044】
次に、第１の色チャネルからオーバーシュート成分を減算するステップ３１４が続く。方法３００によれば、減算は、制限されないが、少なくとも１つのさらなる色チャネルの局所値に依存する、下側しきい値
に従う（または条件付きである）。
ここで、
は任意選択のステップ３１２．３で導入される関数である。方法３００が任意選択のステップ３１２．３を含まない実施形態では、式（１）に
を概念的に設定することができる。最大操作は、画素値
が少なくともしきい値
に等しい値に置き換えられることを保証する。
【0045】
方法３００のいくつかの実施形態では、しきい値は、別の色チャネルの局所値、例えば、
または
に等しく設定することができる。他の実施形態では、しきい値は、２つの他の色チャネルの局所値の組み合わせである。
組み合わせは、単純平均値
または加重平均
であってもよい。さらなる選択肢は
を使用することであり、これは、いくつかの条件（
がほぼ等しい場合）では、３つの色チャネルがほぼ等しい強度を有するようにし、それによって、補償された画素は目立たない灰色がかった色相を有する。組み合わせはまた、２つの他の色チャネルの最大または最小であってもよい。
【0046】
上述したように、方法３００は、異なる粒度で実行されてもよく、すなわち、インデックス対
は、画素または複数の画素のグループを指してもよい。具体的には、オーバーシュート成分が減算された場合にグループ内の任意の画素がしきい値を下回るとすぐに、減算ステップ３１４がしきい値を画素グループ内のすべての画素に割り当てる規則を適用することができる。
【0047】
さらなる選択肢は、一画素粒度で減算ステップ３１４を実行するが、より粗い粒度でしきい値
を計算することである。これを達成する１つの方法は、以下のように画素空間
を画素グループ
に分割することであり、ここで、
はインデックスセットであり、
任意の
について
である。画素グループ粒度
を有するしきい値から開始して、減算演算３１４は、修正されたしきい値
を用いるが、依然として一画素粒度で定式化することができる。
ここで、
は区分的に定数であり、すなわち、
である
について
である。あるいは、（２）の修正されたしきい値
は、
の補間によって置き換えられてもよい。例えば、各
が
画素のグループである場合には、補間は
画素のより細かい粒度を有することができる。画素グループ粒度を有するしきい値関数は
のように定義することができ、ここで、
は
の中心画素である。あるいは、局所値の平均を形成することができ、
ここで、
は
の画素数である。
【0048】
さらに、同じラインに沿って、しきい値
が一画素粒度を有するが減算３１４がより粗い粒度で実行されるように方法３００を修正することが可能である。
【0049】
これまでに説明した処理ステップの概要については、図８の図を参照されたい。３つの色チャネル８９０を有するデジタル画像から開始して、色チャネルのうちの一方（ここではＢ）がローパスフィルタ８１０に供給され、符号付き総和成分８２０が差を形成し、これはランプ関数８３０（あるいは、ゼロにおいて超線形漸近性を有するスケーリング関数８３０’）およびスケーリングファクタ８４０で構成され、それによってオーバーシュート成分が得られる。オーバーシュート成分は、元の色チャネルから位置８５０において減算され、その際、最大演算子８６０は、結果として生じる差が、２つのさらなる色チャネル（ここでは、Ｇ、Ｒ）の一方または両方から計算されたしきい値未満にならないことを保証する。元の色チャネルは、オーバーシュート成分による減算後のその値、またはこれが必要な画素ではしきい値に置き換えられる。構成要素８３０、８４０および８６０を除いて、図８の処理図は、Ｂ色チャネルに適用されるアンシャープマスキングのタイプとして説明され得る。
【0050】
いくつかの実施形態では、下側しきい値に従う減算３１４は、規則（１）をデジタル画像の第１の色チャネル全体にわたって均一に適用することによって実行される。
【0051】
他の実施形態では、規則（１）は、デジタル画像のいくつかのサブエリアにのみ適用される。画像の残りの部分では、オーバーシュート成分はまったく減算されなくてもよいし、下側しきい値に関係なく制限なく減算されてもよい。サブエリアは、青色フリンジングの影響を受ける可能性が最も高いサブエリアであってもよい。一例では、エッジフィルタを使用して、鋭い暗い／明るいエッジ、および青色フリンジングが頻繁に発生することが知られている他の画像特徴を位置特定することができ、サブエリアをその環境として定義することができる。別の例では、飽和した画素および／または青色フリンジに典型的な色相を有する画素が局在化され、サブエリアはこれらの画素の環境として定義される。あるいは、訓練された機械学習モデルを利用して、暗い／明るいエッジを見つけることができる。任意選択で、置換規則（１）が適用されるサブエリアと適用されない画像の残りの部分との間の目に見える境界を回避するために、一または複数の遷移ゾーンが定義されてもよく、修正された規則が使用される。
区間
内で適切に選択される定数
は、置換画素値が元の画素値
に近づくように減算を緩和する効果を有する。遷移ゾーンは、所定の厚さ
を有する各サブエリアの近傍であってもよい。
【0052】
図３に戻ると、現在のラウンドにおいて負の補正３１０によって処理されることに起因する色チャネルがそれ以上存在しない場合（ステップ３１８からのＮ分岐）には、実行フローは、任意選択の第２のブロックである正の補正３２０に進む。負の補正３１０が画像内のエッジの暗い側の青色フリンジに対処すると言える場合には、正の補正３２０の役割は、エッジの明るい側の青色の「欠落」量を復元することである。青色が欠損した領域は、人為的に黄色がかった外観を有し得る。
【0053】
正の補正３２０を実行するために、アンダーシュート成分がオーバーシュート成分と類似の方法で抽出される３２２が、
関数内に反対の符号がある。
上述の条件付き減算演算３１４は、正の補正３２０において、上側しきい値に従う条件付き加算３２４に対応する。上側しきい値は、少なくとも１つの他の色チャネルの局所値に依存する。上記の説明のいずれかによる
関数は、上側しきい値としても使用され得る。これは、以下の置換規則として要約することができる。
正の補正３２０は、負の補正３１０に関して概説したのと同じ任意選択の特徴を（必要に応じて符号を変更して）含めることによって修正することができる。とは言え、正の補正３２０の詳細（数値パラメータの調整および適合、存在する場合には関数
の選択を含む）は、負の補正３１０とは無関係のままであり、負の補正３１０に類似または一致する必要はない。
【0054】
方法３００の実行は、正の補正３２０が適用されることになるそれ以上の色チャネルがないときに終了することができる（ステップ３２８からＮ分岐）。次いで、デジタル画像は、必要に応じて、ダイナミックレンジ圧縮、トーンマッピング、およびシャープニングなどの操作によって処理することができる。
【0055】
方法３００を実行するために、メモリ５１２および適切に構成された処理回路５１４を有する画像処理デバイス５１０を使用することができる。図５に示すように、画像処理デバイス５１０は、デジタルビデオカメラ５００の一体部分であってもよい。ビデオカメラ５００は、監視ユースケースに適したものであってもよい。これは、例えば、固定的に取り付けられ、その出力をライブストリームとして配信するように構成されてもよい。
【0056】
あるいは、図６に示すように、画像処理デバイス５１０は、ビデオカメラ５００の出力を処理するように構成されてもよい。画像処理デバイス５１０は、ビデオカメラ５００と共局在化することができ、または通信ネットワークを介して遠隔でその出力を受信してもよい。画像処理デバイス５１０は、ユーザがビデオカメラ５００によって取り込まれ、画像処理デバイス５１０によって処理されたビデオストリームを制御された（通常は小さい）遅延で検査できるように、リアルタイムで動作することが好ましい。
【0057】
図７は、画像処理デバイス５１０がビデオカメラ５００に含まれ、その計算タスクの一部をネットワーク化（またはクラウド）処理リソース５２０に委譲するオプションを有するハイブリッド実装を示す。
【0058】
本開示の態様は、いくつかの実施形態を参照して主に上述されている。しかしながら、当業者によって容易に理解されるように、添付の特許請求の範囲によって定義されるように、上記で開示されたもの以外の他の実施形態も本発明の範囲内で等しく可能である。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】