▶ ベステル エレクトロニク サナイー ベ ティカレト エー．エス．の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-05
(45)【発行日】2022-10-14
(54)【発明の名称】画像を処理する方法、処理システム及びコンピュータプログラム
(51)【国際特許分類】
G06T 1/00 20060101AFI20221006BHJP
【ＦＩ】
G06T1/00 340A
【請求項の数】
18
(21)【出願番号】P 2020517209
(86)(22)【出願日】2017-12-28
(65)【公表番号】
(43)【公表日】2020-12-03
(86)【国際出願番号】 EP2017084722
(87)【国際公開番号】W WO2019057320
(87)【国際公開日】2019-03-28
【審査請求日】2020-12-07
(31)【優先権主張番号】17192989.6
(32)【優先日】2017-09-25
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】513121384
【氏名又は名称】ベステル エレクトロニク サナイー ベ ティカレト エー．エス．
(74)【代理人】
【識別番号】110000637
【氏名又は名称】特許業務法人樹之下知的財産事務所
(72)【発明者】
【氏名】パーレイカー メフメト エムル
【審査官】新井 則和
(56)【参考文献】
【文献】特開２０１２－２３８１３５（ＪＰ，Ａ）
【文献】特開平１１－２９８８２９（ＪＰ，Ａ）
【文献】特開２０１１－２１５６２４（ＪＰ，Ａ）
【文献】特開平０６－２８４２８３（ＪＰ，Ａ）
【文献】特開２００６－０１１６８５（ＪＰ，Ａ）
【文献】特開２０１０－１９３０９９（ＪＰ，Ａ）
【文献】米国特許出願公開第２００８／０２９８７０４（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１６／００４８９４９（ＵＳ，Ａ１）
【文献】Tarik Arici, Salih Dikbas，SKIN-AWARE LOCAL CONTRAST ENHANCEMENT，2007 IEEE International Conference on Image Processing，IEEE，2007年09月16日，I-521 - I-524，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=4379006，IEL Online IEEE Xplore
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００－５／５０
(57)【特許請求の範囲】
【請求項1】
ピクセルからなる画像を処理する、コンピュータにより実行される方法であって、前記画像中の肌色調ピクセルを検出し、
前記肌色調ピクセルの少なくとも一部に局所的鮮明化を適用し、
局所的に鮮明化された前記肌色調ピクセルを用いて前記画像を再生成し、
前記肌色調ピクセルの少なくとも一部に局所的鮮明化を適用する前に、（ｉ）前記肌色調ピクセルに局所的コントラスト強調を適用すること、及び（ｉｉ）前記肌色調ピクセルの色を調整すること、の少なくともいずれかを実施することを特徴とする方法。
【請求項2】
請求項１に記載の方法であって、前記局所的鮮明化は、前記肌色調ピクセルの全てに適用されることを特徴とする方法。
【請求項3】
請求項２に記載の方法であって、前記再生成された画像は、局所的に鮮明化された前記肌色調ピクセルと元の非肌色調ピクセルとからなることを特徴とする方法。
【請求項4】
請求項１から請求項３のいずれか一項に記載の方法であって、前記肌色調ピクセルの少なくとも一部に局所的鮮明化を適用する工程は、前記肌色調ピクセルの少なくとも一部にアンチエイリアシングフィルタを適用する工程を含むことを特徴とする方法。
【請求項5】
請求項１から請求項３のいずれか一項に記載の方法であって、前記肌色調ピクセルの少なくとも一部に局所的鮮明化を適用する工程は、前記肌色調ピクセルの少なくとも一部に鮮明化フィルタを適用する工程を含むことを特徴とする方法。
【請求項6】
請求項１から請求項３のいずれか一項に記載の方法であって、前記肌色調ピクセルは別々のサブピクセルを備え、前記肌色調ピクセルの少なくとも一部に局所的鮮明化を適用する工程は、前記肌色調ピクセルの少なくとも一部の各サブピクセルに別々に局所的鮮明化を適用する工程を含むことを特徴とする方法。
【請求項7】
請求項１から請求項３のいずれか一項に記載の方法であって、前記肌色調ピクセルに前記局所的コントラスト強調を適用することは、アンシャープマスク及びヒストグラム法のうちの少なくとも１つを用いることを特徴とする方法。
【請求項8】
請求項１から請求項３のいずれか一項に記載の方法であって、前記肌色調ピクセルの色を調整することは、トーンマッピングを用いることを特徴とする方法。
【請求項9】
請求項１から請求項３のいずれか一項に記載の方法であって、
前記画像は、高ダイナミックレンジ処理の対象となる映像の画像である、ことを特徴とする方法。
【請求項10】
ピクセルからなる画像を処理するための処理システムであって、ピクセルからなる画像中の肌色調ピクセルを検出し、
前記肌色調ピクセルの少なくとも一部に局所的鮮明化を適用し、
局所的に鮮明化された前記肌色調ピクセルを用いて前記画像を再生成するよう構成され、
前記肌色調ピクセルの少なくとも一部に局所的鮮明化を適用する前に、（ｉ）前記肌色調ピクセルに局所的コントラスト強調を適用すること、及び（ｉｉ）前記肌色調ピクセルの色を調整すること、の少なくともいずれかを実施することを特徴とする処理システム。
【請求項11】
請求項１０に記載の処理システムであって、前記肌色調ピクセルの少なくとも一部に局所的鮮明化を適用する工程は、前記肌色調ピクセルの少なくとも一部にアンチエイリアシングフィルタを適用する工程を含むよう構成されることを特徴とする処理システム。
【請求項12】
請求項１０または請求項１１に記載の処理システムであって、前記肌色調ピクセルの少なくとも一部に局所的鮮明化を適用する工程は、前記肌色調ピクセルの少なくとも一部に鮮明化フィルタを適用する工程を含むよう構成されることを特徴とする処理システム。
【請求項13】
請求項１０または請求項１１に記載の処理システムであって、前記局所的鮮明化は、前記肌色調ピクセルの全てに適用されることを特徴とする処理システム。
【請求項14】
請求項１０または請求項１１に記載の処理システムであって、前記再生成された画像は、局所的に鮮明化された前記肌色調ピクセルと元の非肌色調ピクセルとからなることを特徴とする処理システム。
【請求項15】
請求項１０または請求項１１に記載の処理システムであって、前記肌色調ピクセルに前記局所的コントラスト強調を適用することは、アンシャープマスク及びヒストグラム法のうちの少なくとも１つを用いることを特徴とする処理システム。
【請求項16】
請求項１０または請求項１１に記載の処理システムであって、前記肌色調ピクセルの色を調整することは、トーンマッピングを用いることを特徴とする処理システム。
【請求項17】
請求項１０または請求項１１に記載の処理システムであって、前記肌色調ピクセルの少なくとも一部に適用される局所的鮮明化の程度をユーザにより調整可能とするよう構成されることを特徴とする処理システム。
【請求項18】
コンピュータプログラムであって、コンピュータ装置で実行された際、前記コンピュータ装置が請求項１に記載の方法を実行するよう構成される指示を含むことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本願開示は、画像を処理する方法、処理システム及びコンピュータプログラムに関する。
【背景技術】
【0002】
画像処理、例えば、静止画処理又は一連の映像を構成する画像の処理においては、表示装置に表示される画像を視聴者にとってより魅力的に、より訴求力をもって、又はよりリアルにするために、一般に様々な加工処理が行われる。しかし、多くの加工処理では、画像を損ない、又は当該画像ないし少なくともその一部を視聴者にとってよりリアルでない、又は魅力的でないものとする不要なアーチファクト（ａｒｔｅｆａｃｔｓ）が導入される。
【発明の概要】
【0003】
本明細書に開示される第一の側面によれば、ピクセルからなる画像を処理する、コンピュータにより実行される方法であって、前記画像中の肌色調ピクセルを検出し、前記肌色調ピクセルの少なくとも一部に局所的鮮明化を適用し、画像を局所的に鮮明化された前記肌色調ピクセルを用いて再生成する方法が提供される。
【0004】
局所的鮮明化を肌色調ピクセルに適用することで、肌領域のディテールをより良く保存又は改善し、よりリアル又は魅力的な画像を提供して表示装置上に表示することができる。
【0005】
この方法は、再生装置又は他の関連する装置中の高ダイナミックレンジ（ＨＤＲ）処理の対象となる映像の画像に特に適用される。ＨＤＲ処理により、視聴者に特に目立つ、又は目に入る肌色調領域内の不要なアーチファクトが生じることがある。本明細書に記載される例は、このようなアーチファクトの効果を最小化し、又は除去するのに役立つ。にもかかわらず、この方法の例は、高ダイナミックレンジ（ＨＤＲ）処理の対象となる画像に限られず、標準ダイナミックレンジ（ＳＤＲ）処理の対象となる画像にも適用可能である。
【0006】
画像は静止画であって良い。画像は、複数の画像からなる映像の画像であっても良い。
【0007】
この方法は、例えば、テレビセット、スマートフォン等の画像又は映像再生装置、又はラップトップ、デスクトップ又はタブレットコンピュータ等のコンピュータ等で実行可能である。この方法は、ＤＶＤプレーヤや、セットトップボックス、又は独立した映像処理又はグラフィックカード等の画像を提供又は生成する他の関連装置でも実行可能である。この方法は、再生時に画像又は映像装置内でリアルタイムに実行可能である。
【0008】
例の中で使用可能な具体的なプロセス、アルゴリズム、フィルタ等の詳細は、例えば方法を実行するプロセッサ等、及び／又は画像が表示される表示装置の処理能力に応じて設定又は調整されて良い。この方法は、ソフトウェアもしくはハードウェア、又はソフトウェアとハードウェアとの組み合わせにより実行されても良い。
【0009】
一例において、前記局所的鮮明化は、前記肌色調ピクセルの全てに適用される。
【0010】
一例において、前記再生成された画像は、局所的に鮮明化された前記肌色調ピクセルと元の非肌色調ピクセルとからなる。
【0011】
一例において、前記肌色調ピクセルの少なくとも一部に局所的鮮明化を適用する工程は、前記肌色調ピクセルの少なくとも一部にアンチエイリアシングフィルタを適用する工程を含む。
【0012】
一例において、前記肌色調ピクセルの少なくとも一部に局所的鮮明化を適用する工程は、前記肌色調ピクセルの少なくとも一部に鮮明化フィルタを適用する工程を含む。
【0013】
一例において、前記肌色調ピクセルは別々のサブピクセルを備え、前記肌色調ピクセルの少なくとも一部に局所的鮮明化を適用する工程は、前記肌色調ピクセルの少なくとも一部の各サブピクセルに別々に局所的鮮明化を適用する工程を含む。
【0014】
このサブピクセルは、例えば前記ピクセルの異なる色のためのものであって良い。例えば、各ピクセルについて、赤、緑及び青色のサブピクセルがあって良い。この例では、異なる色のサブピクセルは別々に処理される。
【0015】
一例において、この方法は、前記肌色調ピクセルの少なくとも一部に局所的鮮明化を適用する前に、前記肌色調ピクセルに局所的コントラスト強調を適用する工程を備える。
【0016】
局所的コントラスト強調は、高ダイナミックレンジ（ＨＤＲ）処理のために適用されても良い。この局所的コントラスト強調は、例えばヒストグラム法を用いても良い。
【0017】
一例において、この方法は、前記肌色調ピクセルの少なくとも一部に局所的鮮明化を適用する前に、前記肌色調ピクセルの色を調整する工程を備える。
【0018】
肌色調ピクセルの色の調整は、高ダイナミックレンジ（ＨＤＲ）処理のために適用されても良い。肌色調ピクセルの色調整は、肌色調ピクセルの色相及び彩度調整を含んでも良い。肌色調ピクセルの色調整では、トーンマッピングを用いても良い。
【0019】
本明細書に開示される第二の側面によれば、ピクセルからなる画像を処理するための処理システムであって、ピクセルからなる画像中の肌色調ピクセルを検出し、前記肌色調ピクセルの少なくとも一部に局所的鮮明化を適用し、局所的に鮮明化された前記肌色調ピクセルを用いて画像を再生成するよう構成される処理システムが提供される。
【0020】
この処理システムは、少なくとも一つのプロセッサと、少なくとも一つのコンピュータプログラム指示を含むメモリとを備えて良く、この少なくとも一つのメモリとコンピュータプログラム指示とは、少なくとも一つのプロセッサにより、この処理システムに少なくとも上記を実行させるよう構成される。
【0021】
一例において、前記処理システムは、前記肌色調ピクセルの少なくとも一部に局所的鮮明化を適用する工程が、前記肌色調ピクセルの少なくとも一部にアンチエイリアシングフィルタを適用する工程を含むよう構成される。
【0022】
一例において、前記処理システムは、前記肌色調ピクセルの少なくとも一部に局所的鮮明化を適用する工程が、前記肌色調ピクセルの少なくとも一部に鮮明化フィルタを適用する工程を含むよう構成される。
【0023】
一例において、この処理システムは、前記肌色調ピクセルの少なくとも一部に局所的鮮明化を適用する前に、前記肌色調ピクセルに局所的コントラスト強調を適用するよう構成される。
【0024】
一例において、この処理システムは、前記肌色調ピクセルの少なくとも一部に局所的鮮明化を適用する前に、前記肌色調ピクセルの色を調整するよう構成される。
【0025】
一例において、この処理システムは、前記肌色調ピクセルの少なくとも一部に適用される局所的鮮明化の程度をユーザにより調整可能とするよう構成される。
【0026】
コンピュータプログラムであって、コンピュータ装置で実行された際、前記コンピュータ装置が上述の方法を実行するよう構成される指示を含むコンピュータプログラムも提供される。
【図面の簡単な説明】
【0027】
本願開示の理解を促進し、どのように実施形態が効果を奏するのかを示すため、例示として添付の図面が参照される。
【0028】
【図1】本明細書記載の画像処理方法の例を模式的に示す図である。
【図2】画像の肌色調ピクセルの少なくとも一部に局所的鮮明化を適用する方法の例を模式的に示す図である。
【図3】画像の肌色調ピクセルの少なくとも一部に局所的鮮明化を適用するのに使用可能なフィルタの例を模式的に示す図である。
【発明を実施するための形態】
【0029】
上述のように、画像処理、例えば、静止画処理又は一連の映像を構成する画像の処理においては、多くの加工処理によって不要なアーチファクトが導入され、これにより当該画像が損なわれ、または当該画像の少なくとも一部が視聴者にとってよりリアルでなく、より魅力的でなくなる可能性がある。アーチファクト又は画像のリアルでない部分は、当該アーチファクトが画像中の、特に画像中の（人間の）対象の顔、並びに画像中の対象の手、腕、脚の肌領域に関連する場合に、視聴者に特に目立ちやすい。これは、人間の視覚認識システムが肌色調領域に特に敏感であることが主な原因である。
【0030】
具体例として、多くの公知の、特に映像処理用の画像処理構成では、画像のコントラストを強調するために、すなわち、簡単にいうと、画像の暗部と明部間の差を強調するためにコントラスト強調が用いられる。多くの公知の画像処理構成では、表示される画像の色を改善することも試みられる。多くの公知の画像処理構成では、画像の「シャープネス」を改善するために、特に画像のエッジ領域（例えば、空を背景とする建物のエッジ、又は肌を背景とするまつげのエッジ）においてエッジ強調も用いられる。
【0031】
このような処理は、公知の構成では、通常、画像の全体に適用される。この点、例えば、いわゆる局所的コントラスト強調と呼ばれるものもあることが留意される。しかし、ここでの「局所的」という用語は、隣接する又は「局所的な」ピクセルの表示特性に基づきコントラスト強調処理が特定のピクセルに行われることを強調するために用いられる。公知のシステムにおけるこの「局所的な」コントラスト強調は、語感に反し、画像の具体的な内容に関わりなく、画像全体にわたって行われる。
【0032】
画像処理は、いわゆる標準解像度又は低解像度画像を含む多くの用途で行われてよいものの、この処理は高解像度画像において行われても良い。この点、「高」解像度を構成する解像度には決まりがない。高解像度画像は、１２８０ｘ７２０ｐディスプレイ等の７２０ｐディスプレイでは少なくとも７２０ピクセルを有する画像と考えられても良い。あるいは、高解像度画像は、１９２０ｘ１０８０ｐディスプレイ又は１９２０ｘ１０８０ｉディスプレイ等の１０８０ディスプレイでは少なくとも１０８０ピクセルを有する画像と考えられても良い。
【0033】
画像処理により、特に肌色調領域でのディテールが失われる可能性がある。例えば、しわ、ほくろ等のしみ、眉毛、まつげ、あごひげ、口ひげ等の顔の毛のディテールがこの処理において失われる可能性がある。これにより、リアルでない「プラスチックのような」見た目の肌色調領域となる可能性がある。
【0034】
このような処理は、特に、近時例えば消費者製品で利用される「高ダイナミックレンジ」、すなわちＨＤＲ処理において特に問題を生じる。簡単に言うと、ＨＤＲは、コントラスト及び色双方のレンジを著しく拡張する。ＨＤＲでは、例えば多数のビットを用いてピクセルの明度を特定する可能性がある。画像の明るい部分を、より明るくすることが可能となり、画像がより「深さ」を持つように見える。色を拡張して、より明るい赤、青及び緑（及び他の全ての色）を示すことが可能となる。ＨＤＲ処理では、いわゆる電気光伝達関数（ＥＯＴＦ）を用いて表示されるピクセルの明度を特定することも可能である。ＨＤＲ処理は、広色域（ＷＣＧ）を使って、例えばより多くのビットによりピクセルの色を特定することで、色をより鮮明にすることも可能である。いずれにしても、ＨＤＲのより大きなコントラスト及びより鮮明な色を有する画像を提供するという目的に反し、ＨＤＲではしばしば画像中のディテールが失われ、これにより特にリアルでない「プラスチックのような」外見を有する肌色調領域となることがある。
【0035】
本明細書に記載されるピクセルから形成される画像の処理方法の例では、画像中の肌色調ピクセルが検出される。そして、この肌色調ピクセルの少なくとも一部に局所的鮮明化が適用される。その後、画像をこの局所的に鮮明化された肌色調ピクセルを用いて再生成する。これにより、肌色調領域のディテールを保持しやすくなり、肌色調領域を視聴者にとってよりリアルなものとすることができる。これは、例の中では肌色調領域のみがこのように処理されることから、処理要件全体には比較的小さな影響しか及ぼさずに実行可能である。例の中では、これにより、肌色調領域でない領域に実際とは異なる形で生成されたディテール、エッジ等のアーチファクトが導入されることも防ぐことができる。
【0036】
この方法は、例えば、テレビセット、スマートフォン等の画像又は映像再生装置、又はラップトップ、デスクトップ又はタブレットコンピュータ等のコンピュータ等で実行可能である。この方法は、ＤＶＤプレーヤや、セットトップボックス、又は独立した映像処理又はグラフィックカード等の画像を提供又は生成する他の関連装置でも実行可能である。例の中で使用可能な具体的なプロセス、アルゴリズム、フィルタ等の詳細は、例えば方法を実行するプロセッサ等、及び／又は画像が表示される表示装置の処理能力に応じて設定又は調整されて良い。この方法は、ソフトウェアもしくはハードウェア、又はソフトウェアとハードウェアとの組み合わせにより実行されても良い。この方法は、低もしくは標準解像度画像又は高解像度画像によらず、かつ例えばＨＤＲ処理される画像並びにＳＤＲ処理される画像を含む任意のデジタル画像に適用可能である。この方法は、例えば処理されたＨＤＲデータを装置のメイン映像プロセッサから受け取り、肌色調信号の局所的鮮明化を完了した後に新たに処理されたデータを当該メイン映像プロセッサに戻すプロセッサ中で実行されても良い。この方法は、例えばＢＴ．２０２０（ＩＴＵ－Ｒ勧告ＢＴ．２０２０、別名Ｒｅｃ．２０２０）及びＢＴ．７０９（ＩＴＵ－Ｒ勧告ＢＴ．７０９、別名Ｒｅｃ．７０９）を含む各種の異なる色空間を用いる画像に適用可能である。
【0037】
図面を参照して、この方法の例を説明する。なお、詳細な工程の多くについて数多くの異なる技術を利用可能であり、フィルタ及びフィルタ係数等の詳細は異なる用途において異なり、特定の用途においては変更しても良い。
【0038】
まず、図１を参照すると、ある例の概要では、１０において、映像又は画像データが取得される。このデータは、ＤＶＤ又はＢｌｕ－Ｒａｙ（登録商標）プレーヤ等、テレビ放送信号（地上波、ケーブル又は衛星放送等）、インターネット経由等の数多くの異なるソースの一つから取得可能である。いくつかの例では、特に、この取得された画像データは、ＨＤＲ（高ダイナミックレンジ）目的で既に画像処理されていても良い。上述のように、ＨＤＲ処理により、不要な効果又はアーチファクトが生じる可能性がある。本明細書に記載される例により取り扱われる具体的な課題は、肌色調領域のディテールの喪失であり、これによりリアルでない「プラスチックのような」見た目を有する肌色調領域となる可能性がある。
【0039】
２０において、画像中の肌色調ピクセルが検出される。肌色調を検出するための数多くの技術を利用可能であり、多くの異なる技術が公知である。肌色調検出は、通常個々のピクセルの色に基づく。トレーニング画像を用いてトレーニングされた肌色調分類手段をこの目的で用いても良い。
【0040】
この方法の次の工程は、この例では肌色調ピクセル（又は肌色調ピクセルの少なくとも一部）にのみ適用される。画像の残りの非肌色調ピクセルには、ここで説明されるこの方法の例の次の工程が行われない。これらの非肌色調ピクセルは変わらないままであり、後でこの方法にしたがって画質が向上した画像を構成又は生成するのに用いられる。
【0041】
３０で、任意的な工程として、コントラスト強調を肌色調ピクセルに適用する。このコントラスト強調は、画像のコントラストを強調すること、すなわち、簡単にいうと、画像の暗部と明部間の差を強調することを意図するものである。人間の視覚認識システムは特にコントラスト／明度に敏感であることから、コントラスト強調により認識される画像の見た目を著しく改善可能である。
【0042】
この肌色調ピクセルに適用されるコントラスト強調は、例えば隣接するピクセルの明度に基づきピクセルの明度を調整する（画像全体のコントラストを考慮する全体コントラスト強調に対する）局所的コントラスト強調であって良い。
【0043】
コントラスト強調では、いくつかの（非線形）関数をピクセルに適用してピクセルの明度を（潜在的に）変更する。局所的コントラスト強調では、（非線形）関数のパラメータを、周囲のパラメータから抽出された特徴にしたがって各ピクセルについて変更する。すなわち、局所的コントラスト強調では、画像の局所的特徴に応じて各ピクセルについて関数の効果を変更する。
【0044】
使用可能な適切なコントラスト強調技術としては、いわゆるアンシャープマスク及びヒストグラム法が含まれる。このような技術はそれ自体公知である。いくつかの具体例が出願人のＥＰ１８１４０７８Ａ１、ＥＰ１８７９１４７Ａ１、ＥＰ１９０９２２７Ａ１及びＷＯ２００７０８５５７５Ａ１に開示され、これらの内容全体が本明細書に援用される。
【0045】
特に、具体例において、３０で適用されるコントラスト強調は、ＨＤＲ画像処理目的であっても良い。上述のように、ＨＤＲでは、多数のビットを用いてピクセルの明度を特定しても良い。ＨＤＲにしたがって改善されたコントラストを得るため、数多くの（局所的）コントラスト強調技術を使用可能である。
【0046】
４０において、任意的工程として、必要に応じて肌色調ピクセルの色を分析、調整して、表示される画像の色を改善する。肌色調ピクセルの色調整は、高ダイナミックレンジ（ＨＤＲ）処理のために行われても良い。肌色調ピクセルの色調整は、肌色調ピクセルの色相及び彩度調整を含んでも良い。肌色調ピクセルの色調整では、トーンマッピングを用いても良い。それ自体として公知のように、トーンマッピングでは、最大限可能な画像を提供しつつ、画像の色ボリューム（ｃｏｌｏｕｒ ｖｏｌｕｍｅ）中の色を、再生装置又は対応する表示装置の、（通常）より小さな色ボリュームにマッピングする。具体例として、ＨＤＲ画像は１００，０００：１のカラーダイナミックレンジを有する可能性があるのに対し、通常のテレビセットのカラーダイナミックレンジは０から２５５（８ビット）であるかもしれない。
【0047】
本例の多くの用途において、この時点で処理対象であるピクセルは肌色調ピクセル（のみ）であることから、トーンマッピング等の使用される具体的色調整は、これを考慮にいれたものであって良い。例えば、肌色調において、赤及び黄色が視聴者にとってリアル又は実物そっくりの画像を生成するために非常に重要であることが多く、色調整プロセスは、これを考慮に入れて調整されても良い。
【0048】
その後、５０において、局所的鮮明化手段が肌色調ピクセルに適用される。局所的鮮明化手段を肌色調ピクセルに（のみ）適用する目的は、画像の肌領域のディテールをより良く保存又は改善し、よりリアル又は魅力的な画像を提供して対応する表示装置上に表示することである。これにより、画像の他の処理の結果生じうる肌領域の「プラスチックのような」見た目を低減又は防止するのに役立つ。これは、特にＨＤＲ目的の画像処理を含む。肌色調ピクセルの局所的鮮明化プロセス５０のいくつかの具体例を、図２を参照してより詳細に説明する。
【0049】
最後に、この画像のメイン処理では、６０において全体の画像が再生成され（すなわち、元の画像の新たな改善版が再生又は構成され）、表示装置上に表示可能となる。この再生成された画像は、上記工程２０から５０で取得された改善された肌色調ピクセル並びに元の非肌色調ピクセルを用いる。上述のように、これらの非肌色調ピクセルは変わらないままであり、この方法にしたがって画質が向上した画像を構成又は生成するのに用いられる。
【0050】
したがって、この例示的方法によれば、さもなければ他の画像処理中に失われる可能性のある肌領域のディテールを保持又は維持するために、肌領域が特に改善された改善画像が生成される。肌領域が特に視聴者の目につきやすいことを考慮すると、これにより、視聴者によって認識される画像のリアルさを著しく改善可能である。これは、画像の肌領域の見た目に悪影響を与えることなく（例えば、コントラスト、色、及びシャープネスの一つ以上を）改善可能な、他の非肌領域の処理に影を及ぼすことなく実行可能である。
【0051】
図２を参照すると、ある具体例では、肌色調ピクセルに適用される局所的鮮明化プロセス５０は、５２における肌色調ピクセルへのアンチエイリアシングを適用することから開始されても良い。これの主目的の一つは、（後述の肌色調ピクセルへの鮮明化フィルタの適用を含む）その後の画像処理中に生じうる肌領域中のアンチエイリアシングを低減することである。
【0052】
それ自体公知であるが、エイリアシングは、信号がサンプリング及び量子化又は再構成された際に空間的にサンプリングされた信号において生じうる効果である。これは、例えば高解像度画像が低解像度で表示された場合に発生しうる。エイリアシングは、通常、画像中のリング、線又は光の輪として、特に画像のエッジ周辺に現れる。
【0053】
このアンチエイリアシング５２は、さもなければ現れるエイリアシング線等を発生させるのが高周波数成分であることから、ローパス又はバンドパスフィルタを使って画像から高周波数成分を除去することにより実行可能である。このフィルタは、例えば、画像の水平方向及び垂直方向双方に動作する二次元フィルタであって良い。
【0054】
次に、この局所的鮮明化プロセス５０の例において、５４において鮮明化フィルタが各肌色調ピクセルに別々に適用され、画像の肌領域中のディテールがより良く保存又は改善されるように、肌領域の画像を鮮明化する。
【0055】
数多くの異なる種類及び構成の鮮明化フィルタを使用可能である。例えば、フィルタのサイズ及び／又はフィルタの乗算係数（下記参照）は、異なる設定において異なっても良く、及び／又は、画像の具体的性質及び処理対象である肌色調ピクセルの具体的特性に応じて具体的な設定内で（任意にオンザフライで）可変であっても良い。すなわち、この鮮明化フィルタは、処理対象であるピクセル毎に異なっても良い。
【0056】
さらに、画像中の各ピクセルが、異なる色の多数の「サブピクセル」からなることが一般的である。例えば、ＲＧＢシステムにおいては、可視色の範囲を発するように配置される赤、緑及び青色のサブピクセルが設けられることが一般である。例えば、黄色ピクセルをも有するいわゆるＲＧＢＹ及び白色サブピクセルをも有するいわゆるＲＧＢＷ等、他のシステムは、他の色のサブピクセルも備えても良い。サブピクセルについての他の構成も公知である。このような場合、適用される鮮明化フィルタは、処理対象であるサブピクセル毎に異なっても良い。
【0057】
５４で各肌色調ピクセルに適用される鮮明化フィルタは、ピクセル（又は、より具体的に、本例ではサブピクセル）の出力強度を、当該（サブ）ピクセルの近傍の（サブ）ピクセルの強度に応じて調整してもよい。ピクセルの強度は、例えば０から２５５の範囲の値をとっても良い。
【0058】
画像処理で用いられるフィルタは、一般に係数の行列として視覚化される。例示的な鮮明化フィルタ行列が図３に示される。この鮮明化フィルタは、ピークゲイン、オーバーシュート及びアンダーシュートを調整して、適切かつ視覚的に魅力的な肌色調領域の鮮明化を提供する。本明細書において、オーバーシュート及びアンダーシュートは、画像の肌領域のエッジのクオリティに特に関連する用語である。というのは、肌領域のディテールを保持するために保存する必要があるのはエッジだからである。オーバーシュートは、シャープネス応答中の高周波数ピークによって生じるエッジ遷移アーチファクトを意味する。ピクセルの出力値は、最大入力値よりも高い。アンダーシュートは、シャープネス応答中の低周波数ピークによって生じるエッジ遷移アーチファクトを意味する。ピクセルの出力値は、最小入力値よりも低い。調整の度合いは、異なる（サブ）ピクセルに順に適用される行列フィルタの係数値を増減することにより変更可能である。
【0059】
図３に示される例示的な鮮明化フィルタ行列は、基本的に５×５の行列である。中央の係数Ｃ０は、処理対象の（サブ）ピクセル（ターゲット又は基準ピクセル）の強度に乗算するのに用いられる係数である。この例では、鮮明化フィルタ行列は、水平、垂直及び対角線方向にそれぞれ対称である。この例では、第一の水平隣接係数Ｃ１を適用してターゲットピクセルの左右両隣の（サブ）ピクセルを乗算し、その次の水平方向の隣の係数Ｃ３を適用してこれら左右のピクセルそれぞれの左右両隣の（サブ）ピクセルの強度を乗算する。同様に、垂直方向に隣接する係数Ｃ５、Ｃ６を適用して垂直方向に隣接し、垂直方向にその次のピクセルの強度をそれぞれ乗算する。対角線方向に隣接する係数Ｃ２を適用して対角線方向に隣接するピクセルの強度を乗算する。最後に、係数Ｃ４を適用してターゲットピクセルの上下の行のターゲットピクセルの左右に二つのピクセル分移動したピクセルの強度を乗算する。ターゲットピクセル近傍の各ピクセルから乗算された値及びターゲットピクセルそれ自体の値を、その後に合算し、処理対象となるターゲット（サブ）ピクセルの新たな強度を出力する。
【0060】
このプロセスは、各（元の）肌色調ピクセルに鮮明化フィルタを順に別々に適用することにより繰り返される。このようにして、各肌色調（サブ）ピクセルそれぞれについて新たな強度が得られる。この効果は、画像の肌領域のディテールを保存し、改善することである。これにより、特にＨＤＲ処理中に発生しうる肌色調領域のディテールの喪失を克服可能である。
【0061】
上述のように、フィルタのサイズ及び／又はフィルタの乗算係数の値は、異なる設定において異なっても良く、及び／又は、画像の具体的性質及び処理対象である肌色調ピクセルの具体的特性に応じて具体的な設定内で（任意にオンザフライで）可変であっても良い。すなわち、一般的に、この鮮明化フィルタは、処理対象であるピクセル毎に異なっても良い。フィルタは正方形又は矩形フィルタであって良く、一般に水平、垂直及び対角線方向の少なくともいずれかについて対称であっても良く、対称でなくても良い。図示された例では、このフィルタはいくつかの箇所でブランク（又は言い換えるとゼロ値の係数）であり、フィルタは十字状又は円錐台状の構造を有する。さらに、ユーザには、例えばユーザに表示されて提示されるユーザインタフェースを介して、肌色調ピクセルの少なくとも一部に適用される局所的鮮明化の程度をユーザによって調整可能とするオプションが与えられる。例えば、ユーザにより鮮明化の度合いをオフ、低、中、高などと設定可能としても良い。このユーザの選択により、５４で各肌色調ピクセルに適用される鮮明化フィルタのフィルタ係数が相応に設定され、必要に応じてより大きな又は小さな鮮明化が実現される。
【0062】
プロセッサ、プロセシングシステムまたは回路と本明細書に記載されるものは、実務上、単一のチップまたは集積回路により実装されても、複数のチップまたは集積回路により実装されてもよく、あるいはチップセット、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、デジタル・シグナル・プロセッサ（ＤＳＰ）、グラフィクス・プロセッシング・ユニット（ＧＰＵｓ）等によって実装されてもよい。このチップまたは複数のチップは、実施形態にしたがって動作するよう構成可能なデータプロセッサ、デジタル・シグナル・プロセッサ、ベースバンド回路及び無線周波数回路の少なくとも一方を実装するための回路（ならびに場合によってファームウェア）を備えてもよい。この点に関し、例示的実施形態は、少なくとも部分的に（不揮発性）メモリーに記憶されプロセッサにより実行可能なコンピュータソフトウェア、ハードウェア、または実体的に記憶されたソフトウェアとハードウェア（および実体的に記憶されたファームウェア）との組み合わせにより実行されてもよい。
【0063】
図面を参照して本明細書に記載される実施形態のいくつかの側面では、処理システム又はプロセッサによって実行されるコンピュータプロセスを含むものの、本発明の範囲は、本発明を実施可能なコンピュータプログラム、とくに媒体上／内のコンピュータプログラムにも及ぶ。このプログラムは、非一時的なソースコード、オブジェクトコード、部分的にコンパイルされた形態等のコード中間ソースおよびオブジェクトコード（ａ ｃｏｄｅ ｉｎｔｅｒｍｅｄｉａｔｅ ｓｏｕｒｃｅ ａｎｄ ｏｂｊｅｃｔ ｃｏｄｅ ｓｕｃｈ ａｓ ｉｎ ｐａｒｔｉａｌｌｙ ｃｏｍｐｉｌｅｄ ｆｏｒｍ）、または、本発明にしたがったプロセスの実施に使用されるのに適切ないずれの他の非一時的形態であってもよい。媒体は、プログラムを記憶可能ないずれの物体ないし装置であってもよい。例えば、この媒体は、ソリッドステートドライブ（ＳＳＤ）又は他の半導体ベースのＲＡＭ、ＣＤ－ＲＯＭまたは半導体ＲＯＭ等のＲＯＭ、フロッピィディスク又はハードディスク等の磁気記憶媒体、一般の光学記憶装置等の記憶媒体を含んでもよい
【0064】
本明細書に記載される例は、本発明の実施形態を説明するための例として理解されるべきである。別の実施形態および例が想定される。一つの例または実施形態に関して記載される任意の特徴は、単独で、またはほかの特徴と組み合わせて使用可能である。加えて、一つの例または実施形態に関連して記載された任意の特徴は、他の例または実施形態、または他の例または実施形態の任意の組み合わせのいずれかの特徴と組み合わせても使用可能である。さらに、本明細書に記載されない均等物および変形例も、請求項に定義される本発明の範囲内で利用可能である。
【図1】
【図2】
【図3】