特表 2022-553909 画像処理パイプラインのハイライト復元

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-12-27

(54)【発明の名称】画像処理パイプラインのハイライト復元

(51)【国際特許分類】

   G06T 1/00 20060101AFI20221220BHJP

【ＦＩ】

G06T1/00 510

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022521331

(86)(22)【出願日】2020-11-02

(85)【翻訳文提出日】2022-05-31

(86)【国際出願番号】 US2020058528

(87)【国際公開番号】W WO2021091820

(87)【国際公開日】2021-05-14

(31)【優先権主張番号】62/931,073

(32)【優先日】2019-11-05

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】西村 純

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CE11

5B057CE17

5B057CH05

5B057DA08

5B057DA17

5B057DB02

5B057DB06

5B057DC25

(57)【要約】

ハイライト復元を実行するための、コンピュータ記憶媒体上にエンコードされたコンピュータプログラムを含む、方法、システム、および装置。方法の１つは、画像の生画像データを受信することを含み、上記生画像データは、上記画像内の複数のハイライト領域の各々について、上記ハイライト領域の１つ以上のチャネルについての元のチャネル値を含み、上記方法はさらに、上記生画像データを処理して、更新された画像データを生成することを含み、上記更新された画像データは、上記画像内の各ハイライト領域について、更新されたチャネル値を含み、上記画像の１つ以上のハイライト領域の各々について、上記ハイライト領域の１つ以上の更新されたチャネル値は、所定のデータ精度に従って最大チャネル値を超え、上記方法はさらに、上記画像の１つ以上の上記ハイライト領域の上記更新されたチャネル値に対して色相補正処理を実行して、上記所定のデータ精度を満たす最終的なチャネル値を生成することを含む。

【特許請求の範囲】

【請求項1】

システムであって、
画像の生画像データを生成するよう構成される画像キャプチャデバイスを備え、前記生画像データは、前記画像内の複数のハイライト領域の各々について、前記ハイライト領域の１つ以上のチャネルについての元のチャネル値を含み、前記システムはさらに、
画像信号プロセッサを備え、前記画像信号プロセッサは、
前記生画像データを処理して、更新された画像データを生成するよう構成される、画像処理パイプラインの１つ以上の構成要素を含み、前記更新された画像データは、前記画像内の各ハイライト領域について、更新されたチャネル値を含み、前記画像の１つ以上のハイライト領域の各々について、前記ハイライト領域の１つ以上の更新されたチャネル値は、所定のデータ精度によると最大チャネル値を超え、前記画像信号プロセッサはさらに、
前記画像の前記１つ以上のハイライト領域の前記更新されたチャネル値に対して色相補正プロセスを実行するよう構成されるハイライト復元回路を含み、前記色相補正プロセスを実行することは、前記更新されたチャネル値を処理して、ｉ）前記所定のデータ精度を満たし、かつｉｉ）前記画像の前記１つ以上のハイライト領域の色相値を復元する最終チャネル値を生成することを含む、システム。

【請求項2】

前記ハイライト領域は個々のピクセルであり、前記１つ以上のチャネルは、Ｒチャネル、Ｇチャネル、およびＢチャネルを含む、請求項１に記載のシステム。

【請求項3】

前記ハイライト領域は、カラーフィルタアレイにおいて２×２のグリッドで配置された４つのピクセルのグループであり、前記ピクセルの各々は、単一の色を表す単一の値を有し、前記１つ以上のチャネルは、前記４つのピクセルの値を含む、請求項１に記載のシステム。

【請求項4】

前記色相補正プロセスを実行することは、前記画像内の各ハイライト領域について、
色相値を計算することを含み、前記色相値を計算することは、前記ハイライト領域の前記１つ以上のチャネルの各々についてそれぞれの更新されたチャネル値を調整することを含み、前記色相値は、前記チャネルの前記更新されたチャネル値の割合を表し、前記色相補正プロセスを実行することは、前記画像内の各ハイライト領域について、さらに、
前記１つ以上のチャネルの各々について、クリッピングされたチャネル値を生成することを含み、前記クリッピングされたチャネル値は、前記更新されたチャネル値が前記最大チャネル値以下である場合、前記それぞれの更新されたチャネル値に等しく、前記更新されたチャネル値が前記最大チャネル値よりも大きい場合、前記最大チャネル値に等しく、前記色相補正プロセスを実行することは、前記画像内の各ハイライト領域について、さらに、
前記１つ以上のチャネルの各々について最終チャネル値を計算することを含み、前記１つ以上のチャネルの各々について最終チャネル値を計算することは、前記チャネルの前記更新されたチャネル値の前記割合をエミュレートするために、それぞれの色相値を用いてそれぞれのクリッピングされたチャネル値を調整することを含む、請求項１～３のいずれか１項に記載のシステム。

【請求項5】

前記画像内の各ハイライト領域について、色相値を計算することは、さらに、
前記ハイライト領域の前記１つ以上のチャネルの前記それぞれの更新されたチャネル値の中心傾向の尺度を判断することと、
前記ハイライト領域の前記更新されたチャネル値の前記中心傾向の尺度を用いて、前記１つ以上のチャネルの各々について前記それぞれの更新されたチャネル値を調整することとを含む、請求項４に記載のシステム。

【請求項6】

前記画像内の各ハイライト領域について、前記１つ以上のチャネルの各々についての最終チャネル値を計算することは、
前記１つ以上のチャネルの前記クリッピングされたチャネル値の中心傾向の尺度を判断することと、
前記それぞれの色相値と前記ハイライト領域の前記クリッピングされたチャネル値の前記中心傾向の尺度とを用いて前記それぞれのクリッピングされたチャネル値を調整することとを含む、請求項５に記載のシステム。

【請求項7】

各ハイライト領域について、前記１つ以上のチャネルの前記更新されたチャネル値および前記クリッピングされたチャネル値の前記中心傾向の尺度は、前記それぞれのチャネル値の平均であり、
各ハイライト領域について、前記１つ以上のチャネルの前記色相値を計算することは、
前記更新されたチャネル値と前記更新されたチャネル値の前記平均との間の差を計算することによって初期色相値を生成することと、
前記初期色相値を正規化することによって前記色相値を生成することとを含み、前記正規化することは、前記初期色相値を第１のベクトルの長さで除算することを含み、前記第１のベクトルの各要素は初期色相値である、請求項６に記載のシステム。

【請求項8】

前記１つ以上のチャネルの前記最終チャネル値を計算することは、
第２のベクトルの長さによって前記色相値をスケーリングすることによって、スケーリングされた色相値を生成することを含み、前記第２のベクトルの各要素は、チャネルの前記クリッピングされたチャネル値と前記クリッピングされたチャネル値の前記平均との間の差であり、前記１つ以上のチャネルの前記最終チャネル値を計算することはさらに、
前記スケーリングされた色相値を前記クリッピングされたチャネル値の前記平均に加算することによって前記最終チャネル値を生成することを含む、請求項７に記載のシステム。

【請求項9】

方法であって、
画像の生画像データを受信することを含み、前記生画像データは、前記画像内の複数のハイライト領域の各々について、前記ハイライト領域の１つ以上のチャネルについての元のチャネル値を含み、前記方法はさらに、
前記生画像データを処理して、更新された画像データを生成することを含み、前記更新された画像データは、前記画像内の各ハイライト領域について、更新されたチャネル値を含み、前記画像の１つ以上のハイライト領域の各々について、前記ハイライト領域の１つ以上の更新されたチャネル値は、所定のデータ精度に従って最大チャネル値を超え、前記方法はさらに、
前記画像の前記１つ以上のハイライト領域の前記更新されたチャネル値に対して色相補正プロセスを実行することを含み、前記色相補正プロセスを実行することは、前記更新されたチャネル値を処理して、ｉ）前記所定のデータ精度を満たし、かつｉｉ）前記画像の前記１つ以上のハイライト領域の色相値を復元する最終チャネル値を生成することを含む、方法。

【請求項10】

前記ハイライト領域は個々のピクセルであり、前記１つ以上のチャネルは、Ｒチャネル、Ｇチャネル、およびＢチャネルを含む、請求項９に記載の方法。

【請求項11】

前記ハイライト領域は、カラーフィルタアレイにおいて２×２のグリッドで配置された４つのピクセルのグループであり、前記ピクセルの各々は、単一の色を表す単一の値を有し、前記１つ以上のチャネルは、前記４つのピクセルの値を含む、請求項９に記載の方法。

【請求項12】

前記色相補正プロセスを実行することは、前記画像内の各ハイライト領域について、
色相値を計算することを含み、前記色相値を計算することは、前記ハイライト領域の前記１つ以上のチャネルの各々についてそれぞれの更新されたチャネル値を調整することを含み、前記色相値は、前記チャネルの前記更新されたチャネル値の割合を表し、前記色相補正プロセスを実行することは、前記画像内の各ハイライト領域について、さらに、
前記１つ以上のチャネルの各々について、クリッピングされたチャネル値を生成することを含み、前記クリッピングされたチャネル値は、前記更新されたチャネル値が前記最大チャネル値以下である場合、前記それぞれの更新されたチャネル値に等しく、前記更新されたチャネル値が前記最大チャネル値よりも大きい場合、前記最大チャネル値に等しく、前記色相補正プロセスを実行することは、前記画像内の各ハイライト領域について、さらに、
前記１つ以上のチャネルの各々について最終チャネル値を計算することを含み、前記１つ以上のチャネルの各々について最終チャネル値を計算することは、前記チャネルの前記更新されたチャネル値の前記割合をエミュレートするために、それぞれの色相値を用いてそれぞれのクリッピングされたチャネル値を調整することを含む、請求項８～１１のいずれか１項に記載の方法。

【請求項13】

前記画像内の各ハイライト領域について、色相値を計算することは、さらに、
前記ハイライト領域の前記１つ以上のチャネルの前記更新されたチャネル値の中心傾向の尺度を判断することと、
前記ハイライト領域の前記更新されたチャネル値の前記中心傾向の尺度を用いて、前記１つ以上のチャネルの各々について前記更新されたチャネル値を調整することとを含む、請求項１２に記載の方法。

【請求項14】

前記画像内の各ハイライト領域について、前記１つ以上のチャネルの各々についての最終チャネル値を計算することは、
前記１つ以上のチャネルの前記クリッピングされたチャネル値の中心傾向の尺度を判断することと、
前記それぞれの色相値と前記クリッピングされたチャネル値の前記中心傾向の尺度とを用いて前記それぞれのクリッピングされたチャネル値を調整することとを含む、請求項１３に記載の方法。

【請求項15】

各ハイライト領域について、前記１つ以上のチャネルの前記更新されたチャネル値および前記クリッピングされたチャネル値の前記中心傾向の尺度は、前記それぞれのチャネル値の平均であり、
各ハイライト領域について、前記１つ以上のチャネルの前記色相値を計算することは、
前記更新されたチャネル値と前記更新されたチャネル値の前記平均との間の差を計算することによって初期色相値を生成することと、
前記初期色相値を正規化することによって前記色相値を生成することとを含み、前記正規化することは、前記初期色相値を第１のベクトルの長さで除算することを含み、前記第１のベクトルの各要素は初期色相値である、請求項１４に記載の方法。

【請求項16】

前記１つ以上のチャネルの前記最終チャネル値を計算することは、
第２のベクトルの長さによって前記色相値をスケーリングすることによって、スケーリングされた色相値を生成することを含み、前記第２のベクトルの各要素は、チャネルの前記クリッピングされたチャネル値と前記クリッピングされたチャネル値の前記平均との間の差であり、前記１つ以上のチャネルの前記最終チャネル値を計算することはさらに、
前記スケーリングされた色相値を前記クリッピングされたチャネル値の前記平均に加算することによって前記最終チャネル値を生成することを含む、請求項１５に記載の方法。

【請求項17】

複数のコンピュータによって実行されると、前記複数のコンピュータに請求項９～１６のいずれか１項に記載の方法を実行させるコンピュータプログラム命令でエンコードされた、１つ以上の非一時的コンピュータ記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

背景
本明細書は、画像プロセッサに関する。画像プロセッサは、取り込まれた画像データを処理するように設計されたドメイン固有の処理デバイスである。

【背景技術】

【0002】

いくつかの画像プロセッサは、特定用途向けハードウェアによって実現される画像処理パイプラインを有する。本明細書では、画像処理パイプラインは、画像ソース、例えばカメラと、画像レンダラ、例えばコンピュータまたは電話スクリーンとの間の任意の中間デジタル画像処理を実行する、「ブロック」と呼ばれる１つ以上の構成要素のセットとして定義される。

【0003】

画像処理パイプラインのいくつかのブロックは、画像信号のゲインを増加させ、すなわち、画像のピクセルデータのそれぞれのチャネルの値を増加させる。典型的には、ブロックは、ピクセルのゲインをある点までしか増加させ得ない。ピクセルは、ピクセルデータのそれぞれのチャネルが取り得る最大値を定義するビット精度を暗黙的に有する。ビット精度によって許容されるよりも多くのゲインがブロックによって適用される場合、ピクセル値は、ビット精度によって許容される最大値に等しくなるようにブロックによってしばしば「クリッピング」される。これは一般に、「ハイライトクリッピング」として知られる画像劣化につながり、画像のある領域はクリッピングされたピクセル値に起因して歪んだ色を有する。例えば、ある領域内のピクセルのすべてのチャネルがクリッピングされる場合、その領域は、例えば、完全に白色である領域としてしばしばレンダリングされる、均一な最大ピクセル値を有し得る。

【0004】

便宜上、本明細書はＲＧＢ色空間を用いる例を含み、すなわち、チャネルはＲチャネル、Ｇチャネル、およびＢチャネルを含む。本明細書に記載される主題は、任意の適切な色空間、例えば、ほんの数例を挙げると、ＲＧｒＧｂＢ色空間またはＲＧＢＡ色空間に適用することができる。

【0005】

さらに、便宜上、本明細書は、個々のピクセルを処理してピクセルの色相を復元することに言及する例を含む。本明細書で説明する主題は、より一般的には、ハイライト領域を処理してハイライト領域の色相を復元するために適用され得、ピクセルはハイライト領域の一例である。ハイライト領域の別の例は、カラーフィルタアレイにおいて２×２のグリッドで配置された４つのピクセルのグループである。この例では、４つのピクセルのグループ内のピクセルの各々は、単一の色を表す単一の値を有することができ、ハイライト領域のチャネルは、４つのピクセルの値とすることができる。特定の例として、画像は、画像がベイヤーフィルタを用いて処理されている場合、ピクセルの２×２のグリッドであるハイライト領域を有することができる。

【0006】

ハイライト復元とは、画像のクリッピングされた領域の色情報を復元してハイライトクリッピングを補正するための技術である。

【0007】

ハードウェアにおいてハイライト復元を実行するための１つの技術は、色伝播を用いる。色伝播ハイライト復元を実行するために、クリッピングされておらず、かつクリッピングされた領域に隣接するピクセルからの色値が、クリッピングされた領域に伝播される。したがって、クリッピングされていないピクセルの色値は、クリッピングされた領域を補正するために「ブリードオーバー」することが意図される。

【0008】

しかしながら、ハードウェアにおいて色伝播ハイライト復元を実行することは、いくつかの欠点を有する。第１に、色伝播は、大きなランダムアクセスメモリ（ＲＡＭ）を必要とし、例えば、他の態様で必要とされるであろうよりも大きいシリコンウエハが画像プロセッサ上に展開されることを必要とする。これは、色伝播ハイライト復元の間、画像プロセッサは複数のピクセル値をメモリ内に保持しなければならないからである。特に、入来画像データのラスタスキャンは、画像内のクリッピングされたピクセルに隣接するクリッピングされていないピクセルのピクセル値がＳＲＡＭまたはＤＲＡＭにバッファリングされることを必要とする。バッファサイズの増大は、ハードウェアのサイズ、コスト、および複雑さを増大させる。

【0009】

第２に、色伝播は、効果的に補正することができる領域のサイズに自然な限界を有する。言い換えれば、クリッピングされる領域が大きいと、その大きなクリッピングされる領域の中央のピクセルにおけるハイライトクリッピングの補正に、隣接ピクセルからの色情報を確実に用いることができない。

【0010】

図１は、色伝播ハイライト復元を実行する先行技術の画像信号プロセッサ（ＩＳＰ）の画像処理パイプライン１００のブロック図である。

【0011】

ＩＳＰへの入力は、生ピクセルデータ１０２、例えば、カメラによって取り込まれたピクセルデータである。生ピクセルデータ１０２は、ピクセルごとに１つ以上のチャネルについての値を含む。例えば、各ピクセルは、Ｒチャネル、Ｇチャネル、およびＢチャネルを含むことができ；特定の例として、ピクセルはチャネル値（２５０，１２０，５０）を有し得る。

【0012】

生ピクセルデータ１０２における各ピクセルに対する入力データは、ｂｐｐ＿ｉｎのビット精度を有し、「ｂｐｐ」は、「bits per pixel（１ピクセル当たりのビット数）」の短縮形である。例示的なｂｐｐ＿ｉｎは２４ｂｐｐであり、８ビットがＲチャネル、Ｇチャネル、およびＢチャネルの各々にそれぞれ割り当てられる。２４のｂｐｐは、各チャネルが０と２５５との間の値を有することを可能にする。

【0013】

生ピクセルデータ１０２を受信した後、ＩＳＰは、１つ以上のブロック１０４，１０６，１０８，および１１０のシーケンスを用いて生ピクセルデータを処理した後に、ブロック１１２で色伝播ハイライト復元を実行して、出力ピクセルデータ１１４を生成することができる。ブロックのうちの１つ以上は、非ゲイン適用ブロック（図１に示す例では、ブロック１０４および１０６）であり得る。ブロックのうちの１つ以上は、ゲイン適用ブロック（図１に示す例では、ブロック１０８および１１０）であり得る。図１は、非ゲイン適用ブロックのシーケンスと、それに続くゲイン適用ブロックのシーケンスとを示すが、概して、ゲイン適用ブロックおよび非ゲイン適用ブロックは、ＩＳＰにおいて任意の順序であり得る。

【0014】

ＩＳＰの非ゲイン適用ブロックは、ブロックへの入力データのデータ精度にゲインを適用しないブロックである。言い換えると、非ゲイン適用ブロックによって生成される出力データは、精度を損なうことなく、入力データと同じデータ精度ｂｐｐ＿ｉｎで表すことができる。例えば、ＩＳＰの非ゲイン適用ブロックは、線形化ブロック１０４および黒レベル補正ブロック１０６を含むことができる。

【0015】

ＩＳＰのゲイン適用ブロックは、ブロックへの入力データのデータ精度にゲインを適用する。言い換えると、ゲイン適用ブロックによって生成される出力データは、ブロックへの入力データのデータ精度ｂｐｐ＿ｉｎよりも高いデータ精度を必要とし得る。すなわち、ブロックへの入力データによって表されるいくつかのピクセルについて、ブロックによって生成されたピクセルに対応するそれぞれの出力データを、精度を損なうことなくエンコードするために、ｂｐｐ＿ｉｎよりも高いデータ精度が必要とされる。例えば、ＩＳＰのゲイン適用ブロックは、レンズシェーディング補正ブロック１０８およびホワイトバランスゲインブロック１１０を含むことができる。

【0016】

従来、ＩＳＰ内の任意のブロックによって生成される出力データは、ブロックの入力のデータ精度を維持しなければならない。したがって、ゲイン適用ブロック１０８および１１０は、データ精度ｂｐｐ＿ｉｎによって許容される最大値を超える値を有する各ピクセルを表すそれぞれの出力データを「クリッピング」しなければならない。そのようなピクセルごとに、チャネルの値がそのチャネルに割り当てられたデータ精度を超えるほど充分にブロックによって増加されたチャネルが、少なくとも１つある。そのようなチャネルの場合、ブロックは、チャネルの値をデータ精度ｂｐｐ＿ｉｎによって許容される最大値に設定する。

【0017】

特定の例として、ゲイン適用ホワイトバランスゲインブロック１１０は、２４ｂｐｐの許容されたデータ精度を有することができる。ホワイトバランスゲインブロック１１０は、Ｒチャネル値が２５０であるピクセルを含む入力データを受信するかもしれず、ブロック１１０は、ピクセルのＲチャネル値を２５０から２６０に変更するかもしれない。この場合、ホワイトバランスゲインブロック１１０は、Ｒチャネル値を、２４ｂｐｐで許容される最大値である２５５にクリッピングする。

【0018】

ピクセル値をクリッピングすることは、Ｒチャネル、Ｇチャネル、およびＢチャネルの相対的割合を表す、ピクセルの「色相」を変化させる。例えば、ゲイン適用ブロックが赤橙色である（３８０，２４０，０）のピクセル値を生成する場合、ブロックはピクセル値を黄色である（２５５，２４０，０）にクリッピングする。この問題が生じるのは、Ｒチャネルのみがクリッピングされ、ＧチャネルおよびＢチャネルは触れられないままであり、したがってチャネル値の相対的な割合が変化するからである。

【0019】

ゲイン適用ブロック１０８および１１０に続いて、色伝播ハイライト復元ブロック１１２があり、これは、それらの色相を復元するために、クリッピングされたピクセルを処理する。そのために、色伝播ハイライト復元ブロック１１２は、クリッピングされたピクセルごとに、クリッピングされなかった最も近い周辺ピクセルを調査し、周辺のクリッピングされていないピクセルの色相から、クリッピングされたピクセルの色相を推定する。このプロセスは、クリッピングされたピクセルからなる比較的小さい領域、例えば、クリッピングされた２つまたは４つのピクセルのクラスタに対して実行される場合、良好な結果をもたらすことができる。しかしながら、このプロセスは、クリッピングされたピクセルからなる、より大きい領域に対して実行される場合に生じるいくつかの欠点を有する。本明細書において、「領域」とは、画像の、連続するピクセルのグループである。

【0020】

色伝播ハイライト復元プロセスが、クリッピングされたピクセルからなる、より大きい領域に対して実行される場合、ピクセルについて復元された色相は、不正確であることが多い。例えば、クリッピングされたピクセルからなる領域の中央におけるピクセルの色相を復元するためには、色伝播ハイライト復元ブロック１１２は、最も近いクリッピングされていないピクセルの色相を用いなければならない。しかしながら、最も近いクリッピングされていないピクセルは、多くのピクセル、例えば５０ピクセル離れている場合がある。５０ピクセル離れたクリッピングされていないピクセルの色相からクリッピングされたピクセルの色相を推論することは、非常に混合された結果を有し得、なぜならば、クリッピングされたピクセルの元のクリッピングされていない値は、５０ピクセル離れたピクセルのクリッピングされていない値と非常に異なり得るからである。色伝播ハイライト復元を用いて生成された復元された色相は、望ましくないパターンを形成する可能性もある。例えば、クリッピングされた領域の色と隣接するクリッピングされていない領域の色との間に目に見える不連続性が存在し得る。

【0021】

さらに、大きいクリッピングされた領域内のすべてのピクセルのＲチャネルはクリッピングされたが、ＧチャネルおよびＢチャネルはクリッピングされなかった場合、すべて同じ値にクリッピングされた広範囲のＲチャネル値があり得る。したがって、色伝播ハイライト復元ブロック１１２は、領域内のすべてのピクセルについて、たとえそれらの元の色相が非類似であったとしても、類似の色相を復元し得る。例えば、２４ｂｐｐのデータ精度では、クリッピングされたピクセルからなる同じ領域内に、先にクリッピングされたＲチャネル値が３８０である１つのピクセルと、先にクリッピングされたチャネル値が２６０である別のピクセルがあるかもしれない。クリッピング後、両方のピクセルは２５５のＲチャネル値を有する。このクリッピングされた値のみが色伝播ハイライト復元ブロック１１２に利用可能であり、したがって、ブロック１１２が、第１のピクセルがはるかにより高いクリッピングされていないＲチャネル値を有していたという事実を復元することは不可能である。

【0022】

色伝播ハイライト復元プロセスは、ハードウェアコストも大きい。各クリッピングされた領域について、画像ピクセルデータのラスタスキャン順序は、領域内のクリッピングされたピクセルの色相を復元するために、クリッピングされた領域全体がＳＲＡＭにバッファリングされることを必要とし得、これは、クリッピングされた領域が大きい場合、費用がかかる要件である。さらに、クリッピングされた領域に必要な計算量は、クリッピングされた領域内のピクセルの数とともに超線形的に増加し、すなわち、クリッピングされた領域内のピクセル数が多いほど、クリッピングされた領域内の１つのピクセルの色相を復元するために必要な演算量が多くなる。

【0023】

図２は、色伝播ハイライト復元を用いて先行技術のＩＳＰによって処理された例示的な画像２００の図である。

【0024】

画像２００は、「Drive-Thru Open」と読めるネオンサインを示す。「Drive-Thru」と読めるネオンサインの文字は青色ネオン光であり、「Open」と読めるネオンサインの文字は赤色ネオン光である。

【0025】

ＩＳＰが画像２００に対して色伝播ハイライト復元を実行した後、「Drive-Thru」の文字を綴る青色文字の各々は、３つの別個の領域、すなわち、白色領域２１０、変色領域２２０、および青色領域２３０を有する。

【0026】

各青色ネオン文字の中央には、白色領域２１０がある。画像は、白色領域２１０に白色ピクセルを有し、なぜならば、その領域におけるネオン光の強度が、画像２００をキャプチャしたデバイスの露出設定を前提として、最大ピクセル値をもたらしたからである。

【0027】

各青色ネオン文字の白色領域２１０を取り囲むのは、変色領域２２０である。変色領域２２０のピクセルは、青色ネオンサインから来る青色光の反射を示しており、青色であるべきである。しかしながら、変色領域２２０のピクセルは、ＩＳＰの色伝播ハイライト復元ブロックによって実行される不正確な色相復元に起因して、シアン（斜線によって表される）、すなわち青緑色である。

【0028】

特定の例として、データ精度２４ｂｐｐを有するゲイン適用ブロックに続いて、ピクセルは、純粋な青色である、クリッピングされていないチャネル値（０，２００，４５０）を有するかもしれない。クリッピングされた後、ピクセルは、シアン色であるクリッピングされたチャネル値（０，２００，２５５）を有する。

【0029】

ＩＳＰの色伝播ハイライト復元ブロックは、クリッピングされたピクセルを処理してそれらの色相を復元するが、変色領域２２０は、多数のクリッピングされたピクセルを含む大きな領域である。したがって、上述の色伝播ハイライト復元プロセスの欠点のため、変色領域２２０のピクセルの色相は適切に復元されず、最終的な画像は、変色領域２２０において、青色ピクセルの代わりにシアンピクセルを有する。

【0030】

各青色ネオン文字の変色領域２２０を取り囲むのは、青色領域２３０である。青色領域２３０のピクセルはクリッピングする必要はなく、したがって、ピクセルの色相を失うことはなかった。すなわち、ＩＳＰのゲイン適用ブロックは、青色領域のピクセルに対して、それらのピクセル値がブロックのデータ精度で許容される最大値を超えるほど大きなゲインを適用しなかった。したがって、画像は、青色領域２３０内に青色ピクセル（ドットで表される）を正確に有する。

【0031】

ＩＳＰが画像２００に対して色伝播ハイライト復元を実行した後、「Open」の文字を綴る赤色ネオン光は、同様の特徴を示す。赤色文字の各々は、３つの領域、すなわち、白色領域２４０、変色領域２５０、赤色領域２６０を有する。

【0032】

上述したように、各赤色ネオン文字の中央には白色領域２４０がある。画像は、白色領域２４０内に白色ピクセルを有し、なぜならば、その領域内の光の強度が、画像２００をキャプチャしたデバイスの露光設定を前提として、最大ピクセル値をもたらしたからである。

【0033】

各赤色ネオン文字の白色領域２４０を取り囲むのは、変色領域２５０である。変色領域２５０のピクセルは、赤色ネオンサインから来る赤色光の反射を示しており、赤色であるべきである。しかしながら、変色領域２５０のピクセルは、ＩＳＰの色伝播ハイライト復元ブロックによって実行される不正確な色相復元に起因して、黄色である（斜線によって表される）。

【0034】

各赤色ネオン文字の変色領域２５０を取り囲むのは、赤色領域２６０である。赤色領域２６０のピクセルはクリッピングする必要はなく、したがって、ピクセルの色相を失うことはなかった。したがって、画像は、赤色領域２６０において赤色ピクセル（格子縞によって表される）を正確に有する。

【0035】

したがって、図２によって示される例に図示されるように、色伝播ハイライト復元を行うことは、必要とされるハードウェアおよび結果として生じる画像の品質の両方において元来の欠点を有する。

【発明の概要】

【課題を解決するための手段】

【0036】

概要
本明細書では、ビット精度要件を満たすように値がクリッピングされたピクセルの領域に対して、ピクセルのクリッピングされていない値を用いてハイライト復元を実行するシステムが記載される。本明細書で説明される技法を用いて処理されたピクセルは、ピクセルのクリッピングされていないバージョンと同じ色相を有するが、ビット精度要件を満たす。

【発明の効果】

【0037】

本明細書で説明する主題の特定の実施形態は、以下の利点のうちの１つ以上を実現するように実施することができる。

【0038】

本明細書に記載されるハイライト復元プロセスは、上述の先行技術の色伝播ハイライト復元よりも著しく良好に機能する。

【0039】

第１に、本明細書で説明されるハイライト復元プロセスは、色伝播プロセスが行うように、ＩＳＰのＲＡＭバッファサイズの大きな増加を必要としない。いくつかの実現例では、本明細書で説明するハイライト復元プロセスは、ＲＡＭバッファをまったく伴わずに実行され得る。これは、ＩＳＰを実行するために必要とされるハードウェアのサイズ、コスト、および複雑さの著しい節約を提供することができる。

【0040】

第２に、いくつかの実現例では、本明細書で説明されるハイライト復元プロセスの有効性は、クリッピング領域のサイズが増加するにつれて減少せず、このプロセスは、クリッピングされたピクセルが位置するクリッピングされた領域のサイズにかかわらず、色相が復元されなければならないすべてのクリッピングされたピクセルに対して一貫している。したがって、本明細書で説明される技法は、多くの場合、ピクセルの色相を復元することにおいて色伝播プロセスよりも著しく正確であり、要求される出力データ精度を依然として維持しながら、ピクセルの色相を復元することができる。さらに、いくつかの実現例では、本明細書で説明するハイライト復元プロセスは、いくつかの先行技術の技法と比較して、最小限の色アーチファクト、たとえば、画像中のクリッピングされた領域の色と隣接するクリッピングされていない領域の色との間の最小限の視覚的不連続性を有する。

【0041】

本明細書の主題の１つ以上の実施形態の詳細は、添付の図面および以下の説明に記載されている。主題の他の特徴、局面および利点は、詳細な説明、図面および特許請求の範囲から明らかになる。

【図面の簡単な説明】

【0042】

【図1】色伝播ハイライト復元を実行する先行技術の画像信号プロセッサの画像処理パイプラインのブロック図である。

【図2】色伝播ハイライト復元を用いてＩＳＰによって処理された例示的な画像の図である。

【図3】ハイライト復元ブロックを含む画像信号プロセッサの画像処理パイプラインのブロック図である。

【図4】ハイライト復元プロセスを用いてＩＳＰによって処理された例示的な画像の図である。

【図5】色相補正のための例示的なプロセスのフローチャートである。

【図6】ピクセルのクリッピングされていないチャネル値を用いてピクセルの色相値を生成するための例示的なプロセスのフローチャートである。

【図7】ピクセルのクリッピングされたチャネル値および色相値を用いてピクセルの最終チャネル値を生成するための例示的なプロセスのフローチャートである。

【発明を実施するための形態】

【0043】

詳細な説明
本明細書では、必要とされるデータ精度を維持しながら、クリッピングされたピクセルからなる領域に対してハイライト復元を行うシステムを記載する。

【0044】

図３は、ハイライト復元ブロック３１２を含むＩＳＰの画像処理パイプライン３００のブロック図である。

【0045】

図１は、色伝播ハイライト復元を実行する先行技術の画像信号プロセッサ（ＩＳＰ）の画像処理パイプライン１００のブロック図である。

【0046】

ＩＳＰへの入力は、生ピクセルデータ３０２、例えば、カメラによって取り込まれたピクセルデータである。生ピクセルデータ３０２は、各ピクセルについて１つ以上のチャネルの値を含むことができる。生ピクセルデータ１０２内の各ピクセルに対する入力データは、ｂｐｐ＿ｉｎのビット精度を有する。

【0047】

生ピクセルデータ３０２を受信した後、ＩＳＰは、１つ以上のブロック３０４，３０６，３０８，および３１０のシーケンスを用いて生ピクセルデータ３０２を処理した後に、ブロック３１２で色伝播ハイライト復元を実行して、出力ピクセルデータ３２２を生成することができる。ブロックのうちの１つ以上は、非ゲイン適用ブロックであり得る（図３に示す例では、ブロック３０４および３０６）。ブロックのうちの１つ以上は、ゲイン適用ブロックであり得る（図１に示す例では、ブロック３０８および３１０）。図３は、非ゲイン適用ブロックのシーケンスと、それに続くゲイン適用ブロックのシーケンスとを示すが、概して、ゲイン適用ブロックおよび非ゲイン適用ブロックは、ＩＳＰにおいて任意の順序であり得る。

【0048】

非ゲイン適用ブロックは、ブロックへの入力データと同じデータ精度ｂｐｐ＿ｉｎを有する出力データを生成する。例えば、ＩＳＰの非ゲイン適用ブロックは、線形化ブロック３０４および黒レベル補正ブロック３０６を含むことができる。

【0049】

ゲイン適用ブロックは、ブロックへの入力データよりも高いデータ精度を必要とする出力データを生成する。すなわち、ブロックの出力データにおける１つ以上のピクセル値は、データ精度ｂｐｐ＿ｉｎで許容される最大値を超える。例えば、ＩＳＰのゲイン適用ブロックは、レンズシェーディング補正ブロック３０８およびホワイトバランスゲインブロック３１０を含むことができる。

【0050】

ゲイン適用ブロック３０８、３１０は、データ精度がｂｐｐ＿ｉｎを超えるピクセルのチャネル値をクリッピングしない。代わりに、これらのブロックは、ピクセルのクリッピングされていない値を維持し、出力データにおいて、ピクセル当たり、ブロックへの入力データにおいて許容されたよりも多くのビットを割り当てる。

【0051】

特定の例として、レンズシェーディング補正ブロック３０８は、入力データを精度ｂｐｐ＿ｉｎで受け取り、追加のＮ個のｂｐｐを追加するので、ブロック３０８の出力データは、ｂｐｐ＿ｉｎ＋Ｎのデータ精度を有する。いくつかの実現例では、他のゲイン適用ブロック、たとえば「デジタルゲイン」ブロックも、ＩＳＰに含まれ得る。

【0052】

ゲイン適用ブロック３０８および３１０に続いて、ピクセルのチャネル値に対して色相補正プロセスを実行するハイライト復元ブロック３１２がある。ハイライト復元ブロック３１２は、精度ｂｐｐ＿ｉｎ＋Ｎ＋Ｍを有する入力データを受け取り、データ精度ｂｐｐ＿ｉｎを有する出力ピクセルデータ３２２を生成する。すなわち、ハイライト復元ブロック３１２は、ブロック３１２の入力データにおける各ピクセルの色相を復元するとともに、ピクセルのデータ精度を低減して、要求されるデータ精度ｂｐｐ＿ｉｎまで低下させて戻す。特に、ハイライト復元ブロック３１２は、ブロック３１２の入力データに表される、ｂｐｐ＿ｉｎより大きいデータ精度を有する１つ以上のピクセルを識別し、それらのピクセルを処理して、それらのクリッピングされていない色相は保存されるが、それらのデータ精度はｂｐｐ＿ｉｎに戻される。ｂｐｐ＿ｉｎのデータ精度は、画像をさらに処理または表示するためにＩＳＰの下流ブロックによって必要とされる場合があり、または画像のサイズに対する記憶制約を満たすことが必要とされる場合がある。

【0053】

特に、ハイライト復元ブロック３１２は、クリッピングされていないピクセルチャネルデータを入力として受け取る。データ精度がｂｐｐ＿ｉｎより大きいピクセルの色相を復元するために、ハイライト復元ブロック３１２は、ｉ）クリッピングされていないピクセルチャネルデータと、ｉｉ）クリッピングされていないピクセルチャネルデータのクリッピングされたバージョンとを、ハイライト復元ブロック３１２の復元パイプライン３１３を用いて処理する。

【0054】

復元パイプライン３１３のブロック３１４において、ハイライト復元ブロック３１２は、クリッピングされていないピクセルチャネルデータ内の各ピクセルについて、ピクセルのクリッピングされていないチャネル値を処理して、そのピクセルについて、クリッピングされていない色相を生成する。このプロセスは、図６を参照して以下でより詳細に説明される。

【0055】

復元パイプライン３１３のブロック３１６において、ハイライト復元ブロック３１２は、クリッピングされていないピクセルチャネルデータ内の各ピクセルについて、ピクセルのチャネル値をクリッピングして、クリッピングされたチャネル値を生成する。ピクセルのクリッピングされたチャネル値は、ｂｐｐ＿ｉｎのデータ精度を有する。

【0056】

復元パイプライン３１３のブロック３１８において、ハイライト復元ブロック３１２は、各ピクセルについて、ピクセルのクリッピングされたチャネル値を処理して、そのピクセルについて、クリッピングされた色相を生成する。

【0057】

復元パイプライン３１３のブロック３２０において、ハイライト復元ブロック３１２は、ピクセルごとに、ピクセルのクリッピングされていない色相とピクセルのクリッピングされた色相とを組み合わせて、クリッピングされたチャネル値における色相を復元し、出力ピクセルデータ３２２を生成する。このプロセスは、図７を参照して以下でより詳細に説明される。出力ピクセルデータ３２２は、各ピクセルについて、正しい色相を有し、かつｂｐｐ＿ｉｎのデータ精度要件を満たす、最終ピクセルチャネル値を含む。出力ピクセルデータ３２２は、次いで、ＩＳＰの後のブロックに渡され得る。

【0058】

各ピクセルについて、ピクセルの色相を復元するためにハイライト復元ブロック３１２を用いてピクセルを処理することは、いくつかの既存のシステムにおいて必要とされるように所与のピクセルの値および複数の周囲ピクセルの値の代わりに、ピクセルの値のクリッピングされたバージョンおよびクリッピングされていないバージョンを記憶することをＩＳＰに要求するにすぎない。したがって、図３を参照して説明されるプロセスのハードウェアおよびＳＲＡＭ要件は、上記で説明される先行技術の色伝播ハイライト復元プロセスにおけるよりも著しく少ない。いくつかの実現例では、図３のプロセスはＳＲＡＭを全く必要としない。

【0059】

図４は、ハイライト復元プロセス、たとえば、図３を参照しながら上記で説明したハイライト復元プロセスを用いてＩＳＰによって処理された例示的な画像の図４００である。

【0060】

画像は、図２に見られるように「Drive-Thru Open」と読める同じネオンサインのものである。「Drive-Thru」と読める文字は青色ネオン光であり、「Open」と読める文字は赤色ネオン光である。

【0061】

図４００に示すように、「Drive-Thru」の文字を綴る青色文字の各々は、２つの領域、すなわち、白色領域４１０および青色領域４２０を有する。図２に示す色伝播ハイライト復元によって生成された画像とは異なり、変色領域は本質的に存在しない。

【0062】

各青色ネオン文字の中央には、白色領域４１０がある。画像は、白色領域４１０内に白色ピクセルを有するが、これは、その領域内の光の強度が、画像を生成したデバイスの露光設定を前提として、最大ピクセル値をもたらしたためである。

【0063】

各青色ネオン文字の白色領域４１０を取り囲むのは、青色領域４２０である。青色領域４２０内のピクセルの多く、特に白色領域４１０に最も近いピクセルは、データ精度ゲインを経た。仮に、これらのピクセルの値がＩＳＰのゲイン適用ブロックによってクリッピングされ、色伝播ハイライト復元ブロック、例えば図１に示す色伝播ハイライト復元ブロック１１２によって処理された場合、ピクセルは、図２の変色領域２２０にあるように、変色していたであろう。しかしながら、ピクセルの値は、ゲイン適用ブロックによってクリッピングされず、代わりに、値は保存され、その後、ＩＳＰのハイライト復元ブロック、例えば、図３に示されるハイライト復元ブロック３１２によって処理された。したがって、ピクセルは、それらの色相を適切に復元し、画像は、青色領域４２０内に青色ピクセル（ドットによって表される）のみを正確に有する。

【0064】

「Open」の文字を綴る赤色ネオン光は、同様の特徴を示す。赤色文字の各々は、２つの領域、すなわち、白色領域４３０および赤色領域４４０を有する。変色領域はない。

【0065】

各赤色ネオン文字の中央には、白色領域４３０がある。画像は、白色領域２４０内に白色ピクセルを有するが、これは、その領域内の光の強度が、画像を生成したデバイスの露光設定を前提として、最大ピクセル値をもたらしたためである。

【0066】

各赤色ネオン文字の白色領域３２０を取り囲むのは、赤色領域４４０である。赤色領域４４０内のピクセルの多く、特に白色領域４３０に最も近いピクセルは、データ精度ゲインを経験し、ＩＳＰのハイライト復元ブロックによって処理された。前述のように、ピクセルは、それらの色相を適切に復元し、画像は、赤色領域４４０内に赤色ピクセル（格子縞によって表される）のみを正確に有する。

【0067】

図５は、色相補正のための例示的なプロセス５００のフローチャートである。このプロセスは、１つ以上のコンピュータ上にインストールされ、本明細書に従ってプログラムされた１つ以上のコンピュータプログラムによって実施することができる。たとえば、プロセス５００は、ＩＳＰのハイライト復元ブロック、たとえば、図３に示すハイライト復元ブロック３１２によって実行され得る。便宜上、このプロセスは、１つ以上のコンピュータのシステムによって実行されるものとして説明される。

【0068】

システムは、画像の複数のピクセルについて、クリッピングされていないピクセルチャネル値を受信する（ステップ５１０）。１つ以上のピクセルのチャネル値は、最大データ精度ｂｐｐ＿ｉｎを超えるデータ精度を有する。

【0069】

システムは、それぞれのピクセルチャネル値を用いて各ピクセルの色相値を判断する（ステップ５２０）。色相値を判断するための例示的なプロセスは、以下で、図６を参照して、より詳細に説明される。

【0070】

システムは、各ピクセルについて、クリッピングされたチャネル値を生成する（ステップ５３０）。クリッピングされたチャネル値は、クリッピングされていないチャネル値が閾値以下である場合、それぞれのクリッピングされていないチャネル値に等しく、クリッピングされていないチャネル値が閾値よりも大きい場合、閾値に等しい。閾値は、最大データ精度ｂｐｐ＿ｉｎに応じて決定することができる。例えば、上述のように、２４のｂｐｐ＿ｉｎは、各チャネルが０と２５５との間の値を有することを可能にし、したがって、閾値は、２５５に設定されることができる。

【0071】

システムは、各ピクセルについて、ピクセルの色相値およびピクセルのクリッピングされたチャネル値を用いて最終チャネル値を生成する（ステップ５４０）。最終チャネル値を生成するための例示的なプロセスは、図７を参照して以下でより詳細に説明される。最終チャネル値は、正しい色相を有し、データ精度要件を満たし、ＩＳＰの後のブロックに提供することができる。

【0072】

図６は、ピクセルのクリッピングされていないチャネル値を用いてピクセルの色相値を生成するための例示的なプロセス６００のフローチャートである。このプロセスは、１つ以上のコンピュータ上にインストールされ、本明細書に従ってプログラムされた１つ以上のコンピュータプログラムによって実施することができる。たとえば、プロセス６００は、ＩＳＰのハイライト復元ブロック、たとえば、図３に示すハイライト復元ブロック３１２によって実行され得る。便宜上、このプロセスは、１つ以上のコンピュータのシステムによって実行されるものとして説明される。

【0073】

便宜上、以下の説明では、Ｒチャネル、Ｇチャネル、Ｂチャネルで表されるピクセルチャネルデータに言及する。しかしながら、プロセス６００は、チャネルの任意の選択に適用され得ることを理解されたい。

【0074】

システムは、ピクセルのクリッピングされていないチャネル値｛Ｒ，Ｇ，Ｂ｝の平均μ_{ｕｎｃｌｉｐｐｅｄ}を求める（ステップ６１０）。例えば、システムは、平均μ_{ｕｎｃｌｉｐｐｅｄ}をチャネル値の平均、すなわち（Ｒ＋Ｇ＋Ｂ）／３として求めることができる。別の例として、システムは、μ_{ｕｎｃｌｉｐｐｅｄ}を、より包括的な加重平均として求めることができる。特定の例として、システムは、μ_{ｕｎｃｌｉｐｐｅｄ}＝ｗ_ＲＲ＋ｗ_ＧＧ＋ｗ_ＢＢを求めることができ、ｗ_{｛Ｒ，Ｇ，Ｂ｝}∈［０，１］およびｗ_Ｒ＋ｗ_Ｇ＋ｗ_Ｂ＝１である。

【0075】

システムは、ピクセルについて、初期色相値ρ_{ｕｎｃｌｉｐｐｅｄ}を生成する（ステップ６２０）。例えば、システムは、クリッピングされていないチャネル値｛Ｒ，Ｇ，Ｂ｝とクリッピングされていないチャネル値の平均μ_{ｕｎｃｌｉｐｐｅｄ}との間の差を計算することによって初期色相値ρ_{ｕｎｃｌｉｐｐｅｄ}を生成することができ、すなわち、ρ_{ｕｎｃｌｉｐｐｅｄ}＝｛Ｒ，Ｇ，Ｂ｝－μ_{ｕｎｃｌｉｐｐｅｄ}である。

【0076】

システムは、初期色相値を正規化することによって色相値ｈｕｅ_{ｕｎｃｌｉｐｐｅｄ}を生成する（ステップ６３０）。初期色相値ρ_{ｕｎｃｌｉｐｐｅｄ}は、初期色相値ρ_{ｕｎｃｌｉｐｐｅｄ}を初期色相値から構成されるベクトルの長さで除算することによって正規化することができ、例えば、

【0077】

【数1】

【0078】

色相値ｈｕｅ_{ｕｎｃｌｉｐｐｅｄ}は、例えば、図７を参照して以下で説明されるプロセスを用いて、ピクセルのチャネル値のクリッピングされたバージョンの色相を復元するために使用されることができる。

【0079】

図７は、ピクセルのクリッピングされたチャネル値および色相値を用いてピクセルの最終チャネル値を生成するための例示的なプロセス７００のフローチャートである。このプロセスは、１つ以上のコンピュータ上にインストールされ、本明細書に従ってプログラムされた１つ以上のコンピュータプログラムによって実施することができる。たとえば、プロセス７００は、ＩＳＰのハイライト復元ブロック、たとえば、図３に示すハイライト復元ブロック３１２によって実行され得る。便宜上、このプロセスは、１つ以上のコンピュータのシステムによって実行されるものとして説明される。

【0080】

便宜上、以下の説明では、Ｒチャネル、Ｇチャネル、Ｂチャネルで表されるピクセルチャネルデータに言及する。しかしながら、プロセス６００は、チャネルの任意の選択に適用され得ることを理解されたい。

【0081】

システムは、クリッピングされたチャネル値｛Ｒ，Ｇ，Ｂ｝_{ｃｌｉｐｐｅｄ}の平均μ_{ｃｌｉｐｐｅｄ}を求める（ステップ７１０）。上述のように、システムは、平均μ_{ｃｌｉｐｐｅｄ}をチャネル値の平均、すなわち（Ｒ_{ｃｌｉｐｐｅｄ}＋Ｇ_{ｃｌｉｐｐｅｄ}＋Ｂ_{ｃｌｉｐｐｅｄ}）／３として求めることができる。別の例として、システムは、μ_{ｃｌｉｐｐｅｄ}を、より包括的な加重平均、例えば、ｗ_ＲＲ_{ｃｌｉｐｐｅｄ}＋ｗ_ＧＧ_{ｃｌｉｐｐｅｄ}＋ｗ_ＢＢ_{ｃｌｉｐｐｅｄ}として求めることができる。

【0082】

システムは、クリッピングされた色相値ρ_{ｃｌｉｐｐｅｄ}を生成する（ステップ７２０）。例えば、システムは、クリッピングされたチャネル値｛Ｒ，Ｇ，Ｂ｝_{ｃｌｉｐｐｅｄ}とクリッピングされたチャネル値の平均μ_{ｃｌｉｐｐｅｄ}との間の差を計算することによって初期色相値ρ_{ｃｌｉｐｐｅｄ}を生成することができ、すなわち、ρ_{ｃｌｉｐｐｅｄ}＝｛Ｒ，Ｇ，Ｂ｝_{ｃｌｉｐｐｅｄ}－μ_{ｃｌｉｐｐｅｄ}である。

【0083】

システムは、ピクセルのクリッピングされていないチャネル値を用いて生成された、ピクセルのクリッピングされていない色相値ｈｕｅ_{ｕｎｃｌｉｐｐｅｄ}を取得する（ステップ７２５）。例えば、システムは、図６に関して上述したプロセスを用いて色相値ｈｕｅ_{ｕｎｃｌｉｐｐｅｄ}を生成することができる。

【0084】

システムは、クリッピングされた色相値ρ_{ｃｌｉｐｐｅｄ}を用いて、ピクセルのクリッピングされていない色相値ｈｕｅ_{ｕｎｃｌｉｐｐｅｄ}をスケーリングすることによって、スケーリングされた色相値ｈｕｅ_{ｓｃａｌｅｄ}を生成する（ステップ７３０）。クリッピングされていない色相値ｈｕｅ_{ｕｎｃｌｉｐｐｅｄ}は、クリッピングされていない色相値に、クリッピングされた色相値から構成されるベクトルの長さを乗算することによって、スケーリングすることができる。特定の例として、システムは、以下を計算することができる。

【0085】

【数2】

【0086】

システムは、スケーリングされた色相値ｈｕｅ_{ｓｃａｌｅｄ}を用いてピクセルの最終チャネル値｛Ｒ，Ｇ，Ｂ｝_{ｆｉｎａｌ}を生成する（ステップ７９４）。例えば、システムは、ｉ）クリッピングされた値の平均μ_{ｃｌｉｐｐｅｄ}と、ｉ）スケーリングされた色相値ｈｕｅ_{ｓｃａｌｅｄ}との和、すなわち、
｛Ｒ，Ｇ，Ｂ｝_{ｆｉｎａｌ}＝ｈｕｅ_{ｓｃａｌｅｄ}＋μ_{ｃｌｉｐｐｅｄ}
を求める。

【0087】

次いで、システムは、最終値｛Ｒ，Ｇ，Ｂ｝_{ｆｉｎａｌ}をＩＳＰの後のブロックに渡すことができる。

【0088】

いくつかの実現例では、システムは、ハイライト復元の前または後に所与のピクセルのチャネルの各々にトーン調整を適用することができる。

【0089】

いくつかの実現例では、システムは、画像をモザイク除去処理した後に、画像に対してハイライト復元を実行することができる。言い換えれば、システムは、カラーフィルタアレイ、例えば、ベイヤーフィルタでオーバーレイされた画像センサの出力を処理して、出力を、異なる色空間、例えば、ＲＧＢ色空間に変換することができる。いくつかの他の実現例では、システムは、ハイライト復元を実行した後に、画像をモザイク除去することができる。

【0090】

本明細書において記載される主題および機能的動作の実施形態は、本明細書に開示される構造およびそれらの構造的等価物を含む、デジタル電子回路系において、有形で実施されるコンピュータソフトウェアもしくはファームウェアにおいて、コンピュータハードウェアにおいて、またはそれらの１つ以上の組合せにおいて実現され得る。本明細書に記載される主題の実施形態は、１つ以上のコンピュータプログラムとして、すなわち、データ処理装置による実行のために、または、データ処理装置の動作を制御するために有形の非一時的な記憶媒体上でエンコードされたコンピュータプログラム命令の１つ以上のモジュールとして実現され得る。コンピュータ記憶媒体は、機械可読記憶装置、機械可読記憶基板、ランダムもしくはシリアルアクセスメモリデバイス、または、それらの１つ以上の組合せであり得る。代替として、または加えて、プログラム命令は、データ処理装置による実行のために好適な受信機装置に送信するための情報をエンコードするように生成される、人工的に生成された伝搬信号、例えば、機械により生成される電気信号、光信号、または電磁信号上にエンコードされることができる。

【0091】

「データ処理装置」という用語は、データ処理ハードウェアを指し、例として、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含む、データを処理するためのあらゆる種類の装置、デバイス、およびマシンを包含する。装置はまた、専用論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）であり得るか、またはさらにそれを含み得る。装置は、ハードウェアに加えて、コンピュータプログラムの実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの１つ以上の組み合わせを構成するコードを任意選択的に含むことができる。

【0092】

プログラム、ソフトウェア、ソフトウェアアプリケーション、アプリ、モジュール、ソフトウェアモジュール、スクリプト、またはコードとも呼ばれるか、またはそれとして記述され得るコンピュータプログラムは、コンパイルされた言語もしくは解釈された言語、または宣言型言語もしくは手続き型言語を含む、任意の形態のプログラミング言語で書くことができ、スタンドアロンプログラムとして、またはコンピューティング環境での使用に適したモジュール、コンポーネント、サブルーチンもしくは他のユニットとして含む、任意の形態で展開することができる。プログラムは、ファイルシステム内のファイルに対応してもよいが、その必要はない。プログラムは、当該プログラムに専用である単一のファイルにおいて、または、複数の連携（coordinated）ファイル、たとえばコードの１つ以上のモジュール、サブプログラムまたは部分を格納するファイルにおいて、他のプログラムまたはデータを保持するファイルの一部、たとえばマークアップ言語ドキュメントに格納される１つ以上のスクリプトに格納され得る。コンピュータプログラムは、１つのコンピュータ上で、または１つのサイトに位置し、もしくは複数のサイトにわたって分散され、データ通信ネットワークによって相互接続される複数のコンピュータ上で実行されるように展開され得る。

【0093】

１つ以上のコンピュータのシステムが特定の操作またはアクションを実行するように構成されているとは、動作中にそのシステムにそのような操作またはアクションを実行させるソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせがそのシステムにインストールされていることを意味する。１つ以上のコンピュータプログラムが特定の操作またはアクションを実行するように構成されるとは、１つ以上のプログラムが、データ処理装置によって実行されると、データ処理装置にそのような操作またはアクションを実行させる命令を含むことを意味する。

【0094】

本明細書で説明するプロセスおよび論理フローは、専用論理回路、たとえばＦＰＧＡもしくはＡＳＩＣによって、または専用論理回路と１つ以上のプログラムされたコンピュータとの組合せによって実行され得る。

【0095】

コンピュータプログラムの実行に適したコンピュータは、汎用もしくは専用マイクロプロセッサもしくはその両方、または任意の他の種類の中央処理装置に基づくことができる。一般に、中央処理装置は、読み取り専用メモリもしくはランダムアクセスメモリまたはその両方から命令およびデータを受け取る。コンピュータの必須の要素は、命令を実行するための中央処理ユニットと、命令およびデータを格納するための１つ以上のメモリデバイスとである。中央処理ユニットおよびメモリは、特殊目的論理回路系によって補足され得るか、または特殊目的論理回路に組み込まれ得る。一般に、コンピュータはさらに、たとえば磁気ディスク、光磁気ディスクもしくは光ディスクといった、データを格納するための１つ以上の大容量記憶装置を含むか、または当該１つ以上の大容量記憶装置からデータを受取るかもしくは当該１つ以上の大容量記憶装置にデータを転送するよう、もしくはその両方を行うよう作動的に結合されることにもなる。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。さらに、コンピュータはたとえば、携帯電話、携帯情報端末（ＰＤＡ）、モバイルオーディオまたはビデオプレーヤ、ゲームコンソール、全地球測位システム（ＧＰＳ）受信機、またはポータブル記憶装置（たとえばユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ）といった別のデバイスに埋め込まれ得る。コンピュータプログラム命令およびデータを格納するのに好適であるコンピュータ可読媒体は、例として、たとえばＥＰＲＯＭ、ＥＥＰＲＯＭおよびフラッシュメモリデバイスといった半導体メモリデバイスを含むすべての形態の不揮発性メモリ、媒体およびメモリデバイス；たとえば内部ハードディスクまたはリムーバブルディスクといった磁気ディスク；光磁気ディスク；ならびにＣＤ－ＲＯＭディスクおよびＤＶＤ－ＲＯＭディスクを含む。

【0096】

ユーザとの対話を提供するために、本明細書に記載される主題の実施形態は、たとえばＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタといった、ユーザに対して情報を表示するための表示装置と、たとえばマウス、トラックボール、または存在感知ディスプレイもしくは他のサーフィスといった、ユーザがコンピュータに入力を提供可能であるキーボードおよびポインティングデバイスとを有するコンピュータ上で実現され得る。他の種類のデバイスを用いて、ユーザとの対話を提供することもでき、たとえば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、たとえば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであり得、ユーザからの入力は、音響入力、音声入力、または触覚入力を含む、任意の形態で受信することができる。加えて、コンピュータは、ユーザが使用するデバイスにドキュメントを送信し、ユーザが使用するデバイスからドキュメントを受信することによって、たとえば、ユーザのデバイス上のウェブブラウザから受信された要求に応答してそのウェブブラウザにウェブページを送信することによって、ユーザと対話し得る。また、コンピュータは、テキストメッセージまたは他の形態のメッセージを個人の機器、例えば、スマートフォンに送信し、メッセージングアプリケーションを実行し、返答としてユーザから応答メッセージを受信することによって、ユーザと対話することができる。

【0097】

上記の実施形態に加えて、以下の実施形態も革新的である。
実施形態１は、システムであって、
画像の生画像データを生成するよう構成される画像キャプチャデバイスを備え、上記生画像データは、上記画像内の複数のハイライト領域の各々について、上記ハイライト領域の１つ以上のチャネルについての元のチャネル値を含み、上記システムはさらに、
画像信号プロセッサを備え、上記画像信号プロセッサは、
上記生画像データを処理して、更新された画像データを生成するよう構成される、画像処理パイプラインの１つ以上の構成要素を含み、上記更新された画像データは、上記画像内の各ハイライト領域について、更新されたチャネル値を含み、上記画像の１つ以上のハイライト領域の各々について、上記ハイライト領域の１つ以上の更新されたチャネル値は、所定のデータ精度によると最大チャネル値を超え、上記画像信号プロセッサはさらに、
上記画像の上記１つ以上のハイライト領域の上記更新されたチャネル値に対して色相補正プロセスを実行するよう構成されるハイライト復元回路を含み、上記色相補正プロセスを実行することは、上記更新されたチャネル値を処理して、ｉ）上記所定のデータ精度を満たし、かつｉｉ）上記画像の上記１つ以上のハイライト領域の色相値を復元する最終チャネル値を生成することを含む。

【0098】

実施形態２は、実施形態１のシステムであって、上記ハイライト領域は個々のピクセルであり、上記１つ以上のチャネルは、Ｒチャネル、Ｇチャネル、およびＢチャネルを含む。

【0099】

実施形態３は、実施形態１のシステムであって、上記ハイライト領域は、カラーフィルタアレイにおいて２×２のグリッドで配置された４つのピクセルのグループであり、上記ピクセルの各々は、単一の色を表す単一の値を有し、上記１つ以上のチャネルは、上記４つのピクセルの値を含む。

【0100】

実施形態４は、実施形態１～３のいずれか１つのシステムであって、上記色相補正プロセスを実行することは、上記画像内の各ハイライト領域について、
色相値を計算することを含み、上記色相値を計算することは、上記ハイライト領域の上記１つ以上のチャネルの各々についてそれぞれの更新されたチャネル値を調整することを含み、上記色相値は、上記チャネルの上記更新されたチャネル値の割合を表し、上記色相補正プロセスを実行することは、上記画像内の各ハイライト領域について、さらに、
上記１つ以上のチャネルの各々について、クリッピングされたチャネル値を生成することを含み、上記クリッピングされたチャネル値は、上記更新されたチャネル値が上記最大チャネル値以下である場合、上記それぞれの更新されたチャネル値に等しく、上記更新されたチャネル値が上記最大チャネル値よりも大きい場合、上記最大チャネル値に等しく、上記色相補正プロセスを実行することは、上記画像内の各ハイライト領域について、さらに、
上記１つ以上のチャネルの各々について最終チャネル値を計算することを含み、上記１つ以上のチャネルの各々について最終チャネル値を計算することは、上記チャネルの上記更新されたチャネル値の上記割合をエミュレートするために、それぞれの色相値を用いてそれぞれのクリッピングされたチャネル値を調整することを含む。

【0101】

実施形態５は、実施形態４のシステムであって、
上記画像内の各ハイライト領域について、色相値を計算することは、さらに、
上記ハイライト領域の上記１つ以上のチャネルの上記それぞれの更新されたチャネル値の中心傾向の尺度を判断することと、
上記ハイライト領域の上記更新されたチャネル値の上記中心傾向の尺度を用いて、上記１つ以上のチャネルの各々について上記それぞれの更新されたチャネル値を調整することとを含む。

【0102】

実施形態６は、実施形態５のシステムであって、
上記画像内の各ハイライト領域について、上記１つ以上のチャネルの各々についての最終チャネル値を計算することは、
上記１つ以上のチャネルの上記クリッピングされたチャネル値の中心傾向の尺度を判断することと、
上記それぞれの色相値と上記ハイライト領域の上記クリッピングされたチャネル値の上記中心傾向の尺度とを用いて上記それぞれのクリッピングされたチャネル値を調整することとを含む。

【0103】

実施形態７は、実施形態６のシステムであって、
各ハイライト領域について、上記１つ以上のチャネルの上記更新されたチャネル値および上記クリッピングされたチャネル値の上記中心傾向の尺度は、上記それぞれのチャネル値の平均であり、
各ハイライト領域について、上記１つ以上のチャネルの上記色相値を計算することは、
上記更新されたチャネル値と上記更新されたチャネル値の上記平均との間の差を計算することによって初期色相値を生成することと、
上記初期色相値を正規化することによって上記色相値を生成することとを含み、上記正規化することは、上記初期色相値を第１のベクトルの長さで除算することを含み、上記第１のベクトルの各要素は初期色相値である。

【0104】

実施形態８は、実施形態７のシステムであって、上記１つ以上のチャネルの上記最終チャネル値を計算することは、
第２のベクトルの長さによって上記色相値をスケーリングすることによって、スケーリングされた色相値を生成することを含み、上記第２のベクトルの各要素は、チャネルの上記クリッピングされたチャネル値と上記クリッピングされたチャネル値の上記平均との間の差であり、上記１つ以上のチャネルの上記最終チャネル値を計算することはさらに、
上記スケーリングされた色相値を上記クリッピングされたチャネル値の上記平均に加算することによって上記最終チャネル値を生成することを含む。

【0105】

実施形態９は、方法であって、
画像の生画像データを受信することを含み、上記生画像データは、上記画像内の複数のハイライト領域の各々について、上記ハイライト領域の１つ以上のチャネルについての元のチャネル値を含み、上記方法はさらに、
上記生画像データを処理して、更新された画像データを生成することを含み、上記更新された画像データは、上記画像内の各ハイライト領域について、更新されたチャネル値を含み、上記画像の１つ以上のハイライト領域の各々について、上記ハイライト領域の１つ以上の更新されたチャネル値は、所定のデータ精度に従って最大チャネル値を超え、上記方法はさらに、
上記画像の上記１つ以上のハイライト領域の上記更新されたチャネル値に対して色相補正プロセスを実行することを含み、上記色相補正プロセスを実行することは、上記更新されたチャネル値を処理して、ｉ）上記所定のデータ精度を満たし、かつｉｉ）上記画像の上記１つ以上のハイライト領域の色相値を復元する最終チャネル値を生成することを含む。

【0106】

実施形態１０は、実施形態９の方法であって、上記ハイライト領域は個々のピクセルであり、上記１つ以上のチャネルは、Ｒチャネル、Ｇチャネル、およびＢチャネルを含む。

【0107】

実施形態１１は、実施形態９の方法であって、上記ハイライト領域は、カラーフィルタアレイにおいて２×２のグリッドで配置された４つのピクセルのグループであり、上記ピクセルの各々は、単一の色を表す単一の値を有し、上記１つ以上のチャネルは、上記４つのピクセルの値を含む。

【0108】

実施形態１２は、実施形態８～１１のいずれか１つの方法であって、上記色相補正プロセスを実行することは、上記画像内の各ハイライト領域について、
色相値を計算することを含み、上記色相値を計算することは、上記ハイライト領域の上記１つ以上のチャネルの各々についてそれぞれの更新されたチャネル値を調整することを含み、上記色相値は、上記チャネルの上記更新されたチャネル値の割合を表し、上記色相補正プロセスを実行することは、上記画像内の各ハイライト領域について、さらに、
上記１つ以上のチャネルの各々について、クリッピングされたチャネル値を生成することを含み、上記クリッピングされたチャネル値は、上記更新されたチャネル値が上記最大チャネル値以下である場合、上記それぞれの更新されたチャネル値に等しく、上記更新されたチャネル値が上記最大チャネル値よりも大きい場合、上記最大チャネル値に等しく、上記色相補正プロセスを実行することは、上記画像内の各ハイライト領域について、さらに、
上記１つ以上のチャネルの各々について最終チャネル値を計算することを含み、上記１つ以上のチャネルの各々について最終チャネル値を計算することは、上記チャネルの上記更新されたチャネル値の上記割合をエミュレートするために、それぞれの色相値を用いてそれぞれのクリッピングされたチャネル値を調整することを含む。

【0109】

実施形態１３は、実施形態１２の方法であって、
上記画像内の各ハイライト領域について、色相値を計算することは、さらに、
上記ハイライト領域の上記１つ以上のチャネルの上記更新されたチャネル値の中心傾向の尺度を判断することと、
上記ハイライト領域の上記更新されたチャネル値の上記中心傾向の尺度を用いて、上記１つ以上のチャネルの各々について上記更新されたチャネル値を調整することとを含む。

【0110】

実施形態１４は、実施形態１３の方法であって、
上記画像内の各ハイライト領域について、上記１つ以上のチャネルの各々についての最終チャネル値を計算することは、
上記１つ以上のチャネルの上記クリッピングされたチャネル値の中心傾向の尺度を判断することと、
上記それぞれの色相値と上記クリッピングされたチャネル値の上記中心傾向の尺度とを用いて上記それぞれのクリッピングされたチャネル値を調整することとを含む。

【0111】

実施形態１５は、実施形態１４の方法であって、
各ハイライト領域について、上記１つ以上のチャネルの上記更新されたチャネル値および上記クリッピングされたチャネル値の上記中心傾向の尺度は、上記それぞれのチャネル値の平均であり、
各ハイライト領域について、上記１つ以上のチャネルの上記色相値を計算することは、
上記更新されたチャネル値と上記更新されたチャネル値の上記平均との間の差を計算することによって初期色相値を生成することと、
上記初期色相値を正規化することによって上記色相値を生成することとを含み、上記正規化することは、上記初期色相値を第１のベクトルの長さで除算することを含み、上記第１のベクトルの各要素は初期色相値である。

【0112】

実施形態１６は、実施形態１５の方法であって、上記１つ以上のチャネルの上記最終チャネル値を計算することは、
第２のベクトルの長さによって上記色相値をスケーリングすることによって、スケーリングされた色相値を生成することを含み、上記第２のベクトルの各要素は、チャネルの上記クリッピングされたチャネル値と上記クリッピングされたチャネル値の上記平均との間の差であり、上記１つ以上のチャネルの上記最終チャネル値を計算することはさらに、
上記スケーリングされた色相値を上記クリッピングされたチャネル値の上記平均に加算することによって上記最終チャネル値を生成することを含む。

【0113】

実施形態１７は、複数のコンピュータによって実行されると、上記複数のコンピュータに実施形態９～１６のいずれか１つの方法を実行させるコンピュータプログラム命令でエンコードされた、１つ以上の非一時的コンピュータ記憶媒体である。

【0114】

本明細書は、多くの具体的な実現例の詳細を含むが、これらは、いかなる発明の範囲または特許請求され得るものの範囲に対する限定として解釈されるべきではなく、むしろ、特定の発明の特定の実施形態に特有であり得る特徴の説明として解釈されるべきである。本明細書において別々の実施形態の文脈で記載される特定の特徴は、単一の実施形態において組合せでも実現され得る。反対に、単一の実施形態の文脈において記載されるさまざまな特徴は、複数の実施形態において別々に、または任意の好適な部分的組合わせでも実現され得る。さらに、特徴は、ある組合せにおいて作用すると上で記載され、最初はそのように請求されていさえする場合もあるが、請求される組合せからの１つ以上の特徴はいくつかの場合には当該組合せから削除され得、請求される組合せは、部分的組合わせまたは部分的組合わせの変形例に向けられ得る。

【0115】

同様に、動作が図においては特定の順に示されているが、そのような動作は、望ましい結果を達成するために、示された当該特定の順もしくは連続した順で実行される必要があると理解されるべきではなく、または、すべての示された動作が実行される必要があると理解されるべきではない。特定の状況では、マルチタスク化および並列処理化が有利である場合もある。さらに、上述の実施形態における様々なシステムモジュールおよびコンポーネントの分離は、すべての実施形態においてそのような分離を必要とすると理解されるべきではなく、記載されるプログラムコンポーネントおよびシステムは一般に単一のソフトウェア製品に統合され得るかまたは複数のソフトウェア製品にパッケージ化され得ることが理解されるべきである。

【0116】

主題の特定の実施形態が記載された。他の実施形態は以下の請求の範囲内にある。たとえば、請求項において記載されるアクションは、異なる順で実行され得、それでも望ましい結果を達成し得る。一例として、添付の図において示されるプロセスは、望ましい結果を達成するために、示された特定の順または連続する順であることを必ずしも必要としない。いくつかの場合には、マルチタスク化および並列処理化が有利であり得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【手続補正書】

【提出日】2022-06-14

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

システムであって、
画像の生画像データを生成するよう構成される画像キャプチャデバイスを備え、前記生画像データは、前記画像内の複数のハイライト領域の各々について、前記ハイライト領域の１つ以上のチャネルについての元のチャネル値を含み、前記システムはさらに、
画像信号プロセッサを備え、前記画像信号プロセッサは、
前記生画像データを処理して、更新された画像データを生成するよう構成される、画像処理パイプラインの１つ以上の構成要素を含み、前記更新された画像データは、前記画像内の各ハイライト領域について、更新されたチャネル値を含み、前記画像の１つ以上のハイライト領域の各々について、前記ハイライト領域の１つ以上の更新されたチャネル値は、所定のデータ精度によると最大チャネル値を超え、前記画像信号プロセッサはさらに、
前記画像の前記１つ以上のハイライト領域の前記更新されたチャネル値に対して色相補正プロセスを実行するよう構成されるハイライト復元回路を含み、前記色相補正プロセスを実行することは、前記更新されたチャネル値を処理して、ｉ）前記所定のデータ精度を満たし、かつｉｉ）前記画像の前記１つ以上のハイライト領域の色相値を復元する最終チャネル値を生成することを含む、システム。

【請求項2】

前記ハイライト領域は個々のピクセルであり、前記１つ以上のチャネルは、Ｒチャネル、Ｇチャネル、およびＢチャネルを含む、請求項１に記載のシステム。

【請求項3】

前記ハイライト領域は、カラーフィルタアレイにおいて２×２のグリッドで配置された４つのピクセルのグループであり、前記ピクセルの各々は、単一の色を表す単一の値を有し、前記１つ以上のチャネルは、前記４つのピクセルの値を含む、請求項１に記載のシステム。

【請求項4】

前記色相補正プロセスを実行することは、前記画像内の各ハイライト領域について、
色相値を計算することを含み、前記色相値を計算することは、前記ハイライト領域の前記１つ以上のチャネルの各々についてそれぞれの更新されたチャネル値を調整することを含み、前記色相値は、前記チャネルの前記更新されたチャネル値の割合を表し、前記色相補正プロセスを実行することは、前記画像内の各ハイライト領域について、さらに、
前記１つ以上のチャネルの各々について、クリッピングされたチャネル値を生成することを含み、前記クリッピングされたチャネル値は、前記更新されたチャネル値が前記最大チャネル値以下である場合、前記それぞれの更新されたチャネル値に等しく、前記更新されたチャネル値が前記最大チャネル値よりも大きい場合、前記最大チャネル値に等しく、前記色相補正プロセスを実行することは、前記画像内の各ハイライト領域について、さらに、
前記１つ以上のチャネルの各々について最終チャネル値を計算することを含み、前記１つ以上のチャネルの各々について最終チャネル値を計算することは、前記チャネルの前記更新されたチャネル値の前記割合をエミュレートするために、それぞれの色相値を用いてそれぞれのクリッピングされたチャネル値を調整することを含む、請求項１～３のいずれか１項に記載のシステム。

【請求項5】

前記画像内の各ハイライト領域について、色相値を計算することは、さらに、
前記ハイライト領域の前記１つ以上のチャネルの前記それぞれの更新されたチャネル値の中心傾向の尺度を判断することと、
前記ハイライト領域の前記更新されたチャネル値の前記中心傾向の尺度を用いて、前記１つ以上のチャネルの各々について前記それぞれの更新されたチャネル値を調整することとを含む、請求項４に記載のシステム。

【請求項6】

前記画像内の各ハイライト領域について、前記１つ以上のチャネルの各々についての最終チャネル値を計算することは、
前記１つ以上のチャネルの前記クリッピングされたチャネル値の中心傾向の尺度を判断することと、
前記それぞれの色相値と前記ハイライト領域の前記クリッピングされたチャネル値の前記中心傾向の尺度とを用いて前記それぞれのクリッピングされたチャネル値を調整することとを含む、請求項５に記載のシステム。

【請求項7】

各ハイライト領域について、前記１つ以上のチャネルの前記更新されたチャネル値および前記クリッピングされたチャネル値の前記中心傾向の尺度は、前記それぞれのチャネル値の平均であり、
各ハイライト領域について、前記１つ以上のチャネルの前記色相値を計算することは、
前記更新されたチャネル値と前記更新されたチャネル値の前記平均との間の差を計算することによって初期色相値を生成することと、
前記初期色相値を正規化することによって前記色相値を生成することとを含み、前記正規化することは、前記初期色相値を第１のベクトルの長さで除算することを含み、前記第１のベクトルの各要素は初期色相値である、請求項６に記載のシステム。

【請求項8】

前記１つ以上のチャネルの前記最終チャネル値を計算することは、
第２のベクトルの長さによって前記色相値をスケーリングすることによって、スケーリングされた色相値を生成することを含み、前記第２のベクトルの各要素は、チャネルの前記クリッピングされたチャネル値と前記クリッピングされたチャネル値の前記平均との間の差であり、前記１つ以上のチャネルの前記最終チャネル値を計算することはさらに、
前記スケーリングされた色相値を前記クリッピングされたチャネル値の前記平均に加算することによって前記最終チャネル値を生成することを含む、請求項７に記載のシステム。

【請求項9】

方法であって、
画像の生画像データを受信することを含み、前記生画像データは、前記画像内の複数のハイライト領域の各々について、前記ハイライト領域の１つ以上のチャネルについての元のチャネル値を含み、前記方法はさらに、
前記生画像データを処理して、更新された画像データを生成することを含み、前記更新された画像データは、前記画像内の各ハイライト領域について、更新されたチャネル値を含み、前記画像の１つ以上のハイライト領域の各々について、前記ハイライト領域の１つ以上の更新されたチャネル値は、所定のデータ精度に従って最大チャネル値を超え、前記方法はさらに、
前記画像の前記１つ以上のハイライト領域の前記更新されたチャネル値に対して色相補正プロセスを実行することを含み、前記色相補正プロセスを実行することは、前記更新されたチャネル値を処理して、ｉ）前記所定のデータ精度を満たし、かつｉｉ）前記画像の前記１つ以上のハイライト領域の色相値を復元する最終チャネル値を生成することを含む、方法。

【請求項10】

前記ハイライト領域は個々のピクセルであり、前記１つ以上のチャネルは、Ｒチャネル、Ｇチャネル、およびＢチャネルを含む、請求項９に記載の方法。

【請求項11】

前記ハイライト領域は、カラーフィルタアレイにおいて２×２のグリッドで配置された４つのピクセルのグループであり、前記ピクセルの各々は、単一の色を表す単一の値を有し、前記１つ以上のチャネルは、前記４つのピクセルの値を含む、請求項９に記載の方法。

【請求項12】

前記色相補正プロセスを実行することは、前記画像内の各ハイライト領域について、
色相値を計算することを含み、前記色相値を計算することは、前記ハイライト領域の前記１つ以上のチャネルの各々についてそれぞれの更新されたチャネル値を調整することを含み、前記色相値は、前記チャネルの前記更新されたチャネル値の割合を表し、前記色相補正プロセスを実行することは、前記画像内の各ハイライト領域について、さらに、
前記１つ以上のチャネルの各々について、クリッピングされたチャネル値を生成することを含み、前記クリッピングされたチャネル値は、前記更新されたチャネル値が前記最大チャネル値以下である場合、前記それぞれの更新されたチャネル値に等しく、前記更新されたチャネル値が前記最大チャネル値よりも大きい場合、前記最大チャネル値に等しく、前記色相補正プロセスを実行することは、前記画像内の各ハイライト領域について、さらに、
前記１つ以上のチャネルの各々について最終チャネル値を計算することを含み、前記１つ以上のチャネルの各々について最終チャネル値を計算することは、前記チャネルの前記更新されたチャネル値の前記割合をエミュレートするために、それぞれの色相値を用いてそれぞれのクリッピングされたチャネル値を調整することを含む、請求項８～１１のいずれか１項に記載の方法。

【請求項13】

前記画像内の各ハイライト領域について、色相値を計算することは、さらに、
前記ハイライト領域の前記１つ以上のチャネルの前記更新されたチャネル値の中心傾向の尺度を判断することと、
前記ハイライト領域の前記更新されたチャネル値の前記中心傾向の尺度を用いて、前記１つ以上のチャネルの各々について前記更新されたチャネル値を調整することとを含む、請求項１２に記載の方法。

【請求項14】

前記画像内の各ハイライト領域について、前記１つ以上のチャネルの各々についての最終チャネル値を計算することは、
前記１つ以上のチャネルの前記クリッピングされたチャネル値の中心傾向の尺度を判断することと、
前記それぞれの色相値と前記クリッピングされたチャネル値の前記中心傾向の尺度とを用いて前記それぞれのクリッピングされたチャネル値を調整することとを含む、請求項１３に記載の方法。

【請求項15】

各ハイライト領域について、前記１つ以上のチャネルの前記更新されたチャネル値および前記クリッピングされたチャネル値の前記中心傾向の尺度は、前記それぞれのチャネル値の平均であり、
各ハイライト領域について、前記１つ以上のチャネルの前記色相値を計算することは、
前記更新されたチャネル値と前記更新されたチャネル値の前記平均との間の差を計算することによって初期色相値を生成することと、
前記初期色相値を正規化することによって前記色相値を生成することとを含み、前記正規化することは、前記初期色相値を第１のベクトルの長さで除算することを含み、前記第１のベクトルの各要素は初期色相値である、請求項１４に記載の方法。

【請求項16】

前記１つ以上のチャネルの前記最終チャネル値を計算することは、
第２のベクトルの長さによって前記色相値をスケーリングすることによって、スケーリングされた色相値を生成することを含み、前記第２のベクトルの各要素は、チャネルの前記クリッピングされたチャネル値と前記クリッピングされたチャネル値の前記平均との間の差であり、前記１つ以上のチャネルの前記最終チャネル値を計算することはさらに、
前記スケーリングされた色相値を前記クリッピングされたチャネル値の前記平均に加算することによって前記最終チャネル値を生成することを含む、請求項１５に記載の方法。

【請求項17】

複数のコンピュータによって実行されると、前記複数のコンピュータに請求項９～１６のいずれか１項に記載の方法を実行させる命令を含む、１つ以上のコンピュータプログラム。

【国際調査報告】