特許 7683487 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-05-19

(45)【発行日】2025-05-27

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   H04N 23/12 20230101AFI20250520BHJP

   H04N 23/60 20230101ALI20250520BHJP

   H04N 25/10 20230101ALI20250520BHJP

【ＦＩ】

H04N23/12

H04N23/60 500

H04N25/10

【請求項の数】 12

(21)【出願番号】P 2021567279

(86)(22)【出願日】2020-12-14

(86)【国際出願番号】 JP2020046561

(87)【国際公開番号】W WO2021131859

(87)【国際公開日】2021-07-01

【審査請求日】2023-11-15

(31)【優先権主張番号】62/954,056

(32)【優先日】2019-12-27

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】514315159

【氏名又は名称】株式会社ソシオネクスト

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】萩原 創一

(72)【発明者】

【氏名】梅津 有司

(72)【発明者】

【氏名】櫻井 順三

【審査官】彦田 克文

(56)【参考文献】

【文献】特開２０１２－０６０４１２（ＪＰ，Ａ）

【文献】特開２０１９－１２２０４５（ＪＰ，Ａ）

【文献】特開２００６－２１１４７８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／１２

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２５／１０

(57)【特許請求の範囲】

【請求項1】

赤系色および少なくも１つの補色のセグメントを含む色フィルタを通して複数の画素で光を受信する撮像素子により生成される元画像データの補正処理を実施する画像処理装置であって、
前記元画像データを原色系色空間で表される原色系画像データに変換する変換処理と、
前記原色系画像データにおいて前記複数の画素に対応する複数の画素データの統計値を取得する統計取得処理と、
前記統計値を使用して補正パラメータを算出するパラメータ算出処理と、
前記補正パラメータに基づいて前記元画像データを補正して、補正画像データを生成する補正処理と、
を実施する画像処理装置。

【請求項2】

前記補正処理において、前記補正パラメータを、前記元画像データの色空間で表される補正パラメータに変換後、変換された補正パラメータを使用して前記元画像データを補正する
請求項１に記載の画像処理装置。

【請求項3】

複数種の補正処理を順次実施し、２番目以降に実施される補正処理は、１つ前の画像処理により生成された前記補正画像データを前記元画像データとして入力する
請求項１または請求項２に記載の画像処理装置。

【請求項4】

最後の補正処理で生成した補正画像データを原色系色空間で表される原色系画像データに変換し、
変換した原色系画像データを表示用データとして出力し、
最後の補正処理で生成した補正画像データを画像処理用データとして出力する
請求項３に記載の画像処理装置。

【請求項5】

前記複数種の補正処理の１つは、ノイズ除去処理であり、
前記変換処理において、前記元画像データを輝度情報と色差情報とで表される原色系画像データに変換し、
前記統計取得処理において、前記原色系画像データの前記色差情報に対してノイズ除去を実施することで、色ノイズが除去された原色系画像データを生成し、
前記パラメータ算出処理において、色ノイズが除去された原色系画像データを前記元画像データの色空間に変換して、前記元画像データとの差分を取得することで、前記元画像データの色空間での色ノイズを取得し、
前記補正処理において、前記元画像データから前記元画像データの色空間での色ノイズを減算する
請求項３または請求項４に記載の画像処理装置。

【請求項6】

前記複数種の補正処理の１つは、ホワイトバランス補正処理であり、
前記統計取得処理において、前記変換処理で得られた原色系画像データの色の統計値を算出し、
前記パラメータ算出処理において、前記統計値を使用して第１の色補正パラメータを取得し、
前記補正処理において、前記第１の色補正パラメータを使用して前記元画像データのホワイトバランスを補正する
請求項３ないし請求項５のいずれか１項に記載の画像処理装置。

【請求項7】

前記複数種の補正処理の１つは、色補正処理であり、
前記統計取得処理において、前記変換処理で得られた原色系画像データを使用して、前記複数の画素の画素値の前記原色系色空間中での位置を求め、
前記パラメータ算出処理において、前記複数の画素の画素値の前記原色系色空間中での位置に基づいて第２の色補正パラメータを取得し、
前記補正処理において、前記第２の色補正パラメータを使用して前記元画像データの色を補正する
請求項３ないし請求項６のいずれか１項に記載の画像処理装置。

【請求項8】

前記複数種の補正処理の１つは、トーンマッピング処理であり、
前記変換処理において、前記元画像データを輝度情報と色差情報とで表される原色系画像データに変換し、
前記統計取得処理において、前記原色系画像データの前記複数の画素の色の濃さを検出し、
前記パラメータ算出処理において、検出した各画素の色の濃さに基づいて、トーンコントロール強度を算出し、
前記補正処理において、前記元画像データのトーンコントロールを実施し、トーンコントロール強度に基づいて、前記元画像データとトーンコントロールの実施後の元画像データとをブレンドするブレンド処理を実施する
請求項３ないし請求項７のいずれか１項に記載の画像処理装置。

【請求項9】

前記複数種の補正処理の１つは、エッジ強調処理であり、
前記変換処理において、前記元画像データを輝度情報と色差情報とで表される原色系画像データに変換し、
前記統計取得処理において、前記原色系画像データにおける前記複数の画素の画素値からエッジ成分を検出し、
前記パラメータ算出処理において、前記原色系画像データの前記エッジ成分を前記元画像データの色空間に変換することで、前記元画像データのエッジ成分を取得し、
前記補正処理において、前記元画像データに前記元画像データの色空間でのエッジ成分を加算する
請求項３ないし請求項８のいずれか１項に記載の画像処理装置。

【請求項10】

赤、黄およびシアンのセグメントを含む前記色フィルタを通して光を受信する前記撮像素子により生成される前記元画像データの補正処理を実施する
請求項１ないし請求項９のいずれか１項に記載の画像処理装置。

【請求項11】

マゼンタ、黄およびシアンのセグメントを含む前記色フィルタを通して光を受信する前記撮像素子により生成される前記元画像データの補正処理を実施する
請求項１ないし請求項９のいずれか１項に記載の画像処理装置。

【請求項12】

赤系色および少なくも１つの補色のセグメントを含む色フィルタを通して複数の画素で光を受信する撮像素子により生成される元画像データの補正処理を実施する画像処理装置の画像処理方法であって、
前記元画像データを原色系色空間で表される原色系画像データに変換する変換処理を実施し、
前記原色系画像データにおいて前記複数の画素に対応する複数の画素データの統計値を取得する統計取得処理を実施し、
前記統計値を使用して補正パラメータを算出するパラメータ算出処理を実施し、
前記補正パラメータに基づいて前記元画像データを補正して、補正画像データを生成する補正処理を実施する
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および画像処理方法に関する。

【0002】

本出願は、２０１９年１２月２７日出願の米国仮出願第６２／９５４，０５６号に基づく優先権を主張し、前記出願に記載された全ての記載内容を援用するものである。

【背景技術】

【0003】

デジタルカメラ等による撮像で得られる画像データは、最適な画像を得るために、画像処理装置等により様々な補正処理が実施される。例えば、画像データ中に含まれる人物の肌色に合わせて明度を向上する処理が実施される。あるいは、複数に分割された画像データのブロックから算出される画素値の統計値に基づいて、シェーディング補正係数が算出され、または、ホワイトバランス補正係数が算出される。この種の補正処理は、ＲＧＢ（赤、緑、青）の色空間の画像データを使用して実施されることが多い。

【先行技術文献】

【特許文献】

【0004】

【文献】特表２００７－５３４１７９号公報

【文献】特開２０１５－０９９９６２号公報

【文献】特開２０１４－００７６２２号公報

【文献】特開２０１８－１９５９９３号公報

【文献】特開２０１３－１２８２５５号公報

【文献】特開２０１１－０４１０５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

近時、自動車等の移動体にカメラ等の撮像装置を搭載し、撮像装置で撮像された画像から、移動体の周囲の物体（他の移動体、信号、標識、道路の白線および人物等）を認識する技術が知られている。この種の撮像装置は、例えば、ストップランプ、信号または禁止マークなどの赤系色の認識性の向上、ナトリウムランプ等の黄系色の認識性の向上、または、夜間などの暗い場所での受光感度の向上が要求されている。これらの要求を満たすために、撮像装置にＲＧＢフィルタではなく、ＲＹｅＣｙ（赤、黄、シアン）フィルタが使用される場合がある。

【0006】

しかしながら、ノイズ除去処理、ホワイトバランス補正または色補正処理などは、ＲＧＢの色空間の画像データを使用して実施されており、ＲＹｅＣｙの色空間の画像データの補正処理を実施する手法は提案されていない。

【0007】

本発明は、上記の点に鑑みてなされたもので、赤系色および少なくも１つの補色のセグメントを含む色フィルタを通して撮像された画像データの補正処理において優れた画質の補正画像を生成することを目的とする。

【課題を解決するための手段】

【0008】

本発明の一態様では、画像処理装置は、赤系色および少なくも１つの補色のセグメントを含む色フィルタを通して複数の画素で光を受信する撮像素子により生成される元画像データの補正処理を実施する画像処理装置であって、前記元画像データを原色系色空間で表される原色系画像データに変換する変換処理と、前記原色系画像データにおいて前記複数の画素に対応する複数の画素データの統計値を取得する統計取得処理と、前記統計値を使用して補正パラメータを算出するパラメータ算出処理と、前記補正パラメータに基づいて前記元画像データを補正して、補正画像データを生成する補正処理と、を実施する。

【発明の効果】

【0009】

開示の技術によれば、赤系色および少なくも１つの補色のセグメントを含む色フィルタを通して撮像された画像データの補正処理を適切に実施することができる。

【図面の簡単な説明】

【0010】

【図1】第１の実施形態における画像処理装置を含む画像処理システムの一例を示すイメージ図である。

【図2】図１の画像処理装置が搭載される半導体装置の概要を示す断面図である。

【図3】図１の各撮像装置に搭載されるイメージセンサの画素の配列の一例を示す説明図である。

【図4】図１の画像処理装置の構成の一例を示すブロック図である。

【図5】図４の画像処理部が実施する処理の一例を示すフロー図である。

【図6】図５のステップＳ１００で実施する補正処理の１つであるノイズ除去処理の一例を示すフロー図である。

【図7】ＲＹｅＣｙ画像とＲＧＢ画像とを相互に変換する場合の演算式の例を示す説明図である。

【図8】図４の画像処理部が実施する処理の別の例を示すフロー図である。

【図9】図８のステップＳ１０で実施する補正処理の１つであるホワイトバランス補正処理の一例を示すフロー図である。

【図10】図８のステップＳ２０で実施する補正処理の１つであるデモザイク処理の一例を示すフロー図である。

【図11】図８のステップＳ４０で実施する補正処理の１つである色補正処理の一例を示すフロー図である。

【図12】図８のステップＳ５０で実施する補正処理の１つであるトーンマッピング処理の一例を示すフロー図である。

【図13】図８のステップＳ６０で実施する補正処理の１つであるエッジ強調処理の一例を示すフロー図である。

【図14】第２の実施形態における画像処理装置に搭載される画像処理部が実施する処理の一例を示すフロー図である。

【図15】第３の実施形態における画像処理装置に搭載される画像処理部が実施する処理の一例を示すフロー図である。

【図16】図１５の続きを示すフロー図である。

【発明を実施するための形態】

【0011】

以下、図面を用いて実施形態を説明する。以下では、信号等の情報が伝達される信号線には、信号名と同じ符号を使用する。図面に示す１本の信号線は、複数ビットで構成される場合がある。また、以下の説明では、画像データを単に画像と称する場合がある。

【0012】

（第１の実施形態）
図１は、第１の実施形態における画像処理装置を含む画像処理システムの一例を示す。図１に示す画像処理システム１０は、例えば、自動車等の移動体２０に搭載される。移動体２０の進行方向Ｄの前方、後方、左側および右側には、カメラ等の撮像装置２２Ａ、２２Ｂ、２２Ｃ、２２Ｄが設置される。以下では、撮像装置２２Ａ、２２Ｂ、２２Ｃ、２２Ｄを区別なく説明する場合、撮像装置２２とも称される。

【0013】

なお、移動体２０に設置される撮像装置２２の数および設置位置は、図１に限定されない。例えば、撮像装置２２は、移動体２０の前方のみに設置されてもよく、前方と後方のみに設置されてもよい。あるいは、撮像装置２２は、移動体２０の天井に接地されてもよい。また、画像処理システム１０が搭載される移動体２０は、自動車に限定されず、例えば、工場内で稼働する搬送ロボットまたはドローンでもよい。

【0014】

画像処理システム１０は、画像処理装置１２と、画像処理装置１２に接続された表示装置１４および情報処理装置１６とを有する。なお、図１では、説明を分かりやすくするために、上方から俯瞰した移動体２０のイメージ図に画像処理システム１０を重ねて記載している。しかしながら、実際には、画像処理装置１２および情報処理装置１６は、移動体２０に搭載される制御基板等に実装され、表示装置１４は、移動体２０内の人物から見える位置に設置される。なお、画像処理装置１２は、情報処理装置１６の一部として制御基板等に実装されてもよい。

【0015】

画像処理装置１２は、信号線または無線を介して各撮像装置２２に接続され、各撮像装置２２により撮像された移動体２０の周囲の画像を示す画像データを取得する。画像処理装置１２は、各撮像装置２２から取得した画像データの画像処理（補正処理）を実施し、画像処理の結果を表示装置１４および情報処理装置１６の少なくとも一方に出力する。

【0016】

表示装置１４は、例えば、移動体２０に設置されるサイドミラーモニタやバックミラーモニタまたはカーナビゲーション装置である。なお、表示装置１４は、ダッシュボード等に設けられたディスプレイ、または、投影板またはフロントガラス等に画像を投影するヘッドアップディスプレイ（Head Up Display）等でもよい。また、画像処理システム１０は、表示装置１４を含まなくてもよい。

【0017】

情報処理装置１６は、画像処理装置１２を介して受信する画像データに基づいて認識処理等を実施するプロセッサ等のコンピュータを含む。例えば、移動体２０に搭載される情報処理装置１６は、画像データの認識処理を実施することで、他の移動体、信号、標識、道路の白線および人物等を検出し、検出結果に基づいて移動体２０の周囲の状況を判断する。なお、情報処理装置１６は、移動体２０の移動・停止・右折および左折等を制御する自動運転制御装置を含んでもよい。

【0018】

図２は、図１の画像処理装置１２が搭載される半導体装置の概要を示す。例えば、画像処理装置１２は、図２に示す半導体装置３０の半導体チップ３２内に含まれる。半導体チップ３２内には、画像処理装置１２の機能を実現するトランジスタおよび配線等が設けられるが、図示は省略する。

【0019】

半導体チップ３２は、複数のバンプＢＰ１を介して配線基板３４に設けられた複数の配線３６にそれぞれ接続される。複数の配線３６は、配線基板３４の裏面に設けられる外部接続端子であるバンプＢＰ２に接続される。そして、バンプＢＰ２が制御基板等に接続されることで、半導体装置３０は、制御基板等に実装される。

【0020】

なお、図１の情報処理装置１６は、半導体装置３０と同様の構成とされてもよく、半導体装置３０と同様の半導体装置を有してもよい。また、１つの半導体装置に、画像処理装置１２と情報処理装置１６とが含まれてもよい。

【0021】

図３は、図１の各撮像装置２２に搭載されるイメージセンサＩＭＧＳの画素ＰＸの配列の一例を示す。特に限定されないが、例えば、イメージセンサＩＭＧＳは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサであり、撮像素子の一例である。

【0022】

画素ＰＸは、マトリックス状に配列され、各画素ＰＸは、受光素子と、受光素子上に設けられた色フィルタとを有する。各画素ＰＸに付したＲ、Ｙｅ、Ｃｙは、色フィルタの各セグメントの色を示し、Ｒが赤（Ｒｅｄ）、Ｙｅが黄（Ｙｅｌｌｏｗ）、Ｃｙがシアン（Ｃｙａｎ）を意味する。すなわち、各撮像装置２２は、ＲＹｅＣｙの色フィルタを通して複数の画素で光を受信し、画像データを生成する。Ｒは原色系であり、ＹｅおよびＣｙは補色系である。

【0023】

図３に示す例では、縦２つ、横２つの合計４つの画素を単位とする画素群が、縦方向および横方向に繰り返し配置される。例えば、画素群は、左上に配置された画素Ｒと、右上に配置された画素Ｙｅと、左下に配置された画素Ｙｅと、右下に配置された画素Ｃｙとを有する。各画素Ｒ、Ｙｅ、Ｃｙは、受けた光の強度に応じて、対応する色の光の強度を示す信号を出力する。

【0024】

そして、図１に示した各撮像装置２２は、画素Ｒ、Ｙｅ、Ｃｙ毎に出力される光の強度を示す信号に基づいて、移動体２０の周囲の景色を示す画像データを生成し、生成した画像データを画像処理した後、画像処理装置１２に出力する。図３に示すイメージセンサＩＭＧＳを含む撮像装置２２は、Ｒ、Ｙｅ、Ｃｙの色情報を持つ画像データを出力する。

【0025】

なお、イメージセンサＩＭＧＳの各画素群の色フィルタはＲＹｅＹｅＣｙに限られない。例えば、画素Ｒの代わりに、マゼンタの画素Ｍが配置されてもよく、他の赤系色の画素が配置されてもよい。換言すれば、色フィルタの赤のセグメントの代わりに、マゼンタまたは他の赤系色のセグメントが配置されてもよい。また、画素群内の画素の配列および画素群の配置パターンの配置も、図３に限定されず、適宜変更されてもよい。

【0026】

図４は、図１の画像処理装置１２の構成の一例を示す。画像処理装置１２は、例えば、バスＢＵＳを介して互いに接続されたインターフェース部１２１、ＣＰＵ１２２、主記憶装置１２３、補助記憶装置１２４および画像処理部１２５等を有する。

【0027】

インターフェース部１２１は、各撮像装置２２または撮像装置２２の少なくともいずれかから出力される画像データを受信する。また、インターフェース部１２１は、画像処理部１２５により生成された補正画像データを受信して、受信した画像データを表示装置１４および情報処理装置１６の少なくともいずれかに出力する。

【0028】

ＣＰＵ１２２は、例えば、画像処理プログラムを実行することで、画像処理装置１２の全体の動作を制御する。例えば、主記憶装置１２３は、ＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリである。例えば、主記憶装置１２３には、補助記憶装置１２４から転送された画像処理プログラムと、画像処理部１２５が画像処理中に使用するワークデータとが記憶される。

【0029】

例えば、補助記憶装置１２４は、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等である。補助記憶装置１２４には、一例として、撮像装置２２から受信した画像データと、画像処理部１２５が画像処理に使用するパラメータと、画像処理プログラムとが記憶される。

【0030】

画像処理部１２５は、インターフェース部１２１を介して、各撮像装置２２から出力される画像データを取得する。画像処理部１２５は、取得した画像データに対して変換処理または補正処理等の画像処理を実施し、補正画像データを生成する。

【0031】

例えば、画像処理部１２５は、図３に示したイメージセンサＩＭＧＳを有する撮像装置２２から受信したＲＹｅＣｙの色空間で表された画像データを、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）の色空間に変換する。そして、画像処理部１２５は、ＲＧＢの色空間に変換された画像データを使用して補正処理用の補正パラメータを算出し、算出した補正パラメータを使用して、ＲＹｅＣｙの色空間で表された画像データの補正処理を実施し、補正画像データを生成する。さらに、画像処理部１２５は、ＲＹｅＣｙの色空間で表された補正画像データをＲＧＢの色空間に変換し、ＲＧＢの補正画像データを生成する。ＲＧＢの色空間は、原色系色空間の一例であり、ＲＧＢの画像データは、原色系画像データの一例である。

【0032】

画像処理装置１２は、ＲＧＢの色空間に変換された補正画像データを、インターフェース部１２１を介して表示装置１４に出力する。また、画像処理装置１２は、ＲＹｅＣｙの色空間で表された補正画像データを、インターフェース部１２１を介して情報処理装置１６に出力する。これにより、情報処理装置１６は、ＲＹｅＣｙ以外の色空間から変換された補正画像データではなく、ＲＹｅＣｙの色空間の補正画像データを使用して物体認識等の処理を実施することができる。

【0033】

この場合、例えば、画素Ｒが受信する信号機の赤色等および自動車のブレーキランプ等の赤い光の強度を、他の画素から算出した場合に比べて高くすることができる。また、画素Ｙｅが受信するナトリウムランプ等の黄色い光に照らされた物体の黄色い反射光等の強度を、他の画素から算出した場合に比べて高くすることができる。この結果、信号機の赤色灯やナトリウムランプ等で照らされた物体の認識精度を高くすることができる。

【0034】

図５は、図４の画像処理部１２５が実施する補正処理の一例を示す。すなわち、図５は、画像処理装置１２による画像処理方法の一例を示す。例えば、図５に示す処理は、画像処理部１２５のハードウェアにより実施される。画像処理部１２５は、ＦＰＧＡ（Field-Programmable Gate Array）またはＡＳＩＣ（Application Specific Integrated Circuit）等により設計されてもよい。

【0035】

この実施形態では、画像処理部１２５は、撮像装置２２から出力されるＲＹｅＣｙの色空間で表された画像データを受信し、ステップＳ１００により少なくとも１種類の補正処理を実施する。この際、画像処理部１２５は、ＲＹｅＣｙの色空間で表された画像データをＲＧＢの色空間に変換し、ＲＧＢの色空間で表された画像データを使用して、ＲＹｅＣｙの色空間で表された画像データの補正に使用する補正パラメータを算出する。

【0036】

ＲＹｅＣｙ系の色フィルタを介して取得した画像データは、ＲＧＢ系の色フィルタを介して取得した画像データに比べて、輝度が高いが、色の識別精度が低い。これは、Ｙｅの画素が検出する波長領域と、Ｒ、Ｃｙの画素が検出する波長領域との重複部分が、ＲＧＢの各画素が検出する波長領域の重複部分より大きいためである。

【0037】

この実施形態では、ＲＹｅＣｙ画像の補正処理に使用する補正パラメータを、ＲＹｅＣｙ画像に比べて色の識別精度が高いＲＧＢ画像を使用して算出する。ＲＧＢ画像に比べて高輝度のＲＹｅＣｙ画像の補正処理を、ＲＧＢの色空間を使用して実施することで、ＲＹｅＣｙ画像を直接補正する場合にも比べて、ＲＹｅＣｙ補正画像の画質を向上することができる。

【0038】

ステップＳ１００で実施される補正処理の例は、図６から図１３で説明される。以下では、ＲＹｅＣｙの色空間で表された画像データは、ＲＹｅＣｙ画像とも称され、ＲＧＢの色空間で表された画像データは、ＲＧＢ画像とも称される。

【0039】

まず、ステップＳ１０１において、画像処理部１２５は、例えば、撮像装置２２から出力されるＲＹｅＣｙ画像を取得する。次に、ステップＳ１０２において、画像処理部１２５は、ＲＹｅＣｙ画像をＲＧＢの色空間で表されたＲＧＢ画像に変換する。

【0040】

次に、ステップＳ１０３において、画像処理部１２５は、ＲＧＢ画像の全範囲または所定の一部の範囲について、Ｒ、Ｇ、Ｂの各画素の強度を表す信号値等の統計値（統計量）を算出する。ステップＳ１０３の処理は、統計取得処理の一例である。次に、ステップＳ１０４において、画像処理部１２５は、算出した統計値に基づいて、ステップＳ１０１で取得したＲＹｅＣｙ画像の補正に使用する補正パラメータを算出する。ステップＳ１０４の処理は、パラメータ算出処理の一例である。画像処理部１２５が算出する補正パラメータは、ステップＳ１００で実施する補正処理の内容により異なる。

【0041】

次に、ステップＳ１０５において、画像処理部１２５は、ステップＳ１０４で算出した補正パラメータを使用して、ステップＳ１０１で取得したＲＹｅＣｙ画像の補正処理を実施し、ＲＹｅＣｙの色空間で表された補正画像データ（ＲＹｅＣｙ補正画像）を生成する。ステップＳ１０５の処理は、補正画像データを生成する補正処理の一例である。

【0042】

なお、画像処理部１２５は、ＲＹｅＣｙ画像からＲＧＢ画像に変換するときの処理と逆の処理を、補正パラメータに対して実施することで、ＲＧＢ画像を使用して算出した補正パラメータを、ＲＹｅＣｙ画像用の補正パラメータに変換することができる。補正パラメータの変換は、ステップＳ１０４で実施されてもよい。

【0043】

次に、ステップＳ１１０において、画像処理部１２５は、ステップＳ１０５により補正した補正画像データ（ＲＹｅＣｙ補正画像）を画像処理用データとして、例えば、図１の情報処理装置１６に出力する。また、ステップＳ１１０の処理と並行して、画像処理部１２５は、ステップＳ１２０において、ＲＹｅＣｙ補正画像をＲＧＢの色空間で表されたＲＧＢ補正画像に変換する。次に、ステップＳ１３０において、画像処理部１２５は、ＲＧＢ補正画像を表示用データとして、例えば、図１の表示装置１４に出力する。

【0044】

このように、画像処理部１２５から外部（例えば、表示装置１４）に出力するＲＧＢ画像は、ステップＳ１０２で変換したＲＧＢ画像でなく、ＲＹｅＣｙ補正画像から変換されたＲＧＢ補正画像である。したがって、例えば、ステップＳ１００で使用中の色情報が欠落したＲＧＢ画像が画像処理部１２５から出力されることを抑止することができる。また、ステップＳ１０２によるＲＧＢ画像への変換処理を簡易な行列演算式を使用して実施する場合においても、画像処理部１２５は、ＲＧＢ補正画像を正常なＲＧＢ画像として出力することができる。

【0045】

ステップＳ１１０、Ｓ１３０の後、ステップＳ１４０において、画像処理部１２５は、補正処理を継続すると判断した場合、処理をステップＳ１０１に戻し、少なくとも１種類の補正処理を実施する。一方、ステップＳ７０において、画像処理部１２５は、補正処理の終了を判断した場合、図５に示す補正処理を終了する。例えば、画像処理部１２５は、撮像装置２２から次のＲＹｅＣｙ画像データを受信した場合、補正処理を継続するためにステップＳ１０１に処理を戻し、撮像装置２２からＲＹｅＣｙ画像データを受信しない場合、補正処理を終了する。

【0046】

図６は、図５のステップＳ１００で実施する補正処理の１つであるノイズ除去処理の一例を示す。すなわち、図６は、画像処理装置１２による画像処理方法の一例を示す。図６のステップＳ３０は、図５のステップＳ１００に対応する。また、図６のステップＳ３１、Ｓ３２、Ｓ３３は、図５のステップＳ１０１、Ｓ１０２、Ｓ１０３にそれぞれ対応する。図６のステップＳ３４１、Ｓ３４２は、図５のステップＳ１０４に対応する。図６のステップＳ３５１、Ｓ３５２は、図５のステップＳ１０５に対応する。

【0047】

ステップＳ３１において、画像処理部１２５は、例えば、撮像装置２２から出力されるＲＹｅＣｙ画像を取得する。次に、ステップＳ３２において、画像処理部１２５は、ＲＹｅＣｙ画像をＲＧＢの色空間（ＹＣｂＣｒ座標系）で表されたＲＧＢ画像に変換する。ＹＣｂＣｒ座標系では、各画素の画像データは、輝度情報Ｙと色差情報Ｃｂ、Ｃｒとにより表される。なお、画像処理部１２５は、ＲＹｅＣｙ画像をＬａｂの色空間に変換してもよい。

【0048】

また、ＲＧＢ画像への変換は、規格にしたがった行列演算により実施されるが、簡易な行列演算式により実施されてもよい。簡易な行列演算式により変換された偽ＲＧＢ画像は、色再現性が低い一方で、ＲＧＢ成分のノイズを小さくすることができる。ステップＳ３２で生成されるＲＧＢ画像は、ノイズを除去するために使用され、表示装置１４への表示には使用されないため、色再現性が低くても問題ない。

【0049】

さらに、簡易な行列演算式を使用することで、画像処理部１２５の負荷を小さくすることができる。これにより、補正処理に掛かる処理時間を短縮することができ、画像処理部１２５の消費電力を削減することができる。簡易な行列演算式については、図７で説明される。

【0050】

次に、ステップＳ３３において、画像処理部１２５は、ステップＳ３２で変換されたＹＣｂＣｒ座標系の画像の色差情報Ｃｂ、Ｃｒに対してノイズの除去処理（ＮＲ）を実施する。換言すれば、画像処理部１２５は、ノイズが除去された色差情報Ｃｂ、Ｃｒを統計値（統計量）として取得する。輝度情報Ｙを含まず、視覚特性により近い色差情報Ｃｂ、Ｃｒのノイズを除去することで、色ノイズを効果的に除去することができる。

【0051】

次に、ステップＳ３４１において、画像処理部１２５は、色差情報Ｃｂ、Ｃｒのノイズが除去されたＲＧＢ空間の画像データに対してＲＹｅＣｙ空間への逆変換を実施することで、実際の色空間に変換する。これにより、色成分が正確に再現されたＲＹｅＣｙ画像を生成することができる。また、ノイズの除去時に特定の色を消しすぎるなどの不具合の発生を抑止することができる。

【0052】

次に、ステップＳ３４２において、画像処理部１２５は、ステップＳ３４１による逆変換で得られた、色ノイズが除去されたＲＹｅＣｙ画像と、ステップＳ３１で取得したＲＹｅＣｙ画像の差分を取得する。これにより、画像処理部１２５は、差分として、色ノイズの成分を取得することができる。差分である色ノイズの成分は、補正パラメータの一例である。

【0053】

画像処理部１２５は、ステップＳ３２、Ｓ３３、Ｓ３４１、Ｓ３４２の処理と並行して、ステップＳ３５１を実施する。ステップＳ３５１において、画像処理部１２５は、ＲＹｅＣｙ画像を使用して、輝度成分のノイズを除去する。ステップＳ３５１は、ＲＹｅＣｙ画像に対して実施されるため、ＲＧＢ画像に対してノイズ除去の処理を実施する場合に比べて、ノイズ除去性能を高くすることができる。なお、ステップＳ３５１は、ステップＳ３５２の後に実施されてもよい。また、輝度成分のノイズが少ない場合、ステップＳ３５１は、省略されてもよい。

【0054】

次に、ステップＳ３５２において、画像処理部１２５は、ステップＳ３５１で輝度成分のノイズが除去されたＲＹｅＣｙ画像から、ステップＳ３４２で取得した色ノイズの成分を減算する。そして、画像処理部１２５は、減算により、ノイズが除去されたＲＹｅＣｙ画像であるＲＹｅＣｙ補正画像を生成し、図６に示す処理を終了する。この後、画像処理部１２５は、図５に示したステップＳ１１０、Ｓ１２０を実施する。

【0055】

図７は、ＲＹｅＣｙ画像とＲＧＢ画像とを相互に色変換する場合の演算式の例を示す。図７では、ＲＹｅＣｙ画像をＲＧＢ画像に変換する２つの演算式（１）、（３）と、ＲＧＢ画像をＲＹｅＣｙ画像に変換する２つの演算式（２）、（４）とが示される。

【0056】

例えば、演算式（１）、（３）は、図５に示したステップＳ１０２、Ｓ１２０、図６に示したステップＳ３２、または、後述するＲＹｅＣｙ画像をＲＧＢ画像に変換する処理で使用される。また、演算式（２）、（４）は、図６に示したステップＳ３４、または、後述するＲＧＢ画像をＲＹｅＣｙ画像に変換する処理で使用される。

【0057】

演算式（１）は、ＲＹｅＣｙ画像をＲＧＢ画像に変換する一般式を示している。例えば、ＲＹｅＣｙ画像からＲＧＢ画像への変換では、ホワイトバランスＷＢ（White Balance）と色補正ＣＣ（Color Correction）とが適用される。ホワイトバランスＷＢおよび色補正ＣＣで使用する値は、例えば、ＡＷＢ（Auto White Balance）処理によって出力される画像の色が適切になるように動的に算出して求められる。

【0058】

演算式（２）は、ＲＧＢ画像をＲＹｅＣｙ画像に変換する式を示す。演算式（２）は、ＩＴＵ－Ｒ（International Telecommunication Union Radiocommunication Sector）の規格ＢＴ．６０１で定められた式である。なお、ＲＧＢ画像からＲＹｅＣｙ画像への変換に使用する式に含まれる値は、図７の演算式（２）に示す値以外のものでもよい。

【0059】

演算式（１）、（２）を使用した色変換方法では、演算式（３）、（４）を使用した場合に比べて正確な演算を行うため、精度よく色変換を行うことができる。

【0060】

簡易式では、演算式（１）、（２）を使用した場合と比べて処理量が減少するため、演算コストは減少する。演算式（４）を展開すると、"Ｙ＝０．２５Ｒ－０．２５Ｒ＋０．７５Ｙｅ－０．２５Ｙｅ＋０．５Ｃｙ＝０．５Ｙｅ＋０．５Ｃｙ"となる。このため、Ｙは、単純なＹｅ、Ｃｙの平均値となり、ノイズの少ないＹ成分が出力される。

【0061】

図８は、図４の画像処理部１２５が実施する処理の別の例を示す。すなわち、図８は、画像処理装置１２による画像処理方法の一例を示す。図５と同様の処理については、同じ符号を付し、詳細な説明は省略する。図８のステップＳ１１０、Ｓ１２０、Ｓ１３０、Ｓ１４０は、それぞれ図５のステップＳ１１０、Ｓ１２０、Ｓ１３０、Ｓ１４０と同様の処理である。図８のステップＳ１０、Ｓ２０、Ｓ３０、Ｓ４０、Ｓ５０、Ｓ６０は、図５のステップＳ１００に対応する処理である。すなわち、この実施形態では、複数種の補正処理が順次実施される。

【0062】

ステップＳ１０では、ホワイトバランス補正処理が実施され、ステップＳ２０では、デモザイク処理が実施される。ステップＳ３０では、ノイズ除去処理が実施され、ステップＳ４０では、色補正処理が実施される。ステップＳ５０では、トーンマッピング処理が実施され、ステップＳ６０では、エッジ強調処理が実施される。

【0063】

ステップＳ３０によるノイズ除去処理は、図６で説明したノイズ除去処理と同じである。なお、画像処理部１２５は、ステップＳ１０、Ｓ２０、Ｓ３０、Ｓ４０、Ｓ５０、Ｓ６０のうちの少なくとも１つの処理を実施してもよい。また、ステップＳ１０、Ｓ２０、Ｓ３０、Ｓ４０、Ｓ５０、Ｓ６０の実施順序は、入れ替えられてもよい。また、２番目以降に実施される補正処理は、１つ前の画像処理により生成されたＲＹｅＣｙ補正画像を元画像データとして入力する。

【0064】

図８に示すステップＳ１００において、ステップＳ１０に示すホワイトバランス補正処理を実施する場合、個別のＲＧＢ画像への変換処理では図７の演算式（１）、（３）に含まれるホワイトバランス補正処理は実施しなくてもよい。例えば、個別のＲＧＢ画像への変換処理は、図５のステップＳ１０２および図６のステップＳ３２等である。

【0065】

図９は、図８のステップＳ１０で実施する補正処理の１つであるホワイトバランス補正処理の一例を示す。また、図９のステップＳ１１、Ｓ１２、Ｓ２３、Ｓ１４、Ｓ１５は、図５のステップＳ１０１、Ｓ１０２、Ｓ１０３、Ｓ１０４、Ｓ１０５にそれぞれ対応する。

【0066】

ホワイトバランス補正処理では、図７の演算式（１）、（３）に示したように、Ｒ、Ｙｅ、Ｃｙに対してゲインを適用することで色の補正を実施する。補正パラメータをＷｒ、Ｗｙ、Ｗｃとすると、ホワイトバランス補正処理後の画像データＲ'、Ｙｅ'、Ｃｙ'は、"Ｒ'＝ＷｒＲ"、"Ｙｅ'＝ＷｙＹｅ"、"Ｃｙ'＝ＷｃＣｙ"によりそれぞれ算出することができる。

【0067】

例えば、補正パラメータＷｒ、Ｗｙ、Ｗｃは、ＡＷＢ（Auto White Balance）処理によって画像の統計値に基づき算出される。例えば、画像処理部１２５は、画像中の無彩色と思われる領域の画素値の平均値を算出し、その平均値が正しく無彩色となるように補正パラメータＷｒ、Ｗｙ、Ｗｃを求める。

【0068】

ステップＳ１１において、画像処理部１２５は、撮像装置２２から出力されるＲＹｅＣｙ画像、または、前段で補正処理されたＲＹｅＣｙ補正画像を取得する。以下では、前段から取得する当該補正処理を実施する前のＲＹｅＣｙ補正画像は、ＲＹｅＣｙ画像と称される。

【0069】

次に、ステップＳ１２において、画像処理部１２５は、ＲＹｅＣｙ画像をＲＧＢの色空間に変換する。この際、画像処理部１２５は、規格にしたがってＲＧＢの色空間に変換してもよく、簡略化した演算式によりＲＧＢの色空間に変換してもよい。

【0070】

次に、ステップＳ１３において、画像処理部１２５は、ステップＳ１２で変換されたＲＧＢの色空間を使用して、色の統計値（平均値）を算出する。なお、ホワイトバランス補正処理前の画像では、正確なＲＧＢ空間に変換することは難しいため、ＲＹｅＣｙ画像を予めキャリブレーションにより求めたＸＹＺ色空間に変換してもよい。

【0071】

次に、ステップＳ１４において、画像処理部１２５は、ステップＳ１３で求めた統計値を使用して、色の補正に使用する色補正パラメータを取得する。ステップＳ１４で取得される色補正パラメータは、第１の色補正パラメータの一例である。次に、ステップＳ１５において、画像処理部１２５は、ステップＳ１４で取得した色補正パラメータを使用してホワイトバランス補正処理を実施し、ＲＹｅＣｙ補正画像を生成し、図９に示す処理を終了する。

【0072】

ホワイトバランス補正処理用の色補正パラメータを、ＲＧＢ空間の画像データを使用して求めることで、ＲＹｅＣｙ補正画像を生成する場合に、表示装置１４等に表示される画像が平均的に正しい色に見える色補正パラメータを求めることができる。

【0073】

図１０は、図８のステップＳ２０で実施する補正処理の１つであるデモザイク処理の一例を示す。デモザイク処理は、ＲＹｅＣｙ画像をＲＧＢ画像に変換することなく実施可能である。このため、ステップＳ２０では、図５のステップＳ１０１に対応するステップＳ２１と、図５のステップＳ１０５に対応するステップＳ２５のみが実施される。

【0074】

ステップＳ２１において、画像処理部１２５は、撮像装置２２から出力されるＲＹｅＣｙ画像、または、前段で補正処理されたＲＹｅＣｙ補正画像を取得する。次に、ステップＳ２５において、画像処理部１２５は、ステップＳ２１で取得したＲＹｅＣｙ画像に対してデモザイク処理を実施してＲＹｅＣｙ補正画像を生成し、図１０に示す処理を終了する。

【0075】

デモザイク処理では、画像処理部１２５は、例えば、図３に示したように、Ｒ、Ｙｅ、Ｃｙの画素がベイヤー状に配列される場合に、周囲にある同じ色の画素の画素データを補間して、各画素に対してＲ、Ｙｅ、Ｃｙの画素データを求める処理を実施する。ＲＹｅＹｅＣｙ配列の画素を含むイメージセンサＩＭＧＳのデモザイク処理は、ＲＧＧＢ配列の画素を含むベイヤー配列のイメージセンサＩＭＧＳのデモザイク処理を利用して実施することができる。

【0076】

図１１は、図８のステップＳ４０で実施する補正処理の１つである色補正処理の一例を示す。図１１のステップＳ４１、Ｓ４２、Ｓ４３、Ｓ４４、Ｓ４５は、図５のステップＳ１０１、Ｓ１０２、Ｓ１０３、Ｓ１０４、Ｓ１０５にそれぞれ対応する。

【0077】

まず、ステップＳ４１において、画像処理部１２５は、撮像装置２２から出力されるＲＹｅＣｙ画像、または、前段で補正処理されたＲＹｅＣｙ補正画像を取得する。次に、ステップＳ４２において、画像処理部１２５は、ＲＹｅＣｙ画像をＲＧＢの色空間に変換する。

【0078】

次に、ステップＳ４３において、画像処理部１２５は、ステップＳ４２で変換されたＲＧＢの色空間を使用して、各画素の画素値が、ＲＧＢ空間中のどの位置に存在するかを求める。次に、ステップＳ４４において、画像処理部１２５は、ステップＳ４３で求めた各画素の存在位置に基づいて、適用する色補正パラメータを取得する。ステップＳ４４で取得される色補正パラメータは、第２の色補正パラメータの一例である。

【0079】

次に、ステップＳ４５において、画像処理部１２５は、ステップＳ４４で取得した色補正パラメータを使用してＲＹｅＣｙ画像の色補正処理を実施し、ＲＹｅＣｙ補正画像を生成し、図１１に示す処理を終了する。ＲＧＢ画像を使用して、各画素のＲＧＢ空間中での存在位置を確認することで、視覚特性に合わせた色補正パラメータを取得することができ、取得した色補正パラメータにより適切な色補正処理を実施することができる。

【0080】

なお、全ての画素のＲデータ、Ｇデータ、Ｂデータに対して色補正パラメータを設定する場合、データ量が膨大になるため、データを格子状に間引き、格子点に対してのみ色補正パラメータを取得してもよい。そして、格子点以外の画素については、例えば、線形補間処理で補間することで、色補正パラメータを取得してもよい。これにより、色補正処理で扱うデータ量を削減することができ、画像処理部１２５の負荷を軽減することができる。

【0081】

また、格子状の間引きをＲ、Ｙｅ、Ｃｙのまま行うと、ＲＧＢ空間に対して曲がった空間で処理されるため、意図した補間処理ができない場合がある。しかしながら、図１１に示すように、ＲＹｅＣｙ空間をＲＧＢ空間に変換した後に、データを格子状に間引くことで、意図した補間処理を実施することができ、正しい色補正パラメータを取得することができる。なお、例えば、色補正パラメータにはＲＹｅＣｙに対して適用する３行３列の行列が利用される。

【0082】

図１２は、図８のステップＳ５０で実施する補正処理の１つであるトーンマッピング処理の一例を示す。図１２のステップＳ５１、Ｓ５２、Ｓ５３、Ｓ５４は、図５のステップＳ１０１、Ｓ１０２、Ｓ１０３、Ｓ１０４にそれぞれ対応する。図１２のステップＳ５５１、Ｓ５５２は、図５のステップＳ１０５に対応する。

【0083】

まず、ステップＳ５１において、画像処理部１２５は、撮像装置２２から出力されるＲＹｅＣｙ画像、または、前段で補正処理されたＲＹｅＣｙ補正画像を取得する。次に、ステップＳ５２において、画像処理部１２５は、ＲＹｅＣｙ画像をＲＧＢの色空間（ＹＣｂＣｒ座標系）で表されたＲＧＢ画像に変換する。

【0084】

次に、ステップＳ５３において、画像処理部１２５は、ＲＧＢ画像の各画素の色の濃さを検出する。次に、ステップＳ５４において、画像処理部１２５は、検出した各画素の色の濃さに基づいて、トーンコントロール強度αを算出する。例えば、トーンコントロール処理を画像全体に対して一律に適用する場合、色が濃い領域が明るく補正しすぎて色が蛍光色に見えるなどの弊害が発生することがある。このような弊害の発生を抑制するため、ステップＳ５３で検出したＲＧＢ画像の各画素の色の濃さに基づいて、色が濃い箇所ほど小さい値となるトーンコントロール強度αを算出する。

【0085】

画像処理部１２５は、ステップＳ５２、Ｓ５３、Ｓ５４の処理と並行して、ステップＳ５５１を実施する。ステップＳ５５１において、画像処理部１２５は、トーンコントロール等の手法を用いてＲＹｅＣｙ画像の明るさを補正する。例えば、トーンコントロールでは、ＬＵＴ（Look Up Table）を使用して入力画素値の明るさが出力画素値の明るさに補正される。図１２の下側に示すグラフは、ＬＵＴに含まれる入力画素値と出力画素値との関係の例を示している。

【0086】

そして、ステップＳ５５２において、画像処理部１２５は、ステップＳ５４で算出したトーンコントロール強度αに基づいて、ステップＳ５５１のトーンコントロール前後のＲＹｅＣｙ画像をブレンドするブレンド処理を実施し、図１２に示す処理を終了する。例えば、画像処理部１２５は、ブレンド処理として、"α＊トーンコントロール後の画像＋（１－α）＊トーンコントロール前の画像"の演算を実施する。符号"＊"は、乗算を示す。これにより、色が濃い箇所の補正を弱めることができ、色が濃い領域が明るく補正しすぎて色が蛍光色に見えるなどの弊害を抑制することができる。

【0087】

ＲＧＢ画像（ＹＣｂＣｒ座標系）を使用して、視覚特性により近い色差情報Ｃｂ、Ｃｒから色の濃さを検出することで、ＲＹｅＣｙ画像を使用して色の濃さを検出する場合に比べて、検出精度を向上することができる。この結果、トーンコントロール強度αの算出精度を向上することができ、ＲＹｅＣｙ画像を使用する場合にも、適切なブレンド処理を実施することができる。

【0088】

図１３は、図８のステップＳ６０で実施する補正処理の１つであるエッジ強調処理の一例を示す。図１３のステップＳ６１、Ｓ６２、Ｓ６３、Ｓ６４、Ｓ６５は、図５のステップＳ１０１、Ｓ１０２、Ｓ１０３、Ｓ１０４、Ｓ１０５にそれぞれ対応する。

【0089】

まず、ステップＳ６１において、画像処理部１２５は、撮像装置２２から出力されるＲＹｅＣｙ画像、または、前段で補正処理されたＲＹｅＣｙ補正画像を取得する。次に、ステップＳ６２において、画像処理部１２５は、ＲＹｅＣｙ画像をＲＧＢの色空間（ＹＣｂＣｒ座標系）で表されたＲＧＢ画像に変換する。

【0090】

次に、ステップＳ６３において、画像処理部１２５は、ステップＳ６２で変換したＲＧＢ画像において、例えば、互いに隣接する所定数の画素の輝度値（画素値）からエッジ成分を抽出する。ＲＧＢ画像（ＹＣｂＣｒ座標系）を使用して、輝度情報Ｙからエッジ成分を抽出することで、ＲＹｅＣｙ画像を使用してエッジ成分を抽出する場合に比べて、エッジ成分の抽出精度を向上することができる。また、ＲＧＢ画像を使用して、輝度値からエッジ成分を抽出することで、視覚特性により近いエッジ強調を行うことができる。

【0091】

次に、ステップＳ６４において、画像処理部１２５は、ステップＳ６３で抽出したＲＧＢ空間のエッジ成分を、ＲＹｅＣｙ空間に逆変換して、Ｒ、Ｙｅ、Ｃｙのエッジ成分を取得する。次に、ステップＳ６５において、画像処理部１２５は、ＲＹｅＣｙ画像にＲ、Ｙｅ、Ｃｙのエッジ成分を加算することで、エッジが強調されたＲＹｅＣｙ補正画像を生成し、図１３に示す処理を終了する。なお、エッジ強調によるノイズの強調を抑えるために、正確な色再現性のＲＧＢ画像に変換せず、偽Ｙ、Ｃｂ、Ｃｒをエッジ強調に利用してもよい。

【0092】

以上、この実施形態では、ＲＹｅＣｙ画像をＲＹｅＣｙ画像に比べて色の識別精度が高いＲＧＢ画像に変換し、ＲＧＢ画像を使用して、ＲＹｅＣｙ画像の補正に使用する補正パラメータを算出する。ＲＧＢ画像に比べて高輝度のＲＹｅＣｙ画像の補正処理を、ＲＧＢの色空間を使用して実施することで、ＲＹｅＣｙ画像を直接補正する場合にも比べて、ＲＹｅＣｙ補正画像の画質を向上することができる。すなわち、ＲＹｅＣｙフィルタを通して撮像されたＲＹｅＣｙ画像の補正処理において優れた画質のＲＹｅＣｙ補正画像を生成することができる。

【0093】

また、例えば、色差情報Ｃｂ、Ｃｒのノイズが除去されたＲＧＢ空間の画像データに対してＲＹｅＣｙ空間への逆変換を実施し、補正パラメータとすることで、色成分が正確に再現されたＲＹｅＣｙ画像を生成することができる。

【0094】

ノイズ除去処理では、ＲＧＢ画像（ＹＣｂＣｒ座標系）を使用して、輝度情報Ｙを含まず、視覚特性により近い色差情報Ｃｂ、Ｃｒのノイズを除去することで、色ノイズを効果的に除去することができる。この結果、色成分が正確に再現されたＲＹｅＣｙ画像を生成することができる。また、ノイズの除去時に特定の色を消しすぎるなどの不具合の発生を抑止することができる。

【0095】

ホワイトバランス補正処理では、色補正パラメータを、ＲＧＢ空間の画像データを使用して求めることで、ＲＹｅＣｙ補正画像を生成する場合に、表示装置１４等に表示される画像が平均的に正しい色に見える色補正パラメータを求めることができる。

【0096】

色補正処理では、ＲＧＢ画像を使用して、各画素のＲＧＢ空間中での存在位置を確認することで、視覚特性に合わせた色補正パラメータを取得することができ、取得した色補正パラメータにより適切な色補正処理を実施することができる。また、ＲＹｅＣｙ空間をＲＧＢ空間に変換した後に、データを格子状に間引くことで、意図した補間処理を実施することができ、正しい色補正パラメータを取得することができる。

【0097】

トーンマッピング処理では、ＲＧＢ画像（ＹＣｂＣｒ座標系）を使用して、視覚特性により近い色差情報Ｃｂ、Ｃｒから色の濃さを検出することで、ＲＹｅＣｙ画像を使用して色の濃さを検出する場合に比べて、検出精度を向上することができる。この結果、トーンコントロール強度αの算出精度を向上することができ、ＲＹｅＣｙ画像を使用する場合にも、適切なブレンド処理を実施することができる。

【0098】

エッジ強調処理では、ＲＧＢ画像（ＹＣｂＣｒ座標系）を使用して、輝度情報Ｙからエッジ成分を抽出することで、ＲＹｅＣｙ画像を使用してエッジ成分を抽出する場合に比べて、エッジ成分の抽出精度を向上することができる。また、ＲＧＢ画像を使用して、輝度値からエッジ成分を抽出することで、視覚特性により近いエッジ強調を行うことができる。

【0099】

（第２の実施形態）
図１４は、第２の実施形態における画像処理装置に搭載される画像処理部が実施する処理の一例を示す。この実施形態の画像処理装置および画像処理部は、例えば、図４に示す画像処理装置１２および画像処理部１２５と同様である。また、この実施形態の画像処理装置１２を含む画像処理システムは、例えば、図１に示す画像処理システム１０と同様に、画像処理装置１２、表示装置１４および情報処理装置１６を有し、自動車等の移動体２０に搭載される。

【0100】

図１４に示す処理は、図４の画像処理部１２５により実施される。図５と同様の処理については、詳細な説明は省略する。ステップＳ２０１、Ｓ２１０、Ｓ２２０、Ｓ２３０、Ｓ２４０の処理は、それぞれ図５のステップＳ１０１、Ｓ１１０、Ｓ１２０、Ｓ１３０、Ｓ１４０の処理と同様である。

【0101】

この実施形態においても、図５と同様に、画像処理部１２５は、撮像装置２２から出力されるＲＹｅＣｙの色空間で表された画像データを受信し、ステップＳ２００により少なくとも１種類の補正処理を実施する。但し、画像処理部１２５は、ステップＳ２０１の後、ステップＳ２０３において、ＲＹｅＣｙの色空間で表された画像データを使用して統計値を取得する。また、画像処理部１２５は、ステップＳ２０３の後、ステップＳ２０４において、ＲＹｅＣｙ画像の全範囲または所定の一部の範囲について、Ｒ、Ｙｅ、Ｃｙの各画素の強度を表す信号値等の統計値（統計量）を算出する。すなわち、画像処理部１２５は、ＲＧＢの色空間で表される画像データを生成することなく、補正パラメータを算出する。

【0102】

そして、画像処理部１２５は、ステップＳ２０４の後、ステップＳ２０４で算出した補正パラメータを使用して、ステップＳ２０１で取得したＲＹｅＣｙ画像の補正処理を実施し、ＲＹｅＣｙの色空間で表された補正画像データ（ＲＹｅＣｙ補正画像）を生成する。この後、図５と同様に、画像処理部１２５は、ステップＳ２１０、Ｓ２２０、Ｓ２３０、Ｓ２４０の処理を実施する。

【0103】

以上、この実施形態では、画像処理部１２５は、補正パラメータを算出するためのＲＧＢ画像への変換を実施しないため、図５に比べて画像処理部１２５の処理負荷を低減することができる。

【0104】

（第３の実施形態）
図１５および図１６は、第３の実施形態における画像処理装置に搭載される画像処理部が実施する処理の一例を示す。この実施形態の画像処理装置および画像処理部は、例えば、図４に示す画像処理装置１２および画像処理部１２５と同様である。また、この実施形態の画像処理装置１２を含む画像処理システムは、例えば、図１に示す画像処理システム１０と同様に、画像処理装置１２、表示装置１４および情報処理装置１６を有し、自動車等の移動体２０に搭載される。

【0105】

図１５および図１６に示す処理は、図４の画像処理部１２５により実施される。図８と同様の処理については、詳細な説明は省略する。ステップＳ１０、Ｓ２０、Ｓ３０、Ｓ４０、Ｓ５０、Ｓ６０の処理は、それぞれ図８のステップＳ１０、Ｓ２０、Ｓ３０、Ｓ４０、Ｓ５０、Ｓ６０の処理と同様である。また、ステップＳ１１０、Ｓ１２０、Ｓ１３０、Ｓ１４０の処理は、それぞれ図８のステップＳ１１０、Ｓ１２０、Ｓ１３０、Ｓ１４０の処理と同様である。

【0106】

この実施形態では、画像処理部１２５は、ステップＳ１０、Ｓ２０、Ｓ３０、Ｓ４０、Ｓ５０、Ｓ６０の各々の処理の前に、各処理を実施するか否かを判定し、実施を判定した処理のみを実施する。例えば、画像処理部１２５は、各処理を実施するか否かを、各処理に対応して画像処理装置１２内に設けられるレジスタの値またはフラグの値等により判定する。

【0107】

図１５のステップＳ８において、画像処理部１２５は、ホワイトバランス処理の実施を決定した場合のみ、ステップＳ１０のホワイトバランス処理を実施する。ステップＳ１０のホワイトバランス処理は、図９のホワイトバランス処理と同様である。ステップＳ１８において、画像処理部１２５は、デモザイク処理の実施を決定した場合のみ、ステップＳ２０のデモザイク処理を実施する。ステップＳ２０のデモザイク処理は、図１０のデモザイク処理と同様である。

【0108】

ステップＳ２８において、画像処理部１２５は、ノイズ除去処理の実施を決定した場合のみ、ステップＳ３０のノイズ除去処理を実施する。ステップＳ３０のノイズ除去処理は、図６のノイズ除去処理と同様である。ステップＳ３８において、画像処理部１２５は、色補正処理の実施を決定した場合のみ、ステップＳ４０の色補正処理を実施する。ステップＳ４０の色補正処理は、図１１の色補正処理と同様である。

【0109】

図１６のステップＳ４８において、画像処理部１２５は、トーンマッピング処理の実施を決定した場合のみ、ステップＳ５０のトーンマッピング処理を実施する。ステップＳ５０のトーンマッピング処理は、図１２のトーンマッピング処理と同様である。ステップＳ５８において、画像処理部１２５は、エッジ強調処理の実施を決定した場合のみ、ステップＳ６０のエッジ強調処理を実施する。ステップＳ６０のエッジ強調処理は、図１３のエッジ強調処理と同様である。

【0110】

以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。さらに、この実施形態では、レジスタ値またはフラグ値等に基づいて、任意の組み合わせの処理を自在に実施することができる。したがって、実施する処理の種類にかかわりなく、画像処理部１２５のハードウェアを共通にすることができる。例えば、画像処理部１２５をＡＳＩＣ（Application Specific Integrated Circuit）で設計する場合にも、１つのＡＳＩＣにより任意の組み合わせの処理を自在に実施することができる。画像処理部１２５を共通化できるため、画像処理部１２５が搭載される画像処理部１２５のコストを削減することができ、画像処理システム１０のコストを削減することができる。

【0111】

以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。

【符号の説明】

【0112】

１０ 画像処理システム
１２ 画像処理装置
１４ 表示装置
１６ 情報処理装置
２０ 移動体
２２、２２Ａ、２２Ｂ、２２Ｃ、２２Ｄ 撮像装置
３０ 半導体装置
３２ 半導体チップ
３４ 配線基板
３６ 配線
１２１ インターフェース部
１２２ ＣＰＵ
１２３ 主記憶装置
１２４ 補助記憶装置
１２５ 画像処理部
ＢＰ１、ＢＰ２ バンプ
ＢＵＳ バス
ＩＭＧＳ イメージセンサ
ＰＸ 画素

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】