特開 2024-30793 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024030793

(43)【公開日】2024-03-07

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   G06T 3/4015 20240101AFI20240229BHJP

【ＦＩ】

G06T3/40 705

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022133926

(22)【出願日】2022-08-25

(71)【出願人】

【識別番号】514315159

【氏名又は名称】株式会社ソシオネクスト

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】梅津 有司

(72)【発明者】

【氏名】萩原 創一

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057BA12

5B057CA01

5B057CB01

5B057CC02

5B057CD05

5B057CE06

5B057CE08

5B057CE18

5B057DC19

(57)【要約】

【課題】画像データの画像処理に掛かる負荷を低減する。
【解決手段】画像処理装置は、ベイヤー配列のイメージセンサにより取得された第１画像データを、輝度情報を含む第２画像データと、色情報を含み、前記第１画像データおよび前記第２画像データよりも解像度が小さい第３画像データとに分離する分離処理部を有し、前記第３画像データの画素配列は、水平方向と垂直方向とのそれぞれに２画素を含む領域毎に、一方の対角の２画素が同種で、他方の対角の２画素が異種の配列であり、前記他方の対角の２画素は、前記一方の対角の２画素と異種である。
【選択図】図７

【特許請求の範囲】

【請求項1】

ベイヤー配列のイメージセンサにより取得された第１画像データを、輝度情報を含む第２画像データと、色情報を含み、前記第１画像データおよび前記第２画像データよりも解像度が小さい第３画像データとに分離する分離処理部を有し、
前記第３画像データの画素配列は、水平方向と垂直方向とのそれぞれに２画素を含む領域毎に、一方の対角の２画素が同種で、他方の対角の２画素が異種の配列であり、前記他方の対角の２画素は、前記一方の対角の２画素と異種である
画像処理装置。

【請求項2】

前記第３画像データに対して画像処理を実施して第４画像データを生成する画像処理部を有する
請求項１に記載の画像処理装置。

【請求項3】

前記第３画像データは、ベイヤー配列の画素の画素値を含み、
前記画像処理部は、前記第３画像データをデモザイク処理によりＲＧＢ画像データに変換後に画像処理を実施する
請求項２に記載の画像処理装置。

【請求項4】

前記第３画像データは、前記一方の対角の２画素が輝度情報を含み、前記他方の対角の２画素が赤情報と青情報とをそれぞれ含み、
前記画像処理部は、前記第３画像データをＲＧＢ変換処理によりＲＧＢ画像データに変換後に画像処理を実施する
請求項２に記載の画像処理装置。

【請求項5】

前記分離処理部は、
第１画像データに対してデモザイク処理を実施してＲＧＢ画像データを生成し、
前記ＲＧＢ画像データから低周波成分を抽出することで前記第３画像データを生成し、
前記ＲＧＢ画像データの輝度情報と前記第３画像データの輝度情報との差分を取ることで前記第２画像データを生成する
請求項１ないし請求項４のいずれか１項に記載の画像処理装置。

【請求項6】

前記第１画像データは、水平方向と垂直方向とのそれぞれに２つずつ配列された４つの画素群の画素値を含み、
一方の対角の２つの前記画素群の複数の画素の画素値が緑情報であり、他方の対角の２つの前記画素群の一方および他方の複数の画素の画素値がそれぞれ赤情報および青情報であり、４つの画素群はベイヤー配列を有し、
前記分離処理部は、前記４つの画素群の各々において、前記複数の画素の画素値から低域成分を抽出して１つの画素の画素値に割り当て、ベイヤー配列の画素値を含む前記第３画像データを生成する
請求項１に記載の画像処理装置。

【請求項7】

前記分離処理部は、前記４つの画素群の各々において、前記複数の画素の画素値から広域成分を抽出して、低域成分の画素値を割り当てた画素を除く画素に割り当て、前記第２画像データを生成する
請求項６に記載の画像処理装置。

【請求項8】

前記第２画像データまたは前記第２画像データに対する画像処理により生成された第５画像データと、前記第４画像データとを合成し、第６画像データを生成する合成処理部を有する
請求項２ないし請求項４のいずれか１項に記載の画像処理装置。

【請求項9】

前記合成処理部は、輝度成分と色差成分とを含む前記第６画像データを生成し、生成した前記第６画像データにおいて、輝度成分を使用して色差成分をアップサンプリングするアップサンプリング処理を実施する
請求項８に記載の画像処理装置。

【請求項10】

前記第６画像データは、前記第１画像データと同じ解像度を有する
請求項８に記載の画像処理装置。

【請求項11】

前記画像処理部は、前記第２画像データに対してヒストグラムを均等化する均等化処理を実施し、均等化処理された画像データの各画素値の下位ビットを破棄するビットシフト処理を実施し、ビットシフト処理した画像データをメモリに保持し、前記メモリに保持された画像データから前記第２画像データを復元する復元処理を実施し、
前記復元処理後の画像データは、前記第４画像データと合成される
請求項２ないし請求項４のいずれか１項に記載の画像処理装置。

【請求項12】

画像データを処理する画像処理方法であって、
ベイヤー配列のイメージセンサにより取得された第１画像データを、輝度情報を含む第２画像データと、色情報を含み、前記第１画像データおよび前記第２画像データよりも解像度が小さい第３画像データとに分離する分離処理を実施し、
前記第３画像データの画素配列は、水平方向と垂直方向とのそれぞれに２画素を含む領域毎に、一方の対角の２画素が同種で、他方の対角の２画素が異種の配列であり、前記他方の対角の２画素は、前記一方の対角の２画素と異種である
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

カメラから取得した画像データを高周波成分と低周波成分とに分離する技術がある。ベイヤー画像を分解して、色情報を示す高周波成分と、輝度情報を示す低周波成分とに分解し、異なるフィルタ処理を実施して合成する技術がある。高解像度の画像を高周波成分と低周波成分とに分離して画像処理を実施することで、処理負荷の低減を図る技術がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２－１９１２８７号公報

【特許文献2】特開２０１５－００８４１４号公報

【特許文献3】国際公開第２０１４／０４２１５５号

【特許文献4】国際公開第２０１４／１０３２３０号

【発明の概要】

【発明が解決しようとする課題】

【0004】

画像データを高周波成分と低周波成分とに分離する場合、画像の画素配列がベイヤー配列と相違すると、その後のホワイトバランス処理、色成分の補正処理またはエッジ強調処理等において、ベイヤー配列の画像に変換する追加の処理が必要となってしまう。また、画像データの解像度が高いほど、画像処理後の画像データの解像度を高くできるが、画像データに対する画像処理の負荷（消費電力および処理時間）も高くなる。さらに、イメージセンサがベイヤー配列の各画素を複数の画素に拡張した画素配列を有する場合、イメージセンサから取得する画像データを高周波成分と低周波成分とに分離する手法は、検討されていない。

【0005】

本発明は、上記の点に鑑みてなされたもので、画像データの画像処理に掛かる負荷を低減することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様では、画像処理装置は、ベイヤー配列のイメージセンサにより取得された第１画像データを、輝度情報を含む第２画像データと、色情報を含み、前記第１画像データおよび前記第２画像データよりも解像度が小さい第３画像データとに分離する分離処理部を有し、前記第３画像データの画素配列は、水平方向と垂直方向とのそれぞれに２画素を含む領域毎に、一方の対角の２画素が同種で、他方の対角の２画素が異種の配列であり、前記他方の対角の２画素は、前記一方の対角の２画素と異種である。

【発明の効果】

【0007】

開示の技術によれば、画像データの画像処理に掛かる負荷を低減することができる。

【図面の簡単な説明】

【0008】

【図1】第１の実施形態における画像処理装置を含む画像処理システムの一例を示すイメージ図である。

【図2】図１の移動体に搭載される各種装置の構成の概要を示すブロック図である。

【図3】図２の画像処理装置および情報処理装置の構成の一例を示すブロック図である。

【図4】図２の画像処理装置の機能構成の一例を示すブロック図である。

【図5】図２の画像処理装置が実施する画像処理の一例を示すフロー図である。

【図6】図５のステップＳ２００の分離処理、ステップＳ３００の画像処理およびステップＳ４００の合成処理の一例を示すフロー図である。

【図7】図６のステップＳ２００の分離処理の詳細を示すフロー図である。

【図8】図７のステップＳ２２０のベイヤー変換処理の一例を示す説明図である。

【図9】図５のステップＳ２００の分離処理、ステップＳ３００の画像処理およびステップＳ４００の合成処理の別の例を示すフロー図である。

【図10】図９のステップＳ２００の分離処理の詳細を示すフロー図である。

【図11】図１０のステップＳ２４２の１／２縮小処理および図１０のステップＳ２４３のベイヤー配列変換処理の一例を示す説明図である。

【図12】第２の実施形態における画像処理装置が実施する画像処理の一例を示すフロー図である。

【図13】図１２のステップＳ２００Ａの分離処理の一例を示すフロー図である。

【図14】図１２のステップＳ３００Ａの画像処理およびステップＳ４００Ａの合成処理の一例を示すフロー図である。

【図15】図１２のステップＳ３００Ａの画像処理において消費電力をさらに削減する改善例を示す図である。

【図16】第３の実施形態における画像処理装置が実施する画像処理の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を用いて実施形態を説明する。以下の説明では、画像データを単に画像と称する場合がある。

【0010】

（第１の実施形態）
図１は、第１の実施形態における画像処理装置を含む画像処理システムの一例を示す。図１に示す画像処理システム１００は、例えば、自動車等の移動体２００に搭載される。移動体２００の進行方向Ｄの前方、後方、左側および右側と、移動体２００の車内の前方には、カメラ等の撮像装置１９Ａ、１９Ｂ、１９Ｃ、１９Ｄ、１９Ｅが設置される。以下では、撮像装置１９Ａ、１９Ｂ、１９Ｃ、１９Ｄ、１９Ｅを区別なく説明する場合、撮像装置１９とも称される。

【0011】

なお、移動体２００に設置される撮像装置１９の数および設置位置は、図１に限定されない。例えば、１つの撮像装置１９が移動体２００の前方のみに設置されてもよく、２つの撮像装置１９が前方と後方のみに設置されてもよい。あるいは、撮像装置１９は、移動体２００の天井に設置されてもよい。

【0012】

また、画像処理システム１００が搭載される移動体２００は、自動車に限定されず、例えば、工場内で稼働する搬送ロボットまたはドローンでもよい。また、画像処理システム１００は、例えば、監視カメラ、デジタルスチルカメラ、デジタルカムコーダ、アクションカメラ、スマートフォンのカメラまたはゲーム機のカメラなどの撮像装置から取得した画像を処理するシステムであってもよい。この場合、撮像装置は、画像処理装置１０に直接接続されている必要なく、画像処理装置１０と物理的に離れた場所に設置されてもよい。

【0013】

各撮像装置１９は、信号線または無線を介して画像処理装置１０に接続される。さらに、各撮像装置１９と画像処理装置１０との距離は、図１でイメージされる距離よりも長くてもよい。例えば、撮像装置１９で取得した画像データは、ネットワークを介して画像処理装置１０に伝送されてもよい。この場合、画像処理装置１０および情報処理装置１１は、クラウドコンピューティングにより実現されてもよい。

【0014】

画像処理システム１００は、画像処理装置１０、情報処理装置１１および表示装置１２を有する。なお、図１では、説明を分かりやすくするために、上方から俯瞰した移動体２００のイメージ図に画像処理システム１００が重ねて記載されている。しかしながら、実際には、画像処理装置１０および情報処理装置１１は、移動体２００に搭載される制御基板等に実装され、表示装置１２は、移動体２００内において、運転者等の人物から見える位置に設置される。なお、画像処理装置１０は、情報処理装置１１の一部として制御基板等に実装されてもよい。

【0015】

図２は、図１の移動体２００に搭載される各種装置の構成の概要を示す。移動体２００は、内部ネットワークを介して相互に接続された画像処理装置１０、情報処理装置１１、表示装置１２、少なくとも１つのＥＣＵ（Electronic Control Unit）１３および無線通信装置１４を有する。また、移動体２００は、センサ１５、駆動装置１６、ランプ装置１７、ナビゲーション装置１８および撮像装置１９を有する。例えば、内部ネットワークは、ＣＡＮ（Controller Area Network）またはイーサネット（登録商標）等の車載ネットワークである。

【0016】

画像処理装置１０は、撮像装置１９により取得された画像データ（フレームデータ）画像処理を実施する。画像処理装置１０は、ＩＳＰ（Image Signal Processor）を有する。情報処理装置１１は、移動体２００の各部を制御するコンピュータとして機能されてもよい。情報処理装置１１は、ＥＣＵ１３を制御することにより、移動体２００の全体を制御する。情報処理装置１１は、画像処理装置１０により生成された画像に基づいて、移動体２００の外部の物体を認識する認識処理を実施してもよく、認識した物体を追尾する追尾処理を実施してもよい。

【0017】

表示装置１２は、画像処理装置１０により生成された画像および補正画像等を表示する。表示装置１２は、移動体２００が後進（バック）する際に、移動体２００の後進方向の画像をリアルタイムで表示してもよい。また、表示装置１２は、ナビゲーション装置１８から出力される画像を表示してもよい。

【0018】

ＥＣＵ１３は、エンジンまたはトランスミッション等の機構部に対応してそれぞれ設けられる。各ＥＣＵ１３は、情報処理装置１１からの指示に基づいて、対応する機構部を制御する。無線通信装置１４は、移動体２００の外部の装置との通信を行う。センサ１５は、各種の情報を検出するセンサである。センサ１５は、例えば、移動体２００の現在の位置情報を取得する位置センサを含んでもよい。また、センサ１５は、移動体２００の速度を検出する速度センサを含んでもよい。

【0019】

駆動装置１６は、移動体２００を移動させるための各種装置である。駆動装置１６には、例えば、エンジン、操舵装置（ステアリング）、および制動装置（ブレーキ）等が含まれてもよい。ランプ装置１７は、移動体２００に搭載された各種灯具である。ランプ装置１７には、例えば、前照灯（ヘッドランプ、ヘッドライト）、方向指示器（ウインカー）のランプ、バックライトおよびブレーキランプ等が含まれてもよい。ナビゲーション装置１８は、目的地への経路を音声および表示により案内する装置である。

【0020】

撮像装置１９は、例えば、赤色光Ｒ、緑色光Ｇおよび青色光Ｂをそれぞれ透過する複数種のフィルタを含む画素がベイヤー配列で搭載されたイメージセンサＩＭＧＳを有する。すなわち、イメージセンサＩＭＧＳは、検出する光の波長領域が異なる複数種の画素を含む。ベイヤー配列では、４つの画素（１つの赤画素、２つの緑画素および１つの青画素）を含む画素群が繰り返し配置される。撮像装置１９により取得された画像データは、画像処理装置１０により処理される。

【0021】

なお、イメージセンサＩＭＧＳは、図１２で説明するように、水平方向と垂直方向とのそれぞれに２つずつ配列された４つの画素である画素群に対応する同一種のフィルタを含んでもよい。この場合、一方の対角の２つの画素群の複数の画素は、画素値として緑情報を出力する緑画素である。他方の対角の２つの画素群の一方の複数の画素は、画素値として赤情報を出力する赤画素であり、他方の対角の２つの画素群の他方の複数の画素は、画素値として青情報を出力する青画素である。そして、４つの画素群は、ベイヤー配列を有する。なお、各画素群が有する画素は４つに限らず、水平方向と垂直方向とのそれぞれに２より大きい数ずつ配列、例えば３つずつの９つの画素を含むものであってもよい。

【0022】

図３は、図２の画像処理装置１０および情報処理装置１１の構成の一例を示す。画像処理装置１０および情報処理装置１１の構成は、互いに同様であるため、以下では、画像処理装置１０の構成が説明される。例えば、画像処理装置１０は、バスＢＵＳで相互に接続されたＣＰＵ２０、インタフェース装置２１、ドライブ装置２２、補助記憶装置２３およびメモリ装置２４を有する。

【0023】

ＣＰＵ２０は、メモリ装置２４に格納された画像処理プログラムを実行することで、後述する各種の画像処理を実施する。インタフェース装置２１は、図示しないネットワークに接続するために使用される。補助記憶装置２３は、例えば、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等であり、画像処理プログラム、画像データおよび画像処理に使用する各種パラメータ等を保持する。

【0024】

メモリ装置２４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等であり、補助記憶装置２３から転送される画像処理プログラム等を保持する。ドライブ装置２２は、記録媒体３０を接続するインタフェースを有し、例えば、ＣＰＵ２０からの指示に基づいて、記録媒体３０に格納された画像処理プログラムを補助記憶装置２３に転送する。なお、ドライブ装置２２は、補助記憶装置２３に記憶された画像データ等を記録媒体３０に転送してもよい。

【0025】

図４は、図２の画像処理装置１０の機能構成の一例を示す。画像処理装置１０は、取得部１０ａ、分離処理部１０ｂ、画像処理部１０ｃおよび合成処理部１０ｄを有する。取得部１０ａは、各撮像装置１９により撮像された移動体２００の周囲の画像を示す画像データを取得する。例えば、画像データは、ベイヤー配列のイメージセンサＩＭＧＳから出力される第１画像データの一例である。

【0026】

分離処理部１０ｂは、取得部１０ａが取得したベイヤー配列の画像データを、輝度情報を含む高周波成分データと、色情報を含み、ベイヤー配列の画像データおよび高周波成分データよりも解像度が小さい低周波成分データとに分離する。

【0027】

低周波成分データの画素配列は、水平方向と垂直方向とのそれぞれに２画素を含む領域毎に、一方の対角の２画素が同種で、他方の対角の２画素が異種の配列であり、他方の対角の２画素は、一方の対角の２画素と異種である。例えば、低周波成分データは、ベイヤー配列の画素の画素値を含み、取得部１０ａが取得したベイヤー配列の元の画像データよりも解像度が小さい。あるいは、低周波成分データは、一方の対角の２画素が輝度情報を含み、他方の対角の２画素が赤情報と青情報とをそれぞれ含む、ベイヤー配列と同様の画素配列の画素値を含む。高周波成分データは、第２画像データの一例であり、低周波成分データは、ベイヤー配列の画素の画素値を含む第３画像データの一例である。

【0028】

例えば、分離処理部１０ｂは、取得部１０ａが取得したベイヤー配列の画像データに対してデモザイク処理を実施してＲＧＢ画像データを生成する。そして、分離処理部１０ｂは、ＲＧＢ画像データから低周波成分を抽出することで低周波成分データを生成し、ＲＧＢ画像データの輝度情報と低周波成分データの輝度情報との差分を取ることで高周波成分データを生成する。

【0029】

画像処理部１０ｃは、低周波成分データに対して画像処理を実施して画像処理後の画像データを生成する。画像処理後の画像データは、第４画像データの一例である。低周波成分データは、ベイヤー配列の元の画像データに比べて解像度が小さい。このため、画像処理部１０ｃは、元の画像データをそのまま画像処理する場合に比べて、画像処理に掛かる負荷を軽減することができる。

【0030】

例えば、画像処理部１０ｃは、ベイヤー配列の画素値を含む低周波成分データをデモザイク処理によりＲＧＢ画像データに変換し、変換により生成されたＲＧＢ画像データの画像処理を実施する。あるいは、画像処理部１０ｃは、ベイヤー配列と同様の配列の画素値を含む低周波成分データをＲＧＢ変換処理によりＲＧＢ画像データに変換し、変換により生成されたＲＧＢ画像データの画像処理を実施する。なお、画像処理部１０ｃは、高周波成分データに対して、ノイズ除去処理等を実施してもよい。

【0031】

合成処理部１０ｄは、画像処理部１０ｃによる画像処理後の画像データと高周波成分データとを合成し、ＲＧＢ画像の合成画像データを生成する。あるいは、合成処理部１０ｄは、画像処理部１０ｃによる画像処理後の画像データと、画像処理部１０ｃによる画像処理後の高周波成分データとを合成し、ＲＧＢ画像の合成画像データを生成する。例えば、合成画像データの解像度は、取得部１０ａが取得したベイヤー配列の画像データの解像度と同じである。画像処理部１０ｃによる画像処理後の高周波成分データは、第５画像データの一例である。合成画像データは、第６画像データの一例である。

【0032】

図５は、図２の画像処理装置１０が実施する画像処理の一例を示す。すなわち、図５は、画像処理装置１０による画像処理方法の一例を示す。図５に示すフローは、例えば、画像処理装置１０のＣＰＵ２０が画像処理プログラムを実行することにより実現される。なお、図５に示すフローは、画像処理装置１０に搭載されるＦＰＧＡ（Field-Programmable Gate Array）またはＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアにより実現されてもよい。あるいは、図５に示すフローは、ハードウェアとソフトウェアとを協働させることで実現されてもよい。

【0033】

まず、ステップＳ１００において、画像処理装置１０は、撮像装置１９が撮像した１フレームの画像データ（ベイヤー画像データ）を取得する。特に限定されないが、撮像装置１９から取得する画像データは、８Ｋサイズ(水平７６８０画素、垂直４３２０画素）である。なお、画像処理装置１０は、撮像装置１９の仕様に応じて、４Ｋサイズ(水平３８４０画素、垂直２１６０画素）または２Ｋサイズ（フルハイビジョンサイズ）の画像データを撮像装置１９から取得してもよい。

【0034】

次に、ステップＳ２００において、画像処理装置１０は、撮像装置１９から取得した画像データを低周波成分と高周波成分とに分離する分離処理を実施し、低周波成分データと高周波成分データとを生成する。低周波成分データは、撮像装置１９から取得した元の画像データに対して解像度を落としたベイヤー画像データであり、例えば、４Ｋサイズである。高周波成分データは、例えば、撮像装置１９から取得した元の画像データの解像度を有する輝度データ（８Ｋサイズ）である。分離処理の例については、図６で説明される。

【0035】

次に、ステップＳ３００において、画像処理装置１０は、分離処理で生成した低周波成分データを使用して画像処理を実施し、画像データ（ベイヤー画像データ）を生成する。低周波成分データは、元の画像データに比べて解像度が低いため、画像処理に掛かる負荷を軽減することができる。また、画像処理装置１０は、輝度成分を含む高周波成分データからノイズを除去する処理を実施する。なお、画像処理装置１０は、高周波成分データのステップＳ４００での合成処理が適切に実施できる場合、高周波成分データのノイズ除去処理を省略してもよい。

【0036】

なお、画像処理後の低周波成分の画像データは、被写体の認識処理または追尾処理等を実施するために情報処理装置１１に出力されてもよい。情報処理装置１１は、撮像装置１９が撮像した画像データより解像度が低い画像データを使用することで、認識処理または追尾処理等を高速かつ低電力で実施することができる。

【0037】

次に、ステップＳ４００において、画像処理装置１０は、画像処理後の画像データとノイズを除去後の輝度データとを合成する合成処理を実施し、合成画像データを生成する。

【0038】

次に、ステップＳ５００において、画像処理装置１０は、合成画像データを情報処理装置１１および表示装置１２の一方または両方に出力する。次に、ステップＳ６００において、画像処理装置１０は、画像処理を終了する場合、図５に示す処理を終了し、画像処理を継続する場合、処理をステップＳ１００に戻す。

【0039】

図６は、図５のステップＳ２００の分離処理、ステップＳ３００の画像処理およびステップＳ４００の合成処理の一例を示す。ステップＳ２１０において、画像処理装置１０は、図５のステップＳ１００で取得した８Ｋサイズのベイヤー画像データを受信し、前処理を実施する。画像処理装置１０は、前処理において、最低限の補正を実施し、ステップＳ２２０、Ｓ２３０を実施するためのＲＧＢ画像データを生成する。前処理の例は、図７で説明される。

【0040】

ステップＳ２２０において、画像処理装置１０は、前処理で生成されたＲＧＢ画像データをリサンプルし、水平方向および垂直方向の解像度をそれぞれ２／３に落としたベイヤー画像データを生成するベイヤー変換処理を実施する。以下では、ベイヤー変換処理により解像度が落とされた画像データ（低周波成分データ）は、２／３ベイヤー画像データとも称される。ベイヤー変換処理の例は、図８で説明される。

【0041】

ステップＳ２３０において、画像処理装置１０は、前処理で生成されたＲＧＢ画像データを使用して、輝度成分を抽出する輝度成分抽出処理を実施し、輝度データ（高周波成分データ）を生成する。輝度成分抽出処理の例は、図７で説明される。

【0042】

ステップＳ３１０において、画像処理装置１０は２／３ベイヤー画像データを使用して、例えば、シェーディング補正またはベイヤー画像データのノイズ除去処理など、処理負荷が比較的高いベイヤー処理を実施する。処理対象の２／３ベイヤー画像データは、元の画像データの画素数の約４４％（＝（２／３）＊（２／３）；＊は乗算符号）に縮小されている。このため、ベイヤー処理の消費電力を４４％程度に削減可能である。なお、画像処理装置１０にＩＳＰが搭載される場合、ベイヤー処理をＩＳＰで実施することで、システムに大きな変更を加えることなくベイヤー処理を実行することができる。この場合、縮小された画像データに対して行うベイヤー処理は、縮小を行っていない画像データに対するベイヤー処理との互換性を維持することができる。図６および以降の図において、網掛けで示す処理は、ＩＳＰで実施可能であることを示す。

【0043】

次に、ステップＳ３２０において、画像処理装置１０は、デモザイク処理を実施することで、ベイヤー画像データをＲＧＢ画像データに変換する。変換されたＲＧＢ画像データの水平方向および垂直方向の解像度は、撮像装置１９から受信した画像データの水平方向および垂直方向の解像度の２／３である。なお、画像処理装置１０にＩＳＰが搭載される場合、デモザイク処理はＩＳＰで実施されることが好ましい。

【0044】

次に、ステップＳ３３０において、画像処理装置１０は、デモザイク処理により変換されたＲＧＢ画像データを使用して、水平方向および垂直方向の解像度をそれぞれ３／４に落とした縮小ＲＧＢ画像データを生成する３／４ＲＧＢ縮小処理を実施する。縮小ＲＧＢ画像データは、元の画像データの画素数の２５％（（（２／３）／（３／４））の二乗）に縮小されている。

【0045】

縮小ＲＧＢ画像データは、Ｒ（赤）成分、Ｇ（緑）成分、Ｂ（青）成分を全ての画素に含む。このため、撮像装置１９から受信した画像データに対して、水平方向および垂直方向の解像度をそれぞれ１／２に縮小しても、ステップＳ２１３で実行するＬＰＦ（Low Pass Filter）処理により"１／４＊サンプリング周波数Ｆｓ"までしか信号成分を有さないため、受信した画像データの信号成分の劣化は発生しない。

【0046】

ステップＳ３４０において、画像処理装置１０は、縮小した画像データを使用して、ホワイトバランス処理等の色補正処理、エッジ強調処理または３ＤＮＲ（three-Dimensional Noise Reduction）処理等の処理負荷の高いＲＧＢ処理を実施する。また、画像処理装置１０は、ＲＧＢ処理を実施後に、ＹＵＶ空間への変換処理を実施し、変換処理により生成されたＹＵＶ画像データをＹＵＶ処理を実施することで、縮小ＹＵＶ画像データを生成する。縮小画像データの画素数は、撮像装置１９から受信した画像データの画素数の２５％（４Ｋサイズ相当）であるため、ステップＳ３４０の処理に掛かる消費電力は、８ＫサイズのＲＧＢ画像データを処理する場合の２５％に削減可能である。なお、画像処理装置１０にＩＳＰが搭載される場合、ＲＧＢ処理およびＹＵＶ処理はＩＳＰで実施されることが好ましい。

【0047】

次に、ステップＳ３５０において、画像処理装置１０は、縮小ＹＵＶ画像データの水平方向および垂直方向の画素数をそれぞれ２倍に拡張する画素数拡大処理を実施し、拡大ＹＵＶ画像データ（８Ｋサイズ）を生成する。なお、拡大ＹＵＶ画像データは、バイリニア補間などの方法で水平方向及び垂直方向のそれぞれが２倍に拡大されるため、実質的な解像度は、４Ｋサイズのままである。

【0048】

一方、ステップＳ３６０において、画像処理装置１０は、ステップＳ２３０で抽出された高周波成分データ（輝度データ）から最小限のノイズを除去する軽量ノイズ除去処理を実施し、ノイズ除去後輝度データを生成する。軽量ノイズ除去処理により、例えば、ステップＳ４００での合成処理を適切に実施することができる。なお、軽量ノイズ除去処理は、省略されてもよい。また、ステップＳ３６０において、画像処理装置１０は、高周波成分データにゲインをかけて強調する強調処理を実施してもよい。

【0049】

ステップＳ４１０において、画像処理装置１０は、拡大ＹＵＶ画像データ（低周波成分データ）にノイズ除去後輝度データ（高周波成分データ）を加算する高周波加算処理を実施する。高周波加算処理により、撮像装置１９から受信した画像データと同じ８Ｋサイズの解像度を有し、画像処理が実施された合成画像データ（ＹＵＶ画像データ）を生成することができる。生成されたＹＵＶ画像データは、図５のステップＳ５００で、情報処理装置１１および表示装置１２の一方または両方に出力される。

【0050】

ここで、動画像は、通常、輝度（Ｙ）に対して色（ＵＶ）の解像度を落として利用することが多く、色の解像度を落とすことによる画質の劣化はほとんどない。このため、輝度（Ｙ）データに対して実質的な解像度が低い色（ＵＶ）データを使用しても、画質の劣化がほとんどない合成画像データ（ＹＵＶ画像データ）を生成することができる。

【0051】

図７は、図６のステップＳ２００の分離処理の詳細を示す。まず、ステップＳ２１１において、画像処理装置１０は、ベイヤー画像データにデモザイク処理を実施するために、最小限の補正処理を実施する。例えば、画像処理装置１０は、黒レベルの補正(ＯＢ)、欠陥画素の補正(ＤＰＣ）およびホワイトバランス補正(ＷＢ)等を実施する。

【0052】

次に、ステップＳ２１２において、画像処理装置１０は、デモザイク処理を実施し、ベイヤー画像データをＲＧＢ画像データに変換する。デモザイク処理により生成されるＲＧＢ画像データは、全ての周波数成分（全周波成分）を含む。次に、ステップＳ２１３において、画像処理装置１０は、デモザイク処理により生成されたＲＧＢ画像データにＬＰＦ処理を実施し、"１／４＊Ｆｓ"より低い周波数成分（低周波成分）を取り出す。

【0053】

次に、ステップＳ２２０のベイヤー変換処理では、図６で説明したように、画像処理装置１０は、ＲＧＢ画像データをリサンプルして水平方向および垂直方向の解像度をそれぞれ２／３に落とした２／３ベイヤー画像データ（低周波成分データ）を生成する。２／３ベイヤー画像データ（低周波成分データ）の画素数は、撮像装置１９から受信した元の画像データの画素数の約４４％（＝（２／３）の二乗）である。

【0054】

ＬＰＦ処理後のＲＧＢ画像データは、高周波成分を持っていない。このため、リサンプルは画質の劣化にはほとんど影響しない。ただし、リサンプルにより水平方向および垂直方向の解像度をそれぞれ１／２に落とすと、リサンプリング周期が"１／２＊Ｆｓ"を下回り、エイリアシングが発生することがある。この実施形態では、例えば、"１／２＊Ｆｓ"より少し大きい"２／３＊Ｆｓ"でリサンプルすることで、エイリアシングの発生を抑制することができる。リサンプルの手法は、図８で説明される。

【0055】

一方、輝度成分抽出処理では、ステップＳ２３１において、画像処理装置１０は、ＬＰＦ処理後のＲＧＢ画像データのＲ値、Ｇ値、Ｂ値のそれぞれに所定の係数を乗じて輝度成分を抽出する輝度変換処理を実施し、輝度データ（低周波成分データ）を生成する。次に、ステップＳ２３２において、画像処理装置１０は、輝度データ（低周波成分データ）のガンマ補正処理を実施する。

【0056】

ステップＳ２３３において、画像処理装置１０は、デモザイク処理されたＲＧＢ画像データのＲ値、Ｇ値、Ｂ値のそれぞれに所定の係数を乗じて輝度成分を抽出する輝度変換処理を実施し、輝度データ（全周波成分データ）を生成する。次に、ステップＳ２３４において、画像処理装置１０は、輝度データ（全周波成分データ）のガンマ補正処理を実施する。

【0057】

次に、ステップＳ２３５において、画像処理装置１０は、輝度データ（全周波成分データ）と輝度データ（低周波成分データ）との差分を取ることで、"１／４＊Ｆｓ"より高い周波数成分を含む輝度データ（高周波成分データ）を生成する。

【0058】

図８は、図７のステップＳ２２０のベイヤー変換処理の一例を示す。図８では、ベイヤー画像の解像度の縮小の程度を分かりやすくするため、撮像装置１９から受信する元のベイヤー画像も示される。また、説明を分かりやすくするため、元のベイヤー画像の画素数は、水平方向および垂直方向とも６画素であるとする。

【0059】

元のベイヤー画像は、デモザイク処理によりＲＧＢ画像データに変換される。画像処理装置１０は、例えば、ＲＧＢ画像データにおいて、互いに隣接する複数の画素をグループ化し、グループ毎にＲ成分、Ｇ成分またはＢ成分の画素値を加重平均し、ベイヤー配列上での各色の画素値を算出する。図８に示す例では、互いに隣接する４個の画素（水平方向および垂直方向にそれぞれ２画素）を使用して、Ｒ成分、Ｇ成分またはＢ成分のいずれかの画素値が加重平均される。なお、加重平均は、９個の画素（水平方向および垂直方向にそれぞれ３画素）を使用して実施されてもよい。

【0060】

そして、水平方向および垂直方向の画素数がそれぞれ２／３に縮小された２／３ベイヤー画像が生成される。２／３ベイヤー画像の画素数は、元のベイヤー画像の画素数のほぼ４４％（＝（２／３）の二乗）になる。

【0061】

図９は、図５のステップＳ２００の分離処理、ステップＳ３００の画像処理およびステップＳ４００の合成処理の別の例を示す。図６と同様の処理については、詳細な説明は省略する。ステップＳ２００の分離処理では、画像処理装置１０は、図６のステップＳ２２０のベイヤー変換処理の代わりに、ステップＳ２４０において横１／２疑似ベイヤー変換処理を実施し、横１／２疑似ベイヤー画像データを生成する。ここで、"横"は、水平方向を意味する。

【0062】

横１/２疑似ベイヤー画像データは、８Ｋサイズの元のベイヤー画像データに対して、水平方向の解像度が１／２に縮小されている。横１／２疑似ベイヤー変換処理の例は、図１１で説明される。また、分離処理では、画像処理装置１０は、ステップＳ２３０の輝度成分抽出処理を、前処理で生成されたＲＧＢ画像データと、横１／２疑似ベイヤー変換処理で生成されたＹＲＢ画像データとを使用して実施する。

【0063】

画像処理装置１０は、ステップＳ３００の画像処理を、ステップＳ２００の分離処理により分離された横１／２疑似ベイヤー画像データを使用して実施する。横１／２疑似ベイヤー画像データは、ベイヤー画像データでないため、画像処理装置１０は、ＲＧＢ画像データを生成するためにデモザイク処理を使用できない。

【0064】

このため、画像処理装置１０は、図６のステップＳ３２０、Ｓ３３０のデモザイク処理、３／４ＲＧＢ縮小処理の代わりに、ステップＳ３２２においてＲＧＢ変換処理を実施し、縮小ＲＧＢ画像データを生成する。画像処理装置１０は、図１１の記載のベイヤー配列変換処理の逆変換処理を実行することで、元の画像データに対して垂直方向および水辺方向のそれぞれの解像度が１／２（元の画像データに対して画素数が２５％）の縮小ＲＧＢ画像データを生成する。ステップＳ３００の画像処理のその他の処理は、図６の画像処理と同様である。ステップＳ４００の合成処理は、図６の合成処理と同じである。

【0065】

図１０は、図９のステップＳ２００の分離処理の詳細を示す。図７と同様の処理については、詳細な説明は省略する。図９で説明したように、分離処理は、図６のステップＳ２２０のベイヤー変換処理の代わりに、ステップＳ２４０で横１／２疑似ベイヤー変換処理が実施される点が異なる。また、ステップＳ２３１の輝度変換処理がＹＲＢ画像データを使用して実施される点が図７と相違する。その他の処理は、図７に示す分離処理と同様である。

【0066】

ステップＳ２４１において、画像処理装置１０は、ＬＰＦ処理により低周波成分を抽出したＲＧＢ画像データ（低周波成分データ）をＹＲＢ空間のＹＲＢ画像データに変換するＹＲＢ変換処理を実施する。次に、ステップＳ２４２において、画像処理装置１０は、ＹＲＢ画像データの水平方向および垂直方向の解像度をそれぞれ１／２に縮小する１／２縮小処理を実施し、縮小ＹＲＢ画像データを生成する。

【0067】

次に、ステップＳ２４３において、画像処理装置１０は、縮小ＹＲＢ画像データのＲ画素およびＢ画素をそれぞれ半分に間引いてベイヤー配列のＹＲＢ画像データを生成するベイヤー配列変換処理を実施する。以下では、ベイヤー配列のＹＲＢ画像データは、横１／２疑似ベイヤー画像データとも称される。なお、ステップＳ２４０の横１／２疑似ベイヤー変換処理では、ＹＲＢ画像データの代わりに、ＹＵＶ空間のＹＵＶ画像データが使用されてもよい。

【0068】

図１１は、図１０のステップＳ２４２の１／２縮小処理および図１０のステップＳ２４３のベイヤー配列変換処理の一例を示す。画像処理装置１０は、図１０のステップＳ２４１のＹＲＢ変換処理により生成されたＹＲＢ画像データの水平方向および垂直方向の解像度をそれぞれ１／２に縮小する１／２縮小処理を実施し、縮小ＹＲＢ画像データを生成する。

【0069】

図１１では、簡単化のため、ＹＲＢ画像データが、水平８画素、垂直４画素であるとし、Ｙ値、Ｒ値、Ｂ値に分けて記載している。縮小ＹＲＢ画像データにおいて、Ｙ値を示す画素には符号Ｙ０－Ｙ７が付され、Ｒ値を示す画素には符号Ｒ０－Ｒ７が付され、Ｂ値を示す画素には符号Ｂ０－Ｂ７が付されている。

【0070】

画像処理装置１０は、縮小ＹＲＢ画像データの全てのＹ値と、１／２に間引いたＲ値およびＢ値をベイヤー配列で配置し、横１／２疑似ベイヤー画像データを生成する。この例では、ベイヤー配列変換処理において偶数番号のＲ画素およびＢ画素が選択されるが、奇数番号のＲ画素およびＢ画素が選択されてもよい。なお、ＹＲＢ画像データの代わりに、ＹＵＶ空間のＹＵＶ画像データが使用される場合、Ｂ画素の代わりにＵ画素が使用され、Ｒ画素の代わりにＶ画素が使用される。

【0071】

以上、この実施形態では、撮像装置１９から取得した元の画像データを分離して、元の画像データより解像度の低い低周波成分データを生成するため、低周波成分データを使用して画像処理を実施することが可能になる。これにより、元の画像データをそのまま画像処理する場合に比べて、画像処理に掛かる負荷を軽減することができる。例えば、元の画像データをそのまま画像処理する場合に比べて、画像処理を低電力かつ高速に実施することができる。

【0072】

分離処理において、ベイヤー配列の低周波成分データを生成することで、画像処理装置１０に搭載される既存のＩＳＰを利用して、ベイヤー処理およびデモザイク処理を実施することができ、ＲＧＢ画像データを生成することができる。また、ＲＧＢ画像データを縮小した縮小ＲＧＢ画像データに対して、既存のＩＳＰを利用してＲＧＢ処理とＹＵＶ処理とを実施することができる。

【0073】

分離処理において横１／２疑似ベイヤー画像データを生成し、画像処理において横１／２疑似ベイヤー画像データを画像処理する場合にも、元の画像データをそのまま画像処理する場合に比べて、画像処理に掛かる負荷を軽減することができる。この結果、画像処理を低電力かつ高速に実施することができる。

【0074】

合成処理により、画像処理後の低周波成分データと高周波成分データとを合成することで、撮像装置１９から受信した画像データと同じ解像度の合成画像データを生成することができる。

【0075】

また、図６のステップＳ３００での画像処理により生成される縮小ＲＧＢ画像データまたは縮小ＹＵＶ画像データを使用して、被写体の認識処理または追尾処理等を実施することで、認識処理または追尾処理等を高速かつ低電力で実施することができる。

【0076】

（第２の実施形態）
図１２は、第２の実施形態における画像処理装置が実施する画像処理の一例を示す。すなわち、図１２は、画像処理装置による画像処理方法の一例を示す。上述した実施形態と同様の処理については詳細な説明は省略する。図１２に示すフローを実施する画像処理装置１０は、図１から図３に示す画像処理装置１０と同様であり、情報処理装置１１および表示装置１２とともに画像処理システム１００に搭載される。また、図１２に示すフローを実施する画像処理装置１０は、図４と同様の機能構成を有する。

【0077】

図１２に示すフローは、例えば、画像処理装置１０のＣＰＵ２０が画像処理プログラムを実行することにより実現される。なお、図１２に示すフローは、画像処理装置１０に搭載されるＦＰＧＡまたはＡＳＩＣ等のハードウェアにより実現されてもよい。あるいは、図１２に示すフローは、ハードウェアとソフトウェアとを協働させることで実現されてもよい。

【0078】

この実施形態では、撮像装置１９に搭載されるイメージセンサＩＭＧＳ（図２）は、基本の画素群として、ベイヤー配列の１つのＢ画素、１つのＲ画素および２つのＧ画素の各々の画素を４画素に拡張した拡張ベイヤー配列の１６画素を含む拡張画素群を有する。

【0079】

以下では、拡張ベイヤー配列を有するイメージセンサＩＭＧＳを有する撮像装置１９で取得された画像データは、拡張ベイヤー画像データとも称される。また、ベイヤー配列の１画素毎に拡張した４画素は、画素群とも称される。拡張ベイヤー画像データは、一方の対角の２つの画素群の複数の画素の画素値が緑情報であり、他方の対角の２つの前記画素群の一方および他方の複数の画素の画素値がそれぞれ赤情報および青情報であり、４つの画素群がベイヤー配列を有する画像データの一例である。なお、画素群の画素数は、９画素でもよく、６画素でもよい。この場合、拡張画素群の画素数は、３６画素または２４画素になる。

【0080】

この実施形態の画像処理装置１０は、図５のステップＳ２００、Ｓ３００、Ｓ４００の代わりに、ステップＳ２００Ａ、Ｓ３００Ａ、Ｓ４００を実施する。ステップＳ１００、Ｓ５００、Ｓ６００の処理は、図５のステップＳ１００、Ｓ５００、Ｓ６００の処理と同様である。但し、画像処理装置１０は、ステップＳ１００において、撮像装置１９が撮像した１フレームの拡張ベイヤー画像データを取得する。特に限定されないが、１フレームの拡張ベイヤー画像データの解像度は、８Ｋサイズである。

【0081】

ステップＳ２００Ａにおいて、画像処理装置１０は、拡張ベイヤー画像データの４つの画素群の各々を低域成分と高域成分とに分離し、４画素を含む低域成分データと１２画素を含む高域成分データとを生成する。低域成分データの各画素の色（Ｂ、Ｇ、Ｇ、Ｒ）の後に示す識別子ＬＬは、各画素が低域成分データを含むことを示す。高域成分データの各画素の色（Ｂ、Ｇ、Ｇ、Ｒ）の後に示す識別子ＨＬ、ＬＨ、ＨＨは、各画素が高域成分データを含むことを示す。識別子については、図１３で説明される。

【0082】

拡張ベイヤー画像データの解像度が８Ｋサイズの場合、低域成分データの解像度は、４Ｋサイズとなる。低域成分データの４画素は、ベイヤー配列のベイヤー画像データである。このように、拡張ベイヤー画像データから低域成分データを分離することで、ベイヤー画像データを生成することができる。なお、識別子ＨＬ、ＬＨ、ＨＨで識別される画素においても、識別子ＨＬ、ＬＨ、ＨＨ毎に４画素を寄せ集めることでベイヤー配列の画像データにすることができる。

【0083】

次に、ステップＳ３００Ａにおいて、画像処理装置１０は、低域成分データおよび高域成分データの各々の画像処理を実施し、画像処理後の画像データをそれぞれ生成する。拡張ベイヤー画像データに比べて解像度が低い低域成分データを使用して画像処理を実施することで、第１の実施形態と同様に、画像処理に掛かる負荷を軽減することができ、画像処理を低電力かつ高速に実施することができる。

【0084】

次に、ステップＳ４００Ａにおいて、画像処理装置１０は、低域成分データの画像処理後の画像データと高域成分データの画像処理後の画像データとを合成する合成処理を実施し、合成画像データを生成する。合成処理により、画像処理後の低域成分データと画像処理後の高域成分データとを合成することで、撮像装置１９から受信した画像データと同じ解像度の合成画像データを生成することができる。

【0085】

図１３は、図１２のステップＳ２００Ａの分離処理の一例を示す。図７と同様の処理については詳細な説明は省略する。まず、ステップＳ２１１において、画像処理装置１０は、図７と同様に、拡張ベイヤー画像データに対して黒レベルの補正(ＯＢ)、欠陥画素の補正(ＤＰＣ）およびホワイトバランス補正(ＷＢ)等を実施する。次に、ステップＳ２１４において、画像処理装置１０は、補正した拡張ベイヤー画像データに対してガンマ補正処理を実施する。

【0086】

次に、ステップＳ２１５において、画像処理装置１０は、色別の画素群（２画素×２画素）の各々に対してＤＣＴ（Discrete Cosine Transform）変換処理などの周波数変換処理を実施する。そして、画像処理装置１０は、ＤＣＴ変換処理後の画像データを、低域成分と高域成分とに分離する。高域成分は、高域成分データ（ＨＬ、ＬＨ、ＨＨ）として生成される。次に、ステップＳ２１６において、画像処理装置１０は、低域成分データに対して逆ガンマ補正処理を実施し、低域成分データ（ＬＬ）を生成する。

【0087】

画像処理装置１０は、拡張ベイヤー画像データの色別の４つの画素群の各々において、４つの画素の画素値から低域成分を抽出して１つの画素の画素値に割り当て、ベイヤー配列の画素値を含む低域成分データを生成する。例えば、低域成分データは、拡張ベイヤー画像データの解像度を水平方向および垂直方向のそれぞれに１／２に縮小した１／２縮小画像データである。低域成分データの画素数は、元の画像データである拡張ベイヤー画像データの画素数の２５％である。

【0088】

低域成分データの識別子ＬＬは、低域成分データ（ＬＬ）が水平方向および垂直方向の低周波成分であることを示す。高域成分データの識別子ＨＬは、高域成分データ（ＨＬ）が水平方向の高周波成分であることを示す。高域成分データの識別子ＬＨは、高域成分データ（ＬＨ）が垂直方向の高周波成分であることを示す。高域成分データの識別子ＨＨは、高域成分データ（ＨＨ）が水平方向および垂直方向の高周波成分であることを示す。以下では、符号ＬＬ、ＬＨ、ＨＬ、ＨＨは、周波数成分とも称される。

【0089】

図１４は、図１２のステップＳ３００Ａの画像処理およびステップＳ４００Ａの合成処理の一例を示す。図６と同様の処理については詳細な説明は省略する。低域成分データの画像処理は、図６のステップＳ３３０の３／４ＲＧＢ縮小処理と図６のステップＳ３５０の画素数拡大処理がないことを除き、図６の２／３ベイヤー画像データの画像処理と同様である。すなわち、画像処理装置１０は、ステップＳ３２０のデモザイク処理で生成したＲＧＢ画像データに対して、ステップＳ３４０でＲＧＢ処理およびＹＵＶ処理を実施し、ＹＵＶ画像データ（ＬＬ）を生成する。

【0090】

なお、低域成分データ（ＬＬ）の画像処理は、水平方向および垂直方向の解像度をそれぞれ１／２に縮小した画像データ（面積で１／４）に対して実施される。このため、縮小前の元の拡張ベイヤー画像データを画像処理する場合に比べて消費電力をほぼ２５％にすることができる。また、画像処理に掛かる時間も短縮することができる。

【0091】

通常、拡張ベイヤー配列を有するイメージセンサＩＭＧＳで取得された拡張ベイヤー画像データを画像処理する場合、拡張ベイヤー画像と同じサイズのベイヤー配列の画像データに変換された後、ベイヤー処理、デモザイク処理およびＲＧＢ処理等が順に実施される。これに対して、この実施形態では、拡張ベイヤー画像データからベイヤー配列の低域成分データ（ＬＬ）を生成した後に画像処理するため、ベイヤー配列の画像データへの変換処理を省略することができる。また、低域成分データは拡張ベイヤー画像に対して面積で１／４に縮小されているため、画像処理に要する消費電力を削減することができる。

【0092】

高域成分データの画像処理では、画像処理装置１０は、ステップＳ３６０において、図６と同様に軽量ノイズ除去処理を実施した後、ステップＳ３８０、Ｓ３９０を実施することで、高域成分データに対応するＹＵＶ画像データを生成する。

【0093】

ステップＳ３８０において、画像処理装置１０は、周波数成分ＨＬ、ＬＨ、ＨＨの各々の４画素を含む画像データ（ベイヤー配列）に対してデモザイク処理を実施し、周波数成分毎にＲＧＢ画像データを生成する。

【0094】

次に、ステップＳ３９０において、画像処理装置１０は、周波数成分ＨＬ、ＬＨ、ＨＨの各々のＲＧＢ画像データに対してＹＵＶ変換処理を実施し、周波数成分ＨＬ、ＬＨ、ＨＨ毎にＹＵＶ画像データ（ＨＬ、ＬＨ、ＨＨ）を生成する。

【0095】

次に、ステップＳ４２０において、画像処理装置１０は、ＹＵＶ画像データ（ＬＬ）とＹＵＶ画像データ（ＨＬ、ＬＨ、ＨＨ）とを組み合わせることで、拡張ベイヤー配列のＹＵＶ画像データを生成する。そして、拡張ベイヤー配列のＹＵＶ画像データの色別の画素群（２画素×２画素）の各々に対して逆ＤＣＴ変換処理を実施することで、ＹＵＶ画像データの低域成分と高域成分とを合成し、合成画像データ（ＹＵＶ画像データ）を生成する。

【0096】

図１５は、図１２のステップＳ３００Ａの画像処理において消費電力をさらに削減する改善例を示す。低域成分データの画像処理は、高域成分データの画像処理に比べて複雑であり、時間が掛かる。低域成分データと高域成分データとの合成処理のタイミングを合わせるため、高域成分データは、画像処理の前または後でメモリにバッファリングされる。高域成分データは、低域成分データに比べて解像度が高く、データサイズが大きい。このため、高域成分データを保持しておくためのメモリの記憶容量は大きくなり、消費電力も大きくなる。

【0097】

改善例を示す図１５（Ａ）では、画像処理装置１０は、図１４のステップＳ３００Ａの画像処理において、高域成分データのヒストグラムを均等化するための変換テーブル（例えば、ルックアップテーブルＬＵＴ）を生成する。画像処理装置１０は、生成した変換テーブルに基づいて高域成分データのヒストグラムを均等化する均等化処理を実施する。

【0098】

次に、画像処理装置１０は、ヒストグラムが均等化された高域成分データの各画素値をビットシフトすることで、下位ビットを破棄してビット数を削減するビットシフト処理を実施する。これにより、高域成分データのデータサイズが削減された圧縮高域成分データが生成される。なお、ビットシフトでは、切り捨てたビットの丸め処理が実施されてもよい。

【0099】

そして、画像処理装置１０は、圧縮高域成分データをメモリに格納する。その後、画像処理装置１０は、圧縮高域成分データをメモリから読み出し、ルックアップテーブルＬＵＴを用いた逆変換により、元の高域成分データを復元する復元処理を実施する。なお、ビットシフト処理によるデータ圧縮は、非可逆圧縮である。この後、復元された高域成分データは、画像処理が完了した低域成分データと合成され、合成画像データ（ＹＵＶ画像データ）が生成される。

【0100】

ヒストグラムを均等化することで、ビットシフトによりビット数が削減された場合にも、発生頻度の高い有益な情報を維持することができる。これにより、ビット数の削減による画質の劣化を最小限に抑えることができる。また、ビット数の削減により、高域成分データを格納するメモリの容量を抑制することができ、メモリの消費電力を抑制することができる。

【0101】

なお、図１５（Ａ）に示す高域成分データの圧縮処理、メモリへの格納処理、メモリからの読み出し処理および復元処理は、図１４のステップＳ３６０の前からステップＳ３９０の後の間の任意のタイミングで実施することができる。また、図１５（Ａ）に示す処理は、第１の実施形態に適用されてもよい。

【0102】

これに対して、高域成分データのヒストグラムの均等化とビットシフトを実施しない場合、図１５（Ｂ）に示すように、高域成分データは、圧縮されることなくメモリに格納される。メモリに格納された高域成分データは、低域成分データの画像処理の完了タイミングに合わせてメモリから読み出され、低域成分データとの合成処理が実施される。この場合、高域成分データが格納されるメモリの容量は、図１５（Ａ）に比べて大きくなり、メモリの消費電力も大きくなる。

【0103】

以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。例えば、撮像装置１９から拡張ベイヤー画像データを受信する場合にも、拡張ベイヤー画像データから低域成分データを分離することで、解像度が縮小されたベイヤー画像データを使用して画像処理を実施することができる。これにより、拡張ベイヤー画像データをそのまま画像処理する場合に比べて、画像処理に掛かる負荷を軽減することができ、画像処理を低電力かつ高速に実施することができる。

【0104】

さらに、この実施形態では、拡張ベイヤー画像データからベイヤー配列の低域成分データを分離するため、既存のＩＳＰを利用して画像処理を実施することができる。換言すれば、低域成分データを分離した後に、ベイヤー配列の画像データへの変換処理を省略して、ベイヤー配列の画像データの画像処理を直接実施することができる。

【0105】

拡張ベイヤー画像データから分離された高域成分データのデータサイズを、ヒストグラムの均等化とビットシフトとにより削減することにより、高域成分データを保持するメモリの容量を抑えることができ、メモリの消費電力を抑えることができる。

【0106】

（第３の実施形態）
図１６は、第３の実施形態における画像処理装置が実施する画像処理の一例を示す。すなわち、図１６は、画像処理装置による画像処理方法の一例を示す。上述した実施形態と同様の処理については詳細な説明は省略する。図１６に示すフローを実施する画像処理装置１０は、図１から図３に示す画像処理装置１０と同様であり、情報処理装置１１および表示装置１２とともに画像処理システム１００に搭載される。また、図１６に示すフローを実施する画像処理装置１０は、図４と同様の機能構成を有する。

【0107】

上述した第１の実施形態および第２の実施形態では、輝度成分Ｙについては、高解像度が維持されるが、色差成分ＵＶ（またはＲＧＢ成分）については解像度が低下している。そこで、この実施形態では、輝度成分を用いて、色差成分ＵＶをアップサンプリングするアップサンプリング処理を実施することで、高解像度の色差成分ＵＶを生成することができる。例えば、輝度成分をガイド画像として、色差成分ＵＶにガイデッドフィルタを適用することで、輝度成分のテクスチャに応じて色成分を高解像度化することができる。

【0108】

例えば、ガイデットフィルタ処理は、図６および図９のステップＳ４１０の高周波加算処理または図１４のステップＳ４２０の逆ＤＣＴ変換処理により生成されるＹＵＶ画像データに適用される。なお、ガイデットフィルタ処理は、図１５（Ａ）の合成処理により生成されるＹＵＶ画像データに適用されてもよい。

【0109】

以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。さらに、この実施形態では、合成処理により合成された合成画像データ（ＹＵＶ画像データ）において、色差成分ＵＶをガイデッドフィルタによるアップサンプリングすることで、高解像度の色差成分ＵＶに生成することができる。

【0110】

以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。

【0111】

例えば、上述した実施形態の処理は、低電力モード時のみ実施され、通常モード時は、例えば、８Ｋサイズのフル画像データを使用して実施されてもよい。この場合、図６のステップＳ３００の画像処理では、通常モード中、ベイヤー処理、デモザイク処理、ＲＧＢ処理およびＹＵＶ処理がフル画像で実施される。通常モード中、ステップＳ３３０、Ｓ３５０、Ｓ３６０の処理はバイパスされる。通常モード中、ステップＳ４００の合成処理はバイパスされる。

【0112】

図７のステップＳ２００の分離処理では、通常モード中、ステップＳ２１１の黒レベルの補正(ＯＢ)、欠陥画素の補正(ＤＰＣ）およびホワイトバランス補正(ＷＢ)のみがフル画像で実施される。通常モード中、ステップＳ２１２、Ｓ２１３、Ｓ２２０、Ｓ２３０の処理はバイパスされる。

【0113】

図９のステップＳ３００の画像処理では、通常モード中、ベイヤー処理、ＲＧＢ処理およびＹＵＶ処理がフル画像で実施され、ステップＳ３２２の代わりにデモザイク処理がフル画像で実施される。通常モード中、ステップＳ３５０、Ｓ３６０の処理はバイパスされる。通常モード中、ステップＳ４００の合成処理はバイパスされる。

【0114】

図１０のステップＳ２００の分離処理では、通常モード中、ステップＳ２１１の黒レベルの補正(ＯＢ)、欠陥画素の補正(ＤＰＣ）およびホワイトバランス補正(ＷＢ)のみがフル画像で実施される。通常モード中、ステップＳ２１２、Ｓ２１３、Ｓ２３０、Ｓ２４０の処理はバイパスされる。

【0115】

図１３のステップＳ２００Ａの分離処理では、通常モード中、ステップＳ２１１の黒レベルの補正(ＯＢ)、欠陥画素の補正(ＤＰＣ）およびホワイトバランス補正(ＷＢ)のみがフル画像で実施される。ステップＳ２１４、Ｓ２１５、Ｓ２１６の処理はバイパスされる。図１４のステップＳ３００Ａの画像処理では、通常モード中、ベイヤー処理、デモザイク処理、ＲＧＢ処理およびＹＵＶ処理がフル画像で実施される。通常モード中、ステップＳ３６０、Ｓ３８０、Ｓ３９０の処理はバイパスされ、ステップＳ４００の合成処理はバイパスされる。

【0116】

例えば、通常モードと低電力モードとの切り替え例として、以下の（１）、（２）、（３）のケースがある。（１）－（３）は、単独で機能されてもよく、複数を組み合わせて機能されてもよい。
（１）録画時のモードを通常モードに設定するか低電力モードに設定するかがユーザにより選択される。
（２）画像処理装置１０が搭載される機器の温度が所定温度以上になったとき、通常モードから低電力モードに切り替えられる。
（３）画像処理装置１０が搭載される機器がバッテリーで動作する場合、バッテリー残量が所定量以下になったとき、通常モードから低電力モードに切り替えられる。

【符号の説明】

【0117】

１０ 画像処理装置
１０ａ 取得部
１０ｂ 分離処理部
１０ｃ 画像処理部
１０ｄ 合成処理部
１１ 情報処理装置
１２ 表示装置
１３ ＥＣＵ
１４ 無線通信装置
１５ センサ
１６ 駆動装置
１７ ランプ装置
１８ ナビゲーション装置
１９（１９Ａ、１９Ｂ、１９Ｃ、１９Ｄ、１９Ｅ） 撮像装置
２０ ＣＰＵ
２１ インタフェース装置
２２ ドライブ装置
２３ 補助記憶装置
２４ メモリ装置
３０ 記録媒体
１００ 画像処理システム
２００ 移動体
ＢＵＳ バス
ＩＭＧＳ イメージセンサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】