6129119 画像処理装置、画像処理システム、撮像装置、および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6129119

(24)【登録日】2017年4月21日

(45)【発行日】2017年5月17日

(54)【発明の名称】画像処理装置、画像処理システム、撮像装置、および画像処理方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20170508BHJP

   H04N 9/07 20060101ALI20170508BHJP

   H04N 9/64 20060101ALI20170508BHJP

【ＦＩ】

   H04N5/232 Z

   H04N9/07 A

   H04N9/64 R

【請求項の数】13

【全頁数】19

(21)【出願番号】特願2014-115870(P2014-115870)

(22)【出願日】2014年6月4日

(65)【公開番号】特開2015-231103(P2015-231103A)

(43)【公開日】2015年12月21日

【審査請求日】2016年6月24日

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(74)【代理人】

【識別番号】100134256

【弁理士】

【氏名又は名称】青木 武司

(72)【発明者】

【氏名】大場 章男

(72)【発明者】

【氏名】小笠原 英彦

(72)【発明者】

【氏名】勢川 博之

(72)【発明者】

【氏名】稲田 徹悟

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 特開２０１１−０９７５２１（ＪＰ，Ａ）

【文献】 特開２００８−１５３８３６（ＪＰ，Ａ）

【文献】 特開２００８−１７７７２４（ＪＰ，Ａ）

【文献】 国際公開第２００８／０７５７４５（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ９／０７

Ｈ０４Ｎ ９／６４

(57)【特許請求の範囲】

【請求項1】

撮像装置が撮影した画像を用いて表示画像を生成し表示装置に表示させる画像処理装置であって、
前記撮像装置から、撮像素子から出力される未加工画像のデータ、当該未加工画像に対しデモザイク処理および補正処理を施してなるカラー化画像のデータ、および、前記未加工画像から前記カラー化画像を生成する過程で取得した、当該カラー化画像のデータと異なる中間データ、のそれぞれ少なくとも一部のデータを受信する受信部と、
前記未加工画像のデータにデモザイク処理および補正処理を施してカラー化画像を生成するデモザイク部と、
前記デモザイク部が生成したカラー化画像と、前記撮像装置から送信されたカラー化画像とを用いて表示画像を生成する表示画像生成部と、を備え、
前記デモザイク部は、前記デモザイク処理および補正処理の少なくともいずれかの過程で、前記撮像装置から送信された前記中間データを利用することを特徴とする画像処理装置。

【請求項2】

前記デモザイク部は、前記撮像装置におけるデモザイク処理および補正処理に含まれる処理のいずれかと同内容の処理を行う際、前記撮像装置における当該処理の過程で取得した前記中間データを、自身の処理に利用することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記デモザイク部は、前記撮像装置から送信された前記カラー化画像を用いて中間データを新たに取得し、前記デモザイク処理および補正処理の少なくともいずれかの過程で、新たに取得した中間データをも利用することを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記未加工画像のうち、前記撮像装置へデータ送信を要求する領域を決定する受信データ決定部をさらに備え、
前記デモザイク部は、前記撮像装置がカラー化画像を生成する過程で取得した前記中間データを用いて、当該カラー化画像が生成された領域より小さい領域のカラー化画像を生成することを特徴とする請求項１から３のいずれかに記載の画像処理装置。

【請求項5】

前記デモザイク部は、前記撮像装置で生成された前記カラー化画像から生成されたエッジ画像を前記デモザイク処理に利用することにより、画素間の相関を考慮してカラー情報を補完することを特徴とする請求項１から４のいずれかに記載の画像処理装置。

【請求項6】

撮像装置と、前記撮像装置が撮影した画像を用いて表示画像を生成し表示装置に表示させる画像処理装置と、を含む画像処理システムであって、
前記撮像装置は、
撮像素子から出力される未加工画像のデータを取得しデモザイク処理および補正処理を施してカラー化画像を生成する第１デモザイク部と、
前記未加工画像、前記カラー化画像、および、前記未加工画像から前記カラー化画像を生成する過程で前記第１デモザイク部が取得した、当該カラー化画像のデータと異なる中間データ、のそれぞれ少なくとも一部のデータを、前記画像処理装置に送信する送信部と、を備え、
前記画像処理装置は、
前記撮像装置から送信されたデータを受信する受信部と、
送信された前記未加工画像のデータにデモザイク処理および補正処理を施してカラー化画像を生成する第２デモザイク部と、
前記第２デモザイク部が生成したカラー化画像と、前記撮像装置から送信されたカラー化画像とを用いて表示画像を生成する表示画像生成部と、を備え、
前記第２デモザイク部は、前記デモザイク処理および補正処理の少なくともいずれかの過程で、前記撮像装置から送信された前記中間データを利用することを特徴とする画像処理システム。

【請求項7】

前記撮像装置の前記送信部は、前記中間データとして、画像を補正するために取得した、画素値に乗算するゲイン値、フィルタ係数、所定のパラメータの調整量、の少なくともいずれかを前記画像処理装置に送信し、
前記画像処理装置の前記第２デモザイク部は、送信されたデータをそのまま用いることにより前記補正処理を行うことを特徴とする請求項６に記載の画像処理システム。

【請求項8】

前記撮像装置の前記送信部は、前記中間データとして、前記第１デモザイク部が生成したカラー化画像のカラーヒストグラムを前記画像処理装置に送信し、
前記画像処理装置の前記第２デモザイク部は、送信されたカラーヒストグラムを参照画像のカラーヒストグラムと比較することにより、補正処理に必要なパラメータを導出することを特徴とする請求項６または７に記載の画像処理システム。

【請求項9】

撮影した画像を用いて表示画像を生成し表示装置に表示させる画像処理装置に撮影画像に係るデータを供給する撮像装置であって、
撮像素子から出力される未加工画像のデータを取得しデモザイク処理および補正処理を施してカラー化画像を生成するデモザイク部と、
前記画像処理装置においてデモザイク処理および補正処理を施す対象とされた前記未加工画像のデータの少なくとも一部と、前記表示画像の生成に用いられる前記カラー化画像のデータの少なくとも一部と、前記未加工画像から前記カラー化画像を生成する過程で前記デモザイク部が取得し前記画像処理装置におけるデモザイク処理および補正処理の少なくともいずれかの過程で利用される、前記カラー化画像のデータと異なる中間データの少なくとも一部、のデータを、前記画像処理装置に送信する送信部と、
を備えたことを特徴とする撮像装置。

【請求項10】

前記送信部は前記中間データとして、前記デモザイク部が補正処理の過程で取得した、画素値に乗算するゲイン値、フィルタ係数、所定のパラメータの調整量、および、前記デモザイク部が生成したカラー化画像のカラーヒストグラム、の少なくともいずれかを、前記画像処理装置に送信することを特徴とする請求項９に記載の撮像装置。

【請求項11】

撮像装置が撮影した画像を用いて表示画像を生成し表示装置に表示させる画像処理装置による画像処理方法であって、
前記撮像装置から、撮像素子から出力される未加工画像のデータ、当該未加工画像に対しデモザイク処理および補正処理を施してなるカラー化画像のデータ、および、前記未加工画像から前記カラー化画像を生成する過程で取得した、当該カラー化画像のデータと異なる中間データ、のそれぞれ少なくとも一部のデータを受信するステップと、
前記未加工画像のデータにデモザイク処理および補正処理を施してカラー化画像を生成するステップと、
前記生成するステップで生成したカラー化画像と、前記受信するステップで受信したカラー化画像とを用いて表示画像を生成し表示装置に出力するステップと、を含み、
前記生成するステップは、前記デモザイク処理および補正処理の少なくともいずれかの過程で、前記受信するステップで受信した前記中間データを利用することを特徴とする画像処理方法。

【請求項12】

撮像装置が撮影した画像を用いて表示画像を生成し表示装置に表示させるコンピュータに、
前記撮像装置から、撮像素子から出力される未加工画像のデータ、当該未加工画像に対しデモザイク処理および補正処理を施してなるカラー化画像のデータ、および、前記未加工画像から前記カラー化画像を生成する過程で取得した、当該カラー化画像のデータと異なる中間データ、のそれぞれ少なくとも一部のデータを受信する機能と、
前記未加工画像のデータにデモザイク処理および補正処理を施してカラー化画像を生成する機能と、
前記生成する機能が生成したカラー化画像と、前記受信する機能が受信したカラー化画像とを用いて表示画像を生成し表示装置に出力する機能と、を実現させ、
前記生成する機能は、前記デモザイク処理および補正処理の少なくともいずれかの過程で、前記受信する機能が受信した前記中間データを利用することを特徴とするコンピュータプログラム。

【請求項13】

撮像装置が撮影した画像を用いて表示画像を生成し表示装置に表示させるコンピュータに、
前記撮像装置から、撮像素子から出力される未加工画像のデータ、当該未加工画像に対しデモザイク処理および補正処理を施してなるカラー化画像のデータ、および、前記未加工画像から前記カラー化画像を生成する過程で取得した、当該カラー化画像のデータと異なる中間データ、のそれぞれ少なくとも一部のデータを受信する機能と、
前記未加工画像のデータにデモザイク処理および補正処理を施してカラー化画像を生成する機能と、
前記生成する機能が生成したカラー化画像と、前記受信する機能が受信したカラー化画像とを用いて表示画像を生成し表示装置に出力する機能と、を実現させ、
前記生成する機能は、前記デモザイク処理および補正処理の少なくともいずれかの過程で、前記受信する機能が受信した前記中間データを利用するコンピュータプログラムを記録したことを特徴とする、コンピュータにて読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラによる撮影画像を用いた画像処理を行う画像処理装置、画像処理システム、撮像装置、およびその画像処理方法に関する。

【背景技術】

【0002】

近年、パーソナルコンピュータやゲーム機などにカメラを搭載し、ユーザの姿を撮像して様々な形で利用することが一般的に行われるようになってきた。例えばテレビ電話、ビデオチャットなど、ユーザの画像を、ネットワークを介してそのまま相手に伝送するものや、画像解析によってユーザの動きを認識してゲームや情報処理の入力情報とするものなどが実用化されている（例えば特許文献１参照）。

【0003】

それらの技術では一般に、撮像素子から直接得られるいわゆるＲＡＷ画像に対し、カメラ内部において画素ごとに色情報を補完するデモザイク（de-mosaic）処理がなされる。そのようにして生成されたフルカラー画像のデータは、JPEGなどの圧縮形式によって適宜圧縮符号化され、情報処理装置などに転送される。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】ＷＯ ２００７／０５０８８５ Ａ２公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記のような一般的な技術では、撮影時に得られた本来の情報がカメラ内部での処理によって一部、失われ、それを受信した情報処理装置での処理が限定的になったり求められる処理精度が得られなかったりすることが考えられる。一方でカメラから転送する画像データを高品質化すると、システム全体としての処理の負荷が増大したり転送処理が滞ったりして情報処理に遅延が生じ、撮影から結果出力までの応答性が悪化する、というジレンマがある。

【0006】

本発明はこのような課題に鑑みてなされたものであり、その目的は、撮影画像を利用した画像処理の応答性と精度を両立することのできる技術を提供することにある。

【課題を解決するための手段】

【0007】

本発明のある態様は画像処理装置に関する。この画像処理装置は、撮像装置が撮影した画像を用いて表示画像を生成し表示装置に表示させる画像処理装置であって、撮像装置から、撮像素子から出力される未加工画像のデータ、当該未加工画像に対しデモザイク処理および補正処理を施してなるカラー化画像のデータ、および当該カラー化画像を生成する過程で取得した処理情報、のそれぞれ少なくとも一部のデータを受信する受信部と、未加工画像のデータにデモザイク処理および補正処理を施してカラー化画像を生成するデモザイク部と、デモザイク部が生成したカラー化画像と、撮像装置から送信されたカラー化画像とを用いて表示画像を生成する表示画像生成部と、を備え、デモザイク部は、デモザイク処理および補正処理の少なくともいずれかの過程で、撮像装置から送信された処理情報を利用することを特徴とする。

【0008】

本発明の別の態様は画像処理システムに関する。この画像処理システムは、撮像装置と、撮像装置が撮影した画像を用いて表示画像を生成し表示装置に表示させる画像処理装置と、を含む画像処理システムであって、撮像装置は、撮像素子から出力される未加工画像のデータを取得しデモザイク処理および補正処理を施してカラー化画像を生成する第１デモザイク部と、未加工画像、カラー化画像、当該カラー化画像を生成する過程で第１デモザイク部が取得した処理情報、のそれぞれ少なくとも一部のデータを、画像処理装置に送信する送信部と、を備え、画像処理装置は、撮像装置から送信されたデータを受信する受信部と、送信された未加工画像のデータにデモザイク処理および補正処理を施してカラー化画像を生成する第２デモザイク部と、第２デモザイク部が生成したカラー化画像と、撮像装置から送信されたカラー化画像とを用いて表示画像を生成する表示画像生成部と、を備え、第２デモザイク部は、デモザイク処理および補正処理の少なくともいずれかの過程で、撮像装置から送信された前記処理情報を利用することを特徴とする。

【0009】

本発明のさらに別の態様は撮像装置に関する。この撮像装置は、撮影した画像を用いて表示画像を生成し表示装置に表示させる画像処理装置に撮影画像に係るデータを供給する撮像装置であって、撮像素子から出力される未加工画像のデータを取得しデモザイク処理および補正処理を施してカラー化画像を生成するデモザイク部と、画像処理装置においてデモザイク処理および補正処理を施す対象とされた未加工画像のデータの少なくとも一部と、前記表示画像の生成に用いられるカラー化画像のデータの少なくとも一部と、当該カラー化画像を生成する過程でデモザイク部が取得し画像処理装置におけるデモザイク処理および補正処理の少なくともいずれかの過程で利用される処理情報の少なくとも一部、のデータを、画像処理装置に送信する送信部と、を備えたことを特徴とする。

【0010】

本発明のさらに別の態様は画像処理方法に関する。この画像処理方法は、撮像装置が撮影した画像を用いて表示画像を生成し表示装置に表示させる画像処理装置による画像処理方法であって、撮像装置から、撮像素子から出力される未加工画像のデータ、当該未加工画像に対しデモザイク処理および補正処理を施してなるカラー化画像のデータ、および当該カラー化画像を生成する過程で取得した処理情報、のそれぞれ少なくとも一部のデータを受信するステップと、未加工画像のデータにデモザイク処理および補正処理を施してカラー化画像を生成するステップと、生成するステップで生成したカラー化画像と、受信するステップで受信したカラー化画像とを用いて表示画像を生成し表示装置に出力するステップと、を含み、生成するステップは、デモザイク処理および補正処理の少なくともいずれかの過程で、受信するステップで受信した処理情報を利用することを特徴とする。

【0011】

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0012】

本発明によると、撮影画像を利用した画像処理において精度と応答性を両立することができる。

【図面の簡単な説明】

【0013】

【図1】本実施の形態を適用できる画像処理システムの構成例を示す図である。

【図2】本実施の形態における撮像装置のうち一方のカメラの構成を詳細に示す図である。

【図3】本実施の形態における画像送出部の構成を示す図である。

【図4】本実施の形態におけるホスト端末のうち画像処理に関与する機能ブロックの構成を示す図である。

【図5】本実施の形態における画像データの変遷と情報の流れを模式的に示す図である。

【発明を実施するための形態】

【0014】

図１は本実施の形態を適用できる画像処理システムの構成例を示す。画像処理システム１０は、ユーザ１などの対象物を撮影する２つのカメラ１３ａ、１３ｂを搭載した撮像装置１２、撮影した画像に基づき、ユーザの要求に応じた画像処理、情報処理を行うホスト端末２０、ホスト端末２０が処理した結果得られた画像データを出力する表示装置１６を含む。またホスト端末２０はインターネットなどのネットワーク１８と接続可能とし、得られた画像データを他の端末やサーバに送信するようにしてもよい。

【0015】

ホスト端末２０と、撮像装置１２、表示装置１６、ネットワーク１８とは、有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。撮像装置１２、ホスト端末２０、表示装置１６のうちいずれか２つ、または全てが組み合わされて一体的に装備されていてもよい。また、撮像装置１２は必ずしも表示装置１６の上に設置されていなくてもよい。さらにユーザ１は人でなくてもよく、その数も限定されない。

【0016】

撮像装置１２は、それぞれがＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子の２次元配列を有する２つのカメラ１３ａ、１３ｂを既知の間隔で左右に配置した構成を有する。２つのカメラ１３ａ、１３ｂはそれぞれ、同一空間に存在する対象物を左右の位置から所定のフレームレートで撮影する。以後、このように撮影された画像フレームの対を「ステレオ画像」とも呼ぶ。

【0017】

カメラ１３ａ、１３ｂはそれぞれ、ベイヤ配列等の色の配列で、１画素が１色を表すＲＡＷ画像のデータを画像フレームとして取得する。カメラ１３ａ、１３ｂは当該ＲＡＷ画像に対し、各画素のカラー情報を補完してフルカラーの画像（以後、「カラー化画像」と呼ぶ）を生成するデモザイク処理を施す。カメラ１３ａ、１３ｂはさらに、当該カラー化画像を多段階に縮小し、異なる解像度の複数の画像データを生成する。なおカメラ１３ａ、１３ｂはそれらの工程のいずれかの段階で、ノイズ除去、ゲイン補正、ガンマ補正、輪郭補償、色信号補正などの画像処理を適宜行ってよい。

【0018】

ホスト端末２０は、撮像装置１２から画像データの少なくとも一部を取得し、それを用いて所定の画像処理、情報処理を実施する。ホスト端末２０が行う処理は限定されないが、本実施の形態では特に、撮像装置１２から取得したＲＡＷ画像に対するデモザイク処理を含むものとする。つまりホスト端末２０は、撮像装置１２が行うデモザイク処理とは別に、自身でもデモザイク処理を実施する。ここで、（１）ホスト端末２０は撮像装置１２より狭い範囲の画像をデモザイク処理する、（２）ホスト端末２０は撮像装置１２より高品質のカラー化画像を生成する、という方針のいずれかまたは双方に従いデモザイク処理を並列化することにより、画像処理や転送処理の負荷の増大を抑えつつ、自由度の高い画像生成や情報処理を精度よく行える。

【0019】

具体的には、撮像装置１２から取得したカラー化画像に対する画像解析結果に基づき、人の顔など限定的な領域のＲＡＷ画像データのみを撮像装置１２に要求することにより、転送データのサイズを抑えることができる。またホスト端末２０でＲＡＷ画像を直接、扱えるようにすることで、撮像装置１２におけるデモザイク処理や補正処理を簡易なものとしたり、解像度の低いカラー化画像のみを転送したり、ＪＰＥＧなどの不可逆圧縮処理を施したりしても、ホスト端末２０において情報を補償できる。

【0020】

このような構成により、例えば、表示画像の一部をホスト端末２０がＲＡＷ画像から生成した高品質の画像とし、その周辺領域を撮像装置１２から転送されたカラー化画像として簡略化した合成画像を表示できる。また、撮像装置１２から転送されたカラー化画像を用いて動きのある領域を検出し、当該領域のＲＡＷ画像からホスト端末２０が生成した高品質のカラー化画像に対しより詳細に画像解析を行うことで、ジェスチャや表情などを精度よく認識し、それに基づきゲームを進捗させたりコマンドに変換して情報処理を行ったりすることも考えられる。

【0021】

このように撮像装置１２とホスト端末２０でデモザイク処理を並列して行う構成において、本実施の形態では、撮像装置１２で行ったデモザイク処理やその補正処理の過程で取得した中間データや必要な処理パラメータもホスト端末２０に送信する。これにより、ホスト端末２０におけるデモザイク処理や補正処理の一部の過程を省略できるため、システム全体として処理の負荷を軽減させることができる。またホスト端末２０におけるデモザイク処理、補正処理の対象がごく一部の領域であったとしても、全体領域から得た中間データやパラメータを用いることにより、領域のサイズや位置によらず処理の精度を保つことができる。具体例は後に述べる。

【0022】

上述のようにホスト端末２０が最終的に行う情報処理や生成する出力データは特に限定されないため、以後、デモザイク処理の並列化および各種データの送受信に主眼を置いて説明する。なおホスト端末２０が行う処理によっては、撮像装置１２は１つのカメラのみで構成してもよい。以後、撮像装置１２をステレオカメラとして説明するが、１つのカメラで構成した場合も、本実施の形態を同様に適用できる。

【0023】

表示装置１６は、ホスト端末２０が行った処理の結果を、必要に応じて画像として表示する。表示装置１６は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよく、例えば液晶テレビ、プラズマテレビ、ＰＣディスプレイ等である。上述のとおりホスト端末２０が最終的に実行する処理内容や表示すべき画像はその使用目的によって特に限定されるものではない。

【0024】

図２は撮像装置１２のうち一方のカメラ１３ａの構成を詳細に示している。他方のカメラ１３ｂも同じ構成を有する。これらは、ハードウェア的には、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、描画回路などの構成で実現でき、ソフトウェア的にはデータ入力機能、データ保持機能、画像処理機能、描画機能などの諸機能を発揮するプログラムで実現されるが、図２ではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによって様々な形で実現できる。なお、図２中には、説明を容易にするために、各機能ブロックで処理される画像部分の模式図も含まれている。

【0025】

カメラ１３ａは、画像取得部１０２、デモザイク部１０４、画像送出部１５０、ピラミッドフィルタ部１７０および通信部１０８を備える。画像取得部１０２は、ＣＣＤまたはＣＭＯＳ等の撮像素子で露光された画像を所定のタイミング（例えば、６０回／秒）で読み出す。以下の説明では、この画像は横方向に画素ｈ個分の幅を有するものとする。この画像はいわゆるＲＡＷ画像である。画像取得部１０２は、ＲＡＷ画像の横一列分の露光が完了する毎に、これをデモザイク部１０４および画像送出部１５０に送る。

【0026】

デモザイク部１０４は、画素ｈ個分の容量を有するＦＩＦＯ（First In First Out）バッファ１０５と簡易デモザイク処理部１０６とを有する。ＦＩＦＯバッファ１０５には、ＲＡＷ画像の横一列分の画素情報が入力され、次の横一列分の画素がデモザイク部１０４に入力されるまでそれを保持する。簡易デモザイク処理部１０６は、横二列分の画素を受け取ると、それらを用いて、各画素に対してその周辺画素に基づき色情報を補完してカラー化画像を作り出すデモザイク処理を実行する。

【0027】

当業者には周知のように、このデモザイク処理には多数の手法が存在する。同図はそのうち、横二列分の画素のみを利用する簡易なデモザイク処理を想定している。この場合、対応するカラー情報を算出すべき画素がＧ値のみを有している場合は、Ｒ値は左右に隣接するＲ値を平均、Ｇ値は当該Ｇ値をそのまま使用、Ｂ値は上または下に位置するＢ値を使用してＲＧＢ値とする。そしてこれを所定の変換式に代入してＹＣｂＣｒ値を算出する。

【0028】

簡易なデモザイク処理の変形例として、ＲＧＢの４画素から一画素のＹＣｂＣｒ値を構成する手法を用いてもよい。この場合は、ＲＡＷ画像の１／４サイズのカラー化画像が得られるので、後述する第１フィルタ１１０は不要になる。簡易デモザイク処理部１０６は、例えば図示のように、横２×縦２のＲＧＢの４画素をＹＣｂＣｒカラー信号に変換する。そして、この４画素からなるブロックは、画像送出部１５０に１／１カラー化画像として渡されるとともに、ピラミッドフィルタ部１７０に送られる。

【0029】

なお撮像装置１２で行うデモザイク処理を簡易なものとしてよい理由は、上述のように、ホスト端末２０におけるＲＡＷ画像のデモザイク処理等によって必要な情報を補償できるためである。一方、撮像装置１２におけるデモザイク処理をそのように限定する趣旨ではなく、また、用いる手法に応じてＦＩＦＯバッファ１０５等の構成を適宜変化させてよい。またＲＡＷ画像やデモザイク後の画像の色空間についても、既存の技術で用いられているものから適宜選択してよい。

【0030】

ピラミッドフィルタ部１７０は、ある画像を複数の解像度に階層化して出力する機能を有する。ピラミッドフィルタは、一般に必要とする解像度のレベルに応じた数の１／４縮小フィルタを備えるが、本実施形態では第１フィルタ１１０〜第４フィルタ１４０の４階層のフィルタを有している。各フィルタは、相互に隣接する４個の画素をバイリニア補間して４画素の平均画素値を演算する処理を実行する。したがって、処理後の画像サイズは処理前の画像の１／４になる。

【0031】

第１フィルタ１１０の前段には、Ｙ、Ｃｂ、Ｃｒのそれぞれの信号に対応して、画素ｈ個分のＦＩＦＯバッファ１１２が一つずつ配置される。これらのＦＩＦＯバッファ１１２は、横一列分のＹＣｂＣｒ画素を、次の横一列分の画素が簡易デモザイク処理部１０６から出力されるまで保持する役割を有する。画素の保持時間は、撮像素子のラインスキャンの速度に応じて決まる。

【0032】

横二列分の画素が入力されると、第１フィルタ１１０は、横２×縦２の４画素分のＹ、Ｃｂ、Ｃｒの画素値を平均する。この処理を繰り返すことによって、１／１カラー化画像は縦横それぞれ１／２の長さとなり、全体として１／４のサイズに変換される。変換された１／４カラー化後画像は、画像送出部１５０に送られるとともに、次段の第２フィルタ１２０に渡される。

【0033】

第２フィルタ１２０の前段階には、Ｙ、Ｃｂ，Ｃｒのそれぞれの信号に対応して、画素２／ｈ個分のＦＩＦＯバッファ１２２が一つずつ配置される。これらのＦＩＦＯバッファ１１４も、横一列分のＹＣｂＣｒ画素を、次の横一列分の画素が第１フィルタ１１０から出力されるまで保持する役割を有する。

【0034】

横二列分の画素が入力されると、第２フィルタ１２０は、横２×縦２の４画素分のＹ、Ｃｂ、Ｃｒの画素値を平均する。この処理を繰り返すことによって、１／４カラー化画像は縦横それぞれ１／２の長さとなり、全体として１／１６のサイズに変換される。変換された１／１６カラー化画像は、画像送出部１５０に送られるとともに、次段の第３フィルタ１３０に渡される。

【0035】

第３フィルタ１３０および第４フィルタ１４０についても、それぞれの前段にｈ／４個分のＦＩＦＯバッファ１３２またはｈ／８個分のＦＩＦＯバッファ１４２が配置される以外は、上記と同様の処理を繰り返す。そして、画像送出部１５０に、１／６４および１／２５６サイズのカラー化画像を出力する。なお、上記のようなピラミッドフィルタは、欧州特許出願公開第０９９９５１８号明細書などに記載されているように周知であるから、本明細書ではこれ以上の詳細な説明を省略する。

【0036】

このように、ピラミッドフィルタ部１７０の各フィルタからは、１／４ずつ縮小された画像出力が画像送出部１５０に入力される。これから分かるように、ピラミッドフィルタ部１７０内のフィルタを通過するほど、各フィルタの前段に必要となるＦＩＦＯバッファの大きさは小さくて済むようになる。

【0037】

画像送出部１５０は、画像取得部１０２から受け取ったＲＡＷ画像、デモザイク部１０４から受け取った１／１カラー化画像、およびピラミッドフィルタ部１７０から受け取った１／４〜１／２５６カラー化画像のうち、ホスト端末２０から通信部１０８を介して受けた指示に応じて必要な画像を選び出す。そして、これらの画像でパケットを構成して通信部１０８に送る。

【0038】

通信部１０８は、例えばＵＳＢ１．０／２．０等の所定のプロトコルにしたがって、パケットをホスト端末２０に送出する。ホスト端末２０との通信は有線に限らず、例えばＩＥＥＥ８０２．１１ａ／ｂ／ｇなどの無線ＬＡＮ通信、ＩｒＤＡなどの赤外線通信であってもよい。

【0039】

図３は、画像送出部１５０の構成を示している。画像送出部１５０は、送信データ抽出部１５４、補正部１５６、符号化部１５８、パケット化部１６０、パケットバッファ１６２および制御部１６４を有する。制御部１６４は、ホスト端末２０からの指示に基づき、送信データ抽出部１５４に各種画像データのうちいずれをパケットとして送出するかを指示する。本実施形態では上述のとおり、画像取得部１０２から取得したＲＡＷ画像のうち少なくとも一部の領域のデータと、デモザイク部１０４またはピラミッドフィルタ部１７０から取得したカラー化画像のデータの少なくともいずれかと、をホスト端末２０に送信する。

【0040】

送信データ抽出部１５４には、デモザイク部１０４およびピラミッドフィルタ部１７０を経由して１／１〜１／２５６サイズのカラー化画像が入力される。また、画像取得部１０２からＲＡＷ画像が入力される。そして送信データ抽出部１５４は、制御部１６４から指定されたサイズのカラー化画像のデータと、指定された領域のＲＡＷ画像のデータとを抽出する。送信すべきカラー化画像のサイズやＲＡＷ画像の領域は画像の使用目的によって決定され、被写体の移動などによって時間変化してもよい。

【0041】

例えばあるサイズのステレオ画像を送信することで、ホスト端末２０においてステレオマッチングにより被写体の３次元空間での位置を特定する。そして被写体のカメラからの距離に比例するサイズのカラー化画像と、被写体の像の領域のＲＡＷ画像とをさらに送信するようにすれば、転送データサイズを最小限にして、動いている被写体を詳細に表した合成画像を表示装置１６に効率的に表示できる。

【0042】

送信データ抽出部１５４は、抽出したデータのうち、カラー化画像については補正部１５６に、ＲＡＷ画像についてはパケット化部１６０に、それぞれ供給する。上述のとおり画像取得部１０２、デモザイク部１０４、ピラミッドフィルタ部１７０からは画素列ごとにデータが入力されるため、送信データ抽出部１５４は、そのうち送信すべきデータのみを順次、それぞれの供給先へ送る。

【0043】

補正部１５６は、送信すべきカラー化画像に対しノイズ除去、ゲイン補正、シェーディング補正、ホワイトバランス調整、ガンマ補正、輪郭補償、色調補正など、周知の補正処理を施す。実施する補正の種類や、それに用いるアルゴリズムについては様々なものが提案、実用化されており、本実施の形態ではそのいずれをも採用することができる。

【0044】

例えばホワイトバランス調整としては、色差信号Ｃｂ、Ｃｒの画像全体の平均値が設定された基準値となるように、各色に乗じるゲイン値を算出する手法が知られている。あるいは所定の画像解析により被写体空間の光源種を特定し、それに対応して色ごとに設定されているゲイン値を取得する手法でもよい。または撮像装置１２に設けた電子ファインダー（図示せず）に表示したカラー化画像に対し、ユーザがゲイン値を調整するようにしてもよい。

【0045】

輪郭補償処理は、ラプラシアンフィルタなどを用いて輝度変化の大きい箇所を輪郭（エッジ）として抽出し、元の画像と演算することにより強調する処理であり、フィルタ係数によって強調の度合いを調整できる。色調補正処理は、色差信号と色補正マトリクス係数とを演算して色調を補正する。ここでマトリクス係数は、あらかじめ用意した参照画像と撮影画像を、カラーヒストグラムあるいは輝度ヒストグラムによって比較し、その差を軽減するように調整される。これらの係数も、電子ファインダーに表示したカラー化画像に対し、ユーザが調整するようにしてもよい。

【0046】

シェーディング補正は、カメラの特性による周辺光量の減衰を補正するための処理である。そのためには通常、白色基準データを撮影することにより得られた、カメラの中心軸からの距離に対する輝度変化を２次曲線や４次曲線で近似したデータをあらかじめ取得しておく。そして中心軸からの距離に応じて、当該近似曲線に基づく補正ゲイン係数を求め、撮影画像に演算する。なおノイズ除去、ゲイン補正、シェーディング補正、ホワイトバランス調整は、デモザイク部１０４によりデモザイク処理される前のＲＡＷ画像に対し行ってもよい。また上記の補正処理を全て行う必要はない。

【0047】

いずれにしろ補正部１５６は、上記補正処理で使用、算出、調整したパラメータを、補正処理を施したカラー化画像の付加データとして符号化部１５８に供給することにより、それらがホスト端末２０に送信されるようにする。例えばホワイトバランスを調整した場合、各色に乗じたゲイン値を付加データとする。同様に、輪郭補償に用いたラプラシアンフィルタのフィルタ係数、色調補正に用いた色補正マトリクス係数、シェーディング補正に用いた近似曲線や補正ゲイン係数を付加データとしてもよい。

【0048】

そのほか、撮影画像全体または所定領域のカラーヒストグラムや輝度ヒストグラムのデータ、エッジ画像のデータなど、行った補正処理の過程で生成した中間データを付加してもよい。なおヒストグラムを算出する「所定領域」とは、例えば人の顔など対象物の像が写る領域であり、ホスト端末２０における顔検出処理等の結果を受信してもよいし、撮像装置１２内部で顔検出処理等を行ってもよい。そのため撮像装置１２には、対象物の検出処理を行う機能や、ステレオ画像を用いたステレオマッチングによって被写体の３次元空間での位置を特定する機能を別途、設けてもよい。被写体の奥行き方向の位置は、上述のように送信するカラー化画像のサイズ決定にも利用できる。

【0049】

符号化部１５８は、補正部１５６が補正処理を施したカラー化画像をＪＰＥＧ等の周知の方式で圧縮符号化し、付加データとともにパケット化部１６０に供給する。なお、ＬＬＶＣ、ＡＶＣ等の他の周知の符号化方式を使用してもよい。パケット化部１６０は、送信データ抽出部１５４から供給されたＲＡＷ画像のデータ、および符号化部１５８から供給された圧縮符号化後のカラー化画像のデータおよび付加データを、パケット化部１６０に到来した順にパケット化してパケットバッファ１６２に書き込む。通信部１０８は、パケットバッファ１６２内のパケットを、所定の通信プロトコルにしたがってホスト端末２０に転送する。

【0050】

図４はホスト端末２０のうち、本実施の形態の画像処理に関与する機能ブロックの構成を示している。これらの構成も、ハードウェア的には、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＧＰＵ、入出力制御装置などの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードされた、データ入力機能、データ保持機能、画像処理機能、描画機能などの諸機能を発揮するプログラムで実現されるが、図４ではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによって様々な形で実現できる。

【0051】

ホスト端末２０は、通信部２２、処理制御部５２、画像処理部５０および表示制御部５４を含む。処理制御部５２は、オペレーティングシステムを動作させて画像処理部５０の全体的な動作を制御する他、ホスト端末２０に必要な他の制御、例えば、ゲームやチャットなどの各種アプリケーションの実行やドライバの制御、記録媒体からのプログラムの読み出しなどを制御する。通信部２２は、画像処理部５０から指定された画像データの送信要求を撮像装置１２に送信するとともに、要求した画像データを撮像装置１２から受信し画像処理部５０に供給する。

【0052】

画像処理部５０は、振り分け部２４、デモザイク部２８、補正部３０、処理条件決定部３２、復号部３４、出力画像生成部４０、受信データ決定部４２を有する。振り分け部２４には、撮像装置１２から送信された、ＲＡＷ画像のデータ、符号化されたカラー化画像のデータ、および付加データが入力される。振り分け部２４は処理制御部５２からの指示にしたがって、ＲＡＷ画像のデータはデモザイク部２８に送り、カラー化画像のデータおよび付加データは復号部３４に供給する。

【0053】

復号部３４は、振り分け部２４から供給されたデータのうち付加データを分離してなるカラー化画像の符号化データを符号化形式に従い復号する。また分離した付加データを処理条件決定部３２に供給する。場合によっては、復号したカラー化画像のデータをも、処理条件決定部３２に供給してもよい。

【0054】

デモザイク部２８は、ＲＡＷ画像のデモザイク処理を実行する。ここでのデモザイク処理は、ホスト端末２０の計算リソースを活用した高品質のものとする。例えば、１画素のＹＣｂＣｒ画像信号を計算するのに３×３画素以上のＲＧＢ値を使用したり、水平方向および／または垂直方向の画素間の相関の程度を考慮して補間係数を修正するといった既存のまたは将来開発される任意のアルゴリズムを使用可能である。このようなデモザイク処理は、例えば特開平７−２３６１４７号公報に開示されている。

【0055】

補正部３０は、デモザイク部２８がＲＡＷ画像から生成したカラー化画像に対し、周知の補正処理を施す。ここで行う補正処理は、撮像装置１２が内部でデモザイク処理した画像に対し行う補正処理と同じでもよいし、異なっていてもよい。例えばホスト端末２０で補正部３０が行う補正処理を、より高度かつ精密な処理としてもよい。また実施する補正処理の種類を増やしてもよい。

【0056】

処理条件決定部３２は、撮像装置１２からカラー化画像の付加データとして送信された付加データを用いて、デモザイク部２８が行うデモザイク処理や補正部３０が行う補正処理に用いる各種パラメータを決定する。または、復号部３４からカラー化画像を取得し、それを解析することにより各種パラメータを決定してもよい。あるパラメータは撮像装置１２から送信された付加データから決定し、あるパラメータはカラー化画像を画像解析することによって決定してもよい。

【0057】

例えば補正部３０がホワイトバランスを調整するとき、処理条件決定部３２は、付加データとして撮像装置１２から送信されたホワイトバランスのゲイン値をそのまま補正部３０に供給する。また補正部３０が輪郭補償や色調補正をするとき、処理条件決定部３２は、撮像装置１２から送信されたラプラシアンフィルタのフィルタ係数や色補正マトリクス係数をそのまま補正部３０に供給する。補正部３０は、デモザイク部２８から供給されたカラー化画像に対し、それらのパラメータを用いてホワイトバランス調整、輪郭補償、色調補正を行う。このようにすることで、補正部３０は補正処理の過程を一部、省略できる。

【0058】

またデモザイク部２８で生成されたカラー化画像が、撮影画像全体のうちの一部の領域であっても、撮影画像全体のバランスを考慮したうえで決定したパラメータを用いることにより、最適な条件で補正ができる。さらに撮像装置１２から送信された全体画像に、ホスト端末２０において生成したカラー化画像を合成するような場合でも、両者の画像の色調などが統一され、連続性が維持された自然な画像が得られる。

【0059】

付加データとしてヒストグラムやエッジ画像などの中間データを取得する場合も、処理条件決定部３２はそれらを補正部３０にそのまま供給する。補正部３０は、内部で保持する参照画像のヒストグラムと、供給されたヒストグラムとを比較することにより、自ら色補正マトリクス係数などのパラメータを決定する。あるいはエッジ画像をデモザイク部２８から供給されたカラー化画像に演算して輪郭を補償する。

【0060】

あるいは処理条件決定部３２は、撮像装置１２から送信されたカラー化画像を復号部３４から取得することにより、自ら撮影画像全体のヒストグラムやエッジ画像を取得して、補正部３０に供給してもよい。このように撮像装置１２から送信された中間データや内部で生成した中間データを用いて補正する場合も、より広範囲の画像情報に基づくことにより、部分的な領域の補正であっても精度を維持できる。

【0061】

処理条件決定部３２はさらに、デモザイク部２８におけるデモザイク処理に必要なパラメータを決定してもよい。例えば、復号部３４から取得したカラー化画像を用いて対象物検出処理を行い、ＲＡＷ画像のうち検出した対象物の領域に絞ってデモザイク処理するようにデモザイク部２８に要求する。あるいは復号部３４から取得したカラー化ステレオ画像を用いてステレオマッチングを行い、生成した奥行き画像中から対象物の像を検出して対象領域としてもよい。ここで奥行き画像とは、被写体のカメラからの距離を撮影画像平面における画素値として表した画像である。既知の距離にいる対象物の見かけ上のサイズおよび形状を表すテンプレート画像を、奥行き画像における画素値が表す被写体の距離に基づき拡縮させてマッチングすることにより、対象物の像を特定できる。

【0062】

対象物検出処理や奥行き画像の生成処理を撮像装置１２で行い、処理条件決定部３２は送信されたそれらの結果を利用するのみでもよい。処理条件決定部３２はまた、撮像装置１２から付加データとして送信されたり、送信されたカラー化画像を用いて生成したエッジ画像を用いて、デモザイク処理における色の補間の方向を決定したり、補間のための重み付けを表すフィルタを切り替えたりしてもよい。エッジ画像はこのほか、対象物の検出結果と組み合わせて、領域を限定して色調を調整するのに用いてもよい。広範囲のエッジ画像からはノイズ除去や平滑化を精度よく行えるため、そのようにして生成したエッジ画像の一部を利用することにより、デモザイク対象がごく一部の領域であっても高精度に輪郭部分を特定でき、ひいてはデモザイク後の画像もより高品質となる。

【0063】

受信データ決定部４２は、復号部３４で復号されたカラー化画像を受け取る。そして、周知の画像解析手法にしたがって、所定の対象物の像の領域など、撮影画像のうちアプリケーションで特に重要とされる領域を特定する。この領域は、例えばビデオチャットであればユーザの顔の像の領域であり、ＵＩであれば目、口元、手足等の像の領域である。特定した領域の情報は、通信部２２を介して撮像装置１２にフィードバックする。この情報にしたがって、撮像装置１２からは当該領域のＲＡＷ画像のデータが送られる。これにより、ＲＡＷ画像については限られた領域のデータのみをホスト端末２０に送信し、デモザイク処理することが可能となる。

【0064】

また受信データ決定部４２は、処理条件決定部３２が行う各処理や、出力画像生成部４０における出力画像の生成処理に必要なカラー化画像のサイズを決定し、通信部２２を介して撮像装置１２に要求してもよい。例えばカラー化画像を用いて対象物を検出する場合、当該対象物がカメラから近ければ見かけ上のサイズは大きくなるため、縮小率が大きい（サイズが小さい）カラー化画像を送信させる。これにより検出精度を保ちつつ転送や検出処理の負荷も抑えられる。対象物がカメラから離れた位置にあるほど、その像は小さくなるため、検出精度を維持するために縮小率の小さい（サイズの大きい）カラー化画像を要求する。

【0065】

奥行き画像を生成する場合は、同じサイズのステレオ画像を要求する。要求すべきカラー化画像のサイズは、上述の対象物の位置以外に、処理の内容、要求される精度、画像の周波数特性、色の分布などによって変化するため、受信データ決定部４２内部にはあらかじめ、最適なサイズを導出するための規則を設定しておき、前の時刻の画像フレームにおける特性などに基づき要求する階層を決定する。出力画像生成部４０は、表示装置１６に表示すべき画像を生成する。この画像はＲＡＷ画像をデモザイク部２８でデモザイク処理し補正部３０で補正した画像、またはその一部でもよいし、撮像装置１２から送信されたカラー化画像を合成した画像でもよい。あるいはユーザ１の動きやジェスチャを図示しない機能ブロックに認識させ、その結果に応じてそれらの画像に加工を施してもよい。

【0066】

出力画像生成部４０は、生成した出力画像をフレームバッファ（図示せず）に書き込む。表示制御部５４は、フレームバッファに描画された画像データを表示装置１６に表示するためのビデオ信号を生成する。このようにして生成されたビデオ信号が表示装置１６に送信され順次表示されることにより、撮影画像からアプリケーションに応じて生成した高品質の画像を低レイテンシで表示できる。表示画像のデータを適宜圧縮符号化し、ネットワーク１８を介して別の装置へ送信するようにしてもよい。

【0067】

図５は本実施の形態における画像データの変遷と情報の流れを模式的に示している。ただし用いる情報を図示するものに限定する趣旨ではなく、図示するもの全ての情報を用いる趣旨でもない。また同図は、下端に示すように左端が撮像装置１２、右端が表示装置１６、その中間がホスト端末２０という方向性で、画像処理システム１０全体での画像データの変遷と情報の流れを示しており、処理の主体として撮像装置１２とホスト端末２０の区別を明示していない。これは、撮像装置１２およびホスト端末２０の処理能力やデータ転送帯域、最終的に出力する画像などによって、上述のとおりなすべき中間処理や各処理の主体が様々考えられ、両者の境界を適宜選択できることを意図している。

【0068】

まず撮像装置１２の左右のカメラ１３ａ、１３ｂがそれぞれ共通の被写体空間を撮影することにより、左右のＲＡＷ画像２０２ａ、２０２ｂが取得される。これらの画像は上述のようにベイヤ配列を有する。図５ではＲＡＷ画像２０２ａ、２０２ｂ内の各マス目が１画素を示し、各画素が有する情報が赤、緑、青のうちいずれであるかを「Ｒ」、「Ｇ」、「Ｂ」の文字で示している。

【0069】

撮像装置１２の各カメラ１３ａ、１３ｂにおいて、デモザイク部１０４はＲＡＷ画像をデモザイク処理してカラー化画像、同図の場合、Ｙ画像、Ｃｂ画像、Ｃｒ画像を生成する。それをピラミッドフィルタ部１７０が段階的に縮小することで、撮影画像を複数解像度で表したカラー化画像群２０４ａ、２０４ｂが生成される（Ｓ１０、Ｓ１２）。そのように生成したカラー化画像群２０４ａ、２０４ｂのうち送信対象として抽出された画像に対し、補正部１５６により所定の補正処理が施される。ただしＳ１０、Ｓ１２で生成した全ての画像を補正してもよい。

【0070】

補正部１５６は補正処理に際し、必要な画像処理パラメータ２０６を取得したり算出したりする（Ｐ１０）。ここで行う補正処理は、上述のようにノイズ除去、ゲイン補正、シェーディング補正、ホワイトバランス調整、ガンマ補正、輪郭補償、色調補正など周知技術のいずれかまたはその組み合わせでよい。図５において画像処理パラメータ２０６として、「シェーディング補正パラメータ」、「ホワイトバランスゲイン」、「ガンマ値」、「色補正マトリクス」、「ＨＳＶ調整量」、「ヒストグラム」、「フィルタ係数」、「連続性情報」が例示されているが、それらのパラメータを全て撮像装置１２が取得する趣旨ではない。また、奥行き画像から求めた対象物の距離、画像解析から求めた空間周波数特性や局所高輝度領域、絞り値などの撮影条件など、別のパラメータを含めてもよい。

【0071】

特に本実施の形態では、撮影画像のうち詳細な情報を必要とする重要な領域は、ホスト端末２０においてＲＡＷ画像から生成するため、撮像装置１２ではホスト端末２０における補正処理より簡易な処理とすることで処理効率を上げることができる。従って図示する画像処理パラメータ２０６のうち重要なものは、ホスト端末２０自身が高精度に取得、算出することを前提に、撮像装置１２ではその一部を簡易的な手法で取得すればよい。ただし撮像装置１２の処理リソースが潤沢に用意できる環境にあっては、撮像装置１２において画像処理パラメータ２０６を詳細に取得してもよい。

【0072】

また撮像装置１２のデモザイク部１０４において、周囲の画素から重み付け係数を乗算して平均値をとるなどフィルタを用いて画素値を補間する場合は、用いたフィルタ係数を画像処理パラメータ２０６に含めてもよい。撮影画像中の像の連続性、すなわち輪郭線の方向によって用いるフィルタを切り替える場合は、その判断に用いた画素間の相関の程度（相関情報）に係る情報を含めてもよい。フィルタの切り替えにはそのほかにも様々なケースがあるため、採用するアルゴリズムに応じて、用いるフィルタや、切り替えのための判定結果を画像処理パラメータ２０６に適宜、含めてよい。

【0073】

カラー化画像群２０４ａ、２０４ｂのうち補正が施された送信対象の画像データと、その補正に係る画像処理パラメータ２０６は、ホスト端末２０に送信される。このとき、一方のカメラが取得したＲＡＷ画像２０２ａのうち、ホスト端末２０が要求した部分画像２０８のデータも抽出され送信される（Ｓ１４）。ホスト端末２０では、送信されたＲＡＷ画像の部分画像２０８、またはさらにその一部の領域の画像をデモザイク処理してカラー化画像２１２を生成したうえ、それに補正処理を施す（Ｓ１６）。

【0074】

このとき上述のように、撮像装置１２から付加データとして送信された画像処理パラメータ２０６を利用することにより、ホスト端末２０の処理の負荷を軽減するとともに、カラー化画像２１２のような一部の画像からでは精度が得られにくいパラメータについて、全体画像から得た精度の高い値で良好な補正結果が得られるようにする。

【0075】

例えば輝度ヒストグラムを参照画像のヒストグラムと比較し、その距離を最小とするようにＨＳＶ（色相、彩度、明度）調整を行ったりガンマ値を調整したりする場合、部分的なカラー化画像２１２のみでは十分な精度が得られにくい。したがって、撮像装置１２から取得した全体画像のヒストグラムを参照画像の全体のヒストグラムと比較して調整量を取得し、それをカラー化画像２１２に適用することにより、全体画像の一部の領域として良好な調整結果が得られる。なお撮像装置１２で最適なＨＳＶ調整量やガンマ値を導出した場合は、それらをそのまま用いて調整してもよい。

【0076】

ホワイトバランスのゲイン値、色補正マトリクス係数についても同様に、撮像装置１２から全体領域のヒストグラムが送信された場合は、それを参照画像のヒストグラムと比較することにより周知のアルゴリズムでそれらのパラメータを導出し、それをカラー化画像２１２のホワイトバランス調整、色調補正に用いる。撮像装置１２でそれらのパラメータを導出してホスト端末２０に送信した場合は、それらをそのまま用いる。シェーディング補正に用いる近似曲線やゲイン係数は、シェーディング補正パラメータとして撮像装置１２から取得したものを、簡単な計算式で部分的なカラー化画像２１２に当てはめることができる。

【0077】

デモザイク処理では一般に、エッジを跨ぐ画素列を平均化して画素値を補間した場合、エッジを境界とする２領域での色変化が平滑化されてしまい、色ずれやにじみが発生しやすい。そのためエッジ近傍の画素については、エッジを越えた画素の情報を補間式から極力除外するような工夫がなされる。例えば、水平方向／垂直方向で周囲の画素の画素値の相関に偏り（大小）があるか、方向によらず相関が同程度か、という判定を補間すべき画素ごとに所定の判定式により行い、相関の強い方向に像が連続していると想定して補間式に含める画素を決定する、といったことが一般的になされている。

【0078】

さらに、別の色の画素値を加味したり、より広範囲の画素を重み付け平均したりする手法が様々提案されている。一方、部分的なカラー化画像２１２のみでは、ノイズ等によって上記判定に誤差が生じやすく、ひいては上述の色ずれやにじみ等により望んだ画質が得られないことが考えられる。そこで撮像装置１２から送信された、ノイズを除去した全体領域のカラー化画像を用いて上記判定を別途行い、その結果に従って補間式を切り替える。あるいは全体領域のカラー化画像から生成したエッジ画像や輪郭を強調した画像に基づきエッジが存在する箇所を特定しておき、それを部分画像２０８に当てはめることにより補間式を切り替えてもよい。図５ではそのような切り替えの根拠となる情報を総称して「相関情報」とし、画像処理パラメータ２０６に含めている。

【0079】

ホスト端末２０ではさらに、撮像装置１２から送信された同じ解像度のステレオ画像を用いて奥行き画像２１０を生成したり（Ｓ１８）、送信されたカラー化画像に対し顔検出などの対象物検出処理を施したりすることにより、処理対象として抽出すべき領域を特定したり、撮像画像に映っている物を特定したりする（Ｐ１２、Ｐ１４）。抽出すべき領域の情報は、撮像装置１２へ送信を要求するＲＡＷ画像の領域指定に用いるほか（Ｐ１６）、送信されたＲＡＷ画像の部分画像２０８のうちホスト端末２０でデモザイク処理を施す領域をさらに限定するのにも用いることができる。

【0080】

また、人の顔、風景など被写体の種類に係る情報は、ホスト端末２０内部での補正処理に用いることができる（Ｐ１８、Ｐ２０）。例えば部分画像２０８に映っている像が人の顔である、という情報に基づき、当該像の領域のみのヒストグラムを取得し、人の顔の参照画像におけるヒストグラムと比較することにより、色調補正を行うための画像処理パラメータを別途、算出して補正を行う。風景画像であるかポートレートであるか、室内の画像か野外の画像か、日中の画像か夜景か、海の青か空の青か、といった区別により画像を適切に補正する技術は様々提案されているが、そのような分岐の基準は部分画像２０８のみからでは判別しにくいことが考えられる。

【0081】

撮像装置１２から取得した全体領域のカラー化画像から既知の画像解析により得た情報に基づき、部分画像２０８のデモザイク処理や補正処理を行うことにより、部分領域であっても被写体の種類や撮影環境等に応じた適切なカラー化画像を得ることができる。なお上述のように、奥行き画像に基づき特定した対象物のカメラからの距離によって、撮像装置１２へ要求するカラー化画像のサイズを指定するようにしてもよい。

【0082】

ホスト端末２０はそのようにして自らがＲＡＷ画像から生成した高品質のカラー化画像２１２を表示装置１６に表示させる。このとき例えば、撮像装置１２から送信された、縮小したカラー化画像を元のサイズに拡大した画像と合成すれば、撮影画像と同じ視野で、人の顔など注目すべき領域のみが高品質な画像２１４を表示できる（Ｓ１８、Ｓ２０）。あるいは、高品質のカラー化画像２１２のみを表示したり、高品質のカラー化画像２１２を用いて顔認識処理など高画質の画像が要求される画像解析を高精度に行い、その結果に基づき、各種情報処理を行ったりいずれかのカラー化画像に加工を施して表示したりしてもよい。

【0083】

以上述べた本実施の形態によれば、撮像装置においてデモザイク処理が施された画像とＲＡＷ画像のデータをホスト端末に送信する。このときデモザイク処理自体やその補正処理において用いた条件や処理に必要なパラメータを付加データとして共に送信する。そしてホスト端末で、送信されたＲＡＷ画像をデモザイク処理したり補正したりする際、付加データをそのまま利用したり、付加データに基づき必要なパラメータを導出したりする。これにより、ホスト端末でのデモザイク処理、補正処理に必要な処理の工数を最小限に抑えつつ、ＲＡＷ画像という情報損失のない画像を用いた高品質な処理を、実行するアプリケーションなどに応じて自由に行える。

【0084】

また、撮影画像の全体領域から得られたヒストグラムなどのパラメータをホスト端末で利用できることから、撮像装置からホスト端末へ送信するＲＡＷ画像を部分的な領域としても、全体領域の一部として適切にデモザイク処理、補正処理を実施できる。結果として、データの伝送帯域を抑えながら良好かつ要求にかなった画像を表示することができる。撮像装置でステレオ画像を撮影したり、それを複数段階で縮小したりし、それらから得られる情報をさらに利用したり、適切な画像を選択的にホスト端末から要求するようにしたりすることで、ＲＡＷ画像の部分領域から対象物の像を特定したり、部分領域自体を適切に選択したりでき、処理の効率および精度をさらに向上させることができる。

【0085】

このように撮像装置とホスト端末でデモザイク処理を並列に行うことにより、処理が分散し、結果として、高精度、高品質の処理を低レイテンシで行える。また撮像装置とホスト端末において、中間データや処理に必要なパラメータの一部を共有することにより、両者のカラー化画像を合成しても見た目の連続性が保たれやすい。また処理に必要なパラメータが最初に得られることにより、ホスト端末においてＲＡＷ画像のデモザイク処理およびその補正処理を画素列ごとなどで並列に行えるため、画像を展開するための中間バッファが最小限ですむ。このような並列処理を並列度の高いＧＰＵで実行するようにすれば、より処理効率が向上するため、既存のハードウェアとの親和性が高い。

【0086】

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【符号の説明】

【0087】

１０ 画像処理システム、 １２ 撮像装置、 １３ａ カメラ、 １６ 表示装置、 ２０ ホスト端末、 ２２ 通信部、 ２４ 振り分け部、 ２８ デモザイク部、 ３０ 補正部、 ３２ 処理条件決定部、 ３４ 復号部、 ４０ 出力画像生成部、 ５０ 画像処理部、 ５２ 処理制御部、 ５４ 表示制御部、 １０２ 画像取得部、 １０４ デモザイク部、 １０８ 通信部、 １５０ 画像送出部、 １５４ 送信データ抽出部、 １５６ 補正部、 １５８ 符号化部、 １６０ パケット化部、 １６２ パケットバッファ、 １６４ 制御部、 １７０ ピラミッドフィルタ部。

【図1】

【図2】

【図3】

【図4】

【図5】