特許 5924262 画像処理装置および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5924262

(24)【登録日】2016年4月28日

(45)【発行日】2016年5月25日

(54)【発明の名称】画像処理装置および画像処理プログラム

(51)【国際特許分類】

   H04N 9/07 20060101AFI20160516BHJP

   H04N 9/04 20060101ALI20160516BHJP

   H04N 1/407 20060101ALI20160516BHJP

   H04N 5/232 20060101ALI20160516BHJP

   H04N 19/50 20140101ALI20160516BHJP

   G06T 5/00 20060101ALI20160516BHJP

【ＦＩ】

   H04N9/07 C

   H04N9/04 B

   H04N1/40 101E

   H04N5/232 Z

   H04N19/50

   G06T5/00 730

【請求項の数】13

【全頁数】13

(21)【出願番号】特願2012-521282(P2012-521282)

(86)(22)【出願日】2011年6月6日

(86)【国際出願番号】JP2011003181

(87)【国際公開番号】WO2011161883

(87)【国際公開日】20111229

【審査請求日】2014年5月29日

(31)【優先権主張番号】特願2010-144604(P2010-144604)

(32)【優先日】2010年6月25日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100072718

【弁理士】

【氏名又は名称】古谷 史旺

(74)【代理人】

【識別番号】100116001

【弁理士】

【氏名又は名称】森 俊秀

(72)【発明者】

【氏名】土井田 茂

【審査官】 鈴木 肇

(56)【参考文献】

【文献】 特開２００７−１９８８３１（ＪＰ，Ａ）

【文献】 国際公開第２００８／１３２７９１（ＷＯ，Ａ１）

【文献】 特許第４３７２６８６（ＪＰ，Ｂ２）

【文献】 特開２００８−０６７３１５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ９／０４ − ９／１１

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｈ０４Ｎ １／４０ − １／４０９

Ｈ０４Ｎ １／４６

Ｈ０４Ｎ １／６０

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００ −１９／９８

Ｇ０６Ｔ １／００ − １／４０

Ｇ０６Ｔ ３／００ − ５／５０

Ｇ０６Ｔ ９／００ − ９／４０

(57)【特許請求の範囲】

【請求項1】

被写体を撮像して複数のＲＡＷ画像データを生成する撮像部と、
前記複数のＲＡＷ画像データのうちの第１ＲＡＷ画像データの複数の色信号に対して、色信号毎に階調変換を実施する階調変換部と、
階調変換後の前記第１ＲＡＷ画像データに対して、圧縮処理を実施する画像圧縮部とを備え、
前記階調変換部は、前記複数の色信号のうちの第１色信号に対して、前記撮像部の第１行の第１画素の色信号毎および前記第１行の隣りの第２行の第２画素の色信号毎に階調変換を実施し、
前記画像圧縮部は、階調変換後の前記第１画素の色信号毎および階調変換後の前記第２画素の色信号毎に、空間方向および時間方向の相関を利用した圧縮処理を実施する画像処理装置。

【請求項2】

請求項１記載の画像処理装置において、
前記第１画素と前記第２画素とは、配列される行および列が異なる画像処理装置。

【請求項3】

請求項１記載の画像処理装置において、
前記第１ＲＡＷ画像データは、
前記第１画素と、前記第１画素に対して第１方向に配列された第２色信号の第３画素と、前記第１画素に対して前記第１方向と交差する第２方向に配列された第３色信号の第４画素と、前記第４画素に対して前記第１方向に配列された前記第２画素とにより構成される画素群が繰り返し配列されている画像処理装置。

【請求項4】

請求項１記載の画像処理装置において、
前記第１ＲＡＷ画像データを一時的に記憶するバッファ部を備えている画像処理装置。

【請求項5】

請求項１記載の画像処理装置において、
前記階調変換部は、前記第１ＲＡＷ画像データの撮影条件に応じた階調変換を実施し、
前記撮影条件は、撮影時の露出条件、撮影時のホワイトバランスおよび画像の輝度の少なくとも１つを含んでいる画像処理装置。

【請求項6】

請求項１記載の画像処理装置において、
階調変換後の画像の階調のビット数を階調変換前の画像の階調のビット数より少なくするための複数の階調変換テーブルを有し、
前記階調変換部は、階調変換に使用する階調変換テーブルを、前記複数の階調変換テーブルの中から前記第１ＲＡＷ画像データの撮影条件に基づいて選択する画像処理装置。

【請求項7】

請求項１記載の画像処理装置において、
前記階調変換部は、前記第１ＲＡＷ画像データの撮影条件に応じた階調変換を実施し、
前記撮影条件は、撮影時の露出条件、撮影時のホワイトバランスおよび画像の輝度の少なくとも１つの時系列の変化に基づく推移情報を含んでいる画像処理装置。

【請求項8】

請求項１記載の画像処理装置において、
前記画像圧縮部は、撮影情報に基づいて、圧縮処理に関する決定を行う画像処理装置。

【請求項9】

ＲＡＷ画像データを圧縮する画像処理プログラムにおいて、
撮像部により撮像された複数のＲＡＷ画像データのうちの第１ＲＡＷ画像データの複数の色信号に対して、色信号毎に階調変換を実施する工程と、
階調変換後の前記第１ＲＡＷ画像データに対して、圧縮処理を実施する工程とをコンピュータに実行させ、
階調変換の工程では、前記複数の色信号のうちの第１色信号に対して、前記撮像部の第１行の第１画素の色信号毎および前記第１行の隣りの第２行の第２画素の色信号毎に階調変換を実施し、
圧縮処理の工程では、階調変換後の前記第１画素の色信号毎および階調変換後の前記第２画素の色信号毎に、空間方向および時間方向の相関を利用した圧縮処理を実施する画像処理プログラム。

【請求項10】

請求項９記載の画像処理プログラムにおいて、
階調変換の工程では、前記第１ＲＡＷ画像データの撮影条件に応じた階調変換を実施し、
前記撮影条件は、撮影時の露出条件、撮影時のホワイトバランスおよび画像の輝度の少なくとも１つを含んでいる画像処理プログラム。

【請求項11】

請求項９記載の画像処理プログラムにおいて、
階調変換の工程では、階調変換後の画像の階調のビット数を階調変換前の画像の階調のビット数より少なくするための複数の階調変換テーブルの中から、階調変換に使用する階調変換テーブルを前記第１ＲＡＷ画像データの撮影条件に基づいて選択する画像処理プログラム。

【請求項12】

請求項９記載の画像処理プログラムにおいて、
階調変換の工程では、前記第１ＲＡＷ画像データの撮影条件に応じた階調変換を実施し、
前記撮影条件は、撮影時の露出条件、撮影時のホワイトバランスおよび画像の輝度の少なくとも１つの時系列の変化に基づく推移情報を含んでいる画像処理プログラム。

【請求項13】

請求項９記載の画像処理プログラムにおいて、
圧縮処理の工程では、撮影情報に基づいて、圧縮処理に関する決定を行う画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および画像処理プログラムに関する。

【背景技術】

【0002】

一般に、デジタルカメラ等の撮像装置では、撮像素子から出力されるＲＡＷ画像データに色補間処理等の画像処理を実施し、画像処理後のデータを一般的な画像ファイルの形式に圧縮する。例えば、静止画像の撮影では、画像処理後のデータは、ＪＰＥＧ（Joint Photographic Experts Group）形式に圧縮される。また、動画像の撮影では、画像処理後のデータは、ＭＰＥＧ（Moving Picture Experts Group）形式等に圧縮される。圧縮後のデータは、記憶媒体等に記憶される。

【0003】

近年では、静止画像を撮影したときのＲＡＷ画像データを記憶媒体等に記憶するデジタルカメラが普及してきている。ＲＡＷ画像データは、例えば、画像の色調やコントラスト等を撮影後に精度よく調整する際に利用される。なお、一般的に、ＲＡＷ画像データでは、画像処理および圧縮処理が実施されたデータに比べて、データ量が多くなる。このため、静止画像を撮影したときのＲＡＷ画像データを色成分毎に圧縮し、各色成分の圧縮後のデータを記憶媒体等に記憶する技術が提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００２−１２５２４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

動画像の撮影においても、ＲＡＷ画像データを記憶媒体等に記憶することが望まれている。なお、多数のフレームから構成される動画像では、データ量が非常に多いため、ＲＡＷ画像データを圧縮する必要がある。ＲＡＷ画像データは、撮像素子の色配列（例えば、ベイヤー（Bayer）配列）に依存した画素構造であるため、各フレームにおける互いに隣接する画素間の相関が低く、フレーム間の相関も低い。このため、例えば、動画像を撮影したときのＲＡＷ画像データをＭＥＰＧ形式に圧縮しても、ＭＰＥＧ本来の圧縮効率を得ることはできない。しかしながら、動画像等の連続して撮影された画像のＲＡＷ画像データを効率的に圧縮する手法は、提案されていない。

【0006】

本発明の目的は、連続して撮影された画像のＲＡＷ画像データを効率的に圧縮することができる画像処理装置および画像処理プログラムを提供することである。

【課題を解決するための手段】

【0007】

画像処理装置は、撮像部と、階調変換部と、画像圧縮部とを有している。撮像部は、被写体を撮像して複数のＲＡＷ画像データを生成する。階調変換部は、複数のＲＡＷ画像データのうちの第１ＲＡＷ画像データの複数の色信号に対して、色信号毎に階調変換を実施する。画像圧縮部は、階調変換後の第１ＲＡＷ画像データに対して、圧縮処理を実施する。階調変換部は、複数の色信号のうちの第１色信号に対して、撮像部の第１行の第１画素の色信号毎および第１行の隣りの第２行の第２画素の色信号毎に階調変換を実施する。画像圧縮部は、階調変換後の第１画素の色信号毎および階調変換後の第２画素の色信号毎に、空間方向および時間方向の相関を利用した圧縮処理を実施する。

【図面の簡単な説明】

【0008】

【図1】一実施形態における画像処理装置の概要を示す図である。

【図2】図１に示した圧縮部の動作の一例を示す図である。

【図3】色成分毎のフレームデータの一例を示す図である。

【図4】階調変換テーブルの入出力特性の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態を図面を用いて説明する。

【0010】

図１は、本発明の一実施形態を示している。この実施形態の画像処理装置１０は、例えば、動画像の撮影が可能なデジタルカメラである。以下、画像処理装置１０をデジタルカメラ１０とも称する。例えば、デジタルカメラ１０は、撮影レンズ２０、撮像素子２２、アナログ処理部２４、Ａ／Ｄ変換部２６、制御部２８、画像処理部３０、圧縮部３２、バッファ部３４、メモリ３６、記憶媒体３８、モニタ４０および操作部４２を有している。例えば、Ａ／Ｄ変換部２６、制御部２８、画像処理部３０、圧縮部３２、バッファ部３４、メモリ３６、記憶媒体３８およびモニタ４０は、バスＢＵＳに接続されている。なお、図中の破線の矢印は、画像データＲＡＷＤＡＴＡ、ＲＡＷＣＯＭＰの流れの一例を示している。

【0011】

撮影レンズ２０は、被写体の像を撮像素子２２の受光面に結像する。撮像素子２２は、例えば、ＣＣＤイメージサンサーやＣＭＯＳイメージセンサーである。撮像素子２２は、撮影レンズ２０を介して入射される被写体の像を電気信号（以下、画像信号とも称する）に変換し、変換した電気信号をアナログ処理部２４に出力する。

【0012】

アナログ処理部２４は、撮像素子２２から受けた画像信号に対してアナログ信号処理を実施するアナログフロントエンド回路である。例えば、アナログ処理部２４は、画像信号のゲインを調整するゲイン制御や画像信号のノイズ成分を低減するための相関二重サンプリング処理等を実施し、アナログ画像データを生成する。そして、アナログ処理部２４は、生成したアナログ画像データをＡ／Ｄ変換部２６に出力する。

【0013】

Ａ／Ｄ変換部２６は、アナログ処理部２４から受けたアナログ画像データをデジタル画像データに変換することにより、ＲＡＷ画像データＲＡＷＤＡＴＡを生成する。そして、Ａ／Ｄ変換部２６は、ＲＡＷ画像データＲＡＷＤＡＴＡを圧縮部３２およびバッファ部３４に出力する。このように、撮像素子２２、アナログ処理部２４およびＡ／Ｄ変換部２６は、撮影された画像のＲＡＷ画像データを生成する撮像部として機能する。

【0014】

ＲＡＷ画像データＲＡＷＤＡＴＡでは、撮像素子２２の画素配列（例えば、ベイヤー（Bayer）配列）に基づいて、１つの画素に１色の輝度情報が格納される。以下、１つの画素に１色の輝度情報が格納されるデータ形式を、ＲＡＷ形式とも称する。

【0015】

制御部２８は、例えば、マイクロプロセッサであり、メモリ３６に記憶されているプログラムに基づいて、デジタルカメラ１０の動作を制御する。例えば、制御部２８は、オートフォーカス制御、露出制御、ホワイトバランス制御および画像データの記録等を実施する。

【0016】

画像処理部３０は、バッファ部３４に記憶されたＲＡＷ画像データＲＡＷＤＡＴＡに対して少なくとも色補間処理を含む画像処理を実施し、撮影画像の本画像データを生成する。これにより、デジタルカメラ１０は、必要に応じて、本画像データを記憶媒体３８等に記憶することができる。ここで、色補間処理は、例えば、各画素の足りない色の輝度情報を周囲の画素の色情報（輝度情報）を利用して補間する処理である。したがって、色補間処理等の画像処理が実施された画像データである本画像データでは、各画素は、全ての色（例えば、赤、緑、青）の輝度情報を有している。なお、例えば、画像処理部３０は、色補間処理の他に、ホワイトバランス処理、輪郭補償処理、ガンマ処理、ノイズリダクション処理等の画像処理を、ＲＡＷ画像データＲＡＷＤＡＴＡに対して実施してもよい。

【0017】

圧縮部３２は、例えば、動画像のＲＡＷ画像データＲＡＷＤＡＴＡをＲＡＷ形式のまま圧縮し、圧縮画像データＲＡＷＣＯＭＰを生成する。例えば、圧縮部３２は、連続して撮影された画像のＲＡＷ画像データＲＡＷＤＡＴＡに対して、撮像素子２２の画素配列に基づく色信号毎に、撮影条件に応じた階調変換を実施する。そして、圧縮部３２は、階調変換が実施されたＲＡＷ画像データＲＡＷＤＡＴＡに対して、色信号毎に空間方向および時間方向の相関を利用した圧縮処理を実施する。圧縮部３２により生成された圧縮画像データＲＡＷＣＯＭＰは、例えば、記憶媒体３８に記憶される。

【0018】

このように、この実施形態では、圧縮部３２は、連続して撮影された画像のＲＡＷ画像データＲＡＷＤＡＴＡに対して、撮像素子２２の画素配列に基づく色信号毎に、撮影条件に応じた階調変換を実施する階調変換部として機能する。さらに、圧縮部３２は、階調変換が実施されたＲＡＷ画像データＲＡＷＤＡＴＡに対して、色信号毎に空間方向および時間方向の相関を利用した圧縮処理を実施する画像圧縮部として機能する。すなわち、この実施形態では、圧縮部３２は、階調変換部および画像圧縮部を有している。

【0019】

ここで、撮影条件は、例えば、撮影時の露出条件、撮影時のホワイトバランスおよび画像の輝度の少なくとも１つを含んでいる。なお、撮影条件は、例えば、撮影時の露出条件、撮影時のホワイトバランスおよび画像の輝度の少なくとも１つの時系列の変化に基づく推移情報を含んでもよい。

【0020】

例えば、撮影時の露出条件や撮影時のホワイトバランスが撮影条件に含まれる場合、圧縮部３２は、撮影時の露出条件やホワイトバランス等を示す撮影情報ＳＨＩＮＦを、制御部２８から取得する。また、例えば、画像の輝度が撮影条件に含まれる場合、圧縮部３２は、ＲＡＷ画像データＲＡＷＤＡＴＡの輝度信号を解析し、画像の輝度を示す輝度情報を算出する。ＲＡＷ画像データＲＡＷＤＡＴＡから算出される輝度情報は、例えば、画像の輝度分布や画面全体の平均輝度等の撮影時の光量に相当する情報である。

【0021】

なお、圧縮部３２は、静止画像のＲＡＷ画像データＲＡＷＤＡＴＡをＲＡＷ形式のまま圧縮してもよい。この場合、圧縮部３２は、例えば、階調変換が実施されたＲＡＷ画像データＲＡＷＤＡＴＡに対して、色信号毎に空間方向の相関を利用した圧縮処理を実施する。静止画像におけるＲＡＷ画像データＲＡＷＤＡＴＡの色信号毎の圧縮処理には、ＪＰＥＧ（Joint Photographic Experts Group）形式等の既存の圧縮符号化方式を適用できる。

【0022】

また、圧縮部３２は、本画像データ（画像処理後の画像データ）を圧縮する機能を有してもよい。この場合、圧縮部３２は、ＭＰＥＧ（Moving Picture Experts Group）形式やＨ．２６４／ＭＰＥＧ−４ ＡＶＣ形式等の圧縮符号化方式を用いて、動画像の本画像データを圧縮する。あるいは、圧縮部３２は、ＪＰＥＧ形式等の圧縮符号化方式を用いて、静止画像の本画像データを圧縮する。

【0023】

バッファ部３４は、例えば、Ａ／Ｄ変換部２６から受けたＲＡＷ画像データＲＡＷＤＡＴＡを一時的に記憶する。メモリ３６は、例えば、フラッシュメモリ等の不揮発性メモリで形成された内蔵メモリであり、デジタルカメラ１０の動作を制御するためのプログラム等を記憶する。

【0024】

記憶媒体３８は、撮影された画像の圧縮画像データＲＡＷＣＯＭＰ等を、記憶媒体インターフェース（図示せず）を介して記憶する。モニタ４０は、例えば、液晶ディスプレイであり、スルー画像やメニュー画面等を表示する。操作部４２は、レリーズボタンおよびその他の各種スイッチを有し、デジタルカメラ１０を動作させるために、ユーザにより操作される。

【0025】

図２は、図１に示した圧縮部３２の動作の一例を示している。なお、図２は、動画撮影が実施されたときの圧縮部３２の動作の一例を示している。例えば、ステップＳ１００−Ｓ２２０は、圧縮部３２により、メモリ３６に記憶された画像処理プログラムに従って実施される。先ず、動画撮影の開始により、ステップＳ１００が実施される。

【0026】

ステップＳ１００では、圧縮部３２は、圧縮画像データＲＡＷＣＯＭＰの記録に使用する記録用ファイルを、記憶媒体３８に作成する。

【0027】

ステップＳ１１０では、圧縮部３２は、動画の各フレームに対応するＲＡＷ画像データＲＡＷＤＡＴＡを、Ａ／Ｄ変換部２６から順次取得する。なお、ＲＡＷ画像データＲＡＷＤＡＴＡは、図１で説明したように、バッファ部３４に順次記憶される。したがって、圧縮部３２は、ＲＡＷ画像データＲＡＷＤＡＴＡをバッファ部３４から順次読み出してもよい。この場合、Ａ／Ｄ変換部２６は、ＲＡＷ画像データＲＡＷＤＡＴＡを圧縮部３２に出力しなくてもよい。

【0028】

ステップＳ１２０では、圧縮部３２は、各フレームの撮影情報ＳＨＩＮＦを制御部２８から順次取得し、取得した撮影情報ＳＨＩＮＦをバッファ部３４等に順次記憶する。撮影情報ＳＨＩＮＦは、動画の各フレームの撮影時の露出条件やホワイトバランス等を示す情報であり、例えば、階調変換の処理内容等を決定する際（ステップＳ１４０）に参照される。このため、圧縮部３２は、現在のフレームより前の所定時間分（例えば、１秒間程度）の撮影情報ＳＨＩＮＦをバッファ部３４等に記憶すればよい。なお、圧縮部３２は、撮影情報ＳＨＩＮＦを記憶するバッファを有してもよい。

【0029】

ステップＳ１３０では、圧縮部３２は、動画像の各フレームの輝度情報をＲＡＷ画像データＲＡＷＤＡＴＡから順次抽出し、抽出した輝度情報をバッファ部３４等に順次記憶する。輝度情報は、画像の輝度分布やフレーム（画面全体）の平均輝度等であり、例えば、階調変換の処理内容等を決定する際（ステップＳ１４０）に参照される。このため、圧縮部３２は、現在のフレームより前の所定時間分（例えば、１秒間程度）の輝度情報をバッファ部３４等に記憶すればよい。なお、圧縮部３２は、輝度情報を記憶するバッファを有してもよい。ここで、輝度情報の抽出は、ＲＡＷ画像データＲＡＷＤＡＴＡの輝度信号を解析することにより実施される。例えば、圧縮部３２は、ＲＡＷ画像データＲＡＷＤＡＴＡの緑色成分の輝度信号に基づいて、画像の輝度分布を抽出する。

【0030】

ステップＳ１４０では、圧縮部３２は、バッファ部３４に記憶された撮影情報ＳＨＩＮＦ（撮影時の露出条件、撮影時のホワイトバランス等）および輝度情報（画像の輝度分布等）に基づいて、階調変換の処理内容および圧縮フレーム数を決定する。例えば、圧縮部３２は、撮影時の露出条件、撮影時のホワイトバランスおよび画像の輝度を総合的に判断して、階調変換の処理内容および圧縮フレーム数を決定する。なお、圧縮部３２は、撮影時の露出条件、撮影時のホワイトバランスおよび画像の輝度の少なくとも１つに基づいて、階調変換の処理内容および圧縮フレーム数を決定してもよい。あるいは、圧縮部３２は、撮影時の露出条件、撮影時のホワイトバランスおよび画像の輝度の少なくとも１つの時系列の変化に基づく推移情報に応じて、階調変換の処理内容および圧縮フレーム数を決定してもよい。

【0031】

ここで、階調変換の処理内容の決定は、例えば、後述する図４に示すような複数の階調変換テーブルが予め用意されている場合、階調変換に使用する階調変換テーブルを選択することである。例えば、圧縮部３２は、画像の輝度（輝度分布や平均輝度等）が低輝度側に寄っているときには、低輝度部の階調を残す階調変換テーブルを、予め用意された複数の階調変換テーブルの中から選択する。

【0032】

圧縮フレーム数の決定は、時間方向の圧縮処理の基準となるフレーム（以下、基準フレームとも称する）の周期を決定することである。すなわち、圧縮フレーム数は、基準フレームの周期に相当する。例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣでは、圧縮フレーム数は、ＩＤＲ（Instantaneous Decoder Refresh）ピクチャの周期に相当する。なお、圧縮フレーム数は、一定でもよいし、可変でもよい。例えば、圧縮部３２は、撮影時の露出条件、撮影時のホワイトバランスおよび輝度情報の少なくとも１つの時系列の変化が大きい場合、圧縮フレーム数を変更する。なお、上述した階調変換の処理内容の決定は、例えば、基準フレーム毎に実施される。例えば、圧縮部３２は、基準フレーム毎に、階調変換に使用する階調変換テーブルを予め用意された複数の階調変換テーブルの中から選択する。これにより、階調変換の処理内容は、基準フレーム毎に更新される。

【0033】

ステップＳ１５０では、圧縮部３２は、ステップＳ１１０で取得したＲＡＷ画像データＲＡＷＤＡＴＡを色信号（色成分）毎に分離し、色成分毎のフレームデータを生成する。例えば、圧縮部３２は、撮像素子２２の画素配列がベイヤー配列の場合、後述する図３に示すように、Ｒ（赤色）成分、Ｇｒ（緑色）成分、Ｇｂ（緑色）成分およびＢ（青色）成分の４つのフレームデータＦＲＭ１２、ＦＲＭ１４、ＦＲＭ１６、ＦＲＭ１８を生成する。フレームデータＦＲＭ１２、ＦＲＭ１４、ＦＲＭ１６、ＦＲＭ１８は、例えば、バッファ部３４等に記憶される。

【0034】

ステップＳ１６０では、圧縮部３２は、圧縮した画像データ（圧縮画像データＲＡＷＣＯＭＰ）を復号する際に必要な付加情報を生成する。付加情報は、例えば、撮影情報ＳＨＩＮＦ、ステップＳ１５０で生成した各フレームデータの色成分を示す情報、ステップＳ１４０で決定した階調変換の処理内容を示す情報および圧縮処理の情報（圧縮フレーム数や圧縮符号化方式）等である。なお、圧縮部３２は、付加情報をフレーム毎に生成してもよいし、付加情報を基準フレーム毎に生成してもよい。例えば、付加情報がフレーム毎に生成される場合、基準フレーム以外のフレームの付加情報の内容（例えば、撮影情報ＳＨＩＮＦの内容）は、基準フレームとの差分だけでもよい。

【0035】

ステップＳ１７０では、圧縮部３２は、ステップＳ１４０で決定した階調変換の処理内容に基づいて、ステップＳ１５０で生成した各色成分のフレームデータを階調変換する。すなわち、圧縮部３２は、ＲＡＷ画像データＲＡＷＤＡＴＡの階調変換を、色成分毎に撮影条件に応じて実施する。階調変換された各色成分のフレームデータは、例えば、バッファ部３４等に記憶される。

【0036】

ステップＳ１８０では、圧縮部３２は、ステップＳ１７０で階調変換された各色成分のフレームデータに対して、空間方向および時間方向の相関を利用した圧縮処理を実施する。すなわち、圧縮部３２は、階調変換が実施されたＲＡＷ画像データＲＡＷＤＡＴＡに対して、空間方向および時間方向の相関を利用した圧縮処理を色成分毎に実施する。なお、ステップＳ１５０で生成されたフレームデータは、それぞれ単体では、モノクロのフレームデータとして扱うことが可能である。また、各色成分のフレームデータでは、互いに隣接する画素間の相関が高くなり、時系列に連続するフレームデータ間の相関も高くなる。このため、各色成分のフレームデータの圧縮処理には、ＭＰＥＧ形式やＨ．２６４／ＭＰＥＧ−４ ＡＶＣ形式等の既存の圧縮符号化方式を適用できる。

【0037】

ステップＳ１９０では、圧縮部３２は、ステップＳ１６０で生成した付加情報を圧縮符号化する。付加情報の圧縮符号化には、ハフマン符号化等の既存の圧縮符号化方式を適用できる。なお、圧縮部３２は、付加情報を、圧縮符号化する代わりに、暗号化してもよい。例えば、付加情報の暗号化には、ＡＥＳ（Advanced Encryption Standard）等の既存の暗号化方式を適用できる。付加情報の圧縮符号化（あるいは、暗号化）は、予め決められた方法で実施される。

【0038】

ステップＳ２００では、圧縮部３２は、ステップＳ１００で記憶媒体３８に作成した記録用ファイルに、ステップＳ１８０で圧縮処理された各色成分のフレームデータとステップＳ１９０で圧縮処理され付加情報とを記録する。なお、付加情報が基準フレーム毎に生成される場合、付加情報を基準フレーム毎に記録用ファイルに記録してもよいし、付加情報（基準フレーム毎に内容が更新される付加情報）をフレーム毎に記録用ファイルに記録してもよい。

【0039】

ステップＳ２１０では、圧縮部３２は、撮影が終了したか否かを判定する。圧縮部３２は、例えば、制御部２８から撮影の終了を示す信号等を受信することにより、撮影が終了したか否かを判定できる。撮影が終了していない場合（ステップＳ２１０のＮｏ）、圧縮部３２の動作は、ステップＳ１１０に移る。一方、撮影が終了している場合（ステップＳ２１０のＹｅｓ）、圧縮部３２は、ステップＳ２２０において、記憶媒体３８に作成した記録用ファイルをクローズして、動画像の圧縮処理を終了する。

【0040】

ここで、ステップＳ１００−Ｓ２２０により記憶媒体３８に記憶された圧縮画像データＲＡＷＣＯＭＰは、上述の圧縮処理と逆の手順により、画質の調整に適したＲＡＷ形式の動画像データに復号される。例えば、圧縮処理された付加情報が復号され、復号された付加情報に基づいて各色成分のフレームデータが復号される。これにより、ユーザは、ＲＡＷ形式の動画像データを編集することができ、動画像の編集等を精度よく実施できる。

【0041】

なお、圧縮部３２の動作は、この例に限定されない。例えば、ステップＳ１１０、Ｓ１２０等は、並列に実行されてもよいし、実行される順番が逆でもよい。また、例えば、ステップＳ１４０で輝度情報が使用されない場合、圧縮部３２は、ステップＳ１３０の処理を省いてもよい。あるいは、ステップＳ１００、Ｓ２２０等の記憶媒体３８を制御する動作は、制御部２８により実施されてもよい。

【0042】

図３は、色成分毎のフレームデータＦＲＭの一例を示している。なお、図３は、撮像素子２２の画素配列がベイヤー配列のときのフレームデータＦＲＭの一例を示している。

【0043】

ＲＡＷ画像データＲＡＷＤＡＴＡのフレームデータＦＲＭ１０は、赤色（Ｒ）の画素および緑色（Ｇｒ）の画素が交互に配置された行と、緑色（Ｇｂ）の画素および青色（Ｂ）の画素が交互に配置された行とを有している。なお、赤色（Ｒ）、緑色（Ｇｒ、Ｇｂ）および青色（Ｂ）の画素は、赤色（Ｒ）、緑色（Ｇｒ、Ｇｂ）および青色（Ｂ）の輝度情報をそれぞれ有している。フレームデータＦＲＭ１０は、上述した図２のステップＳ１５０で説明したように、色成分毎のフレームデータＦＲＭ１２、ＦＲＭ１４、ＦＲＭ１６、ＦＲＭ１８に分離される。

【0044】

例えば、フレームデータＦＲＭ１２では、フレームデータＦＲＭ１０における赤色（Ｒ）の画素間の相関を維持した状態で、赤色（Ｒ）の画素が配列される。フレームデータＦＲＭ１４では、フレームデータＦＲＭ１０における緑色（Ｇｒ）の画素間の相関を維持した状態で、緑色（Ｇｒ）の画素が配列される。フレームデータＦＲＭ１６では、フレームデータＦＲＭ１０における緑色（Ｇｂ）の画素間の相関を維持した状態で、緑色（Ｇｂ）の画素が配列される。フレームデータＦＲＭ１８では、フレームデータＦＲＭ１０における青色（Ｂ）の画素間の相関を維持した状態で、青色（Ｂ）の画素が配列される。これにより、この実施形態では、各フレームデータＦＲＭ１２、ＦＲＭ１４、ＦＲＭ１６、ＦＲＭ１８において、互いに隣接する画素間の相関を高くできる。すなわち、この実施形態では、フレーム内の互いに隣接する画素間の相関を高くでき、時系列に連続するフレーム間の相関を高くできる。

【0045】

図４は、階調変換テーブルＴＢの入出力特性の一例を示している。なお、図４は、入力階調および出力階調がそれぞれ１２ビット（０〜４０９５）および１０ビット（０〜１０２３）の階調変換テーブルＴＢの入出力特性の一例を示している。階調変換テーブルＴＢは、階調変換後の画像データの階調のビット数を階調変換前の画像データの階調のビット数に比べて少なくするためのテーブルである。したがって、デジタルカメラ１０は、階調変換前後での画質の劣化を抑制するために、入出力特性の異なる複数の階調変換テーブルＴＢを有している。

【0046】

例えば、階調変換テーブルＴＢ１は、低輝度部の階調の精度の劣化が少ない入出力特性を有している。階調変換テーブルＴＢ２、ＴＢ３は、中輝度部の階調の精度の劣化が階調変換テーブルＴＢ１に比べて少ない入出力特性を有している。階調変換テーブルＴＢ４は、高輝度部の階調の精度の劣化が少ない入出力特性を有している。

【0047】

圧縮部３２は、例えば、上述した図２のステップＳ１４０において、元の画像データの残したい情報の精度を維持する階調変換テーブルＴＢを、複数の階調変換テーブルＴＢ１、ＴＢ２、ＴＢ３、ＴＢ４から撮影条件に基づいて選択する。例えば、画像の輝度（画像の輝度情報が示す輝度分布等）が低輝度側に寄っているときには、低輝度部の階調を残す階調変換テーブルＴＢ１が選択される。あるいは、画像の輝度（画像の輝度情報が示す輝度分布等）が高輝度側に寄っているときには、高輝度部の階調を残す階調変換テーブルＴＢ４が選択される。なお、圧縮部３２は、撮影時のホワイトバランスに基づいて階調変換テーブルＴＢを選択してもよいし、撮影時の露出条件に基づいて階調変換テーブルＴＢを選択してもよい。あるいは、圧縮部３２は、画像の輝度情報および撮影時のホワイトバランス等の複数の情報に基づいて、階調変換テーブルＴＢを選択してもよい。

【0048】

このように、この実施形態では、撮影条件に応じた階調変換テーブルＴＢが選択されるため、階調変換前後での画質の劣化を抑制できる。したがって、この実施形態では、階調変換前後での画質の劣化を抑制しつつ、階調変換後の画像データ（圧縮処理が実施される画像データ）のデータ量を階調変換前の画像データのデータ量に比べて少なくできる。

【0049】

ここで、撮影条件に撮影時のホワイトバランスが含まれる場合でも、デジタルカメラ１０は、ホワイトバランスに応じた階調変換テーブルＴＢを有していなくてもよい。この場合、例えば、圧縮部３２は、ホワイトバランスに応じた色信号毎のゲイン値を各色信号に乗算する。その後に、圧縮部３２は、画像の輝度情報等に応じて選択した階調変換テーブルＴＢを利用して、階調変換を実施する。これにより、予め用意する階調変換テーブルＴＢの数を減らすことができる。

【0050】

以上、この実施形態では、デジタルカメラ１０は、連続して撮影された画像のＲＡＷ画像データＲＡＷＤＡＴＡをＲＡＷ形式のまま圧縮する圧縮部３２を有している。圧縮部３２は、動画像等の連続して撮影された画像のＲＡＷ画像データＲＡＷＤＡＴＡを色信号毎に撮影条件に基づいて階調変換し、階調変換後のＲＡＷ画像データＲＡＷＤＡＴＡを色信号毎に圧縮する。これにより、この実施形態では、階調変換前後での画質の劣化を抑制しつつ、連続して撮影された画像のＲＡＷ画像データＲＡＷＤＡＴＡを効率的に圧縮できる。すなわち、この実施形態では、連続して撮影された画像のＲＡＷ画像データを効率的に圧縮することができる画像処理装置および画像処理プログラムを提供できる。

【0051】

また、この実施形態のデジタルカメラ１０により生成された圧縮画像データＲＡＷＣＯＭＰは、図２に示した圧縮処理と逆の手順により、画質の調整に適したＲＡＷ形式の動画像データに復号される。例えば、撮影後に動画像を編集する場合、圧縮画像データＲＡＷＣＯＭＰは、階調変換前のＲＡＷ画像データＲＡＷＤＡＴＡに復号される。これにより、ユーザは、動画像の編集等を精度よく実施できる。すなわち、この実施形態では、動画像の編集等を精度よく実施することが可能な動画像データを、提供できる。

【0052】

なお、上述した実施形態では、動画像のＲＡＷ画像データＲＡＷＤＡＴＡがＲＡＷ形式のまま圧縮される例について述べた。本発明は、かかる実施形態に限定されるものではない。例えば、連写撮影により得られた画像のＲＡＷ画像データＲＡＷＤＡＴＡがＲＡＷ形式のまま圧縮されてもよい。この場合にも、上述した実施形態と同様の効果を得ることができる。

【0053】

上述した実施形態では、ベイヤー配列のフレームデータＦＲＭ１０が４つのフレームデータＦＲＭ１２、ＦＲＭ１４、ＦＲＭ１６、ＦＲＭ１８に分離される例について述べた。本発明は、かかる実施形態に限定されるものではない。例えば、フレームデータＦＲＭ１０は、赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の３つのフレームデータに分離されてもよい。この場合、例えば、２つの緑色（Ｇｒ、Ｇｂ）のフレームデータＦＲＭ１４、ＦＲＭ１６は、２つの緑色（Ｇｒ、Ｇｂ）の平均をとることにより、１つの緑色（Ｇ）のフレームデータにまとめられる。付加情報には、ベイヤー配列における２つの緑色（Ｇｒ、Ｇｂ）を１つの緑色（Ｇ）にまとめたことを示す情報が含まれる。この場合にも、上述した実施形態と同様の効果を得ることができる。

【0054】

上述した実施形態では、ＲＡＷ画像データＲＡＷＤＡＴＡがベイヤー配列である場合の例について述べた。本発明は、かかる実施形態に限定されるものではない。例えば、ＲＡＷ画像データＲＡＷＤＡＴＡは、ベイヤー配列以外のカラー配列でもよい。また、ＲＡＷ画像データＲＡＷＤＡＴＡは、赤色（Ｒ）、緑色（Ｇｒ、Ｇｂ）および青色（Ｂ）以外のカラー配列でもよい。例えば、ＲＡＷ画像データＲＡＷＤＡＴＡは、ＣＭＹ（シアン、マゼンタ、イエロー）のカラー配列でもよい。この場合にも、上述した実施形態と同様の効果を得ることができる。

【0055】

上述した実施形態では、画像処理装置１０がデジタルカメラに適用された場合の例について述べた。本発明は、かかる実施形態に限定されるものではない。例えば、本発明の画像処理装置は、連写撮影や動画撮影の機能を有するカメラ付き携帯電話やデジタルビデオ等の電子機器に適用されてもよい。この場合にも、上述した実施形態と同様の効果を得ることができる。

【0056】

上述した実施形態では、画像処理装置１０が撮像素子２２を含んで構成される例について述べた。本発明は、かかる実施形態に限定されるものではない。例えば、画像処理装置１０は、少なくとも圧縮部３２を有していればよい。また、圧縮部３２により実行される処理（図２のステップＳ１００−Ｓ２２０）は、コンピュータ等の外部処理装置により実行されてもよい。すなわち、画像処理プログラムは、圧縮部３２により実行される処理（図２のステップＳ１００−Ｓ２２０）を、コンピュータ等の外部処理装置に実行させてもよい。例えば、画像処理プログラムは、外部処理装置で読み取り可能なＣＤ−ＲＯＭ等の記憶媒体やインターネット等の通信網を介して外部処理装置にインストールされる。

【0057】

以上、本発明について詳細に説明してきたが、上記の実施形態およびその変形例は発明の一例に過ぎず、本発明はこれに限定されるものではない。本発明を逸脱しない範囲で変形可能であることは明らかである。

【産業上の利用可能性】

【0058】

画像処理装置および画像処理プログラムに利用できる。

【図1】

【図2】

【図3】

【図4】