特許 7497205 撮像装置およびその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-31

(45)【発行日】2024-06-10

(54)【発明の名称】撮像装置およびその制御方法

(51)【国際特許分類】

   H04N 23/65 20230101AFI20240603BHJP

   H04N 23/63 20230101ALI20240603BHJP

   H04N 23/60 20230101ALI20240603BHJP

   G03B 17/18 20210101ALI20240603BHJP

   G03B 17/20 20210101ALI20240603BHJP

【ＦＩ】

H04N23/65 100

H04N23/63

H04N23/60 500

G03B17/18

G03B17/20

【請求項の数】 14

(21)【出願番号】P 2020086048

(22)【出願日】2020-05-15

(65)【公開番号】P2021180454

(43)【公開日】2021-11-18

【審査請求日】2023-04-24

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】竹田 英史

【審査官】村山 絢子

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－２３／７６

Ｈ０４Ｎ ２３／９０－２３／９５９

Ｈ０４Ｎ ５／２２２－５／２５７

Ｇ０３Ｂ １７／１８－１７／２０

(57)【特許請求の範囲】

【請求項1】

ＲＡＷデータに圧縮処理を適用する第１の圧縮手段と、
前記第１の圧縮手段で圧縮処理されたＲＡＷデータを伸長する第１の伸長手段と、
前記第１の伸長手段が出力するＲＡＷデータに基づいて表示用画像データを生成する生成手段と、
前記第１の伸長手段が出力するＲＡＷデータに基づいて撮影制御に用いる情報を取得する検出手段と、を備えた画像処理手段と、
前記画像処理手段の動作を制御する制御手段と、を有し、
前記制御手段は、前記表示用画像データを継続的に生成、表示するライブビュー表示の実行中、前記検出手段が取得する情報を用いる撮影準備動作を開始する際に、前記第１の圧縮手段が適用する前記圧縮処理の圧縮率を低減させることを特徴とする撮像装置。

【請求項2】

前記制御手段は、前記ライブビュー表示の実行中、前記撮像装置に対する所定の操作を検出すると、前記第１の圧縮手段が適用する前記圧縮処理の圧縮率を低減させることを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記所定の操作が、シャッタボタンの操作であることを特徴とする請求項２に記載の撮像装置。

【請求項4】

前記所定の操作が、タッチディスプレイ上のタッチ操作であることを特徴とする請求項２に記載の撮像装置。

【請求項5】

前記検出手段が取得する情報が、撮影条件の決定および、前記撮像装置の撮像素子に光学像を形成するレンズユニットの自動焦点検出に用いられる情報であることを特徴とする請求項１から４のいずれか１項に記載の撮像装置。

【請求項6】

前記画像処理手段が、
前記表示用画像データに圧縮処理を適用する第２の圧縮手段と、
前記第２の圧縮手段で圧縮処理された前記表示用画像データを伸長する第２の伸長手段と、をさらに有し、
前記制御手段は、前記ライブビュー表示の実行中、前記撮影準備動作を開始する際に、前記第２の圧縮手段が適用する前記圧縮処理の圧縮率を増加させることを特徴とする請求項１から５のいずれか１項に記載の撮像装置。

【請求項7】

前記制御手段は、前記第２の圧縮手段が適用する前記圧縮処理の圧縮率を増加させるまでは、前記第２の圧縮手段および前記第２の伸長手段を無効とするとを特徴とする請求項６に記載の撮像装置。

【請求項8】

前記表示用画像データは、アシスト情報の画像とともに表示され、
前記制御手段は、
前記アシスト情報の画像のサイズまたは面積が表示領域に示す割合が閾値以上の場合には、閾値以上でない場合よりも前記第２の圧縮手段が適用する前記圧縮処理の圧縮率を増加させることを特徴とする請求項６または７に記載の撮像装置。

【請求項9】

前記表示用画像データは、アシスト情報の画像とともに表示され、
前記制御手段は、
前記アシスト情報の表示パターンが第１のパターンである場合よりも、表示されるアシスト情報が多い第２のパターンである場合には、前記第２の圧縮手段が適用する前記圧縮処理の圧縮率を増加させることを特徴とする請求項６または７に記載の撮像装置。

【請求項10】

前記制御手段は、前記第２の圧縮手段が適用する前記圧縮処理の圧縮率を増加させた場合、前記第１の圧縮手段が適用する前記圧縮処理の圧縮率をさらに低減させることを特徴とする請求項８または９に記載の撮像装置。

【請求項11】

前記画像処理手段と前記制御手段とが、同一の半導体パッケージに含まれる、あるいは同一の半導体チップに実装されることを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。

【請求項12】

前記第１の圧縮手段による圧縮処理が、前記画像処理手段におけるバス帯域の削減を目的としたものであることを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。

【請求項13】

ＲＡＷデータに圧縮処理を適用する第１の圧縮手段と、
前記第１の圧縮手段で圧縮処理されたＲＡＷデータを伸長する第１の伸長手段と、
前記第１の伸長手段が出力するＲＡＷデータに基づいて表示用画像データを生成する生成手段と、
前記第１の伸長手段が出力するＲＡＷデータに基づいて撮影制御に用いる情報を取得する検出手段と、を備えた撮像装置の制御方法であって、
制御手段が、前記表示用画像データを継続的に生成、表示するライブビュー表示の実行中、前記検出手段が取得する情報を用いる撮影準備動作を開始する際に、前記第１の圧縮手段が適用する前記圧縮処理の圧縮率を低減させる制御工程を有することを特徴とする撮像装置の制御方法。

【請求項14】

撮像装置が有するコンピュータを、請求項１から１０のいずれか１項に記載の撮像装置が有する制御手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

撮像装置およびその制御方法に関し、特には撮像で得られる画像データの取り扱い技術に関する。

【背景技術】

【0002】

近年、デジタルカメラ等の撮像装置においては、表示装置にライブビュー表示を行うことにより、表示装置を電子ビューファインダ（EVF）として機能させている。ライブビュー表示中、撮像装置は動画の撮影から表示までの動作を継続して実行する。ライブビュー表示が撮像装置の動作可能時間に与える影響を抑制するため、ライブビュー表示に要する消費電力の低減が求められる。

【0003】

特許文献１には、ライブビュー表示用の画像の解像度を、シャッタボタンが半押しされるまでは表示装置の解像度より低くし、シャッタボタンが半押しされると表示装置の解像度と等しくするデジタルカメラが開示されている。ライブビュー表示用の画像の解像度が表示装置の解像度より低い場合、表示装置で拡大表示している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００４－１０４２２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の構成によれば、ライブビュー表示中の消費電力や発熱量を抑制することができる。しかし、シャッタボタンが半押しされる前後でライブビュー表示の画質が大きく変化するため、ユーザに違和感を与える恐れがある。また、特許文献１の構成では、シャッタボタンの半押し前の期間に実行される、ライブビュー表示に用いられる画像（ライブビュー画像）を用いる処理の精度が低下する恐れがある。このような処理には例えば特徴領域の検出処理や、特徴領域の検出結果に基づく追尾処理などがある。ライブビュー画像を用いる処理の結果を静止画撮影時の合焦制御や露出制御などに利用する場合、ライブビュー画像を用いる処理の精度低下は合焦制御や露出制御の精度低下の原因となり得る。

【0006】

本発明はこのような従来技術の課題に鑑みてなされたもので、ライブビュー表示における消費電力の抑制と、ライブビュー画像を用いる処理の精度低下の抑制とを実現する撮像装置およびその制御方法の提供を目的とする。

【課題を解決するための手段】

【0007】

上述の目的は、ＲＡＷデータに圧縮処理を適用する第１の圧縮手段と、第１の圧縮手段で圧縮処理されたＲＡＷデータを伸長する第１の伸長手段と、第１の伸長手段が出力するＲＡＷデータに基づいて表示用画像データを生成する生成手段と、第１の伸長手段が出力するＲＡＷデータに基づいて撮影制御に用いる情報を取得する検出手段と、を備えた画像処理手段と、画像処理手段の動作を制御する制御手段と、を有し、制御手段は、表示用画像データを継続的に生成、表示するライブビュー表示の実行中、検出手段が取得する情報を用いる撮影準備動作を開始する際に、第１の圧縮手段が適用する圧縮処理の圧縮率を低減させることを特徴とする撮像装置によって達成される。

【発明の効果】

【0008】

本発明によれば、ライブビュー表示における消費電力の抑制と、ライブビュー画像を用いる処理の精度低下の抑制とを実現する撮像装置およびその制御方法を提供することができる。

【図面の簡単な説明】

【0009】

【図1】実施形態に係る撮像装置の一例としてデジタルカメラの外観例を示す図

【図2】図１のデジタルカメラとレンズユニットの機能構成例を示すブロック図

【図3】センサ部の撮像素子に設けられるカラーフィルタの例を示す図

【図4】第１実施形態におけるフロントエンジンおよびメインエンジンの機能構成例を示すブロック図

【図5】実施形態におけるフロントエンジンおよびメインエンジンの機能構成例を示すブロック図

【図6】実施形態におけるデジタルカメラの全体動作に関するフローチャート

【図7】図６のライブビュー処理の詳細に関するフローチャート

【図8】図６の撮影および記録処理に関するフローチャート

【図9】図６の再生処理に関するフローチャート

【図10】図６のメインエンジン起動処理および停止処理に関するフローチャート

【図11】第２実施形態におけるフロントエンジンおよびメインエンジンの機能構成例を示すブロック図

【図12】第２実施形態におけるライブビュー処理に関するフローチャート

【図13】第３実施形態におけるライブビュー処理に関するフローチャート

【発明を実施するための形態】

【0010】

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0011】

なお、以下の実施形態では、本発明をデジタル一眼レフカメラ（ＤＳＬＲ）で実施する場合に関して説明する。しかし、本発明は電子ビューファインダ（ＥＶＦ）を有する電子機器全般において実施可能である。このような電子機器には、ビデオカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドライブレコーダなどが含まれる。これらは例示であり、本発明は他の電子機器でも実施可能である。

【0012】

●（第１実施形態）
図１は本発明を実施可能な撮像装置の一例としてのデジタルカメラ１００の外観例を示す斜視図である。図１（ａ）はデジタルカメラ１００を被写体側から見た前面斜視図である。図１（ｂ）はデジタルカメラ１００を図１（ａ）と逆方向から見た背面斜視図である。なお、図１には、レンズ未装着時のデジタルカメラ１００（いわゆるカメラ本体）の外観例を示している。

【0013】

表示部１０１は、カメラ背面に設けられ、画像や各種情報を表示する。本実施形態において表示部１０１はタッチパネル１１１を有するタッチディスプレイであるものとする。
シャッタボタン１０２は、半押し状態で静止画の撮影準備指示を、全押し状態で記録用の静止画の撮影指示を与える。
電源スイッチ１０３はデジタルカメラ１００の電源をＯＮにする起動指示とＯＦＦにする停止指示とを選択的に与える。

【0014】

メイン電子ダイヤル１１２は回転可能で、例えばシャッタ速度や絞りなどの設定値の変更指示を与える。また、後述する拡大モードがＯＮの場合、メイン電子ダイヤル１１２は表示倍率の変更指示を与える。サブ電子ダイヤル１１３は回転可能で、例えば選択枠の移動や画像送りの指示を与える。十字キー１１４は円形部材を有し、円形部材の押下位置（上、下、左、右）を与える。十字キー１１４は例えば押下位置に応じた方向への移動指示を与える。

【0015】

ＳＥＴボタン１１５は十字キー１１４の円形部材の中心に設けられ、例えば押下時に選択されていた事項の決定指示を与える。動画ボタン１１６は、動画撮影（記録）の開始、停止の指示を与える。ＡＥロックボタン１１７は撮影待機状態で押下されると露出状態を押下時の設定に固定する指示を与える。拡大ボタン１１８は撮影モードのライブビュー表示において拡大モードのＯＮ、ＯＦＦ指示を与える。拡大ボタン１１８は再生モードにおいては再生画像に対する拡大モードのＯＮ，ＯＦＦ指示を与える。

【0016】

再生ボタン１１９は、撮影モード中に押下されると再生モードへの切り替え指示を与え、再生モード中に押下されると撮影モードへの切り替え指示を与える。再生モードに切り替えられると、記録媒体２００に記録された画像のうち最新の画像が表示部１０１に表示される。

【0017】

メニューボタン１２０はメニュー画面の表示指示を与える。ユーザは、メニューボタン１２０の押下に応じて表示部１０１に表示されるメニュー画面を十字キー１１４やＳＥＴボタン１１５を用いて操作することにより、デジタルカメラ１００の設定値を変更することができる。モード切替スイッチ１２１は、デジタルカメラ１００の動作モードを切り替える指示を与える。動作モードには少なくとも静止画撮影モード、動画撮影モード、再生モードがあるものとする。なお、静止画撮影モード、動画撮影モード、再生モードのそれぞれは、さらに複数のモードを有してもよい。

【0018】

なお、上述した各種のボタン、スイッチ、ダイヤルの操作が与える指示の種類は動的に変更可能であり、操作とそれによってデジタルカメラ１００に与えられる指示との組み合わせは単なる例示である。ただし、シャッタボタン１０２と電源スイッチ１０３については、操作によってデジタルカメラ１００に与えられる指示が固定されているものとする。

【0019】

端子群１０４はデジタルカメラ１００がレンズマウントに装着されたレンズユニット（交換レンズ）やアダプタ（マウントコンバータ、テレコンバータなど）と通信を行ったり、それらに電力を供給したりするために設けられている。レンズやアダプタにも同様の端子群（後述）が設けられており、デジタルカメラ１００への装着時に両者が有する端子群が接触することにより、デジタルカメラ１００と、レンズまたはアダプタとが電気的に接続される。

【0020】

接眼部１１は、デジタルカメラ１００の内部に配置されたＥＶＦを見るために設けられている。接眼部１１には、近接する物体を検出する接眼検知部が設けられている。例えば接眼検知部において物体が検出された場合、表示部１０１をＯＦＦとすることで、電力消費を抑制することができる。

【0021】

開閉可能な端子カバー１３は、デジタルカメラ１００を外部機器と接続するための端子（不図示）を保護する。開閉可能な蓋１４は、メモリカードなどの記録媒体を着脱可能なスロットを保護する。グリップ部１５は、ユーザがデジタルカメラ１００を保持しやすい形状に形成されている。

【0022】

図２は、デジタルカメラ１００にレンズユニット１５０が装着された状態の機能構成例を示すブロック図であり、図１に示した構成は図１と同じ参照数字を付してある。レンズユニット１５０はデジタルカメラ１００の交換レンズである。レンズ１５１は通常、固定レンズと可動レンズとを含んだ複数枚のレンズを有するが、便宜上一枚のレンズとして図示している。可動レンズには例えばフォーカシングレンズ、防振レンズ、変倍レンズなどがある。

【0023】

レンズユニット１５０のマウント部には端子群１５３が設けられている。端子群１５３はレンズユニット１５０がデジタルカメラ１００に装着された状態で端子群１０４と接するように構成されている。レンズユニット１５０は端子群１５３、１０４を通じてデジタルカメラ１００から供給される電力で動作し、また端子群１５３、１０４を通じてデジタルカメラ１００と通信する。

【0024】

レンズ制御部１５４は例えばＣＰＵ、ＲＯＭ、ＲＡＭを有し、ＲＯＭに記憶されたプログラムをＲＡＭにロードして実行することにより、レンズユニット１５０の動作を制御する。レンズ制御部１５４は後述するカメラ制御部１３２と端子群１５３、１０４を介して通信し、カメラ制御部１３２からの指示に従ってレンズユニット１５０の動作を制御する。

【0025】

絞り駆動回路１５５はレンズユニット１５０に設けられた絞り１５２を駆動するアクチュエータなどを有する。絞り駆動回路１５５はレンズ制御部１５４の制御に従って絞り１５２を駆動する。
フォーカス駆動回路１５６はレンズユニット１５０が有するフォーカシングレンズを駆動するモータまたはアクチュエータなどを有する。フォーカス駆動回路１５６はレンズ制御部１５４の制御に従ってフォーカシングレンズを駆動する。また、フォーカシングレンズの位置情報を取得し、レンズ制御部１５４に通知する。

【0026】

シャッタ１０５はフォーカルプレーンシャッタであり、カメラ制御部１３２の制御に従って走行する。
センサ部１０６は、撮像素子とＡ／Ｄ変換回路を有する。撮像素子は例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサである。撮像素子は２次元配列された複数の画素（光電変換部）を有し、撮像面に形成される光学像を画素信号群（アナログ画像信号）に変換する。Ａ／Ｄ変換回路は、アナログ画像信号をデジタル信号（画像データ）に変換して出力する。なお、撮像素子は１つのマイクロレンズを複数の光電変換部で共有する構成を有してもよい。この場合、撮像素子から得られる信号に基づいて位相差方式のオートフォーカスが可能である。

【0027】

図３は、撮像素子に配置されるカラーフィルタの色配列を示している。本実施形態では赤（Ｒ）フィルタ１００３、緑（Ｇ）フィルタ１００１、青（Ｂ）フィルタ１００２が垂直２画素、水平２画素の４画素を繰り返し単位として配列される原色ベイヤ配列のカラーフィルタとする。

【0028】

本実施形態では、撮像素子がいわゆる４Ｋまたは８Ｋに対応した画素数を有するものとする。４Ｋ解像度の場合は横３８４０画素×縦２１６０画素（約８００万画素）であり、８Ｋ解像度の場合は横７６８０画素×縦４３２０画素（約３３００万画素）である。また、センサ部１０６は４Ｋまたは８Ｋ解像度の画像データを１２０フレーム毎秒のフレームレートで出力可能であるものとする。

【0029】

フロントエンジン１３０は、センサ部１０６から取得した画像データを処理する画像処理部１３１と、デジタルカメラ１００およびレンズユニット１５０の動作を制御するカメラ制御部１３２とを有する。フロントエンジン１３０は例えば一つの半導体集積回路パッケージとして構成されてよい。また、画像処理部１３１とカメラ制御部１３２とが同一の半導体チップに実装されてもよいし、画像処理部１３１とカメラ制御部１３２とが別個の半導体チップに実装されて同一パッケージに封入された構成でもよい。カメラ制御部１３２はＣＰＵを有し、例えばシステムメモリ１３３が有するＲＯＭに記憶されたプログラムをシステムメモリ１３３が有するＲＡＭ１１２に読み込んで実行して各部の動作を制御する。

【0030】

フロントエンジン１３０が有する画像処理部１３１は主に画像データの縮小（解像度の低減）処理と、縮小画像データに対する画像処理とを受け持つ。画像処理は例えば表示画像データの生成処理、検出処理、評価値算出処理などである。検出処理には、特徴領域（たとえば顔領域や人体領域）やその動きの検出、人物の認識処理などが含まれる。評価値算出処理には、自動焦点検出（ＡＦ）に用いる信号や評価値の生成、自動露出制御（ＡＥ）に用いる評価値の算出などが含まれる。なお、これらは画像処理部１３１の代表的な処理の例示であり、他の処理が実行されてもよい。

【0031】

ここで画像処理部１３１が生成する表示画像データは、表示部１０１およびＥＶＦ１０８の少なくとも一方にライブビュー表示するための画像データ（ライブビュー画像データ）である。なお、ライブビュー表示とは、撮影範囲、撮影条件を確認するために、現在の撮影条件に基づく動画像の撮影と、撮影された動画像の表示を継続的に行う機能である。なお、ＥＶＦ１０８は、デジタルカメラ１００の筐体内に配置され、接眼部１１を通じて筐体外部から観察可能な表示装置である。ここでは、ＥＶＦ１０８と表示部１０１の解像度が等しいものとする。

【0032】

なお、表示画像データは通信部１０９を介して外部装置に出力されてもよい。外部装置に出力する表示画像データをＥＶＦ１０８や表示部１０１で用いる表示画像データと異ならせてもよい。この場合、外部装置に出力する表示画像データはメインエンジン１４０が生成する。

【0033】

また、フロントエンジン１３０は、デジタルカメラ１００の動作モードに応じてメインエンジン１４０の起動制御を実行する。フロントエンジン１３０とメインエンジン１４０とは物理的に別個の半導体集積回路である。

【0034】

システムメモリ１３３は不揮発性メモリ（ＲＯＭ）と揮発性メモリ（ＲＡＭ）とを有する。ＲＯＭにはカメラ制御部１３２が実行するプログラムや、デジタルカメラ１００の設定値、メニュー画面やライブビュー画像とともに表示するアイコンなどのＧＵＩ画像データが記憶される。ＲＡＭはカメラ制御部１３２が実行するプログラムをロードしたり、プログラムの実行中に利用する変数値などを記憶したりするために用いられる。

【0035】

メモリ１３４は、画像処理部１３１が処理対象の画像データ、処理中の画像データ、処理後の画像データなどを記憶するために用いる。例えば、メモリ１３４は、ＤＲＡＭ(Dynamic Random Access Memory)である。なお、システムメモリ１３３のＲＡＭを画像データの記憶に用いてもよい。

【0036】

メインエンジン１４０は、フロントエンジン１３０とは別個の半導体パッケージとして構成される。画像処理部１４１と、記録再生部１４３と、メインエンジン１４０の動作を制御する制御部１４２と、を有する。また、メインエンジン１４０は１チップの集積回路であってもよいし、複数のチップが同一パッケージに封入された構成でもよい。画像処理部１４１は、フロントエンジン１３０から得られる、縮小処理されていない画像データに対して画像処理を適用する。

【0037】

記録再生部１４３は、画像処理部１４１が処理した画像データを記録媒体２００に記録したり、記録媒体２００に記録されたデータを読み出して画像処理部１４１に出力したりする。記録媒体２００は例えばメモリカードや磁気ディスクなどであってよい。デジタルカメラ１００が再生モードで動作している場合、記録媒体２００から読み出されて画像処理部１４１で処理された画像データは、フロントエンジン１３０を通じて表示部１０１に表示される。また、外部出力が有効の場合、記録再生部１４３によって記録媒体２００から読み出され、画像処理部１４１で処理された画像データは、通信部１０９を介して外部装置に出力される。

【0038】

システムメモリ１４４は不揮発性メモリ（ＲＯＭ）と揮発性メモリ（ＲＡＭ）とを有する。ＲＯＭには制御部１４２が実行するプログラムやパラメータが記憶される。ＲＡＭは制御部１４２が実行するプログラムをロードしたり、プログラムの実行中に利用する変数値などを記憶したりするために用いられる。

【0039】

メモリ１４５は、画像処理部１４１が処理対象の画像データ、処理中の画像データ、処理後の画像データなどを記憶するために用いる。例えば、メモリ１４５は、ＭＲＡＭ(Magnetoresistive Random Access Memory)である。

【0040】

電源制御部１０７は、電池検出回路、ＤＣ－ＤＣコンバータ、給電するブロックを切り替えるスイッチ回路等により構成される。電源制御部１０７は、電源２１０の種類（例えばＡＣアダプタまたは電池）、電源２１０の装着の有無、電源２１０（電池）の残量を検出する。また、電源制御部１０７はこれらの検出結果およびカメラ制御部１３２の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電力を必要な期間、フロントエンジン１３０、メインエンジン１４０を含む各部へ供給する。また、電源制御部１０７は、記録媒体２００やレンズユニット１５０にも電力を供給する。また、電源制御部１０７は画像記録を行わない撮影待機状態ではメインエンジン１４０へ供給する電力を制限したり、接眼検知部が物体の近接を検出したことに応じて表示部１０１への電源供給を制限したりする。

【0041】

電源２１０は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプタの１つ以上である。ＡＣアダプタ、電池ともデジタルカメラ１００に対して着脱可能である。

【0042】

通信部１０９は、無線または有線通信インタフェースであり、デジタルカメラ１００は通信部１０９を通じて外部装置とデータ通信を行う。通信部１０９は規格に準拠した複数の通信インタフェースを有してもよい。通信部１０９が有する通信インタフェースが準拠する規格としては、ＵＳＢ、ＨＤＭＩ（登録商標）、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ(Near Field Communication)などが代表例であるが、これらに限定されない。また、通信部１０９はＧＰＳレシーバや、携帯電話網との送受信器を有してもよい。

【0043】

操作部１１０は、デジタルカメラ１００の筐体外面に設けられた様々な入力デバイスの総称である。図１のメイン電子ダイヤル１１２、サブ電子ダイヤル１１３、十字キー１１４、ＳＥＴボタン１１５、動画ボタン１１６、ＡＥロックボタン１１７、拡大ボタン１１８、再生ボタン１１９、メニューボタン１２０、モード切替スイッチ１２１が含まれる。。また、表示部１０１に設けられるタッチパネル１１１もまた操作部１１０に含まれる。なお、本実施形態では便宜上シャッタボタン１０２と電源スイッチ１０３は操作部１１０とは別個に記載している

【0044】

シャッタボタン１０２は、半押し状態でＯＮになるスイッチ（ＳＷ１）と、全押し状態でＯＮになるスイッチ（ＳＷ２）をと有する。カメラ制御部１３２は、シャッタボタン１０２の半押し状態を撮影準備指示の入力、全押し状態を静止画の撮影指示の入力と認識する。カメラ制御部１３２は、撮影準備指示の入力に応じて、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理などの撮影準備動作を実行する。また、カメラ制御部１３２は、静止画撮影指示の入力に応じて、絞りおよびシャッタの駆動、センサ部１０６からの画像データ読み出し、メインエンジン１４０での画像処理、記録媒体２００への画像データ記録といった一連の動作を実行する。なお、撮影準備指示もしくは静止画撮影指示の入力に応じて、カメラ制御部１３２はメインエンジン１４０への電力供給の制限を解除する。

【0045】

次に、フロントエンジン１３０、およびメインエンジン１４０に関してさらに説明する。
図４は、フロントエンジン１３０およびメインエンジン１４０の機能構成例を示すブロック図である。なお、画像処理部１３１および１４１が有する機能ブロックは、専用のハードウェア回路もしくは画像処理部が有する１つ以上のＣＰＵがプログラムを実行することによって実現することができる。また、機能ブロックの間でのデータ伝送は、ある機能ブロックから他の機能ブロックへの直接伝送であってもよいし、ある機能ブロックがメモリ１３４や１４５に書き込んだデータを他の機能ブロックが読み出す間接伝送であってもよい。

【0046】

静止画撮影指示が入力されると、カメラ制御部１３２は静止画撮影処理を開始する。カメラ制御部１３２は、撮影準備指示の入力に応答して実行したＡＥ処理によって決定した絞り値およびシャッタスピードで撮像素子を露光するようにレンズユニット１５０の絞り１５２と、シャッタ１０５の駆動を制御する。レンズユニット１５０の絞りやフォーカシングレンズの駆動制御は、例えばカメラ制御部１３２からレンズ制御部１５４にコマンドを送信することによって実現できる。

【0047】

ＡＥ処理は公知の任意の方法を用いて行うことができる。露出条件の決定において、特徴領域の検出結果を用いてもよい。静止画撮影指示の入力時点でＡＥ処理が完了していない場合、カメラ制御部１３２は例えばシステムメモリ１３３に予め記憶された絞り値およびシャッタスピードを用いることができる。

【0048】

センサ部１０６の出力する画像データは、フロントエンジン１３０の画像処理部１３１に入力される。画像処理部１３１は、表示画像データの生成や検出処理のためのデータ処理を行う第１の経路と、記録画像データの生成のためのデータ処理を行う第２の経路とを有する。

【0049】

はじめに、第１の経路における処理について説明する。
画素並替処理部３０１は、センサ部１０６からラスタスキャン順に入力されるＲＡＷデータを、画素データの配列が撮像素子の画素配列と対応するように２次元マトリクス状に並べ替える。ＲＡＷデータは画素あたり１つの色成分の値を有する画像データである。本実施形態では撮像素子が原色ベイヤ配列のカラーフィルタを有するので、ＲＡＷデータを構成する画素データは赤色成分、緑色成分、青色成分のいずれか１つを有する。本明細書においてＲＡＷデータとは、各画素データが有する色成分が１つである画像データとする。各画像データが３つの色成分を有するように色成分値を補完する同時化処理またはデモザイク処理が適用される前の画像データがＲＡＷデータであるとも言える。したがって、ＲＡＷデータには、データ量の圧縮処理など、画素データあたりの色成分の数に影響を与えない処理が適用されていてもよい。図５の例では、ＬＶ現像処理部３０８やＲＡＷ現像処理部３２２に入力されるまでの画像データはＲＡＷデータであり、ＬＶ現像処理部３０８やＲＡＷ現像処理部３２２が出力する画像データはＲＡＷデータではない。

【0050】

圧縮処理部３０２（第１の圧縮手段）は、画素並替処理部３０１が出力するＲＡＷデータを符号化することにより、データ量を圧縮する。圧縮処理部３０２の圧縮処理は、低消費電力かつ低遅延で実行可能な符号化方法、例えば量子化、ＤＰＣＭなどの差分符号化、エントロピー符号化など、単純な回路構成で実現可能な方法を用いることができる。符号化は可逆的であっても非可逆的であってもよい。圧縮処理はフロントエンジン１３１内のバス帯域を削減するために行う。バス帯域は、バスのデータ転送能力もしくは転送容量であり、バスのクロック周波数、バスのビット幅、レイテンシに応じて定まる。圧縮処理部３０２が生成する圧縮ＲＡＷデータは、一時的にメモリ１３４に格納してバッファリングされてもよい。圧縮処理は、ＲＡＷデータに対して所定の２次元画素ブロック単位で行うものとする。なお、圧縮処理部３０２における圧縮処理の圧縮率は、カメラ制御部１３２の制御に基づいて符号化ブロック単位で変更可能であるものとする。

【0051】

伸長処理部３０３（第１の圧縮手段）は、圧縮処理部３０２が生成する圧縮ＲＡＷデータに対して伸長（復号）処理を適用する。
センサ補正処理部３０４は、伸長処理部３０３が復号したＲＡＷデータに対して、撮像素子の特性に基づく補正処理（センサ補正処理）を実行する。センサ補正処理は、例えば、撮像素子が有する複数の光電変換部の光電変換効率（感度）のばらつきを補正する処理である。あらかじめシステムメモリ１３３等に格納された感度分布情報に基づいて、ＲＡＷデータの画素値を補正する。センサ補正処理は、欠陥画素の補正処理を含んでもよい。欠陥画素の補正処理は、欠陥画素として登録されている画素の値を周辺の正常画素の値を用いて補間したり、所定のオフセット値を減算したりする処理であってよい。なお、欠陥画素の補正処理の一部又は全部は、現像処理の一部として実行されてもよい。

【0052】

センサ補正処理が実行されたＲＡＷデータは、縮小処理部３０５とＲＡＷノイズ抑制処理部３１３に供給される。
縮小処理部３０５は、表示画像データの生成処理や検出処理を効率的に行うため、ＲＡＷデータを縮小（解像度を低減）し、縮小ＲＡＷデータを得る。縮小処理部３０５は、４Ｋや８Ｋ等の高解像度のＲＡＷデータを、例えばＨＤ解像度（２００万画素相当）にリサイズする。ＨＤ解像度は例えば横１９２０画素×縦１０８０画素である。縮小処理部３０５は表示部１０１の表示解像度もしくはライブビュー画像の表示領域の解像度に合わせるようにＲＡＷデータを縮小してもよい。

【0053】

光学補正処理部３０６から表示処理部３１１により、縮小ＲＡＷデータから表示画像データを生成する。また、検出処理部３１２は、縮小ＲＡＷデータに基づいて、ＡＦ、ＡＥなどに用いる評価値の算出、特徴量領域の検出および追跡、被写体やシーンの認識、ぶれの大きさの算出などを実行する。

【0054】

まず、表示画像データ（ライブビュー画像データ）を生成する光学補正処理部３０６から表示処理部３１１の処理について説明する。
光学補正処理部３０６は、縮小ＲＡＷデータに対してレンズ１５１等の光学特性に関連する補正処理（光学補正処理）を適用する。光学補正処理は、例えば、レンズ１５１の収差による周辺領域の光量低下の影響を補正する処理である。

【0055】

ノイズ抑制処理部３０７は、縮小ＲＡＷデータにノイズ低減処理を適用する。ノイズ低減処理は、一般にノイズ除去、ノイズリダクション（Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ、ＮＲ）と呼ばれる。ノイズ低減処理は、例えば移動平均フィルタ処理やメディアンフィルタ処理によって実現できる。

【0056】

ＬＶ現像処理部３０８は、縮小ＲＡＷデータに対して現像処理（ＬＶ現像処理）を実行する。ＬＶ現像処理は、メインエンジン１４０のＲＡＷ現像処理部３２２が適用する現像処理よりも、処理負荷およびリソース負荷（メモリ１３４との通信帯域など）が低い。現像処理はデモザイク処理または同時化処理を含み、各画素がすべての色成分（Ｒ，Ｇ，Ｂ）の情報を有する画像データを生成する。本実施形態では、縮小ＲＡＷデータに対してＬＶ現像処理を適用して得られる画像データを表示画像データとして用いる。

【0057】

ＬＶ補正処理部３０９は、表示画像データに対して、歪曲補正、拡大処理、縮小処理等の補正処理を実行する。ＬＶ補正処理部３０９は、表示画像データの解像度がライブビュー画像を表示する表示装置（表示部１０１およびＥＶＦ１０８）もしくは表示領域の解像度となるように拡大処理または縮小処理を実行する。なお、拡大処理または縮小処理は必要な場合のみ実施される。表示部１０１用とＥＶＦ１０８用とで異なる解像度としてもよい。

【0058】

ＬＶ効果処理部３１０は、補正された表示画像データに対して、所定の表示効果を与えるエフェクト処理を適用する。エフェクト処理は、例えば、セピア調やモノクロへの色変換や、モザイク状や絵画風への加工などである。エフェクト処理が不要な場合、ＬＶ効果処理部３１０は入力された表示画像データをそのまま出力する。

【0059】

表示処理部３１１は、ＬＶ効果処理部３１０が出力する表示画像データを表示部１０１およびＥＶＦ１０８に表示させる。表示処理部３１１は、表示画像データに対して入出力補正やガンマ補正、ホワイトバランス補正等を適用する。また、表示処理部３１１は、表示画像データに対してアシスト情報の画像データを合成する。アシスト情報の例は、現在の設定を示す数値、アイコンなどの画像や、検出された特徴領域や焦点検出領域（ＡＦ領域）を示す枠状の画像などであるが、これらに限定されない。

【0060】

現在の設定を示す数値は、例えば、ＩＳＯ感度、色温度、シャッタスピード、絞り値などである。また、現在の設定を示すアイコンは、例えば、１枚撮影モード、連写モード、インターバル撮影モード等の撮影枚数を示すアイコン、フラッシュ使用可否を示すアイコン、設定された撮影モードを示すアイコンを含む。アシスト情報は、表示画像データに基づく画像の周辺領域に重畳するように合成されてもよいし、表示画像データに基づく画像の外周に沿って設けられたアイコン表示領域に表示されるように処理されてもよい。表示処理部３１１は、上述の処理を実行された表示画像データを表示部１０１またはＥＶＦ１０８に出力する。

【0061】

表示部１０１およびＥＶＦ１０８は、入力された表示画像データを表示する。上述の一連の処理により、表示部１０１およびＥＶＦ１０８にライブビュー画像の１フレームが表示される。同様の処理を所定のフレームレートで実行することにより、表示部１０１およびＥＶＦ１０８に対するライブビュー表示が実現される。

【0062】

検出処理部３１２は、縮小ＲＡＷデータから記録用の撮影時における撮影条件を決定したり自動焦点検出を実行したりするための評価値を算出したり、特徴領域の検出および追尾といった処理を実行する。具体的には、検出処理部３１２は、ＡＦに用いるコントラスト評価値を算出したり、位相差検出用の像信号対を生成したりする。また、検出処理部３１２はＡＥに用いる輝度評価値を算出する。検出処理部３１２は算出した評価値をメモリ１３４に格納する。また、検出処理部３１２は、縮小ＲＡＷデータに対して人物や動物の顔領域といった特徴領域の検出処理を適用する。検出処理部３１２はさらに、検出された特徴領域について、被写体認識処理や追尾処理を適用してもよい。検出処理部３１２は、検出した特徴領域の位置や大きさ、認識した被写体の情報、特定被写体の動き方向および動き量といった検出結果をメモリ１３４に格納する。検出処理部３１２が行う評価値の生成や検出は、公知の方法で実施可能である。なお、ここで説明した評価値や検出処理は単なる例示であり、他の評価値を算出したり、他の対象を検出したりしてもよい。

【0063】

カメラ制御部１３２はメモリ１３４から読み出した評価値や検出結果に基づいて、露出条件を決定したり、レンズユニット１５０のフォーカシングレンズを駆動したりする。被写体の認識処理をカメラ制御部１３２が行ってもよい。また、カメラ制御部１３２は、検出処理部３１２によって得られた評価値や検出結果を、表示処理部３１１に供給してもよい。表示処理部３１１は評価値や検出結果に応じた指標やアイコンを表示用画像データに合成することができる。

【0064】

次に、画像処理部１３１のうち、記録画像データの生成に用いられる構成について説明する。
ＲＡＷノイズ抑制処理部３１３は、センサ補正処理部３０４で処理されたＲＡＷデータのノイズを低減する。ＲＡＷノイズ抑制処理部３１３はノイズ抑制処理部３０７と同様のノイズ低減処理を実行することができる。

【0065】

圧縮処理部３１４は、ＲＡＷノイズ抑制処理部３１３で処理されたＲＡＷデータに対し、公知のデータ圧縮（符号化）処理を適用する。圧縮処理部３１４は、例えばウエーブレット変換、量子化、エントロピー符号化（差分符号化等）を組み合わせたデータ圧縮処理を適用することができる。圧縮処理部３１４が適用する圧縮（符号化）処理は、非可逆な方法でも可逆な方法でもよい。ただし、不可逆な圧縮処理を適用する場合、圧縮処理によるＲＡＷデータの品質低下が十分少ない方法もしくは設定を用いる。圧縮処理部３１４が生成する圧縮ＲＡＷデータは、メインエンジン１４０に送信される前に一旦メモリ１３４に格納されてもよい。

【0066】

送信処理部３１５は、圧縮ＲＡＷデータをメインエンジン１４０の受信処理部３２１に送信する。メモリ１３４を送信バッファとして用いることで、メインエンジン１４０に入力するデータレートを動的に調整することができる。例えば、メインエンジン１４０による処理の進行状況に応じて、送信処理部３１５と受信処理部３２１との間の伝送レート（伝送速度）を、センサ部１０６からの画像データの読み出しレートよりも遅くすることができる。

【0067】

メインエンジン１４０の画像処理部１４１は、フロントエンジン１３０から取得したＲＡＷデータに対し、フロントエンジン１３０よりも高品質の現像処理を適用して記録用の画像データを生成する。また、記録再生部１４３は、画像処理部１４１が生成した記録用の画像データを記録媒体２００に記録する。

【0068】

受信処理部３２１は、圧縮ＲＡＷデータを送信処理部３１５から受信し、ＲＡＷデータを復号する。受信処理部３２１が適用する復号処理は、圧縮処理部３１４が適用する符号化処理に対応したものである。

【0069】

ＲＡＷ現像処理部３２２は、復号されたＲＡＷデータに対して現像処理を適用して記録用の画像データを生成する。ＲＡＷ現像処理部３２２は、ＲＡＷデータに対して、デベイヤー処理（デモザイク処理）、すなわち色補間処理を施し、各画素がＲＧＢの色成分を有するようにする。また、ＲＧＢ成分を輝度成分と色差成分に変換してもよい。さらに、ＲＡＷ現像処理部３２２は、ノイズの除去や光学的な歪みを補正する処理を適用する。ＲＡＷ現像処理部３２２が実行する現像処理は、ＬＶ現像処理部３０８が実行する現像処理よりも品質が高い。具体的には、より高品質の画像が得られるアルゴリズムや演算を用いた現像処理を適用する。これは、記録される画像データは、大きな画面で表示されたり、印刷されたりするため、表示部１０１やＥＶＦ１０８で表示される動画よりも高い品質が要求されるためである。記録される画像データでも静止画データは動画データより高い品質が要求される。したがって、ＲＡＷ現像処理部３２２はＬＶ現像処理部３０８よりも多くの回路および演算リソースを必要とし、結果としてより多くの電力を必要とする。

【0070】

補正処理部３２３は、現像処理が実行された画像データに対して、歪曲補正、拡大処理、縮小処理、ノイズ抑制処理等の補正処理を実行する。補正処理部３２３は、撮影および記録処理を実行する場合、現像処理が実行された記録画像データに対して、歪曲補正、およびノイズ抑制処理を実行する。また、通信部１０９を介してライブビュー画像として外部装置に画像データを出力するライブビュー出力処理を実行する場合、歪曲補正およびノイズ抑制処理に加えて、表示装置に出力するための拡大処理、または縮小処理を実行する。

【0071】

効果処理部３２４は、外部装置にライブビュー表示を行う場合、画像データに対して、所定の表示効果を得るためのエフェクト処理を適用して出力処理部３２７に出力する。圧縮処理部３２５に出力する画像データに対しては処理を適用しない。

【0072】

出力処理部３２７は、効果処理部３２４から出力された画像データを、通信部１０９を介して外部装置に出力する。外部装置でライブビュー表示を行う場合、出力処理部３２７は、効果処理部３２４から出力された表示用画像データ（ＬＶ画像データ）に対して入出力補正やガンマ補正、ホワイトバランス補正等を行う。また、出力処理部３２７は、ＬＶ画像データとともに表示するアシスト情報を示す画像を、ＬＶ画像データと合成する。アシスト情報は、表示処理部３１１で説明した情報と同様であるので説明を省略する。出力処理部３２７は、合成処理後のＬＶ画像データを、通信部１０９を介して外部装置に出力する。なお、外部装置で再生処理を行う場合、出力処理部３２７は、アシスト情報が異なる他は同様の処理を実行する。

【0073】

圧縮処理部３２５は、画像データに対してデータ量の圧縮処理を適用する。圧縮処理部３２５が適用する圧縮処理は、公知の規格に準拠した符号化処理であってよい。圧縮処理部３２５は、例えば、静止画データに対してはＪＰＥＧやＨＥＩＦ形式の符号化処理を適用し、動画データに対してはＭＰＥＧ２、Ｈ２６４、Ｈ２６５形式の符号化処理を適用することができる。

【0074】

記録再生部１４３の記録処理部３２６は、圧縮処理部３２５が生成した符号化画像データを格納したデータファイルを記録媒体２００に例えばＤＣＦ(Design rule for Camera File system)に準拠した方法で記録する。

【0075】

このように、本実施形態のデジタルカメラ１００では、表示部１０１およびＥＶＦ１０８へのライブビュー表示に関する画像処理はフロントエンジン１３０のみで可能であり、メインエンジン１４０を使用する必要はない。一方、画像データを記録する場合にはフロントエンジン１３０に加えてメインエンジン１４０も使用する。

【0076】

図５は、デジタルカメラ１００が再生モードで動作する際のフロントエンジン１３０およびメインエンジン１４０の機能構成例を示すブロック図である。図５において、静止画撮影モードにおいて説明した機能ブロックについては図３と同じ参照数字を付してある。
デジタルカメラ１００が再生モードで動作しているときは、フロントエンジン１３０およびメインエンジン１４０の両方が通常状態で動作する。通常状態は画像処理を実行可能な状態である。通常状態に対して制限状態は、少なくとも消費電力が通常状態よりも低く制限されている状態であり、例えば通常状態で実行可能な画像処理の一部もしくはすべてを実行することができない。なお、制限状態であっても、各エンジンは外部からエンジンの起動に関する指示を受信し、起動制御を実行可能である。すなわち、制限状態は待機状態であるともいえる。

【0077】

例えば、フロントエンジン１３０は、通常状態において、センサ部１０６から入力されたＲＡＷデータから表示部１０１および／またはＥＶＦ１０８に表示する表示用画像データを生成する画像処理を実行可能である。また、フロントエンジン１３０は、通常状態において、センサ部１０６から入力されたＲＡＷデータを圧縮して、メインエンジン１４０に出力する処理を実行可能である。さらに、フロントエンジン１３０は、メインエンジン１４０から供給される画像データから表示用画像データを生成して表示部１０１に表示する画像処理を実行可能である。フロントエンジン１３０は、デジタルカメラ１００の動作を制御するカメラ制御部１３２を含む。したがって、デジタルカメラ１００の電源がオンの状態では基本的にフロントエンジン１３０が制限状態で動作することはない。例外は、所定時間以上操作がない場合にスリープモードに移行する場合などである。

【0078】

メインエンジン１４０は、通常状態において、フロントエンジン１３０から入力される圧縮ＲＡＷデータから記録用の画像データを生成し、記録媒体２００へ記録する記録制御処理を実行可能である。また、メインエンジン１４０は、通常状態において、記録媒体２００に格納された画像データを読み出して、フロントエンジン１３０に出力する再生表示制御処理を実行可能である。さらに、メインエンジン１４０は、通常状態において、フロントエンジン１３０から入力された表示用画像データを通信部１０９を介して外部装置に出力する出力制御処理を実行可能である。一方で、メインエンジン１４０は、制限状態において、上述の記録制御処理、再生表示制御処理、および出力制御処理の１つ以上を実行することができない。

【0079】

再生モードでの動作を開始すると、カメラ制御部１３２は記録再生部１４３の読出処理部４０１を制御して、記録媒体２００に記録された画像ファイルを読み出す。読出処理部４０１は読み出した画像ファイルを画像処理部１４１に出力する。

【0080】

画像処理部１４１において伸長処理部４０２は、入力された画像ファイルに格納されている符号化画像データを復号する。伸長処理部４０２は復号した画像データを送信処理部４０３と出力処理部３２７に出力する。送信処理部４０３は、画像データをフロントエンジン１３０に送信する。なお、伸長処理部４０２は圧縮処理部３２５と、送信処理部４０３は受信処理部３２１と、それぞれ同じ機能ブロックであってよい。

【0081】

伸長処理部４０２が出力する画像データは、必要に応じて効果処理部３２４を介して出力処理部３２７へ供給されてもよい。出力処理部３２７は、受信した画像データから表示用画像データを生成し、通信部１０９を介して外部装置に出力する。出力処理部３２７は、伸長処理部４０２から出力された画像データに対してスケーリング、入出力補正やガンマ補正、ホワイトバランス補正等を行う。また、出力処理部３２７は、表示用画像データとともに表示する、アシスト情報の画像（アイコンなどのＧＵＩ）を、画像データと組み合わせる処理を行う。出力処理部３２７は、サムネイル表示のためのサムネイル画像を生成することも可能である。出力処理部３２７は、表示用画像データを通信部１０９を介して外部装置に出力する。

【0082】

フロントエンジン１３０の受信処理部４１１は、メインエンジン１４０から出力された画像データを受信し、表示処理部３１１に出力する。受信処理部４１１は送信処理部３１５と同じ機能ブロックであってもよい。
表示処理部３１１は、画像データに基づいて表示用画像データを生成し、表示部１０１もしくはＥＶＦ１０８に表示用画像データを表示する。

【0083】

なお、ユーザが操作部１１０を操作して、サムネイル表示を指示した場合、カメラ制御部１３２は、サムネイル表示に用いる複数の画像ファイルを記録媒体２００から読み出すようにメインエンジン１４０を制御する。メインエンジン１４０は複数の画像データをフロントエンジン１３０に出力する。そして、カメラ制御部１３２は、複数の画像データのそれぞれに対してサムネイル画像を生成し、一覧表示画面を生成するように表示処理部３１１を制御する。表示処理部３１１は、サムネイル画像の生成にＬＶ補正処理部３０７の縮小処理機能を用いてもよい。

【0084】

次に、図６のフローチャートを用いて、デジタルカメラ１００の全体動作について説明する。図６のフローチャートに示す動作は、デジタルカメラ１００の電源スイッチ１０３により、電源ＯＮが指示されたことに応じて開始する。

【0085】

Ｓ５０１でフロントエンジン１３０の起動処理が実行される。電源制御部１０７は、電源スイッチ１０３から電源ＯＮが指示されたことに応じて、フロントエンジン１３０が通常状態で動作するための電力を供給する。フロントエンジン１３０のカメラ制御部１３２は、システムメモリ１３３から起動用のプログラムおよびパラメーターを読み出して、起動動作を実行する。なお、電源制御部１０７は、フロントエンジン１３０以外の機能ブロックに対しても電源の供給を開始するが、メインエンジン１４０に対しては、制限状態で動作するための電力を供給する。

【0086】

Ｓ５０２で、カメラ制御部１３２は、デジタルカメラ１００の動作モードが撮影モードであるか、再生モードであるか判定する。カメラ制御部１３２は、システムメモリ１３３に格納された設定データを読み出して、デジタルカメラ１００の動作モードを確認する。もしくは、カメラ制御部１３２は、モード切替スイッチ１２１が示す動作モードに基づいて、デジタルカメラ１００の動作モードを確認する。撮影モードが設定されていると判定された場合、カメラ制御部１３２はＳ５０３を実行する。一方、再生モードが設定されていると判定された場合、カメラ制御部１３２はＳ５１４を実行する。なお、本フローチャートの説明においては、撮影モードが静止画撮影モードである場合について説明するが、動画像の撮影モードであってもよい。

【0087】

また、Ｓ５０２で、カメラ制御部１３２は、メインエンジン１４０が通常状態で動作しているか否かを判定し、通常状態で動作していると判定された場合にはメインエンジン１４０を制限状態で動作するように変更する。これは、外部出力機能が有効から無効に変更された場合等に、メインエンジン１４０の状態を制限状態とするためである。この処理の詳細は、後述する。

【0088】

Ｓ５０３で、カメラ制御部１３２は、ライブビュー処理の実行を開始する。ライブビュー処理は、センサ部１０６による動画像の撮影と、得られた動画像データから表示用画像データを生成して表示部１０１（ＥＶＦ１０８）に表示する動作を継続的に実行する処理である。ライブビュー処理が実行されると、表示部１０１もしくはＥＶＦ１０８に、現在の撮影条件および撮影範囲に対応する画像が継続的に表示される。ユーザは、表示されるライブビュー画像を確認して、撮影範囲や撮影条件を調整する。ライブビュー処理が実行されており、かつ静止画撮影の準備や実行に関する指示が入力されていない間、デジタルカメラ１００は撮影待機状態にあるといえる。

【0089】

図７は、Ｓ５０３におけるライブビュー処理の詳細について示すフローチャートである。図７はライブビュー画像（動画像）の１フレーム分の処理を示しており、実際には所定の表示フレームレート（例えば３０フレーム／秒）を実現するよう、図７に示す処理が繰り返し、かつ継続して実行される。ライブビュー処理はデジタルカメラ１００が撮影モードで動作している間は、ライブビュー表示の中止がユーザから指示されない限り、画像を記録しているか否かにかかわらず継続して実行される。

【0090】

Ｓ６０１で、カメラ制御部１３２は、レンズ１５１やセンサ部１０６の動作を制御し、光学像を取得（撮影）して１フレーム分の画像データを出力する。例えば、カメラ制御部１３２は、ユーザ指示に従ってレンズ１５１の画角を変更したり、所定の焦点検出領域に合焦するようにレンズ１５１の合焦距離を変更したりするために、制御端子群１０４を介して、レンズ制御部１５４に指示を出力する。なお、カメラ制御部１３２は、ライブビュー画像の撮影中、シャッタ１０５は全開とし、所謂電子シャッタによる撮影を行うようにセンサ部１０６を制御する。なお、カメラ制御部１３２は、検出処理によって得られる評価値や特徴領域の検出結果を考慮して、動画撮影時に用いる撮影条件や焦点検出領域を決定してもよい。

【0091】

Ｓ６０２で、カメラ制御部１３２は、画像処理部１３１に画像データの読出処理を実行させる。例えば、読出し速度は１０００ＭＰ／秒であるとする。ＭＰは１００万画素を表す。
Ｓ６０３で、画像処理部１３２の画素並替処理部３０１は、ラスタスキャン順に入力される画像データを２次元マトリクス状に並べ替えて１フレームのＲＡＷデータを生成する。

【0092】

Ｓ６０４で、圧縮処理部３０２は、画素並替処理部３０１で生成したＲＡＷデータを所定の２次元画素ブロック単位で符号化して、圧縮ＲＡＷデータを出力する。符号化によるデータ量の圧縮率は、カメラ制御部１３２から設定されるパラメータに基づく。

【0093】

Ｓ６０５で、伸長処理部３０３は、圧縮ＲＡＷデータを復号する。
Ｓ６０６で、センサ補正処理部３０４は、復号ＲＡＷデータに対して、あらかじめ取得されたセンサの特性に基づく補正処理（センサ補正処理）を実行する。
Ｓ６０７で、縮小処理部３０５は、センサ補正処理部３０４が出力するＲＡＷデータに縮小処理を適用して、縮小ＲＡＷデータを生成する。

【0094】

Ｓ６０８で、検出処理部３１２は、縮小ＲＡＷデータに対して予め定められた評価値の算出処理や特徴領域の検出処理などを適用する。なお、検出処理部３１２の処理は、ＬＶ処理に含まれる他の処理と並行して実行されていてもよい。

【0095】

Ｓ６０９で、光学補正処理部３０６は、縮小ＲＡＷデータに対してレンズ１５１等の光学特性に関連する補正処理（光学補正処理）を適用する。
Ｓ６１０で、ノイズ抑制処理部３０７は、光学補正処理が適用された縮小ＲＡＷデータに対して、ノイズを低減する処理を適用する。
Ｓ６１１で、ＬＶ現像処理部３０８は、ノイズ抑制処理が実行された縮小ＲＡＷデータに対して現像処理（ＬＶ現像処理）を適用して、表示画像データを生成する。

【0096】

Ｓ６１２で、ＬＶ補正処理部３０９は、表示画像データに対して、歪曲補正、拡大処理、縮小処理等の補正処理を適用する。
Ｓ６１３で、ＬＶ効果処理部３１０は、表示画像データに対して、所定の表示効果をえるためのエフェクト処理を適用する。
Ｓ６１４で、表示処理部３１１は、表示画像データを表示部１０１およびＥＶＦ１０８に表示させる。
以上で、ライブビュー画像１フレーム分の処理が終了する。

【0097】

図６のフローチャートの説明に戻り、Ｓ５０４で、カメラ制御部１３２は、ＳＷ１信号が入力されたか否か、すなわち、シャッタボタンの半押し動作もしくは撮影準備指示が検出されたか否かを判定する。カメラ制御部１３２は、ＳＷ１信号が入力されたと判定された場合にはＳ５０５を、ＳＷ１信号が入力されたと判定されない場合にはＳ５１１を実行する。

【0098】

Ｓ５０５で、カメラ制御部１３２は、圧縮処理部３０２に対して圧縮率の変更を指示する。圧縮処理部３０２は、デジタルカメラ１００が撮影モード状態で動作している間、センサ部１０６から読み出されるＲＡＷデータを所定の圧縮率で符号化して、フロントエンジン１３１のバス帯域削減を行うものとする。

【0099】

Ｓ５０５でカメラ制御部１３２は、撮影準備指示が入力される前よりも圧縮率を低くする。圧縮率が低くなるということは、削減されるデータ量が少なくなることであり、圧縮による画質低下がより少なくなるということである。これにより、検出処理部３１２における評価値の算出や特徴領域の検出といった、画像データに基づく検出処理の精度を、圧縮率の低減前よりも高めることが可能になる。

【0100】

Ｓ５０６でカメラ制御部１３２は、画像処理部１３１を用いて撮影準備動作を実行する。具体的には、カメラ制御部１３２は、検出処理部３１２で得られた評価値や特徴領域の検出結果に基づいて、露出条件を決定するＡＥ処理や、焦点検出領域が合焦する様にレンズ１５１の合焦距離（フォーカシングレンズの位置）を調整するＡＦ処理を実行する。

【0101】

Ｓ５０７で、カメラ制御部１３２は、ＳＷ２信号が入力されたか否か、すなわち、シャッタボタンの全押し動作もしくは撮影指示が検出されたか否かを判定する。カメラ制御部１３２は、ＳＷ２信号が入力されたと判定された場合にはＳ５０８を、ＳＷ２信号が入力されたと判定されない場合にはＳ５１１を実行する。

【0102】

Ｓ５０８で、カメラ制御部１３２は、メインエンジン１４０の起動処理を実行する。図８（ａ）に示すフローチャートを用いてメインエンジン１４０の起動処理の詳細を説明する。
Ｓ９０１で、カメラ制御部１３２は、電源制御部１０７に対して、メインエンジン１４０への電力供給の制限を解除する指示を出力する。
Ｓ９０２で、電源制御部１０７は、メインエンジン１４０への電力供給の制御を解除し、メインエンジン１４０が通常状態で動作するために必要な電力の供給を開始する。
Ｓ９０３で、メインエンジン１４０の制御部１４３は、システムメモリ１４４からメインエンジン１４０が起動するために用いるプログラムおよびパラメーターを読み出す処理を実行する。
Ｓ９０４で、制御部１４３は、メインエンジン１４０の起動制御を実行する。これにより、メインエンジン１４０の動作が制限状態から通常状態に遷移する。

【0103】

図６に戻り、Ｓ５０９でカメラ制御部１３２および制御部１４３は撮影および記録処理を実行する。撮影および記録処理は、センサ部１０６における静止画撮影、メインエンジン１４０におけるＲＡＷデータの現像処理、現像処理で得られた画像データの記録媒体２００への記録までの一連の処理である。

【0104】

図９に示すフローチャートを用いて、撮影および記録処理の詳細について説明する。
Ｓ７０１で、カメラ制御部１３２は、Ｓ５０６の撮影準備処理において決定した露出条件に基づいて絞り１５２とシャッタ１０５の動作を制御し、センサ部１０６の撮像素子を露光する。

【0105】

Ｓ７０２で、画像処理部１３１は、センサ部１０６から画像データを読み出す。画像処理部１３１は、センサ部１０６から１フレームの画像データを５ｍｓで読み出すとすると、読出し速度は１５００ＭＰ／秒である。
Ｓ７０３で、画素並替処理部３０１は、ラスタスキャン順に入力される画像データを２次元マトリクス状に並べ替えて１フレーム分のＲＡＷデータを生成する。

【0106】

Ｓ７０４で、圧縮処理部３０２は、画素並替処理部３０１で生成したＲＡＷデータを所定の２次元画素ブロック単位で符号化して、データ量を削減した圧縮ＲＡＷデータを生成する。符号化によるデータ量の圧縮率は、カメラ制御部１３２から設定されるパラメータに基づく。
Ｓ７０５で、伸長処理部３０３は、圧縮ＲＡＷデータを復号する。
Ｓ７０６で、センサ補正処理部３０４は、復号ＲＡＷデータに対して、あらかじめ取得されたセンサの特性に基づく補正処理（センサ補正処理）を適用する。

【0107】

Ｓ７０７で、ＲＡＷノイズ抑制処理部３１３は、センサ補正処理部３０４が出力するＲＡＷデータにノイズ低減処理を適応する。
Ｓ７０８で、圧縮処理部３１４は、ＲＡＷノイズ抑制処理部３１３が出力するＲＡＷデータに対して圧縮処理を適用し、圧縮ＲＡＷデータを生成する。圧縮処理部３１４は、圧縮ＲＡＷデータを一時的にメモリ１３４に格納してバッファリングする。

【0108】

Ｓ７０９で、送信処理部３１５は、圧縮ＲＡＷデータをメインエンジン１４０の受信処理部３２１に送信する。例えば送信処理部３１５は１フレーム当たり１５ｍｓで受信処理部３２１へ送信するものとする。つまり、フロントエンジン１３０がセンサ部１０６から１フレーム分の画像データを読み出す速度（５ｍｓ）よりも遅いデータレートで、フロントエンジン１３０からメインエンジン１４０に圧縮ＲＡＷデータを送信する。

【0109】

メインエンジン１４０の画像処理部１４１が画像処理（現像処理）を適用するＲＡＷデータは縮小されてないため、フロントエンジン１３０の画像処理部１３１が画像処理（現像処理）を適用するＲＡＷデータよりも解像度が高い。さらに、画像処理部１４１が適用する現像処理は、画像処理部１３１が適用する現像処理が処理速度を重視しているのに対して、得られる画質が良好であることを重視している。そのため、画像処理部１４１が適用する現像処理は画像処理部１３１が適用する現像処理よりも演算負荷が高い。したがって、画像処理部１４１の処理レートは画像処理部１３１の処理レートよりも低い（遅い）。

【0110】

フロントエンジン１３１内で圧縮ＲＡＷデータをバッファリングすることにより、フロントエンジン１３０からメインエンジン１４０へのＲＡＷデータの転送速度を、センサ部１０６の読み出し速度よりも遅くすることが可能となる。つまり、メインエンジン１４０の処理レートに合わせたデータ転送が可能となる。これにより、メインエンジン１４０の処理レートをセンサ部の読み出し速度よりも低く抑えることができ、消費電力や回路規模の増大を抑制しつつ、高精度の画像処理を実行することを実現している。なお、画像処理部１４１が適用する現像処理は、例えば色再現性や補正の精度において画像処理部１３１が適用する現像処理よりも精度および／または品位が高い。

【0111】

Ｓ７１０で、受信処理部３２１は、送信処理部３１５から送信された圧縮ＲＡＷデータを受信する。
Ｓ７１１で、受信処理部３２１は、圧縮ＲＡＷデータに対して伸長処理を適用して、圧縮状態を解除する。受信処理部３２１が適用する伸張処理は圧縮処理部３４１が適用する圧縮処理の逆処理に相当する。

【0112】

Ｓ７１２で、ＲＡＷ現像処理部３２２は、ＲＡＷデータに対して現像処理を適用し、記録用の画像データを生成する。
Ｓ７１３で、補正処理部３２３は、記録用の画像データに対して歪曲補正およびノイズ抑制処理を適用する。
Ｓ７１４で、効果処理部３２４は、記録用の画像データに対して、効果処理を適用する。効果処理の内容は、あらかじめ定められた効果を記録画像データに対して付与する処理である。効果処理は、例えば、モノクロ変換処理や各種のフィルタを適用する処理である。

【0113】

Ｓ７１５で、圧縮処理部３２５は、記録用の画像データに対して圧縮処理を適用し、画像データファイルを生成する。圧縮処理の方法は予め定められた符号化方式に基づくものであってよい。
Ｓ７１６で、記録再生部１４３の記録処理部３２６は、画像データファイルを記録媒体２００に格納する。

【0114】

Ｓ７１７で、カメラ制御部１３２は、連写機能が有効であるか否かを判定する。連写機能は、例えばメニュー画面を通じてユーザが有効もしくは無効を設定可能である。カメラ制御部１３２は、連写機能が有効であると判定された場合はＳ７１８を、連写機能が有効であると判定されない場合は、撮影および記録処理を終了してＳ５１０を実行する。

【0115】

Ｓ７１８で、カメラ制御部１３２は、ＳＷ２信号が入力されているか否か、すなわち、シャッタボタン１０２の全押し状態が継続しているか否かを判定する。カメラ制御部１３２は、ＳＷ２信号が入力されていると判定された場合はＳ７０１から再度実行し、ＳＷ２信号が入力されていると判定されない場合には、撮影および記録処理を終了してＳ５１０を実行する。

【0116】

上述のフローチャートでは、メインエンジン１４０は、フロントエンジン１３０から出力された圧縮されたＲＡＷデータに伸長処理と現像処理を適用した画像データを記録媒体２００に記録した。メインエンジン１４０は、フロントエンジン１３０から出力された圧縮されたＲＡＷデータを記録媒体２００に記録することも可能である。この場合、Ｓ７１１からＳ７１５の一連の処理は実行されない。受信処理部３２１が受信した圧縮されたＲＡＷデータを、記録再生部１４３が記録媒体２００に記録する。

【0117】

図６に戻り、Ｓ５１０で、カメラ制御部１３２は、メインエンジン１４０の動作状態を通常状態から制限状態にする停止処理を実行する。図８（ｂ）に示すフローチャートを用いてメインエンジン１４０の停止処理の詳細を説明する。
Ｓ９１１で、カメラ制御部１３２は、メインエンジン１４０の制御部１４３に対して、動作停止指示を出力する。
Ｓ９１２で、制御部１４３は、次回のメインエンジン１４０の起動のために必要なパラメーター等のデータ（起動データ）をシステムメモリ１４４に格納する。なお、データの格納先は、メモリ１４５であってもよい。
Ｓ９１３で、制御部１４３は、メインエンジン１４０の動作を停止する処理を実行する。
Ｓ９１４で、カメラ制御部１３２は、電源制御部１０７に対して、メインエンジン１４０へ供給する電力を、制限状態で動作するための電力に変更する指示を出力する。
Ｓ９１５で、電源制御部１０７は、メインエンジン１４０への電力供給量を、予め定められた制限状態用の電力に低減する。これにより、メインエンジン１４０の動作が通常状態から制限状態に遷移する。
メインエンジン１４０の動作状態が制限状態に遷移することによって、デジタルカメラ１００の消費電力を抑制することが可能となる。

【0118】

Ｓ５０４でＳＷ１信号が入力されていると判定されない場合、Ｓ５１１でカメラ制御部１３２は、圧縮処理部３０２が適用する圧縮処理の圧縮率を初期値に戻す。なお、Ｓ５０５が実行されておらず、圧縮率が初期値のままであればＳ５１１を実行しなくてもよい。

【0119】

Ｓ５１２で、カメラ制御部１３２は、デジタルカメラ１００の動作の終了指示が入力されたか否かを判定する。具体的には、カメラ制御部１３２は、電源スイッチ１０３がオンからオフに操作されたか否かを判定する。また、所定時間操作がなかった場合に、終了指示が入力されたと判定してもよい（いわゆる、スリープ動作）。終了指示が入力されたと判定された場合、カメラ制御部１３２はＳ５１３を実行する。終了指示が入力されたと判定されない場合、カメラ制御部１３２はＳ５０２を実行する。

【0120】

Ｓ５１３で、カメラ制御部１３２は、フロントエンジン１３０の停止処理を実行する。これにより、カメラ制御部１３２自身の動作も停止する。また、カメラ制御部１３２は、デジタルカメラ１００の他の各部に対する停止処理も実行する。これにより、デジタルカメラ１００の全体の動作は停止する。

【0121】

Ｓ５０２でデジタルカメラ１００の動作モードが撮影モードでない（再生モードである）と判定された場合、カメラ制御部１３２はＳ５１４を実行する。
Ｓ５１４で、カメラ制御部１３２は、Ｓ５０８と同様にメインエンジン１４０の起動処理を実行する。

【0122】

その後、Ｓ５１５で、カメラ制御部１３２は、再生処理を実行する。再生処理は、記録媒体２００に格納された画像データを読み出して、表示部１００に表示する処理である。図９に示すフローチャートを用いて、再生処理の詳細について説明する。

【0123】

Ｓ８０１で、メインエンジン１４０の記録再生部１４３は、カメラ制御部１３２から指定された画像データファイルを記録媒体２００から読み出す。カメラ制御部１３２は例えば最後に格納された画像データファイルを読み出すように指示することができる。記録媒体２００には、ＪＰＥＧなど予め定められた形式の画像データファイルが格納されている。記録再生部１４３は、読み出した画像データファイルを画像処理部１４１に出力する。

【0124】

Ｓ８０２で、画像処理部１４１は、画像データファイルに格納されている符号化画像データを復号（伸長）する。具体的には、画像処理部１４１は、符号化画像データの符号化方式に対応した復号処理を、符号化画像データに適用する。

【0125】

Ｓ８０３で、画像処理部１４１は、復号した画像データをフロントエンジン１３０の画像処理部１３１に送信する。
Ｓ８０４で、画像処理部１３１は、メインエンジン１４０から送信された画像データを受信する。
Ｓ８０５で、画像処理部１３１は、受信した画像データに基づいて表示用画像データを生成し、表示部１０１もしくはＥＶＦ１０８に表示する。この処理は図５の表示処理部３１１の処理として説明したものである。

【0126】

Ｓ８０６で、カメラ制御部１３２は、表示画像の変更指示が操作部１１０を介して入力されたか否かを判定する。例えば、表示画像の変更は、十字キー１１４の操作による画像送りや、拡大ボタン１１８の操作によるサムネイル表示への変更であってよい。表示画像の変更指示が入力されたと判定される場合、カメラ制御部１３２は、指示に応じた画像データファイルを指定し、記録再生部１４３にＳ８０１を実行させる。

【0127】

一方、表示画像の変更指示が入力されたと判定されない場合、カメラ制御部１３２はＳ８０７を実行する。Ｓ８０７で、カメラ制御部１３２は、デジタルカメラ１００の動作モード変更の指示が入力されたか否かを判定する。モード変更の指示は、モード切替スイッチ１２１やシャッタボタン１０２の操作であってもよいし、他の操作であってもよい。モード変更の指示が入力されたと判定されない場合、カメラ制御部１３２は、Ｓ８０６を繰り返し実行する。モード変更の指示が入力されたと判定された場合、カメラ制御部１３２は、再生処理を終了し、Ｓ５１０を実行する。

【0128】

本実施形態においてカメラ制御部１３２は、撮影待機状態においてメインエンジン１４０への電力供給を制限し、画像データを記録媒体に記録するための撮影指示の入力に応じて、メインエンジン１４０への電力供給の制限を解除する。しかし、メインエンジン１４０への電力供給の制限を解除するトリガーは、記録用の静止画撮影指示の入力に限定されない。例えば、撮影前の予備動作である撮影準備指示の入力に応じて、メインエンジン１４０への電力供給の制限を解除してもよい。この場合、撮影指示が入力される時点までにメインエンジン１４０の起動を完了できるため、所謂シャッタタイムラグを削減することができる。

【0129】

バスの帯域削減のために符号化処理を適用したＲＡＷデータを、表示用画像データの生成と撮影制御用の情報（評価値や特徴領域の検出結果など）の取得に用いる場合に、撮影準備指示の入力に応じて符号化処理の圧縮率を低減するようにした。そのため、本実施形態によれば、撮影準備指示が入力されるまでの間はバスの帯域削減による消費電力の低減を行いながらライブビュー表示を実行し、撮影準備指示が入力された後は、撮影制御用の情報の検出を良好な精度で実施できる。また、撮影準備指示の入力前後で画像データの解像度に変更はないため、従来技術のように撮影準備指示の入力前後で表示画像の画質が大きく変化することもない。

【0130】

なお、本実施形態では、撮影準備指示をシャッタボタンの半押し操作の検出としたが、他の操作の検出であってもよい。例えば、タッチディスプレイ上のタッチ位置を焦点検出領域としたオートフォーカスを実行する撮像装置の場合、タッチディスプレイ上のタッチ操作を撮影準備指示の入力と見なしてもよい。

【0131】

また、シャッタボタンとは別に、撮影準備指示を入力する機能が割り当てられた操作部材が設けられてもよい。この場合、そのような操作部材の操作を、撮影準備指示の入力と見なすことができる。さらに、視線入力や音声入力など、操作部材の操作を必要としない方法によって撮影準備指示が入力される構成であってもよい。

【0132】

●（第２実施形態）
次に、本発明の第２実施形態について説明する。第１実施形態では、ＲＡＷデータに符号化を適用することで画像処理部内のバスの帯域削減を行う構成において、撮影準備指示の入力に応じて符号化の圧縮率を低減するようにした。第２実施形態では、第１実施形態におけるＲＡＷデータの符号化に加え、色補間（デベイヤー、デモザイク、同時化などともいう）処理後の表示用画像データを符号化する構成を備えた撮像装置について説明する。

【0133】

なお、本実施形態の説明において、第１実施形態と共通する内容については説明を省略する。図１１は、本実施形態に係るデジタルカメラ１００のフロントエンジン１３０およびメインエンジン１４０の機能構成例を示すブロック図であり、第１実施形態と同様の構成については図４と同じ参照数字を付してある。以下では、第１実施形態と異なる構成について重点的に説明する。

【0134】

本実施形態の画像処理部１３１は、第１実施形態の構成に加え、ＬＶ補正処理部３０９とＬＶ効果処理部３１０との間に、圧縮処理部１１０１（第２の圧縮手段）および伸長処理部１１０２（第２の伸長手段）を有している。圧縮処理部１１０１および伸長処理部１１０２はカメラ制御部１３２の制御により選択的に用いられる。圧縮処理部１１０１および伸長処理部１１０２が用いられない場合、画像処理部１３１は第１実施形態と同一の処理を実行する。

【0135】

圧縮処理部１１０１は、ＬＶ補正処理部３０９が出力する光学補正処理後の画像データに対して圧縮処理を適用する。圧縮処理部１１０１に入力される画像データには、ＬＶ現像処理部３０８において色補間処理を含む現像処理が適用されている。したがって、画像データを構成する画素データのそれぞれは、ＲＧＢまたはＹＣｂＣｒといった複数の成分を有する。

【0136】

圧縮処理部１１０１は圧縮処理部３０２（第１の圧縮手段）と同様に、フロントエンジン１３０内のバス帯域を削減する目的で、低消費電力かつ低遅延を実現可能な方法で画像データを符号化することにより画像データ量を圧縮（削減）する。例えば量子化、ＤＰＣＭなどの差分符号化、エントロピー符号化といった単純な回路構成で実現可能な符号化方法を用いることができる。圧縮処理部１１０１が適用する符号化は、非可逆符号化でも可逆符号化でも良い。

【0137】

符号化は、ＬＶ補正処理部３０９から受信した画像データを水平方向および垂直方向に分割した２次元の画素ブロック（符号化ブロック）単位で行う。圧縮処理部１１０１における符号化ブロックの大きさは、圧縮処理部３０２が符号化を適用する符号化ブロックの大きさと異なってもよい。圧縮処理部１１０１の符号化処理によるデータ量の圧縮率は、カメラ制御部１３２からの設定に基づいて符号化ブロック単位で変更可能であるものとする。圧縮処理部１１０１は、圧縮した画像データを一時的にメモリ１３４に格納してバッファリングしてもよい。

【0138】

伸長処理部１１０２は、圧縮処理部１１０１から直接受信する、あるいはメモリ１３４から読み出した、符号化された画像データを復号する。これにより画像データの圧縮が解除される。
画像処理部１３１が有する他の機能ブロックは第１の実施形態と同様であるため、説明を省略する。

【0139】

次に、本実施形態におけるライブビュー処理の詳細について、図１２に示すフローチャートを用いて説明する。なお、図１２において、第１実施形態と同様の処理ステップについては図７と同じ参照数字を付して説明を省略する。図１２に示すライブビュー処理は、第１実施形態で説明した図６のＳ５０３で実行することができる。

【0140】

Ｓ６０１からＳ６１２までの処理ステップは第１実施形態と同様である。
Ｓ１２０１で、カメラ制御部１３２は、圧縮処理部３０２における符号化の圧縮率が（Ｓ５１１の実行により）低減されているか否かを判定する。これは、ライブビュー表示処理が、ＳＷ１信号（撮影準備指示）の入力を検出した後に実行されているのか否かの判定とも言える。

【0141】

カメラ制御部１３２は例えば、圧縮処理部３０２に問い合わせたり、システムメモリ１３３を参照することにより、現在の圧縮率の設定が初期値なのか低減後の値なのかを確認することによってこの判定を行うことができる。カメラ制御部１３２は、圧縮率が低減されていると判定されない場合には圧縮処理部１１０１および伸長伸長処理部１１０２を無効とし、Ｓ６１３を実行する。一方、圧縮率が低減されていると判定された場合、カメラ制御部１３２は、カメラ制御部１３２は、圧縮処理部１１０１および伸長伸長処理部１１０２を有効とし、Ｓ１２０２を実行する。

【0142】

圧縮処理部１１０１および伸長伸長処理部１１０２が無効であるとは、ＬＶ補正処理部３０９の出力する画像データに圧縮処理および伸長処理が適用されないことを意味する。したがって、カメラ制御部１３２は、ＬＶ補正処理部３０９の出力する画像データを圧縮処理部１１０１ではなくＬＶ効果処理部３１０に供給するようにデータ経路を変更して、圧縮処理部１１０１および伸長伸長処理部１１０２を無効にすることができる。あるいは、カメラ制御部１３２は、入力画像データをそのまま出力するように圧縮処理部１１０１および伸長伸長処理部１１０２を設定することにより、圧縮処理部１１０１および伸長伸長処理部１１０２を無効にしてもよい。

【0143】

Ｓ１２０２で、圧縮処理部１１０１は、ＬＶ補正処理３０９で補正された画像データを符号化して符号化画像データを出力する。符号化によるデータ量の圧縮率はカメラ制御部１３２より予め定められているものとする。
Ｓ１２０３で、伸長処理部１１０２は、圧縮処理部１１０１が出力する符号化画像データを復号して画像データを出力する。
Ｓ６１３およびＳ６１４は第１実施形態と同一であるため説明を省略する。

【0144】

本実施形態は、ＲＡＷデータに対する圧縮率が初期値より低減されている状態で、現像処理後の画像データに対して圧縮処理および復号処理を適用するようにした。ＲＡＷデータの圧縮率が低減されていることによるバス帯域の使用率上昇を、現像後の画像データに対する圧縮処理および復号処理によって抑制することができる。

【0145】

なお、上述の説明ではＲＡＷデータの圧縮率が初期値より低減されていることを条件として現像後の画像データに圧縮および伸長処理を適用するものとして説明した。しかしながら、ＲＡＷデータの圧縮率が初期値より低減されているか否かにかかわらず、現像後の画像データに圧縮および伸長処理を適用してもよい。この場合、ＲＡＷデータの圧縮率が初期値より低減されていると判定されると、現像後の画像データの圧縮率をさらに増加させるようにして、バス帯域の使用率情報を抑制するようにすることができる。

【0146】

●（第３実施形態）
次に、本発明の第３実施形態について説明する。第２実施形態では、現像処理後の表示用画像データに圧縮処理を適用することで、ＲＡＷデータの圧縮率が低減された際のバス帯域の使用率向上を抑制した。第３実施形態では、表示画像データとともに表示するアシスト情報のアイコンデータの表示サイズまたは面積に応じて、ＲＡＷデータもしくは現像処理後の表示用画像データの圧縮率を制御する。

【0147】

これは、アシスト情報の表示サイズまたは面積が多い場合、ライブビュー画像への注目度が低いと考えられることによる。したがって、アシスト情報の表示サイズまたは面積が多い場合に、ライブビュー画像の圧縮率を増加させることによって画質が多少低下しても、ユーザの使い勝手に与える影響は小さい。

【0148】

一般に、ライブビュー画像とともに表示されるアシスト情報の種類や数は、ユーザ設定に応じて動的に変更可能である。例えばデジタルカメラ１００が操作部１１０にアシスト情報の表示パターンを変更するためのdispボタンを有する場合、dispボタンが押下されるごとに表示されるアシスト情報の数や種類が変化する。表示するアシスト情報の種類の数はユーザがカスタマイズ可能な場合もある。アシスト情報を全く表示しない設定も存在しうる。

【0149】

本実施形態は第２実施形態で図１１を用いて説明した画像処理部１３１の構成によって実現可能である。そのため、以下では図１１に示す画像処理部１３１で本実施形態に係るライブビュー処理を実行するものとして説明する。

【0150】

次に、本実施形態におけるライブビュー処理の詳細について、図１３に示すフローチャートを用いて説明する。なお、図１３において、第１実施形態と同様の処理ステップについては図７と、第２実施形態と同様の処理ステップについては図１２と、それぞれ同じ参照数字を付して説明を省略する。図１３に示すライブビュー処理は、第１実施形態で説明した図６のＳ５０３で実行することができる。

【0151】

Ｓ６０１からＳ６１４までの処理ステップは第１実施形態と、Ｓ１２０１からＳ１２０３までの処理ステップは第２実施形態と、それぞれ同様である。

【0152】

Ｓ６１４における表示処理が行われた後、カメラ制御部１３２はＳ１３０１を実行する。Ｓ１３０１で、カメラ制御部１３２は、Ｓ６１４で表示したアシスト情報の画像（ＧＵＩ）の描画サイズの合計が、表示部１０１（またはＥＶＦ１０８）の表示領域全体のサイズに占める割合が、所定の閾値（例えば５０％）以上であるか否かを判断する。カメラ制御部１３２は、アシスト情報の画像の描画サイズの割合が閾値以上と判定されない場合はＳ１３０３を、閾値以上と判定されば場合はＳ１３０２を、それぞれ実行する。

【0153】

Ｓ１３０２で、カメラ制御部１３２は、圧縮処理部１１０１に対し、画像データの圧縮率をさらに増加させるよう指示する。また、カメラ制御部１３２は、画像処理部１３１内のバス帯域の使用率を監視しており、使用率が許容範囲に収まると判定される場合には、圧縮処理部３０２に対してＲＡＷデータの圧縮率を下げるように指示してもよい。例えば、圧縮処理部３０２における圧縮率とバス帯域の使用率との関係を予めシステムメモリに記憶しておくことにより、カメラ制御部１３２は、バス帯域の使用率を許容範囲に収めつつ、ＲＡＷデータの圧縮率をできるだけ下げるように制御することができる。

【0154】

Ｓ１３０３で、カメラ制御部１３２は、Ｓ１３０２の実行によって変更された圧縮処理部１１０１または圧縮処理部３０２に対する圧縮率の設定を変更前の設定に戻す。

【0155】

なお、Ｓ１３０１の判定において、アシスト情報のＧＵＩの総表示面積が表示領域に占める割合を用いるものとして説明した。しかし、表示されるアシスト情報の組み合わせとして予め複数の選択肢（表示パターン）が存在する場合、選択肢ごとのＧＵＩの総表示面積は予め想定することができる。したがって、カメラ制御部１３２は、アシスト情報の表示設定を参照し、現在設定されている表示パターンに応じてＳ１３０１の判定を行ってもよい。

【0156】

本実施形態によれば、第１および第２実施形態の効果に加え、ユーザの使い勝手を考慮しつつ、さらなるバス帯域の削減や、撮影制御用の検出処理の精度向上を実現することができる。

【0157】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0158】

１００…デジタルカメラ（本体）、１０１…表示部、１０６…センサ部、１０７…電力制御部、１０８…ＥＶＦ、１３０…フロントエンジン、１４０…メインエンジン、１５０…レンズユニット、２００…記録媒体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】