特許 6248412 撮像装置、撮像方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6248412

(24)【登録日】2017年12月1日

(45)【発行日】2017年12月20日

(54)【発明の名称】撮像装置、撮像方法、プログラム

(51)【国際特許分類】

   H04N 5/225 20060101AFI20171211BHJP

   H04N 5/232 20060101ALI20171211BHJP

   G03B 17/18 20060101ALI20171211BHJP

   H04N 101/00 20060101ALN20171211BHJP

【ＦＩ】

   H04N5/225 300

   H04N5/232 935

   H04N5/232 220

   G03B17/18 Z

   H04N101:00

【請求項の数】9

【全頁数】21

(21)【出願番号】特願2013-101051(P2013-101051)

(22)【出願日】2013年5月13日

(65)【公開番号】特開2014-222801(P2014-222801A)

(43)【公開日】2014年11月27日

【審査請求日】2016年1月22日

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニー株式会社

(74)【代理人】

【識別番号】100116942

【弁理士】

【氏名又は名称】岩田 雅信

(74)【代理人】

【識別番号】100167704

【弁理士】

【氏名又は名称】中川 裕人

(74)【代理人】

【識別番号】100114122

【弁理士】

【氏名又は名称】鈴木 伸夫

(74)【代理人】

【識別番号】100086841

【弁理士】

【氏名又は名称】脇 篤夫

(72)【発明者】

【氏名】若園 雅史

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 特開２００４−１２８５８７（ＪＰ，Ａ）

【文献】 特開２００９−０１０６１６（ＪＰ，Ａ）

【文献】 特開２００７−０６０３２８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｇ０３Ｂ １７／１８

Ｈ０４Ｎ １０１／００

(57)【特許請求の範囲】

【請求項1】

被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、解像度が異なる複数の解像度モードが切替可能とされている光電変換部と、
前記光電変換部から出力される撮像画像信号に基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部と、
前記光電変換部からの撮像画像信号出力を低解像度モードで実行させている際に、焦点合わせに関する動作状態を検出した場合、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える制御を行う制御部と、を備え、
前記高解像度モードは、第１高解像度モードと前記第１高解像度モードより解像度の低い第２高解像度モードとを有し、
前記光電変換部は、マトリクス状に配列された光電変換画素から、画素間引き率に応じた一定の水平方向間隔及び一定の垂直方向間隔での間引きを行い、
前記制御部は、前記焦点合わせに関する動作状態として、モニタリング表示上で合焦部分の強調表示を行う機能の実行中は、前記光電変換部からの撮像画像信号出力を前記第２高解像度モードとする制御を行い、前記焦点合わせに関する動作状態として、マニュアルフォーカス操作中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を前記第１高解像度モードに切り替える制御を行う
撮像装置。

【請求項2】

前記制御部は、動画記録中は、前記光電変換部の解像度モードの切替制御を行わない
請求項１に記載の撮像装置。

【請求項3】

前記光電変換部は、光電変換画素の出力範囲の大きさを保ったままで画素間引き率を変化させることで、画角を変えずに解像度が異なる複数の解像度モードが切替可能とされている
請求項１又は請求項２に記載の撮像装置。

【請求項4】

前記制御部は、前記焦点合わせに関する動作状態として、オートフォーカス動作中又はオートフォーカス動作によるフォーカス状態の確認中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を前記第１高解像度モードに切り替える制御を行う
請求項１乃至請求項３のいずれかに記載の撮像装置。

【請求項5】

前記制御部は、前記光電変換部の解像度モードの切替に伴って、撮像画像信号処理に関するパラメータの切替制御を行う
請求項１乃至請求項４のいずれかに記載の撮像装置。

【請求項6】

前記制御部は、前記光電変換部の解像度モードの切替に伴って、前記表示データ生成部における表示データ生成のための画像拡大縮小処理のパラメータの切替制御を行う
請求項１乃至請求項５のいずれかに記載の撮像装置。

【請求項7】

前記光電変換部で切り替え可能な複数の解像度モードは、画素間引き率の低い高解像度モードと画素間引き率の高い低解像度モードとを少なくとも含む
請求項１乃至請求項６のいずれかに記載の撮像装置。

【請求項8】

被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、解像度が異なる複数の解像度モードが切替可能とされている光電変換部と、前記光電変換部から出力される撮像画像信号に基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部とを備え、前記光電変換部からの撮像画像信号出力を低解像度モードで実行させている際に、焦点合わせに関する動作状態を検出した場合、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える撮像装置の撮像方法として、
前記高解像度モードは、第１高解像度モードと前記第１高解像度モードより解像度の低い第２高解像度モードとを有し、
マトリクス状に配列された光電変換画素から、画素間引き率に応じた一定の水平方向間隔及び一定の垂直方向間隔での間引きを行い、
前記焦点合わせに関する動作状態として、モニタリング表示上で合焦部分の強調表示を行う機能の実行中は、前記光電変換部からの撮像画像信号出力を前記第２高解像度モードとする制御を行い、
前記焦点合わせに関する動作状態として、マニュアルフォーカス操作中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を前記第１高解像度モードに切り替える制御を行う
撮像方法。

【請求項9】

被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、解像度が異なる複数の解像度モードが切替可能とされている光電変換部と、前記光電変換部から出力される撮像画像信号に基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部とを備えた撮像装置の動作状態を検出する処理と、
前記光電変換部からの撮像画像信号出力を低解像度モードで実行させる処理と、
前記光電変換部からの撮像画像信号出力を低解像度モードで実行させている際に、前記撮像装置の動作状態を検出する処理により、焦点合わせに関する動作状態が検出された場合に、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える制御処理と、
マトリクス状に配列された光電変換画素から、画素間引き率に応じた一定の水平方向間隔及び一定の垂直方向間隔での間引きを行う制御処理と、
前記高解像度モードは、第１高解像度モードと前記第１高解像度モードより解像度の低い第２高解像度モードとを有し、前記焦点合わせに関する動作状態として、モニタリング表示上で合焦部分の強調表示を行う機能の実行中は、前記光電変換部からの撮像画像信号出力を前記第２高解像度モードとする制御処理と、
前記焦点合わせに関する動作状態として、マニュアルフォーカス操作中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を前記第１高解像度モードに切り替える制御処理と、
を演算処理装置に実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、被写体画像の撮像を行う撮像装置、撮像方法、及びそれらを実現するプログラムについての技術分野に関する。

【先行技術文献】

【特許文献】

【0002】

【特許文献1】特開２００７−１３９２６号公報

【背景技術】

【0003】

デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置において、ユーザは被写体に対して焦点合わせを行った状態でシャッターボタンを押して静止画記録を行ったり、或いは動画記録を開始することが通常である。ユーザは、焦点合わせや焦点確認のためには、撮像装置に設けられた表示部やビューファインダに表示される被写体のモニタリング画像（スルー画）を確認する。
上記特許文献１には、焦点合わせ操作時に表示部に画像を拡大表示させることで、ユーザが焦点状態を確認する際の視認性を改善する技術が開示されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで撮像装置では、被写体のモニタリング中（例えば静止画撮像のシャッター操作前や動画記録開始前）は、イメージャの出力画素数を少なくすることが考えられる。例えば、画素数１６メガピクセルのイメージャを持つカメラにおいて、モニタリング中のイメージャ出力として画素間引きして光電変換信号を出力し、例えば３２０×２４０画素など、きわめて低い解像度の撮像画像信号を得るようにする。このようにイメージャにおいて画素間引きして出力すると、消費電力削減に大きな効果が得られ、また十分なフレームレートでモニタリング表示を更新させて、動きのなめらかなモニタリング画像を提供することができる。

【0005】

ところが、画素の間引きにより画面上での焦点確認の視認性が低下する。例えば画面を見た状態でユーザが焦点が合っているかどうかが確認しずらくなり、また合焦部分の強調表示（ピーキングとも呼ばれる）を行う機能を用いる場合でも、画像解析上、合焦部分の適切な検出が難しくなる。
これは、焦点の確認は画像の高周波成分の強度を見て行われるのに対し、間引きによってエイリアシング現象が発生して、高周波成分が偽の低周波数成分に化けてしまうからである。単純に間引く代わりに、同色の隣り合った複数の画素を加算平均して読み出すモードをつかうと、エイリアシング現象を防ぐことができるが、このモードを使うと加算平均処理により高周波成分が失われてしまうため、やはり焦点の確認に必要な高周波成分の強度を知ることはできなくなる。

【0006】

上記特許文献１のように焦点確認のために拡大画像を用いることも考えられるが、拡大画像でモニタリングを行うと、表示画角が変わってしまうためユーザにとってはフレーミング（被写体確認、構図調整）がやりにくくなる。
また、イメージャから低解像度で出力された撮像画像信号の一部を拡大して表示しても、粗い画像とならざるを得ない。

【0007】

そこで本技術は、イメージャ（光電変換部）からの低解像度出力による低消費電力削減効果を得ながら、かつ表示画角も変更させずに、焦点合わせ操作や焦点確認の視認性を向上させることを目的とする。

【課題を解決するための手段】

【0008】

第１に、本技術に係る撮像装置は、被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、解像度が異なる複数の解像度モードが切替可能とされている光電変換部と、前記光電変換部から出力される撮像画像信号に基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部と、前記光電変換部からの撮像画像信号出力を低解像度モードで実行させている際に、焦点合わせに関する動作状態を検出した場合、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える制御を行う制御部と、を備え、前記高解像度モードは、第１高解像度モードと前記第１高解像度モードより解像度の低い第２高解像度モードとを有し、前記光電変換部は、マトリクス状に配列された光電変換画素から、画素間引き率に応じた一定の水平方向間隔及び一定の垂直方向間隔での間引きを行い、前記制御部は、前記焦点合わせに関する動作状態として、モニタリング表示上で合焦部分の強調表示を行う機能の実行中は、前記光電変換部からの撮像画像信号出力を前記第２高解像度モードとする制御を行い、前記焦点合わせに関する動作状態として、マニュアルフォーカス操作中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を前記第１高解像度モードに切り替える制御を行うものである。
例えば静止画や動画の撮像記録のために、シャッター操作や記録開始操作を行う前の期間において、ユーザ（撮像者）がモニタリング画像により被写体を確認している場合、モニタリング画像としては、さほどの高精細な画像は必ずしも必要ではない。そこでこのような期間は光電変換部からは低解像度モードで撮像画像信号を読み出すようにして省電効果を得ることが好適となる。但し、焦点合わせ（フォーカス可変動作）や焦点確認等を行う場合には、合焦状態を認識しやすいように、モニタリング画像もある程度の画質を優先した方がよい。そこで焦点合わせに関する動作状態を検出した際には、低解像度モードから高解像度モードに切り替える。
また、この場合は、ユーザがマニュアルフォーカス操作により積極的に焦点調整を行う際、積極的に焦点状態（合焦状態の被写体）を確認しようとしている場合である。従って、これらの場合は、高解像度モードにより、画像品質のよいモニタリング画像を提供し、焦点調整や焦点確認のしやすさを実現する。

【0009】

第２に、上記した本技術に係る撮像装置においては、前記制御部は、動画記録中は、前記光電変換部の解像度モードの切替制御を行わないことが望ましい。
動画記録中は、動画を構成する各フレームの画像データの解像度が変化することは、好ましくないため、解像度モード切替を制限する。

【0010】

第３に、上記した本技術に係る撮像装置においては、前記光電変換部は、光電変換画素の出力範囲の大きさを保ったままで画素間引き率を変化させることで、画角を変えずに解像度が異なる複数の解像度モードが切替可能とされていることが望ましい。
第４に、上記した本技術に係る撮像装置においては、前記制御部は、前記焦点合わせに関する動作状態として、オートフォーカス動作中又はオートフォーカス動作によるフォーカス状態の確認中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を前記第１高解像度モードに切り替える制御を行うことが望ましい。
これらの場合とは、ユーザがオートフォーカス機能により積極的に焦点調整を行う際、積極的に焦点状態（合焦状態の被写体）を確認しようとしている場合である。従って、これらの場合は、高解像度モードにより、画像品質のよいモニタリング画像を提供し、焦点調整や焦点確認のしやすさを実現する。

【0011】

第５に、上記した本技術に係る撮像装置においては、前記制御部は、前記光電変換部の解像度モードの切替に伴って、撮像画像信号処理に関するパラメータの切替制御を行うことが望ましい。
解像度モード切替によって光電変換部から解像度の異なる撮像画像信号が出力されることになるため、撮像画像信号処理において解像度の異なる撮像画像信号に適切に対応できるようにする。
第６に、上記した本技術に係る撮像装置においては、前記制御部は、前記光電変換部の解像度モードの切替に伴って、前記表示データ生成部における表示データ生成のための画像拡大縮小処理のパラメータの切替制御を行うことが望ましい。
これも解像度モード切替によって光電変換部から解像度の異なる撮像画像信号が出力されることになるため、そのままではモニタリング画像としての画像サイズが変化してしまう。そこでそれまでと同一サイズで表示が行われるように適切に拡大又は縮小処理が行われるようにする。

【0012】

第７に、上記した本技術に係る撮像装置においては、前記光電変換部で切り替え可能な複数の解像度モードは、画素間引き率の低い高解像度モードと画素間引き率の高い低解像度モードとを少なくとも含む。つまり低解像度モードと高解像度モードは、間引き率の異なる解像度モードとする。

【0013】

本技術に係る撮像方法は、被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、解像度が異なる複数の解像度モードが切替可能とされている光電変換部と、前記光電変換部から出力される撮像画像信号に基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部とを備え、前記光電変換部からの撮像画像信号出力を低解像度モードで実行させている際に、焦点合わせに関する動作状態を検出した場合、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える撮像装置の撮像方法として、前記高解像度モードは、第１高解像度モードと前記第１高解像度モードより解像度の低い第２高解像度モードとを有し、マトリクス状に配列された光電変換画素から、画素間引き率に応じた一定の水平方向間隔及び一定の垂直方向間隔での間引きを行い、前記焦点合わせに関する動作状態として、モニタリング表示上で合焦部分の強調表示を行う機能の実行中は、前記光電変換部からの撮像画像信号出力を前記第２高解像度モードとする制御を行い、前記焦点合わせに関する動作状態として、マニュアルフォーカス操作中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を前記第１高解像度モードに切り替える制御を行うものである。
つまり焦点合わせに関する動作状態を検出した際には、低解像度モードから高解像度モードに切り替える動作を撮像装置において実行する。

【0014】

本技術に係るプログラムは、被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、解像度が異なる複数の解像度モードが切替可能とされている光電変換部と、前記光電変換部から出力される撮像画像信号に基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部とを備えた撮像装置の動作状態を検出する処理と、前記光電変換部からの撮像画像信号出力を低解像度モードで実行させる処理と、前記光電変換部からの撮像画像信号出力を低解像度モードで実行させている際に、前記撮像装置の動作状態を検出する処理により、焦点合わせに関する動作状態が検出された場合に、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える制御処理と、マトリクス状に配列された光電変換画素から、画素間引き率に応じた一定の水平方向間隔及び一定の垂直方向間隔での間引きを行う制御処理と、前記高解像度モードは、第１高解像度モードと前記第１高解像度モードより解像度の低い第２高解像度モードとを有し、前記焦点合わせに関する動作状態として、モニタリング表示上で合焦部分の強調表示を行う機能の実行中は、前記光電変換部からの撮像画像信号出力を前記第２高解像度モードとする制御処理と、前記焦点合わせに関する動作状態として、マニュアルフォーカス操作中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を前記第１高解像度モードに切り替える制御処理と、を演算処理装置に実行させるプログラムである。
このプログラムにより、上述の撮像装置、撮像方法を演算処理装置を用いて実現する。

【発明の効果】

【0015】

本技術によれば、光電変換部からの低解像度出力による低消費電力削減を行いつつ、焦点合わせに関する動作状態となった場合は、表示画角を変更させずに、モニタリング画像の画質を向上させ、これによって焦点合わせ操作や焦点確認の際の視認性を向上させ、焦点操作、焦点確認の操作性を向上させることができる。

【図面の簡単な説明】

【0016】

【図1】本技術の実施の形態の撮像装置のブロック図である。

【図2】実施の形態のイメージャの解像度モードの説明図である。

【図3】実施の形態の合焦部分の強調表示の説明図である。

【図4】実施の形態の低解像度モードと高解像度モードにおける処理過程の画像データの説明図である。

【図5】第１の実施の形態の解像度モード設定処理のフローチャートである。

【図6】実施の形態の解像度モード切替処理のフローチャートである。

【図7】第２の実施の形態の解像度モード設定処理のフローチャートである。

【発明を実施するための形態】

【0017】

以下、実施の形態を次の順序で説明する。
＜１．撮像装置の構成＞
＜２．第１の実施の形態の解像度モードに関する処理＞
＜３．第２の実施の形態の解像度モードに関する処理＞
＜４．プログラム＞
＜５．変形例＞

【0018】

＜１．撮像装置の構成＞
実施の形態の撮像装置１０の構成を図１で説明する。この撮像装置１０はいわゆるデジタルスチルカメラ或いはデジタルビデオカメラとされ、静止画や動画の撮像／記録を行う機器である。
図１に示すように撮像装置１０は、光学系１１、イメージャ１２、光学系駆動部１３、センサ部１４、記録部１５、通信部１６、デジタル信号処理部２０、制御部３０、表示部３４、操作部３５を有する。

【0019】

光学系１１は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構を備える。この光学系１１により、被写体からの光がイメージャ（光電変換部）１２に集光される。
イメージャ１２は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal OxideSemiconductor）型など、光電変換画素がマトリクス状に配置されて形成された撮像素子を有する。
このイメージャ１２では、撮像素子での光電変換で得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像画像信号（以下、撮像画像データ）を、後段のデジタル信号処理部２０に出力する。
またイメージャ１２は、撮像素子の出力について、撮像画像としての画角を維持したままで解像度が異なる複数の解像度モードが切替可能とされている。後述するが、画素間引き率を高くして画素数を少なくした低解像度モードと、この低解像度モードより間引き率を低くして（間引き無しも含む）画素数を多くした高解像度モードとを、少なくとも切り替え可能とされている。
なお「画角を維持する」とは、撮像画像の１フレームに含まれる被写体の範囲が略同一となる状態であることを意味している。異なる解像度モードを、異なる間引き率のモードとするということは、画像に含まれる被写体範囲を略同一に保ちながら、解像度の異なる撮像画像データが得られるということである。

【0020】

低解像度モードと高解像度モードの一例を図２に示す。図２Ａが低解像度モードの場合のイメージャ１２上での出力画素、図２Ｂが高解像モードの場合のイメージャ１２上での出力画素を例示している。〇を付した画素がイメージャ１２上での出力画素である。
図示のようにＲ（赤）、Ｇ（緑）、Ｂ（青）の各光電変換画素がマトリクス状に配列される場合において、例えば低解像度モードでは、水平方向（横方向）には５画素範囲で１画素を出力し、垂直方向（縦方向）には７ライン毎に１ラインを出力する。高解像度モードでは、水平方向（横方向）には３画素範囲で１画素を出力し、垂直方向（縦方向）には４ライン毎に１ラインを出力する。
例えばこのように低解像度モードと高解像度モードは、光電変換画素の間引き率を異なるようにすることで、略同一画角であって解像度の異なる撮像画像データを得るようにする。
もちろん、低解像度モードと高解像度モードの間引き率が、図２の例に限定されるものではない、高解像度モードは、間引きなし（全光電変換画素の出力）としてもよいし、図２Ｂ以外の間引き率としてもよい。低解像度モードは、高解像度モードよりも高い間引き率（少ない画素数）の出力とするものであればよい。
低解像度モードは、当然撮像画像データの画質は低下するが、消費電力の削減、バッテリーの長寿命化に適している。例えば記録を行わない被写体モニタリング画像（以下「スルー画」ともいう）の表示中などは、少々画質が低下していてもさほどの問題は生じないため、消費電力削減を優先する低解像度モードが適している。
高解像度モードでは、低解像度モードよりも高い画質の撮像画像データが得られる。

【0021】

図１に戻って、光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１におけるフォーカスレンズを駆動し、フォーカス動作を実行する。また光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１における絞り機構を駆動し、露光調整を実行する。さらに光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１におけるズームレンズを駆動し、ズーム動作を実行する。
なおフォーカスレンズは、撮像画像の合焦状態検出に応じて制御部３０が光学系駆動部１３の動作を制御するオートフォーカスとしての駆動が行われる他、ユーザのフォーカス操作子の操作に応じて制御部３０が光学系駆動部１３の動作を制御するマニュアルフォーカスとしての駆動も行われる。

【0022】

デジタル信号処理部２０は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成される。このデジタル信号処理部２０は、イメージャ１２からのデジタル信号（撮像画像データ）に対して、各種の信号処理を施す。
例えばデジタル信号処理部２０は、前処理部２１、同時化部２２、ＹＣ生成部２３、解像度変換部２４、コーデック部２５、表示データ生成部２６、オートフォーカス判定部２７（以下、ＡＦ判定部）を備えている。

【0023】

前処理部２１は、イメージャ１２からの撮像画像データに対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を施す。
同時化部２２は、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにするデモザイク処理を施す。
ＹＣ生成部２３は、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
解像度変換部２４は、各種の信号処理が施された画像データに対して、必要な解像度変換処理、例えば記録用や通信出力用の解像度変換を実行する。
コーデック部２５は、解像度変換された画像データについて、例えば記録用や通信用の符号化処理を行う。

【0024】

表示データ生成部２６は、制御部３０の制御に従って、表示部３４に出力する例えばスルー画としての表示データを生成する。
このスルー画としての表示データは、基本的には解像度変換部２４で解像度変換された撮像画像データとしての各フレームのデータであるが、特に表示部３４での表示サイズに合わせたリサイズ（拡大・縮小）を行って表示データを生成する。つまり表示部３４の表示パネルに合わせた解像度変換を加える。
例えば静止画撮像記録のためにユーザが被写体を探しているときや、動画記録のスタンバイ中などにおいて、表示データ生成部２６は撮像画像データに基づくスルー画表示のための表示データを生成する。そして表示データを表示部３４に供給し、スルー画表示を実行させる。
また表示データ生成部２６は、合焦部分の強調表示（ピーキング）のための処理も行う。例えばスルー画としての画像データ上で、高周波成分（エッジ成分）の高い合焦状態の画素を選択し、当該画素が表示部３４において強調してユーザに提示されるような画像処理を行う。例えば図３Ａのような撮像画像データに対して合焦部分を検出し、図３Ｂのように合焦部分と検出された画素について輝度を高くしたり、或いは色情報を変更するなどの手法で、強調表示が行われるようにする。このような強調表示を伴った表示データを生成して表示部３４で表示させることで、ユーザが、焦点確認（合焦部分、合焦状態の確認）を容易かつ正確にできるようになる。例えばユーザは強調表示を見ながらマニュアルフォーカスやオートフォーカス機能によりフォーカスを調整し、意図した被写体部分のエッジが強調されれば、合焦していると判断して静止画撮像記録を行ったり動画記録を開始することができる。
なお表示データ生成部２６は、この図４の例ではデジタル信号処理部２０で実行される機能構成として示しているが、これは一例であり、制御部３０によって表示データ生成部２６としての処理が実行されてもよい。

【0025】

ＡＦ判定部２８は、オートフォーカス動作の際に、現在のフレーム画像データのフォーカス状態を確認する。例えば画像データの高周波成分エネルギー検出などの手法でフォーカス状態を判定する評価値を求める。オートフォーカス時には、制御部３０はＡＦ判定部２８からの評価値を確認しながら光学系駆動部１３によるフォーカスレンズ駆動を実行させ、合焦状態に制御することになる。

【0026】

制御部３０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを備えたマイクロコンピュータ（演算処理装置）により構成される。
ＣＰＵがＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１０全体を統括的に制御する。
ＲＡＭは、ＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
ＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。本例においては特に、イメージャ１２の解像度モード切替のための処理を実行するためのプログラムも記憶される。

【0027】

このような制御部３０は、デジタル信号処理部２０における各種信号処理のパラメータ制御、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、ズーム、フォーカス、露光調整等のカメラ動作、ユーザインターフェース動作等について、必要各部の動作を制御する。

【0028】

また本実施の形態の場合、制御部３０は、上述のイメージャ１２の解像度モードの制御に関連して、動作判定部３０ａ、解像度モード設定部３０ｂとしての機能を備える。
動作判定部３０ａは、撮像装置１０の動作状態の検出・判定を行う。例えば静止画記録や動作記録のためのスタンバイ中、動画記録中、再生中、フォーカス動作（焦点合わせ）中、強調表示実行中などの動作状態の検出・判定を行う。
解像度モード設定部３０ｂは、動作判定部３０ａが検出する動作状態に応じて、イメージャ１２の解像度モードの制御を行う。例えば静止画記録や動作記録のためのスタンバイ中には、低解像度モードに制御する。
なお、動作判定部３０ａ、解像度モード設定部３０ｂはデジタル信号処理部２０の機能として実現してもよい。

【0029】

表示部３４はユーザ（撮像者等）に対して各種表示を行う表示部であり、例えば撮像装置１０の筐体上に形成されるＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスを有して形成される。なお、いわゆるビューファインダーの形態で、ＬＣＤや有機ＥＬディスプレイ等を用いて形成されてもよい。
この表示部３４は、上記のディスプレイデバイスと、該ディスプレイデバイスに表示を実行させる表示ドライバとから成る。表示ドライバは、制御部３０の指示に基づいて、ディスプレイデバイス上に各種表示を実行させる。例えば表示ドライバは、撮像して記録媒体に記録した静止画や動画を再生表示させたり、表示データ生成部２６からの表示データに応じて、レリーズ（シャッタ操作）待機中に撮像される各フレームの撮像画像データによる動画としてのスルー画をディスプレイデバイスの画面上に表示させる。スルー画上での強調表示も行う。また各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。

【0030】

操作部３５は、ユーザの操作を入力する入力機能を有し、入力された操作に応じた信号を制御部３０へ送る。
この操作部３５としては、例えば撮像装置１０の筐体上に設けられた各種操作子や、表示部３４に形成されたタッチパネルなどとして実現される。
筐体上の操作子としては、再生メニュー起動ボタン、決定ボタン、十字キー、キャンセルボタン、ズームキー、スライドキー、シャッターボタン（レリーズボタン）、マニュアルフォーカスのための操作子としてのフォーカスリング等が設けられる。
またタッチパネルと表示部３４に表示させるアイコンやメニュー等を用いたタッチパネル操作により、各種の操作が可能とされてもよい。

【0031】

記録部１５は、例えば不揮発性メモリからなり、静止画データや動画データ等の画像ファイル（コンテンツファイル）や、画像ファイルの属性情報、サムネイル画像等を記憶する記憶領域として機能する。
画像ファイルは、例えばＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）等の形式で記憶される。
記録部１５の実際の形態は多様に考えられる。例えば記録部１５は、撮像装置１０に内蔵されるフラッシュメモリでもよいし、撮像装置１０に着脱できるメモリカード（例えば可搬型のフラッシュメモリ）と該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１０に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。
また、本例においてイメージャ１２の解像度モードに関する処理を制御部３０に実行させるためのプログラムは、記録部１５に記憶されてもよい。

【0032】

通信部１６は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。
例えば外部の表示装置、記録装置、再生装置等の間で撮像画像データ（静止画ファイルや動画ファイル）の通信を行う。また、ネットワーク通信部として、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。
例えば通信部１６によりスルー画や再生画としての表示データを外部の表示装置に送信して表示させることもできる。つまり表示部３４での各種の表示を外部表示装置で実行するようにしてもよい。

【0033】

センサ部１４は各種センサを包括的に示している。例えば手ぶれ、或いは撮像装置１０の姿勢や移動（パン移動、チルト移動等）等、撮像装置１０の全体の動きを検出するためのジャイロセンサ（角速度センサ）、加速度センサ等が設けられる。
また露光調整等のための外部照度を検出する照度センサ、さらには被写体距離を測定する測距センサが設けられてもよい。
またセンサ部１４として、光学系１１におけるズームレンズの位置を検出するズームレンズ位置センサ、フォーカスレンズの位置を検出するフォーカスレンズ位置センサが設けられる場合もある。
またセンサ部１４として、メカアイリス（絞り機構）の開口量を検出するセンサが設けられる場合もある。
センサ部１４の各種センサは、それぞれ検出した情報を制御部３０に伝達する。制御部３０は、センサ部１４で検出された情報を用いて各種制御を行うことができる。

【0034】

＜２．第１の実施の形態の解像度モードに関する処理＞
以上の構成の撮像装置１０において実行されるイメージャ１２の解像度モードに関する処理を説明していく。
本実施の形態の撮像装置１０では、静止画撮像記録のシャッター操作前の期間や、動画撮像記録のためのスタンバイ中において、スルー画表示を行っている際には、基本的には、消費電力を抑えるために、画質を犠牲にして低解像度モードでイメージャ１２が動作するようにする。ところがそのままでは、焦点合わせ、焦点確認、強調表示等に適切でないことがある。そこで制御部３０は、焦点合わせに関する動作状態を検出した場合、イメージャ１２からの撮像画像信号出力を高解像度モードに切り替える制御を行うようにし、一時的に画質を優先する状態として動作させる。

【0035】

図４は低解像度モードと高解像度モードの際の画像データ状態を模式的に示している。
例えば被写体Ｇ１の撮像を行っている場合におけるスルー画表示のための処理を大まかに示すと、図示のようにイメージャ出力ＳＴ１、現像処理ＳＴ２、解析／画像変換ＳＴ３、サイズ変換ＳＴ４、表示ＳＴ５となる。
イメージャ出力ＳＴ１はイメージャ１２からの撮像画像データ出力を示す。
現像処理ＳＴ２とはデジタル信号処理部２０における前処理部２１、同時化部２２、ＹＣ生成部２３等の処理を指している。
解析／画像変換ＳＴ３は、表示データ生成部２６による合焦部分の強調表示のための処理を示している。例えば画像データ内で合焦部分の検出を行って強調表示画素を選択する。そして選択した強調表示画素について強調表示のための輝度値の変更や色情報の変更を行う処理である。
サイズ変換ＳＴ４は、表示データ生成部２６による、表示デバイス（表示部３４のディスプレイ）に合わせたリサイズ処理を示している。
表示ＳＴ５は、表示データ生成部２６から表示データを出力し、表示部３４でスルー画を表示する動作を示している。

【0036】

このような一連の処理動作における、低解像度モードの場合の画像データ状態を図４において各処理手順の上段に示している。なお、図示及び以下に述べる画サイズは、説明のための一例に過ぎない。
仮に、イメージャ１２における撮像素子の光電変換画素サイズが６０００×４０００画素であるとする。
低解像度モードの場合、イメージャ１２は比較的高い間引き率で間引き出力を行う。ここでは一例としてイメージャ１２から出力される撮像画像データは、画像データＬＧ２として示すように３２０×２４０画素であるとする。
低解像度モードの場合、この３２０×２４０画素の画像データＬＧ２に対し現像処理ＳＴ２が行われ、またその処理後の３２０×２４０画素の画像データＬＧ３に対し解析／画像変換ＳＴ３が行われることになる。
そして表示デバイスサイズが６４０×４８０画素であるとすると、解析／画像変換ＳＴ３の後の画像データＬＧ４が、サイズ変換ＳＴ４により拡大処理されて６４０×４８０画素の画像データＬＧ５とされる。この画像データＬＧ５が表示データとして表示部３４に供給され表示ＳＴ５として表示出力される（表示画像ＬＧ６）。

【0037】

このような低解像度モードは、非常に省電力効果が高く、有用である。間引き率を高くするほど省電力効果が得られる。ところが、イメージャ出力ＳＴ１の際の間引き、及びサイズ変換ＳＴ４での拡大により、表示画像ＬＧ６はボケた画像となっている（図では破線により表示画像ＬＧ６がボケた状態であることを表している）
また処理過程の画像データＬＧ２，ＬＧ３は、省電力や帯域制限のために大幅に間引かれた画像であるが、このため解析／画像変換ＳＴ３が適切に実行できないことが多い。つまり高域成分エネルギーが低下し、合焦部分検出を精度良く行うことができない。このため合焦部分の強調表示も適切に行われないことが多い。

【0038】

一方、高解像度モードの場合の画像データ状態を図４の各処理手順の下段に示している。
高解像度モードの場合、イメージャ１２は比較的低い間引き率で撮像画像データの出力を行う。例えば画像データＨＧ２として示すように１２８０×９６０画素の撮像画像データを出力するものとする。
高解像度モードの場合、この１２８０×９６０画素の画像データＨＧ２に対し現像処理ＳＴ２が行われ、またその処理後の１２８０×９６０画素の画像データＨＧ３に対し解析／画像変換ＳＴ３が行われることになる。
そして表示デバイスサイズが６４０×４８０画素であることに応じて、解析／画像変換ＳＴ３の後の画像データＨＧ４が、サイズ変換ＳＴ４により縮小処理されて６４０×４８０画素の画像データＨＧ５とされる。この画像データＨＧ５が表示データとして表示部３４に供給され表示ＳＴ５として表示出力される（表示画像ＨＧ６）。

【0039】

この高解像度モードの場合、画像データの高域成分はあまり失われていない。合焦部分のコントラスト比などもある程度精度良く検出できる。このため解析／画像変換ＳＴ３が適切に実行され、画像データＨＧ４に示すように、強調表示のためのデータ変換が適切に行われる。また表示画像ＨＧ６はボケのない（少ない）画像とすることができ、ユーザは表示上でも合焦部分の強調表示を正しく認識できる。
但し、高解像度モードは消費電力削減の点では低解像度モードより不利である。

【0040】

このように低解像度モードと高解像度モードではそれぞれの長短がある。そこで本実施の形態では動作状態に応じて、適切に低解像度モードと高解像度モードを切り替える。

【0041】

図５に制御部３０による解像度モード設定処理例を示している。
イメージャ１２による撮像画像データ出力が行われている期間、制御部３０は動作判定部３０ａ及び解像度モード設定部３０ｂの機能により、図５の処理を行う。
ステップＦ１０１で制御部３０は、現在、動画記録を実行しているか否かを確認する。動画記録中は、ステップＦ１０７に進み、制御部３０は現在の解像度モードの設定状態を維持する。つまり解像度モード変更処理は行わない。従って動画記録中は、動画記録開始の際の解像度モードが継続されることになる。

【0042】

動画記録中ではない場合、制御部３０はステップＦ１０２、Ｆ１０３、Ｆ１０４の判断を行う。ステップＦ１０２では、マニュアルフォーカス操作中であるか否かを判断する。
ユーザがレンズ鏡筒に設けられたフォーカスリングなどのマニュアルフォーカスのための操作子を操作した場合、制御部３０はその操作に応じて光学系駆動部１３を制御し、フォーカスレンズ移動を実行させる。このマニュアルフォーカス操作を検出した場合、解像度モードの処理に関しては制御部３０はステップＦ１０５に進む。

【0043】

またステップＦ１０３では制御部３０は、シャッターボタンの半押しによる焦点確認中であるか否かを判断する。
ユーザがシャッターボタンを半押ししたら、制御部３０はフォーカスロック制御を行う。即ちオートフォーカス制御として、ＡＦ判定部２７による評価値を監視しながら光学系駆動部１３によってフォーカスレンズ駆動を実行させ、合焦位置を探索し、合焦状態とさせる。そして半押しが継続されている期間、そのフォーカス状態を維持する。
従ってシャッターボタンの半押しを検出した場合とは、撮像装置１０の動作状態としてオートフォーカス動作中又はオートフォーカス動作によるフォーカス状態の確認中であることを検出した場合に相当する。
このような半押し状態を検出した場合も、制御部３０は解像度モードに関する処理としてはステップＦ１０５に進む。

【0044】

ステップＦ１０４では制御部３０は、現在、合焦部分の強調表示が実行中であるか否かを検出する。図３Ｂに示したような合焦部分の強調表示は、ユーザが合焦部分を確認しやすくするためのもので、この強調表示機能は、マニュアルフォーカス操作時や、シャッターボタンの半押しによるオートフォーカス及びフォーカスロック中などに、自動的に実行される場合がある。或いは、これらに限らず、ユーザの操作により強調表示機能をオンとする場合もある。さらには撮像装置１０の特定の動作状態や、被写体状態（例えば顔検出時など）に強調表示が実行される場合も考えられる。強調表示が実行される場合はこのように各種考えられるが、ステップＦ１０４では強調表示の実行中か否かを判断し、実行中であれば制御部３０はステップＦ１０５に進む。

【0045】

以上のステップＦ１０２、Ｆ１０３、Ｆ１０４の判断により、マニュアルフォーカス操作中、半押しによる焦点確認中、合焦部分の強調表示中のいずれかの動作状態にある場合、ステップＦ１０５に進み、制御部３０は、イメージャ１２を高解像度モードに切り替える（既に切り替えられていれば高解像度モードを継続する）。
一方、マニュアルフォーカス操作中、半押しによる焦点確認中、合焦部分の強調表示中のいずれでもなければ、制御部はステップＦ１０６で、イメージャ１２を低解像度モードに切り替える（既に切り替えられていれば低解像度モードを継続する）。

【0046】

制御部３０は以上の図５の処理を、例えば撮像画像データが得られるフレームタイミング毎に行う。
結局、マニュアルフォーカス操作中、半押しによる焦点確認中、合焦部分の強調表示中のいずれかであればイメージャ１２は高解像度モードとされ、これらの動作状態となる前や終了した後は、低解像度モードとされる。

【0047】

図６は、ステップＦ１０５又はＦ１０６で解像度モードを切り替える場合の制御部３０の処理を示している。
解像度モード設定の切り替えが発生する場合、制御部３０は図６の処理をステップＦ２０１からＦ２０２に進め、まず現フレーム処理の終了を待機する。イメージャ１２は、毎フレーム繰り返して光電変換信号を読み出し、撮像画像データを出力しているが、当然ながら、或るフレームの光電変換信号の読み出し途中で解像度モードを切り替えることは適切でない。そこでイメージャ１２での現在のフレームの出力完了を待機する。
現フレーム処理が終了したら、制御部３０はステップＦ２０３でイメージャ１２に解像度モード切替を指示する。これによりイメージャ１２は次のフレームから解像度モードを切り替える。即ち読み出す光電変換信号の間引き率を変化させる。

【0048】

制御部３０は、ステップＦ２０４で信号処理パラメータ切換の制御を行う。
イメージャ１２の解像度モードを変えると、それに合わせて現像処理（ＳＴ２）のパラメータの変更が必要になる。例えば、前処理部２１でのフリッカー補正で使うフリッカー幅のパラメータは、縦方向の解像度に比例する。また、同時化部２２などのフィルタ処理には画像のサイズや有効範囲の情報を、パラメータとして与える必要がある。これらのパラメータは、イメージャ１２からの撮像画像データの解像度が変わると最適値が変わるため、解像度モードの切り替えに応じて、設定しなおすようにしている。

【0049】

制御部３０にはステップＦ２０５で、表示用のサイズ変換処理パラメータの切り替えを行う。例えば図４では、サイズ変換ＳＴ４として、低解像度モードの場合は、３２０×２４０画素の画像データＬＧ４を６４０×４８０画素の画像データＬＧ５に拡大した。一方、高解像度モードの場合は、サイズ変換ＳＴ４として、１２８０×９６０画素の画像データＨＧ４を６４０×４８０画素の画像データＨＧ５に縮小するとの例を挙げた。このように高解像度モードと低解像度モードでは、表示のためのサイズ変換ＳＴ４として実行する処理が縮小と拡大が異なる。従って制御部３０は、ステップＦ２０５でサイズ変換ＳＴ４の処理を設定するパラメータ変更を行う。
もちろんこのような拡大、縮小が切り替えられるのは一例であり、例えば高解像度モード時でも拡大する場合もある。例えば６４０×４８０画素が表示画面サイズである場合に、高解像度モードは６００×４００画素、低解像度モードは４００×２００画素などとすれば、いずれのモードでもサイズ変換ＳＴ４として拡大が行われることになる。逆に、いずれのモードでもサイズ変換ＳＴ４として縮小が行われるような画素サイズ設定もあり得る。
但し、いずれにしても高解像度モードと低解像度モードの場合、サイズ変換ＳＴ４における拡大（又は縮小）率は異なる。そこでこのような場合、制御部３０は、ステップＦ２０５でサイズ変換処理パラメータとして、拡大率又は縮小率のパラメータの切り替えを行うようにする。
このステップＦ２０５の処理により、イメージャ１２での解像度モード設定を変更しても画面表示サイズが変化しないようにしている。

【0050】

以上の図６のように、制御部３０は、イメージャ１２の解像度モード切替を行う際には、信号処理パラメータとサイズ変換処理パラメータも、解像度モードに合わせて切り替えを行うようにしている。

【0051】

制御部３０が以上の図５，図６の処理を行うことで、本実施の形態では以下の効果が得られる。
実施の形態の撮像装置１０は、被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、撮像画像としての画角を維持したままで解像度が異なる複数の解像度モード（高解像度モードと低解像度モード）が切替可能とされているイメージャ１２を備えている。またイメージャ１２から出力される撮像画像データに基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部２６（デジタル信号処理部２０）を備えている。さらに、イメージャ１２からの出力を低解像度モードで実行させている際に、焦点合わせに関する動作状態を検出した場合、イメージャ１２を高解像度モードに切り替える制御を行う制御部３０を備えている。
このような撮像装置１０では、まず、静止画記録のためのシャッター操作や動画記録開始操作を行う前の期間に、ユーザ（撮像者）がスルー画（モニタリング画像）により被写体を確認しているときは、低解像度モードとして消費電力削減効果を得、バッテリーの長寿命化を図ることができる。この場合、スルー画の表示画質は低下してしまうが、そもそもスルー画は構図決めや被写体を大まかに確認する目的で見るものであって、さほどの高画質は必要ないため、低画質であること自体は特に問題はない。但し、焦点合わせ（フォーカス可変動作）や焦点確認等を行う場合には、ユーザがスルー画から合焦状態を認識しやすくするように、スルー画の画質を向上させた方がよい。そこで焦点合わせに関する動作状態を検出した際には、低解像度モードから高解像度モードに切り替えるようにしている。つまり、焦点の合い具合を精度よく確かめるため、焦点確認中はイメージャ１２から、より多くの画素を読み出すようにすることで、画像の高周波成分を視認しやすいようにし、焦点合わせ操作や焦点確認の際の視認性を向上させる。

【0052】

また解像度モード切替を行う場合に、イメージャ１２の光電変換画素の出力範囲の大きさは保ったまま間引き率を変化させることで、画角の変化を防ぎ、ユーザーのフレーミング操作の邪魔をしないようにしている。つまり解像度モード切替が行われても、ユーザは継続して同じ画角状態で被写体を確認することができる。
すなわち間引きによって出力画素数を少なくすると、イメージャ１２上での読み出し領域の広さ（画角）が変わらないため、ユーザはモニタリング画像を見ながら、出力画素数が少ないことを意識せずにフレーミング（被写体確認、構図調整）をすることができる。

【0053】

また制御部３０は、動画記録中は解像度モードの切替制御を行わない。
たとえユーザが焦点合わせ操作を行った場合でも、動画記録中であったら、イメージャ１２の解像度モードを変えないほうが良い。動画記録中に読み出し解像度を切り替えると、フレーム間で瞬間的に画質が変化する様子が記録画像に残されてしまい、記録画像の品質を低下させる。また、動画記録中は、通常、フレームレートを考慮した読み出し画素数をつかっているため、読み出し画素数を増やすとフレームレートの低下を招いてしまい、好ましくない。
そこで動画記録中はたとえ焦点合わせが行われたとしても、解像度モード切替を制限することとし、動画記録に悪影響を生じさせず、適正な動画記録データを維持するようにしている。このように動画記録中に解像度モード切替を行わないことは、実際の動画撮像機能を備えた撮像装置としては、非常に重要な処理となる。

【0054】

また実施の形態の撮像装置１０は、制御部３０は、焦点合わせに関する動作状態として、マニュアルフォーカス操作中であることを検出した場合や、オートフォーカス動作中又はオートフォーカス動作によるフォーカス状態の確認中であることを検出した場合（半押し中）、さらには合焦部分の強調表示の実行中であることを検出した場合に、高解像度モードに切り替える制御を行うようにしている。
これらの場合は、ユーザがマニュアルフォーカス操作やオートフォーカス機能により積極的に焦点調整を行う場合や、合焦部分の強調表示により、積極的に焦点状態（合焦状態の被写体）を確認しようとしている場合である。そこで、これらの場合は、高解像度モードにより、画像品質のよいモニタリング画像を提供することで、焦点調整や焦点確認のしやすさを向上させている。
また強調表示実行中である場合は、高解像度モードとすることで強調表示のための処理精度も向上させることができ、ユーザに適切に合焦部分を提示できる。

【0055】

またマニュアルフォーカス操作中、半押しによる焦点確認中、合焦部分の強調表示中のいずれかの状態でなくなれば、低解像度モードとされるため、操作シチュエーションに合わせて、低解像度モード（消費電力低減優先）と、高解像度動作モード（画質優先）の中から最適な動作モードを提供できる。これにより、焦点合わせや焦点確認の操作性が改善しつつ、バッテリー１本当たりの撮像枚数を増やすことができる。つまり動作状態に応じて、画質優先、消費電力削減優先が切り替えられ、使用性向上と長時間使用性を両立できる。

【0056】

また制御部３０は、解像度モードの切替に伴って、撮像画像信号処理に関するパラメータの切替制御を行うようにしている。これにより供給される撮像画像データの解像度が変化しても、それに対応して適切な画像信号処理が行われる状態を維持でき、画像が破たんなく表示され続けるようにできる。
また制御部３０は、解像度モードの切替に伴って、表示データ生成部２６における表示データ生成のための画像拡大縮小処理のパラメータの切替制御を行うようにしている。解像度モードの変更により表示されるスルー画の画角が変化してしまうと、フレーミングがやりにくくなってしまう。その為、画角の変化を打ち消すようにパネル出力画像の拡縮処理（サイズ変換ＳＴ４）のパラメータを変更して、パネルに表示される画角が変化しないようにする。これによりユーザのフレーミングの邪魔をせず、またフォーカス操作を行ったら表示上で突然画角が変化してしまうというような違和感をユーザに与えないようにできる。

【0057】

＜３．第２の実施の形態の解像度モードに関する処理＞
第２の実施の形態の解像度モード設定処理を図７に示す。なお図５と同一処理は同一のステップ番号を付し、説明を省略する。
この図７の処理例では、イメージャ１２が第１，第２高解像度モードと低解像度モードとを切り替え可能とされている場合に適用できる。例えば低解像度モードは間引き率１／９、第２高解像度モードは間引き率１／７、第１高解像度モードは間引き率１／５などのように設定する。

【0058】

制御部３０は図７の処理として、マニュアルフォーカス操作中、又は半押しによる焦点確認中であれば、イメージャ１２を第１高解像度モードに制御する（Ｆ１０２→Ｆ１０５、又はＦ１０３→Ｆ１０５）。
また合焦部分の強調表示中であれば、制御部３０はイメージャ１２を第２高解像度モードに制御する（Ｆ１０４→Ｆ１０８）。
それ以外の場合は低解像度モードとする（Ｆ１０６）。

【0059】

この例のように、解像度モードを３段階で切り替えるようにしてもよい。例えばフォーカス操作中は、ユーザの視認性を優先して、最も画質優先とする。一方、強調表示中は、ユーザは強調表示により合焦部分の認識は容易であるため、多少画質は落としても良い。但し、あまり間引き率を高くすると高周波成分が不足して強調表示のための処理が適正に実行できなくなる。そこで第１高解像度モードより、多少画質を落とした第２高解像度モードとし、消費電力低減効果も若干得られるようにする。
例えばこのように、動作状態に応じてイメージャ１２の解像度モードを３段階もしくはさらに多段階に切り替えるようにすることで、各動作状態に応じた解像度の撮像画像データを用いた処理が実行できるようになる。
もちろんこの場合も、動画記録中は解像度モード変更を行わないことで（Ｆ１０７）、記録される動画データ品質を維持できる。

【0060】

＜４．プログラム＞
以上、撮像装置１０の実施の形態を説明してきたが、上述したイメージャ１２の解像度モード切替のための処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。
ソフトウエアにより演算処理装置に実行させる場合、例えばスマートフォン、タブレット端末、携帯電話機、その他の各種の撮像機能を有する機器を、実施の形態で説明した撮像装置１０に相当する機器とすることができる。

【0061】

実施の形態のプログラムは、上述の実施の形態で示した処理を、例えばＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）等の演算処理装置に実行させるプログラムである。
即ち実施の形態のプログラムは、被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、撮像画像としての画角を維持したままで解像度が異なる複数の解像度モードが切替可能とされているイメージャ１２（光電変換部）と、イメージャ１２から出力される撮像画像信号に基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部２６とを備えた撮像装置１０の動作状態を検出する処理と、イメージャ１２からの撮像画像信号出力を低解像度モードで実行させる処理と、イメージャ１２からの撮像画像信号出力を低解像度モードで実行させている際に、撮像装置１０の動作状態を検出する処理により、焦点合わせに関する動作状態が検出された場合に、イメージャ１２からの撮像画像信号出力を高解像度モードに切り替える制御処理とを演算処理装置に実行させるプログラムである。
具体的には、実施の形態のプログラムは、図５又は図７の処理を演算処理装置に実行させるプログラムとすればよい。

【0062】

このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

【0063】

またこのようなプログラムによれば、実施の形態の撮像装置１０の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等であって、撮像機能（光学系１１やイメージャ１２、デジタル信号処理部２０等）を有する機器にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本開示の撮像装置とすることができる。

【0064】

＜５．変形例＞
以上、実施の形態について説明してきたが、本技術は多様な変形例が考えられる。
撮像装置１０として表示部３４を備える例を述べたが、本技術におけるモニタリング画像の表示は、撮像装置１０の外部の表示装置を用いてもよい。従って表示部３４を有さない撮像装置１０であっても、本技術は適用できる。

【0065】

実施の形態では、動画記録中は解像度モード切替を行わないとしたが、例えばイメージャ１２の光電変換画素群の一部領域を間引き無しで読みだしている場合（拡大フォーカス処理時）も、解像度モード切替を行わないようにすることが好適である。
また、上述の実施の形態では、静止画記録のフレームについては言及しなかったが、実際には、シャッターボタンが全押し（レリーズ操作）されて、或るフレームの撮像画像データが静止画データとしてエンコードされて記録する場合は、そのフレームについては、イメージャ１２は静止画記録用に設定された解像度モードで撮像画像データ出力が行われるようにすればよい。

【0066】

合焦部分の強調表示については解像度モード切替に用いないことも考えられる。例えばなるべく低消費電力の期間を長くしたい場合、マニュアルフォーカス操作中又はオートフォーカス動作中のみを高解像度モードとするようにしてもよい。この場合、強調表示の実行中に、高解像度モードと低解像度モードの切り替わりが生じることがある。そこで、このような場合は、制御部３０は解像度モード切替に伴って、強調表示のためのパラメータ切換を行うようにするとよい。例えば低解像度モードと高解像度モードとで周波数成分比率が変化すると、強調表示する合焦部分の選択が同様に実行できない。そこで例えばハイパスフィルタのカットオフ周波数のパラメータを変更したり、合焦部分選択の閾値を変更するなどの処理を行うことが好適である。

【0067】

なお本技術は以下のような構成も採ることができる。
（１）被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、撮像画像としての画角を維持したままで解像度が異なる複数の解像度モードが切替可能とされている光電変換部と、
前記光電変換部から出力される撮像画像信号に基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部と、
前記光電変換部からの撮像画像信号出力を低解像度モードで実行させている際に、焦点合わせに関する動作状態を検出した場合、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える制御を行う制御部と、を備えた
撮像装置。
（２）前記制御部は、動画記録中は、前記光電変換部の解像度モードの切替制御を行わない
上記（１）に記載の撮像装置。
（３）前記制御部は、前記焦点合わせに関する動作状態として、マニュアルフォーカス操作中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える制御を行う
上記（１）又は（２）に記載の撮像装置。
（４）前記制御部は、前記焦点合わせに関する動作状態として、オートフォーカス動作中又はオートフォーカス動作によるフォーカス状態の確認中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える制御を行う
上記（１）乃至（３）のいずれかに記載の撮像装置。
（５）前記制御部は、前記焦点合わせに関する動作状態として、モニタリング表示上で合焦部分の強調表示を行う機能の実行中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える制御を行う
上記（１）乃至（４）のいずれかに記載の撮像装置。
（６）前記制御部は、前記光電変換部の解像度モードの切替に伴って、撮像画像信号処理に関するパラメータの切替制御を行う
上記（１）乃至（５）のいずれかに記載の撮像装置。
（７）前記制御部は、前記光電変換部の解像度モードの切替に伴って、前記表示データ生成部における表示データ生成のための画像拡大縮小処理のパラメータの切替制御を行う
上記（１）乃至（６）のいずれかに記載の撮像装置。
（８）前記光電変換部で切り替え可能な複数の解像度モードは、画素間引き率の低い高解像度モードと画素間引き率の高い低解像度モードとを少なくとも含む
上記（１）乃至（７）のいずれかに記載の撮像装置。
（９）被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、撮像画像としての画角を維持したままで解像度が異なる複数の解像度モードが切替可能とされている光電変換部と、前記光電変換部から出力される撮像画像信号に基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部とを備えた撮像装置の撮像方法として、
前記光電変換部からの撮像画像信号出力を低解像度モードで実行させている際に、焦点合わせに関する動作状態を検出した場合、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える撮像方法。
（１０）被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、撮像画像としての画角を維持したままで解像度が異なる複数の解像度モードが切替可能とされている光電変換部と、前記光電変換部から出力される撮像画像信号に基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部とを備えた撮像装置の動作状態を検出する処理と、
前記光電変換部からの撮像画像信号出力を低解像度モードで実行させる処理と、
前記光電変換部からの撮像画像信号出力を低解像度モードで実行させている際に、前記撮像装置の動作状態を検出する処理により、焦点合わせに関する動作状態が検出された場合に、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える制御処理と、
を演算処理装置に実行させるプログラム。

【符号の説明】

【0068】

１０…撮像装置、１１…光学系、１２…イメージャ、１３…光学系駆動部、１４…センサ部、１５…記録部、１６…通信部、２０…デジタル信号処理部、２１…前処理部、２２…同時化部、２３…ＹＣ生成部、２４…解像度変換部、２５…コーデック部、２６…表示データ生成部、２７…ＡＦ判定部、３０…制御部、３０ａ…動作判定部、３０ｂ…解像度モード設定部、３４…表示部、３５…操作部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】