特許第6248412号(P6248412)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
<>
  • 特許6248412-撮像装置、撮像方法、プログラム 図000002
  • 特許6248412-撮像装置、撮像方法、プログラム 図000003
  • 特許6248412-撮像装置、撮像方法、プログラム 図000004
  • 特許6248412-撮像装置、撮像方法、プログラム 図000005
  • 特許6248412-撮像装置、撮像方法、プログラム 図000006
  • 特許6248412-撮像装置、撮像方法、プログラム 図000007
  • 特許6248412-撮像装置、撮像方法、プログラム 図000008
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6248412
(24)【登録日】2017年12月1日
(45)【発行日】2017年12月20日
(54)【発明の名称】撮像装置、撮像方法、プログラム
(51)【国際特許分類】
   H04N 5/225 20060101AFI20171211BHJP
   H04N 5/232 20060101ALI20171211BHJP
   G03B 17/18 20060101ALI20171211BHJP
   H04N 101/00 20060101ALN20171211BHJP
【FI】
   H04N5/225 300
   H04N5/232 935
   H04N5/232 220
   G03B17/18 Z
   H04N101:00
【請求項の数】9
【全頁数】21
(21)【出願番号】特願2013-101051(P2013-101051)
(22)【出願日】2013年5月13日
(65)【公開番号】特開2014-222801(P2014-222801A)
(43)【公開日】2014年11月27日
【審査請求日】2016年1月22日
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100116942
【弁理士】
【氏名又は名称】岩田 雅信
(74)【代理人】
【識別番号】100167704
【弁理士】
【氏名又は名称】中川 裕人
(74)【代理人】
【識別番号】100114122
【弁理士】
【氏名又は名称】鈴木 伸夫
(74)【代理人】
【識別番号】100086841
【弁理士】
【氏名又は名称】脇 篤夫
(72)【発明者】
【氏名】若園 雅史
【審査官】 高野 美帆子
(56)【参考文献】
【文献】 特開2004−128587(JP,A)
【文献】 特開2009−010616(JP,A)
【文献】 特開2007−060328(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/222−5/257
G03B 17/18
H04N 101/00
(57)【特許請求の範囲】
【請求項1】
被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、解像度が異なる複数の解像度モードが切替可能とされている光電変換部と、
前記光電変換部から出力される撮像画像信号に基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部と、
前記光電変換部からの撮像画像信号出力を低解像度モードで実行させている際に、焦点合わせに関する動作状態を検出した場合、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える制御を行う制御部と、を備え、
前記高解像度モードは、第1高解像度モードと前記第1高解像度モードより解像度の低い第2高解像度モードとを有し、
前記光電変換部は、マトリクス状に配列された光電変換画素から、画素間引き率に応じた一定の水平方向間隔及び一定の垂直方向間隔での間引きを行い、
前記制御部は、前記焦点合わせに関する動作状態として、モニタリング表示上で合焦部分の強調表示を行う機能の実行中は、前記光電変換部からの撮像画像信号出力を前記第2高解像度モードとする制御を行い、前記焦点合わせに関する動作状態として、マニュアルフォーカス操作中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を前記第1高解像度モードに切り替える制御を行う
撮像装置。
【請求項2】
前記制御部は、動画記録中は、前記光電変換部の解像度モードの切替制御を行わない
請求項1に記載の撮像装置。
【請求項3】
前記光電変換部は、光電変換画素の出力範囲の大きさを保ったままで画素間引き率を変化させることで、画角を変えずに解像度が異なる複数の解像度モードが切替可能とされている
請求項1又は請求項2に記載の撮像装置。
【請求項4】
前記制御部は、前記焦点合わせに関する動作状態として、オートフォーカス動作中又はオートフォーカス動作によるフォーカス状態の確認中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を前記第1高解像度モードに切り替える制御を行う
請求項1乃至請求項3のいずれかに記載の撮像装置。
【請求項5】
前記制御部は、前記光電変換部の解像度モードの切替に伴って、撮像画像信号処理に関するパラメータの切替制御を行う
請求項1乃至請求項4のいずれかに記載の撮像装置。
【請求項6】
前記制御部は、前記光電変換部の解像度モードの切替に伴って、前記表示データ生成部における表示データ生成のための画像拡大縮小処理のパラメータの切替制御を行う
請求項1乃至請求項5のいずれかに記載の撮像装置。
【請求項7】
前記光電変換部で切り替え可能な複数の解像度モードは、画素間引き率の低い高解像度モードと画素間引き率の高い低解像度モードとを少なくとも含む
請求項1乃至請求項6のいずれかに記載の撮像装置。
【請求項8】
被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、解像度が異なる複数の解像度モードが切替可能とされている光電変換部と、前記光電変換部から出力される撮像画像信号に基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部とを備え、前記光電変換部からの撮像画像信号出力を低解像度モードで実行させている際に、焦点合わせに関する動作状態を検出した場合、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える撮像装置の撮像方法として、
前記高解像度モードは、第1高解像度モードと前記第1高解像度モードより解像度の低い第2高解像度モードとを有し、
マトリクス状に配列された光電変換画素から、画素間引き率に応じた一定の水平方向間隔及び一定の垂直方向間隔での間引きを行い、
前記焦点合わせに関する動作状態として、モニタリング表示上で合焦部分の強調表示を行う機能の実行中は、前記光電変換部からの撮像画像信号出力を前記第2高解像度モードとする制御を行い、
前記焦点合わせに関する動作状態として、マニュアルフォーカス操作中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を前記第1高解像度モードに切り替える制御を行う
撮像方法。
【請求項9】
被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、解像度が異なる複数の解像度モードが切替可能とされている光電変換部と、前記光電変換部から出力される撮像画像信号に基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部とを備えた撮像装置の動作状態を検出する処理と、
前記光電変換部からの撮像画像信号出力を低解像度モードで実行させる処理と、
前記光電変換部からの撮像画像信号出力を低解像度モードで実行させている際に、前記撮像装置の動作状態を検出する処理により、焦点合わせに関する動作状態が検出された場合に、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える制御処理と、
マトリクス状に配列された光電変換画素から、画素間引き率に応じた一定の水平方向間隔及び一定の垂直方向間隔での間引きを行う制御処理と、
前記高解像度モードは、第1高解像度モードと前記第1高解像度モードより解像度の低い第2高解像度モードとを有し、前記焦点合わせに関する動作状態として、モニタリング表示上で合焦部分の強調表示を行う機能の実行中は、前記光電変換部からの撮像画像信号出力を前記第2高解像度モードとする制御処理と、
前記焦点合わせに関する動作状態として、マニュアルフォーカス操作中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を前記第1高解像度モードに切り替える制御処理と、
を演算処理装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、被写体画像の撮像を行う撮像装置、撮像方法、及びそれらを実現するプログラムについての技術分野に関する。
【先行技術文献】
【特許文献】
【0002】
【特許文献1】特開2007−13926号公報
【背景技術】
【0003】
デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置において、ユーザは被写体に対して焦点合わせを行った状態でシャッターボタンを押して静止画記録を行ったり、或いは動画記録を開始することが通常である。ユーザは、焦点合わせや焦点確認のためには、撮像装置に設けられた表示部やビューファインダに表示される被写体のモニタリング画像(スルー画)を確認する。
上記特許文献1には、焦点合わせ操作時に表示部に画像を拡大表示させることで、ユーザが焦点状態を確認する際の視認性を改善する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで撮像装置では、被写体のモニタリング中(例えば静止画撮像のシャッター操作前や動画記録開始前)は、イメージャの出力画素数を少なくすることが考えられる。例えば、画素数16メガピクセルのイメージャを持つカメラにおいて、モニタリング中のイメージャ出力として画素間引きして光電変換信号を出力し、例えば320×240画素など、きわめて低い解像度の撮像画像信号を得るようにする。このようにイメージャにおいて画素間引きして出力すると、消費電力削減に大きな効果が得られ、また十分なフレームレートでモニタリング表示を更新させて、動きのなめらかなモニタリング画像を提供することができる。
【0005】
ところが、画素の間引きにより画面上での焦点確認の視認性が低下する。例えば画面を見た状態でユーザが焦点が合っているかどうかが確認しずらくなり、また合焦部分の強調表示(ピーキングとも呼ばれる)を行う機能を用いる場合でも、画像解析上、合焦部分の適切な検出が難しくなる。
これは、焦点の確認は画像の高周波成分の強度を見て行われるのに対し、間引きによってエイリアシング現象が発生して、高周波成分が偽の低周波数成分に化けてしまうからである。単純に間引く代わりに、同色の隣り合った複数の画素を加算平均して読み出すモードをつかうと、エイリアシング現象を防ぐことができるが、このモードを使うと加算平均処理により高周波成分が失われてしまうため、やはり焦点の確認に必要な高周波成分の強度を知ることはできなくなる。
【0006】
上記特許文献1のように焦点確認のために拡大画像を用いることも考えられるが、拡大画像でモニタリングを行うと、表示画角が変わってしまうためユーザにとってはフレーミング(被写体確認、構図調整)がやりにくくなる。
また、イメージャから低解像度で出力された撮像画像信号の一部を拡大して表示しても、粗い画像とならざるを得ない。
【0007】
そこで本技術は、イメージャ(光電変換部)からの低解像度出力による低消費電力削減効果を得ながら、かつ表示画角も変更させずに、焦点合わせ操作や焦点確認の視認性を向上させることを目的とする。
【課題を解決するための手段】
【0008】
第1に、本技術に係る撮像装置は、被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、解像度が異なる複数の解像度モードが切替可能とされている光電変換部と、前記光電変換部から出力される撮像画像信号に基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部と、前記光電変換部からの撮像画像信号出力を低解像度モードで実行させている際に、焦点合わせに関する動作状態を検出した場合、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える制御を行う制御部と、を備え、前記高解像度モードは、第1高解像度モードと前記第1高解像度モードより解像度の低い第2高解像度モードとを有し、前記光電変換部は、マトリクス状に配列された光電変換画素から、画素間引き率に応じた一定の水平方向間隔及び一定の垂直方向間隔での間引きを行い、前記制御部は、前記焦点合わせに関する動作状態として、モニタリング表示上で合焦部分の強調表示を行う機能の実行中は、前記光電変換部からの撮像画像信号出力を前記第2高解像度モードとする制御を行い、前記焦点合わせに関する動作状態として、マニュアルフォーカス操作中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を前記第1高解像度モードに切り替える制御を行うものである。
例えば静止画や動画の撮像記録のために、シャッター操作や記録開始操作を行う前の期間において、ユーザ(撮像者)がモニタリング画像により被写体を確認している場合、モニタリング画像としては、さほどの高精細な画像は必ずしも必要ではない。そこでこのような期間は光電変換部からは低解像度モードで撮像画像信号を読み出すようにして省電効果を得ることが好適となる。但し、焦点合わせ(フォーカス可変動作)や焦点確認等を行う場合には、合焦状態を認識しやすいように、モニタリング画像もある程度の画質を優先した方がよい。そこで焦点合わせに関する動作状態を検出した際には、低解像度モードから高解像度モードに切り替える。
また、この場合は、ユーザがマニュアルフォーカス操作により積極的に焦点調整を行う際、積極的に焦点状態(合焦状態の被写体)を確認しようとしている場合である。従って、これらの場合は、高解像度モードにより、画像品質のよいモニタリング画像を提供し、焦点調整や焦点確認のしやすさを実現する。
【0009】
第2に、上記した本技術に係る撮像装置においては、前記制御部は、動画記録中は、前記光電変換部の解像度モードの切替制御を行わないことが望ましい。
動画記録中は、動画を構成する各フレームの画像データの解像度が変化することは、好ましくないため、解像度モード切替を制限する。
【0010】
第3に、上記した本技術に係る撮像装置においては、前記光電変換部は、光電変換画素の出力範囲の大きさを保ったままで画素間引き率を変化させることで、画角を変えずに解像度が異なる複数の解像度モードが切替可能とされていることが望ましい。
第4に、上記した本技術に係る撮像装置においては、前記制御部は、前記焦点合わせに関する動作状態として、オートフォーカス動作中又はオートフォーカス動作によるフォーカス状態の確認中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を前記第1高解像度モードに切り替える制御を行うことが望ましい。
これらの場合とは、ユーザがオートフォーカス機能により積極的に焦点調整を行う際、積極的に焦点状態(合焦状態の被写体)を確認しようとしている場合である。従って、これらの場合は、高解像度モードにより、画像品質のよいモニタリング画像を提供し、焦点調整や焦点確認のしやすさを実現する。
【0011】
第5に、上記した本技術に係る撮像装置においては、前記制御部は、前記光電変換部の解像度モードの切替に伴って、撮像画像信号処理に関するパラメータの切替制御を行うことが望ましい。
解像度モード切替によって光電変換部から解像度の異なる撮像画像信号が出力されることになるため、撮像画像信号処理において解像度の異なる撮像画像信号に適切に対応できるようにする。
第6に、上記した本技術に係る撮像装置においては、前記制御部は、前記光電変換部の解像度モードの切替に伴って、前記表示データ生成部における表示データ生成のための画像拡大縮小処理のパラメータの切替制御を行うことが望ましい。
これも解像度モード切替によって光電変換部から解像度の異なる撮像画像信号が出力されることになるため、そのままではモニタリング画像としての画像サイズが変化してしまう。そこでそれまでと同一サイズで表示が行われるように適切に拡大又は縮小処理が行われるようにする。
【0012】
第7に、上記した本技術に係る撮像装置においては、前記光電変換部で切り替え可能な複数の解像度モードは、画素間引き率の低い高解像度モードと画素間引き率の高い低解像度モードとを少なくとも含む。つまり低解像度モードと高解像度モードは、間引き率の異なる解像度モードとする。
【0013】
本技術に係る撮像方法は、被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、解像度が異なる複数の解像度モードが切替可能とされている光電変換部と、前記光電変換部から出力される撮像画像信号に基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部とを備え、前記光電変換部からの撮像画像信号出力を低解像度モードで実行させている際に、焦点合わせに関する動作状態を検出した場合、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える撮像装置の撮像方法として、前記高解像度モードは、第1高解像度モードと前記第1高解像度モードより解像度の低い第2高解像度モードとを有し、マトリクス状に配列された光電変換画素から、画素間引き率に応じた一定の水平方向間隔及び一定の垂直方向間隔での間引きを行い、前記焦点合わせに関する動作状態として、モニタリング表示上で合焦部分の強調表示を行う機能の実行中は、前記光電変換部からの撮像画像信号出力を前記第2高解像度モードとする制御を行い、前記焦点合わせに関する動作状態として、マニュアルフォーカス操作中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を前記第1高解像度モードに切り替える制御を行うものである。
つまり焦点合わせに関する動作状態を検出した際には、低解像度モードから高解像度モードに切り替える動作を撮像装置において実行する。
【0014】
本技術に係るプログラムは、被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、解像度が異なる複数の解像度モードが切替可能とされている光電変換部と、前記光電変換部から出力される撮像画像信号に基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部とを備えた撮像装置の動作状態を検出する処理と、前記光電変換部からの撮像画像信号出力を低解像度モードで実行させる処理と、前記光電変換部からの撮像画像信号出力を低解像度モードで実行させている際に、前記撮像装置の動作状態を検出する処理により、焦点合わせに関する動作状態が検出された場合に、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える制御処理と、マトリクス状に配列された光電変換画素から、画素間引き率に応じた一定の水平方向間隔及び一定の垂直方向間隔での間引きを行う制御処理と、前記高解像度モードは、第1高解像度モードと前記第1高解像度モードより解像度の低い第2高解像度モードとを有し、前記焦点合わせに関する動作状態として、モニタリング表示上で合焦部分の強調表示を行う機能の実行中は、前記光電変換部からの撮像画像信号出力を前記第2高解像度モードとする制御処理と、前記焦点合わせに関する動作状態として、マニュアルフォーカス操作中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を前記第1高解像度モードに切り替える制御処理と、を演算処理装置に実行させるプログラムである。
このプログラムにより、上述の撮像装置、撮像方法を演算処理装置を用いて実現する。
【発明の効果】
【0015】
本技術によれば、光電変換部からの低解像度出力による低消費電力削減を行いつつ、焦点合わせに関する動作状態となった場合は、表示画角を変更させずに、モニタリング画像の画質を向上させ、これによって焦点合わせ操作や焦点確認の際の視認性を向上させ、焦点操作、焦点確認の操作性を向上させることができる。
【図面の簡単な説明】
【0016】
図1】本技術の実施の形態の撮像装置のブロック図である。
図2】実施の形態のイメージャの解像度モードの説明図である。
図3】実施の形態の合焦部分の強調表示の説明図である。
図4】実施の形態の低解像度モードと高解像度モードにおける処理過程の画像データの説明図である。
図5】第1の実施の形態の解像度モード設定処理のフローチャートである。
図6】実施の形態の解像度モード切替処理のフローチャートである。
図7】第2の実施の形態の解像度モード設定処理のフローチャートである。
【発明を実施するための形態】
【0017】
以下、実施の形態を次の順序で説明する。
<1.撮像装置の構成>
<2.第1の実施の形態の解像度モードに関する処理>
<3.第2の実施の形態の解像度モードに関する処理>
<4.プログラム>
<5.変形例>
【0018】
<1.撮像装置の構成>
実施の形態の撮像装置10の構成を図1で説明する。この撮像装置10はいわゆるデジタルスチルカメラ或いはデジタルビデオカメラとされ、静止画や動画の撮像/記録を行う機器である。
図1に示すように撮像装置10は、光学系11、イメージャ12、光学系駆動部13、センサ部14、記録部15、通信部16、デジタル信号処理部20、制御部30、表示部34、操作部35を有する。
【0019】
光学系11は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構を備える。この光学系11により、被写体からの光がイメージャ(光電変換部)12に集光される。
イメージャ12は、例えば、CCD(Charge Coupled Device)型、CMOS(Complementary Metal OxideSemiconductor)型など、光電変換画素がマトリクス状に配置されて形成された撮像素子を有する。
このイメージャ12では、撮像素子での光電変換で得た電気信号について、例えばCDS(Correlated Double Sampling)処理、AGC(Automatic Gain Control)処理などを実行し、さらにA/D(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像画像信号(以下、撮像画像データ)を、後段のデジタル信号処理部20に出力する。
またイメージャ12は、撮像素子の出力について、撮像画像としての画角を維持したままで解像度が異なる複数の解像度モードが切替可能とされている。後述するが、画素間引き率を高くして画素数を少なくした低解像度モードと、この低解像度モードより間引き率を低くして(間引き無しも含む)画素数を多くした高解像度モードとを、少なくとも切り替え可能とされている。
なお「画角を維持する」とは、撮像画像の1フレームに含まれる被写体の範囲が略同一となる状態であることを意味している。異なる解像度モードを、異なる間引き率のモードとするということは、画像に含まれる被写体範囲を略同一に保ちながら、解像度の異なる撮像画像データが得られるということである。
【0020】
低解像度モードと高解像度モードの一例を図2に示す。図2Aが低解像度モードの場合のイメージャ12上での出力画素、図2Bが高解像モードの場合のイメージャ12上での出力画素を例示している。〇を付した画素がイメージャ12上での出力画素である。
図示のようにR(赤)、G(緑)、B(青)の各光電変換画素がマトリクス状に配列される場合において、例えば低解像度モードでは、水平方向(横方向)には5画素範囲で1画素を出力し、垂直方向(縦方向)には7ライン毎に1ラインを出力する。高解像度モードでは、水平方向(横方向)には3画素範囲で1画素を出力し、垂直方向(縦方向)には4ライン毎に1ラインを出力する。
例えばこのように低解像度モードと高解像度モードは、光電変換画素の間引き率を異なるようにすることで、略同一画角であって解像度の異なる撮像画像データを得るようにする。
もちろん、低解像度モードと高解像度モードの間引き率が、図2の例に限定されるものではない、高解像度モードは、間引きなし(全光電変換画素の出力)としてもよいし、図2B以外の間引き率としてもよい。低解像度モードは、高解像度モードよりも高い間引き率(少ない画素数)の出力とするものであればよい。
低解像度モードは、当然撮像画像データの画質は低下するが、消費電力の削減、バッテリーの長寿命化に適している。例えば記録を行わない被写体モニタリング画像(以下「スルー画」ともいう)の表示中などは、少々画質が低下していてもさほどの問題は生じないため、消費電力削減を優先する低解像度モードが適している。
高解像度モードでは、低解像度モードよりも高い画質の撮像画像データが得られる。
【0021】
図1に戻って、光学系駆動部13は、制御部30の制御に基づいて、光学系11におけるフォーカスレンズを駆動し、フォーカス動作を実行する。また光学系駆動部13は、制御部30の制御に基づいて、光学系11における絞り機構を駆動し、露光調整を実行する。さらに光学系駆動部13は、制御部30の制御に基づいて、光学系11におけるズームレンズを駆動し、ズーム動作を実行する。
なおフォーカスレンズは、撮像画像の合焦状態検出に応じて制御部30が光学系駆動部13の動作を制御するオートフォーカスとしての駆動が行われる他、ユーザのフォーカス操作子の操作に応じて制御部30が光学系駆動部13の動作を制御するマニュアルフォーカスとしての駆動も行われる。
【0022】
デジタル信号処理部20は、例えばDSP(Digital Signal Processor)等により画像処理プロセッサとして構成される。このデジタル信号処理部20は、イメージャ12からのデジタル信号(撮像画像データ)に対して、各種の信号処理を施す。
例えばデジタル信号処理部20は、前処理部21、同時化部22、YC生成部23、解像度変換部24、コーデック部25、表示データ生成部26、オートフォーカス判定部27(以下、AF判定部)を備えている。
【0023】
前処理部21は、イメージャ12からの撮像画像データに対して、R,G,Bの黒レベルを所定のレベルにクランプするクランプ処理や、R,G,Bの色チャンネル間の補正処理等を施す。
同時化部22は、各画素についての画像データが、R,G,B全ての色成分を有するようにするデモザイク処理を施す。
YC生成部23は、R,G,Bの画像データから、輝度(Y)信号および色(C)信号を生成(分離)する。
解像度変換部24は、各種の信号処理が施された画像データに対して、必要な解像度変換処理、例えば記録用や通信出力用の解像度変換を実行する。
コーデック部25は、解像度変換された画像データについて、例えば記録用や通信用の符号化処理を行う。
【0024】
表示データ生成部26は、制御部30の制御に従って、表示部34に出力する例えばスルー画としての表示データを生成する。
このスルー画としての表示データは、基本的には解像度変換部24で解像度変換された撮像画像データとしての各フレームのデータであるが、特に表示部34での表示サイズに合わせたリサイズ(拡大・縮小)を行って表示データを生成する。つまり表示部34の表示パネルに合わせた解像度変換を加える。
例えば静止画撮像記録のためにユーザが被写体を探しているときや、動画記録のスタンバイ中などにおいて、表示データ生成部26は撮像画像データに基づくスルー画表示のための表示データを生成する。そして表示データを表示部34に供給し、スルー画表示を実行させる。
また表示データ生成部26は、合焦部分の強調表示(ピーキング)のための処理も行う。例えばスルー画としての画像データ上で、高周波成分(エッジ成分)の高い合焦状態の画素を選択し、当該画素が表示部34において強調してユーザに提示されるような画像処理を行う。例えば図3Aのような撮像画像データに対して合焦部分を検出し、図3Bのように合焦部分と検出された画素について輝度を高くしたり、或いは色情報を変更するなどの手法で、強調表示が行われるようにする。このような強調表示を伴った表示データを生成して表示部34で表示させることで、ユーザが、焦点確認(合焦部分、合焦状態の確認)を容易かつ正確にできるようになる。例えばユーザは強調表示を見ながらマニュアルフォーカスやオートフォーカス機能によりフォーカスを調整し、意図した被写体部分のエッジが強調されれば、合焦していると判断して静止画撮像記録を行ったり動画記録を開始することができる。
なお表示データ生成部26は、この図4の例ではデジタル信号処理部20で実行される機能構成として示しているが、これは一例であり、制御部30によって表示データ生成部26としての処理が実行されてもよい。
【0025】
AF判定部28は、オートフォーカス動作の際に、現在のフレーム画像データのフォーカス状態を確認する。例えば画像データの高周波成分エネルギー検出などの手法でフォーカス状態を判定する評価値を求める。オートフォーカス時には、制御部30はAF判定部28からの評価値を確認しながら光学系駆動部13によるフォーカスレンズ駆動を実行させ、合焦状態に制御することになる。
【0026】
制御部30は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリなどを備えたマイクロコンピュータ(演算処理装置)により構成される。
CPUがROMやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置10全体を統括的に制御する。
RAMは、CPUの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
ROMやフラッシュメモリ(不揮発性メモリ)は、CPUが各部を制御するためのOS(Operating System)や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。本例においては特に、イメージャ12の解像度モード切替のための処理を実行するためのプログラムも記憶される。
【0027】
このような制御部30は、デジタル信号処理部20における各種信号処理のパラメータ制御、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、ズーム、フォーカス、露光調整等のカメラ動作、ユーザインターフェース動作等について、必要各部の動作を制御する。
【0028】
また本実施の形態の場合、制御部30は、上述のイメージャ12の解像度モードの制御に関連して、動作判定部30a、解像度モード設定部30bとしての機能を備える。
動作判定部30aは、撮像装置10の動作状態の検出・判定を行う。例えば静止画記録や動作記録のためのスタンバイ中、動画記録中、再生中、フォーカス動作(焦点合わせ)中、強調表示実行中などの動作状態の検出・判定を行う。
解像度モード設定部30bは、動作判定部30aが検出する動作状態に応じて、イメージャ12の解像度モードの制御を行う。例えば静止画記録や動作記録のためのスタンバイ中には、低解像度モードに制御する。
なお、動作判定部30a、解像度モード設定部30bはデジタル信号処理部20の機能として実現してもよい。
【0029】
表示部34はユーザ(撮像者等)に対して各種表示を行う表示部であり、例えば撮像装置10の筐体上に形成されるLCD(Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイ等のディスプレイデバイスを有して形成される。なお、いわゆるビューファインダーの形態で、LCDや有機ELディスプレイ等を用いて形成されてもよい。
この表示部34は、上記のディスプレイデバイスと、該ディスプレイデバイスに表示を実行させる表示ドライバとから成る。表示ドライバは、制御部30の指示に基づいて、ディスプレイデバイス上に各種表示を実行させる。例えば表示ドライバは、撮像して記録媒体に記録した静止画や動画を再生表示させたり、表示データ生成部26からの表示データに応じて、レリーズ(シャッタ操作)待機中に撮像される各フレームの撮像画像データによる動画としてのスルー画をディスプレイデバイスの画面上に表示させる。スルー画上での強調表示も行う。また各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を画面上に実行させる。
【0030】
操作部35は、ユーザの操作を入力する入力機能を有し、入力された操作に応じた信号を制御部30へ送る。
この操作部35としては、例えば撮像装置10の筐体上に設けられた各種操作子や、表示部34に形成されたタッチパネルなどとして実現される。
筐体上の操作子としては、再生メニュー起動ボタン、決定ボタン、十字キー、キャンセルボタン、ズームキー、スライドキー、シャッターボタン(レリーズボタン)、マニュアルフォーカスのための操作子としてのフォーカスリング等が設けられる。
またタッチパネルと表示部34に表示させるアイコンやメニュー等を用いたタッチパネル操作により、各種の操作が可能とされてもよい。
【0031】
記録部15は、例えば不揮発性メモリからなり、静止画データや動画データ等の画像ファイル(コンテンツファイル)や、画像ファイルの属性情報、サムネイル画像等を記憶する記憶領域として機能する。
画像ファイルは、例えばJPEG(Joint Photographic Experts Group)、TIFF(Tagged Image File Format)、GIF(Graphics Interchange Format)等の形式で記憶される。
記録部15の実際の形態は多様に考えられる。例えば記録部15は、撮像装置10に内蔵されるフラッシュメモリでもよいし、撮像装置10に着脱できるメモリカード(例えば可搬型のフラッシュメモリ)と該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置10に内蔵されている形態としてHDD(Hard Disk Drive)などとして実現されることもある。
また、本例においてイメージャ12の解像度モードに関する処理を制御部30に実行させるためのプログラムは、記録部15に記憶されてもよい。
【0032】
通信部16は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。
例えば外部の表示装置、記録装置、再生装置等の間で撮像画像データ(静止画ファイルや動画ファイル)の通信を行う。また、ネットワーク通信部として、例えばインターネット、ホームネットワーク、LAN(Local Area Network)等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。
例えば通信部16によりスルー画や再生画としての表示データを外部の表示装置に送信して表示させることもできる。つまり表示部34での各種の表示を外部表示装置で実行するようにしてもよい。
【0033】
センサ部14は各種センサを包括的に示している。例えば手ぶれ、或いは撮像装置10の姿勢や移動(パン移動、チルト移動等)等、撮像装置10の全体の動きを検出するためのジャイロセンサ(角速度センサ)、加速度センサ等が設けられる。
また露光調整等のための外部照度を検出する照度センサ、さらには被写体距離を測定する測距センサが設けられてもよい。
またセンサ部14として、光学系11におけるズームレンズの位置を検出するズームレンズ位置センサ、フォーカスレンズの位置を検出するフォーカスレンズ位置センサが設けられる場合もある。
またセンサ部14として、メカアイリス(絞り機構)の開口量を検出するセンサが設けられる場合もある。
センサ部14の各種センサは、それぞれ検出した情報を制御部30に伝達する。制御部30は、センサ部14で検出された情報を用いて各種制御を行うことができる。
【0034】
<2.第1の実施の形態の解像度モードに関する処理>
以上の構成の撮像装置10において実行されるイメージャ12の解像度モードに関する処理を説明していく。
本実施の形態の撮像装置10では、静止画撮像記録のシャッター操作前の期間や、動画撮像記録のためのスタンバイ中において、スルー画表示を行っている際には、基本的には、消費電力を抑えるために、画質を犠牲にして低解像度モードでイメージャ12が動作するようにする。ところがそのままでは、焦点合わせ、焦点確認、強調表示等に適切でないことがある。そこで制御部30は、焦点合わせに関する動作状態を検出した場合、イメージャ12からの撮像画像信号出力を高解像度モードに切り替える制御を行うようにし、一時的に画質を優先する状態として動作させる。
【0035】
図4は低解像度モードと高解像度モードの際の画像データ状態を模式的に示している。
例えば被写体G1の撮像を行っている場合におけるスルー画表示のための処理を大まかに示すと、図示のようにイメージャ出力ST1、現像処理ST2、解析/画像変換ST3、サイズ変換ST4、表示ST5となる。
イメージャ出力ST1はイメージャ12からの撮像画像データ出力を示す。
現像処理ST2とはデジタル信号処理部20における前処理部21、同時化部22、YC生成部23等の処理を指している。
解析/画像変換ST3は、表示データ生成部26による合焦部分の強調表示のための処理を示している。例えば画像データ内で合焦部分の検出を行って強調表示画素を選択する。そして選択した強調表示画素について強調表示のための輝度値の変更や色情報の変更を行う処理である。
サイズ変換ST4は、表示データ生成部26による、表示デバイス(表示部34のディスプレイ)に合わせたリサイズ処理を示している。
表示ST5は、表示データ生成部26から表示データを出力し、表示部34でスルー画を表示する動作を示している。
【0036】
このような一連の処理動作における、低解像度モードの場合の画像データ状態を図4において各処理手順の上段に示している。なお、図示及び以下に述べる画サイズは、説明のための一例に過ぎない。
仮に、イメージャ12における撮像素子の光電変換画素サイズが6000×4000画素であるとする。
低解像度モードの場合、イメージャ12は比較的高い間引き率で間引き出力を行う。ここでは一例としてイメージャ12から出力される撮像画像データは、画像データLG2として示すように320×240画素であるとする。
低解像度モードの場合、この320×240画素の画像データLG2に対し現像処理ST2が行われ、またその処理後の320×240画素の画像データLG3に対し解析/画像変換ST3が行われることになる。
そして表示デバイスサイズが640×480画素であるとすると、解析/画像変換ST3の後の画像データLG4が、サイズ変換ST4により拡大処理されて640×480画素の画像データLG5とされる。この画像データLG5が表示データとして表示部34に供給され表示ST5として表示出力される(表示画像LG6)。
【0037】
このような低解像度モードは、非常に省電力効果が高く、有用である。間引き率を高くするほど省電力効果が得られる。ところが、イメージャ出力ST1の際の間引き、及びサイズ変換ST4での拡大により、表示画像LG6はボケた画像となっている(図では破線により表示画像LG6がボケた状態であることを表している)
また処理過程の画像データLG2,LG3は、省電力や帯域制限のために大幅に間引かれた画像であるが、このため解析/画像変換ST3が適切に実行できないことが多い。つまり高域成分エネルギーが低下し、合焦部分検出を精度良く行うことができない。このため合焦部分の強調表示も適切に行われないことが多い。
【0038】
一方、高解像度モードの場合の画像データ状態を図4の各処理手順の下段に示している。
高解像度モードの場合、イメージャ12は比較的低い間引き率で撮像画像データの出力を行う。例えば画像データHG2として示すように1280×960画素の撮像画像データを出力するものとする。
高解像度モードの場合、この1280×960画素の画像データHG2に対し現像処理ST2が行われ、またその処理後の1280×960画素の画像データHG3に対し解析/画像変換ST3が行われることになる。
そして表示デバイスサイズが640×480画素であることに応じて、解析/画像変換ST3の後の画像データHG4が、サイズ変換ST4により縮小処理されて640×480画素の画像データHG5とされる。この画像データHG5が表示データとして表示部34に供給され表示ST5として表示出力される(表示画像HG6)。
【0039】
この高解像度モードの場合、画像データの高域成分はあまり失われていない。合焦部分のコントラスト比などもある程度精度良く検出できる。このため解析/画像変換ST3が適切に実行され、画像データHG4に示すように、強調表示のためのデータ変換が適切に行われる。また表示画像HG6はボケのない(少ない)画像とすることができ、ユーザは表示上でも合焦部分の強調表示を正しく認識できる。
但し、高解像度モードは消費電力削減の点では低解像度モードより不利である。
【0040】
このように低解像度モードと高解像度モードではそれぞれの長短がある。そこで本実施の形態では動作状態に応じて、適切に低解像度モードと高解像度モードを切り替える。
【0041】
図5に制御部30による解像度モード設定処理例を示している。
イメージャ12による撮像画像データ出力が行われている期間、制御部30は動作判定部30a及び解像度モード設定部30bの機能により、図5の処理を行う。
ステップF101で制御部30は、現在、動画記録を実行しているか否かを確認する。動画記録中は、ステップF107に進み、制御部30は現在の解像度モードの設定状態を維持する。つまり解像度モード変更処理は行わない。従って動画記録中は、動画記録開始の際の解像度モードが継続されることになる。
【0042】
動画記録中ではない場合、制御部30はステップF102、F103、F104の判断を行う。ステップF102では、マニュアルフォーカス操作中であるか否かを判断する。
ユーザがレンズ鏡筒に設けられたフォーカスリングなどのマニュアルフォーカスのための操作子を操作した場合、制御部30はその操作に応じて光学系駆動部13を制御し、フォーカスレンズ移動を実行させる。このマニュアルフォーカス操作を検出した場合、解像度モードの処理に関しては制御部30はステップF105に進む。
【0043】
またステップF103では制御部30は、シャッターボタンの半押しによる焦点確認中であるか否かを判断する。
ユーザがシャッターボタンを半押ししたら、制御部30はフォーカスロック制御を行う。即ちオートフォーカス制御として、AF判定部27による評価値を監視しながら光学系駆動部13によってフォーカスレンズ駆動を実行させ、合焦位置を探索し、合焦状態とさせる。そして半押しが継続されている期間、そのフォーカス状態を維持する。
従ってシャッターボタンの半押しを検出した場合とは、撮像装置10の動作状態としてオートフォーカス動作中又はオートフォーカス動作によるフォーカス状態の確認中であることを検出した場合に相当する。
このような半押し状態を検出した場合も、制御部30は解像度モードに関する処理としてはステップF105に進む。
【0044】
ステップF104では制御部30は、現在、合焦部分の強調表示が実行中であるか否かを検出する。図3Bに示したような合焦部分の強調表示は、ユーザが合焦部分を確認しやすくするためのもので、この強調表示機能は、マニュアルフォーカス操作時や、シャッターボタンの半押しによるオートフォーカス及びフォーカスロック中などに、自動的に実行される場合がある。或いは、これらに限らず、ユーザの操作により強調表示機能をオンとする場合もある。さらには撮像装置10の特定の動作状態や、被写体状態(例えば顔検出時など)に強調表示が実行される場合も考えられる。強調表示が実行される場合はこのように各種考えられるが、ステップF104では強調表示の実行中か否かを判断し、実行中であれば制御部30はステップF105に進む。
【0045】
以上のステップF102、F103、F104の判断により、マニュアルフォーカス操作中、半押しによる焦点確認中、合焦部分の強調表示中のいずれかの動作状態にある場合、ステップF105に進み、制御部30は、イメージャ12を高解像度モードに切り替える(既に切り替えられていれば高解像度モードを継続する)。
一方、マニュアルフォーカス操作中、半押しによる焦点確認中、合焦部分の強調表示中のいずれでもなければ、制御部はステップF106で、イメージャ12を低解像度モードに切り替える(既に切り替えられていれば低解像度モードを継続する)。
【0046】
制御部30は以上の図5の処理を、例えば撮像画像データが得られるフレームタイミング毎に行う。
結局、マニュアルフォーカス操作中、半押しによる焦点確認中、合焦部分の強調表示中のいずれかであればイメージャ12は高解像度モードとされ、これらの動作状態となる前や終了した後は、低解像度モードとされる。
【0047】
図6は、ステップF105又はF106で解像度モードを切り替える場合の制御部30の処理を示している。
解像度モード設定の切り替えが発生する場合、制御部30は図6の処理をステップF201からF202に進め、まず現フレーム処理の終了を待機する。イメージャ12は、毎フレーム繰り返して光電変換信号を読み出し、撮像画像データを出力しているが、当然ながら、或るフレームの光電変換信号の読み出し途中で解像度モードを切り替えることは適切でない。そこでイメージャ12での現在のフレームの出力完了を待機する。
現フレーム処理が終了したら、制御部30はステップF203でイメージャ12に解像度モード切替を指示する。これによりイメージャ12は次のフレームから解像度モードを切り替える。即ち読み出す光電変換信号の間引き率を変化させる。
【0048】
制御部30は、ステップF204で信号処理パラメータ切換の制御を行う。
イメージャ12の解像度モードを変えると、それに合わせて現像処理(ST2)のパラメータの変更が必要になる。例えば、前処理部21でのフリッカー補正で使うフリッカー幅のパラメータは、縦方向の解像度に比例する。また、同時化部22などのフィルタ処理には画像のサイズや有効範囲の情報を、パラメータとして与える必要がある。これらのパラメータは、イメージャ12からの撮像画像データの解像度が変わると最適値が変わるため、解像度モードの切り替えに応じて、設定しなおすようにしている。
【0049】
制御部30にはステップF205で、表示用のサイズ変換処理パラメータの切り替えを行う。例えば図4では、サイズ変換ST4として、低解像度モードの場合は、320×240画素の画像データLG4を640×480画素の画像データLG5に拡大した。一方、高解像度モードの場合は、サイズ変換ST4として、1280×960画素の画像データHG4を640×480画素の画像データHG5に縮小するとの例を挙げた。このように高解像度モードと低解像度モードでは、表示のためのサイズ変換ST4として実行する処理が縮小と拡大が異なる。従って制御部30は、ステップF205でサイズ変換ST4の処理を設定するパラメータ変更を行う。
もちろんこのような拡大、縮小が切り替えられるのは一例であり、例えば高解像度モード時でも拡大する場合もある。例えば640×480画素が表示画面サイズである場合に、高解像度モードは600×400画素、低解像度モードは400×200画素などとすれば、いずれのモードでもサイズ変換ST4として拡大が行われることになる。逆に、いずれのモードでもサイズ変換ST4として縮小が行われるような画素サイズ設定もあり得る。
但し、いずれにしても高解像度モードと低解像度モードの場合、サイズ変換ST4における拡大(又は縮小)率は異なる。そこでこのような場合、制御部30は、ステップF205でサイズ変換処理パラメータとして、拡大率又は縮小率のパラメータの切り替えを行うようにする。
このステップF205の処理により、イメージャ12での解像度モード設定を変更しても画面表示サイズが変化しないようにしている。
【0050】
以上の図6のように、制御部30は、イメージャ12の解像度モード切替を行う際には、信号処理パラメータとサイズ変換処理パラメータも、解像度モードに合わせて切り替えを行うようにしている。
【0051】
制御部30が以上の図5図6の処理を行うことで、本実施の形態では以下の効果が得られる。
実施の形態の撮像装置10は、被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、撮像画像としての画角を維持したままで解像度が異なる複数の解像度モード(高解像度モードと低解像度モード)が切替可能とされているイメージャ12を備えている。またイメージャ12から出力される撮像画像データに基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部26(デジタル信号処理部20)を備えている。さらに、イメージャ12からの出力を低解像度モードで実行させている際に、焦点合わせに関する動作状態を検出した場合、イメージャ12を高解像度モードに切り替える制御を行う制御部30を備えている。
このような撮像装置10では、まず、静止画記録のためのシャッター操作や動画記録開始操作を行う前の期間に、ユーザ(撮像者)がスルー画(モニタリング画像)により被写体を確認しているときは、低解像度モードとして消費電力削減効果を得、バッテリーの長寿命化を図ることができる。この場合、スルー画の表示画質は低下してしまうが、そもそもスルー画は構図決めや被写体を大まかに確認する目的で見るものであって、さほどの高画質は必要ないため、低画質であること自体は特に問題はない。但し、焦点合わせ(フォーカス可変動作)や焦点確認等を行う場合には、ユーザがスルー画から合焦状態を認識しやすくするように、スルー画の画質を向上させた方がよい。そこで焦点合わせに関する動作状態を検出した際には、低解像度モードから高解像度モードに切り替えるようにしている。つまり、焦点の合い具合を精度よく確かめるため、焦点確認中はイメージャ12から、より多くの画素を読み出すようにすることで、画像の高周波成分を視認しやすいようにし、焦点合わせ操作や焦点確認の際の視認性を向上させる。
【0052】
また解像度モード切替を行う場合に、イメージャ12の光電変換画素の出力範囲の大きさは保ったまま間引き率を変化させることで、画角の変化を防ぎ、ユーザーのフレーミング操作の邪魔をしないようにしている。つまり解像度モード切替が行われても、ユーザは継続して同じ画角状態で被写体を確認することができる。
すなわち間引きによって出力画素数を少なくすると、イメージャ12上での読み出し領域の広さ(画角)が変わらないため、ユーザはモニタリング画像を見ながら、出力画素数が少ないことを意識せずにフレーミング(被写体確認、構図調整)をすることができる。
【0053】
また制御部30は、動画記録中は解像度モードの切替制御を行わない。
たとえユーザが焦点合わせ操作を行った場合でも、動画記録中であったら、イメージャ12の解像度モードを変えないほうが良い。動画記録中に読み出し解像度を切り替えると、フレーム間で瞬間的に画質が変化する様子が記録画像に残されてしまい、記録画像の品質を低下させる。また、動画記録中は、通常、フレームレートを考慮した読み出し画素数をつかっているため、読み出し画素数を増やすとフレームレートの低下を招いてしまい、好ましくない。
そこで動画記録中はたとえ焦点合わせが行われたとしても、解像度モード切替を制限することとし、動画記録に悪影響を生じさせず、適正な動画記録データを維持するようにしている。このように動画記録中に解像度モード切替を行わないことは、実際の動画撮像機能を備えた撮像装置としては、非常に重要な処理となる。
【0054】
また実施の形態の撮像装置10は、制御部30は、焦点合わせに関する動作状態として、マニュアルフォーカス操作中であることを検出した場合や、オートフォーカス動作中又はオートフォーカス動作によるフォーカス状態の確認中であることを検出した場合(半押し中)、さらには合焦部分の強調表示の実行中であることを検出した場合に、高解像度モードに切り替える制御を行うようにしている。
これらの場合は、ユーザがマニュアルフォーカス操作やオートフォーカス機能により積極的に焦点調整を行う場合や、合焦部分の強調表示により、積極的に焦点状態(合焦状態の被写体)を確認しようとしている場合である。そこで、これらの場合は、高解像度モードにより、画像品質のよいモニタリング画像を提供することで、焦点調整や焦点確認のしやすさを向上させている。
また強調表示実行中である場合は、高解像度モードとすることで強調表示のための処理精度も向上させることができ、ユーザに適切に合焦部分を提示できる。
【0055】
またマニュアルフォーカス操作中、半押しによる焦点確認中、合焦部分の強調表示中のいずれかの状態でなくなれば、低解像度モードとされるため、操作シチュエーションに合わせて、低解像度モード(消費電力低減優先)と、高解像度動作モード(画質優先)の中から最適な動作モードを提供できる。これにより、焦点合わせや焦点確認の操作性が改善しつつ、バッテリー1本当たりの撮像枚数を増やすことができる。つまり動作状態に応じて、画質優先、消費電力削減優先が切り替えられ、使用性向上と長時間使用性を両立できる。
【0056】
また制御部30は、解像度モードの切替に伴って、撮像画像信号処理に関するパラメータの切替制御を行うようにしている。これにより供給される撮像画像データの解像度が変化しても、それに対応して適切な画像信号処理が行われる状態を維持でき、画像が破たんなく表示され続けるようにできる。
また制御部30は、解像度モードの切替に伴って、表示データ生成部26における表示データ生成のための画像拡大縮小処理のパラメータの切替制御を行うようにしている。解像度モードの変更により表示されるスルー画の画角が変化してしまうと、フレーミングがやりにくくなってしまう。その為、画角の変化を打ち消すようにパネル出力画像の拡縮処理(サイズ変換ST4)のパラメータを変更して、パネルに表示される画角が変化しないようにする。これによりユーザのフレーミングの邪魔をせず、またフォーカス操作を行ったら表示上で突然画角が変化してしまうというような違和感をユーザに与えないようにできる。
【0057】
<3.第2の実施の形態の解像度モードに関する処理>
第2の実施の形態の解像度モード設定処理を図7に示す。なお図5と同一処理は同一のステップ番号を付し、説明を省略する。
この図7の処理例では、イメージャ12が第1,第2高解像度モードと低解像度モードとを切り替え可能とされている場合に適用できる。例えば低解像度モードは間引き率1/9、第2高解像度モードは間引き率1/7、第1高解像度モードは間引き率1/5などのように設定する。
【0058】
制御部30は図7の処理として、マニュアルフォーカス操作中、又は半押しによる焦点確認中であれば、イメージャ12を第1高解像度モードに制御する(F102→F105、又はF103→F105)。
また合焦部分の強調表示中であれば、制御部30はイメージャ12を第2高解像度モードに制御する(F104→F108)。
それ以外の場合は低解像度モードとする(F106)。
【0059】
この例のように、解像度モードを3段階で切り替えるようにしてもよい。例えばフォーカス操作中は、ユーザの視認性を優先して、最も画質優先とする。一方、強調表示中は、ユーザは強調表示により合焦部分の認識は容易であるため、多少画質は落としても良い。但し、あまり間引き率を高くすると高周波成分が不足して強調表示のための処理が適正に実行できなくなる。そこで第1高解像度モードより、多少画質を落とした第2高解像度モードとし、消費電力低減効果も若干得られるようにする。
例えばこのように、動作状態に応じてイメージャ12の解像度モードを3段階もしくはさらに多段階に切り替えるようにすることで、各動作状態に応じた解像度の撮像画像データを用いた処理が実行できるようになる。
もちろんこの場合も、動画記録中は解像度モード変更を行わないことで(F107)、記録される動画データ品質を維持できる。
【0060】
<4.プログラム>
以上、撮像装置10の実施の形態を説明してきたが、上述したイメージャ12の解像度モード切替のための処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。
ソフトウエアにより演算処理装置に実行させる場合、例えばスマートフォン、タブレット端末、携帯電話機、その他の各種の撮像機能を有する機器を、実施の形態で説明した撮像装置10に相当する機器とすることができる。
【0061】
実施の形態のプログラムは、上述の実施の形態で示した処理を、例えばCPU(Central Processing Unit)、DSP(Digital Signal Processor)等の演算処理装置に実行させるプログラムである。
即ち実施の形態のプログラムは、被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、撮像画像としての画角を維持したままで解像度が異なる複数の解像度モードが切替可能とされているイメージャ12(光電変換部)と、イメージャ12から出力される撮像画像信号に基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部26とを備えた撮像装置10の動作状態を検出する処理と、イメージャ12からの撮像画像信号出力を低解像度モードで実行させる処理と、イメージャ12からの撮像画像信号出力を低解像度モードで実行させている際に、撮像装置10の動作状態を検出する処理により、焦点合わせに関する動作状態が検出された場合に、イメージャ12からの撮像画像信号出力を高解像度モードに切り替える制御処理とを演算処理装置に実行させるプログラムである。
具体的には、実施の形態のプログラムは、図5又は図7の処理を演算処理装置に実行させるプログラムとすればよい。
【0062】
このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc(登録商標))、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【0063】
またこのようなプログラムによれば、実施の形態の撮像装置10の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、PDA(Personal Digital Assistant)等であって、撮像機能(光学系11やイメージャ12、デジタル信号処理部20等)を有する機器にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本開示の撮像装置とすることができる。
【0064】
<5.変形例>
以上、実施の形態について説明してきたが、本技術は多様な変形例が考えられる。
撮像装置10として表示部34を備える例を述べたが、本技術におけるモニタリング画像の表示は、撮像装置10の外部の表示装置を用いてもよい。従って表示部34を有さない撮像装置10であっても、本技術は適用できる。
【0065】
実施の形態では、動画記録中は解像度モード切替を行わないとしたが、例えばイメージャ12の光電変換画素群の一部領域を間引き無しで読みだしている場合(拡大フォーカス処理時)も、解像度モード切替を行わないようにすることが好適である。
また、上述の実施の形態では、静止画記録のフレームについては言及しなかったが、実際には、シャッターボタンが全押し(レリーズ操作)されて、或るフレームの撮像画像データが静止画データとしてエンコードされて記録する場合は、そのフレームについては、イメージャ12は静止画記録用に設定された解像度モードで撮像画像データ出力が行われるようにすればよい。
【0066】
合焦部分の強調表示については解像度モード切替に用いないことも考えられる。例えばなるべく低消費電力の期間を長くしたい場合、マニュアルフォーカス操作中又はオートフォーカス動作中のみを高解像度モードとするようにしてもよい。この場合、強調表示の実行中に、高解像度モードと低解像度モードの切り替わりが生じることがある。そこで、このような場合は、制御部30は解像度モード切替に伴って、強調表示のためのパラメータ切換を行うようにするとよい。例えば低解像度モードと高解像度モードとで周波数成分比率が変化すると、強調表示する合焦部分の選択が同様に実行できない。そこで例えばハイパスフィルタのカットオフ周波数のパラメータを変更したり、合焦部分選択の閾値を変更するなどの処理を行うことが好適である。
【0067】
なお本技術は以下のような構成も採ることができる。
(1)被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、撮像画像としての画角を維持したままで解像度が異なる複数の解像度モードが切替可能とされている光電変換部と、
前記光電変換部から出力される撮像画像信号に基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部と、
前記光電変換部からの撮像画像信号出力を低解像度モードで実行させている際に、焦点合わせに関する動作状態を検出した場合、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える制御を行う制御部と、を備えた
撮像装置。
(2)前記制御部は、動画記録中は、前記光電変換部の解像度モードの切替制御を行わない
上記(1)に記載の撮像装置。
(3)前記制御部は、前記焦点合わせに関する動作状態として、マニュアルフォーカス操作中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える制御を行う
上記(1)又は(2)に記載の撮像装置。
(4)前記制御部は、前記焦点合わせに関する動作状態として、オートフォーカス動作中又はオートフォーカス動作によるフォーカス状態の確認中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える制御を行う
上記(1)乃至(3)のいずれかに記載の撮像装置。
(5)前記制御部は、前記焦点合わせに関する動作状態として、モニタリング表示上で合焦部分の強調表示を行う機能の実行中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える制御を行う
上記(1)乃至(4)のいずれかに記載の撮像装置。
(6)前記制御部は、前記光電変換部の解像度モードの切替に伴って、撮像画像信号処理に関するパラメータの切替制御を行う
上記(1)乃至(5)のいずれかに記載の撮像装置。
(7)前記制御部は、前記光電変換部の解像度モードの切替に伴って、前記表示データ生成部における表示データ生成のための画像拡大縮小処理のパラメータの切替制御を行う
上記(1)乃至(6)のいずれかに記載の撮像装置。
(8)前記光電変換部で切り替え可能な複数の解像度モードは、画素間引き率の低い高解像度モードと画素間引き率の高い低解像度モードとを少なくとも含む
上記(1)乃至(7)のいずれかに記載の撮像装置。
(9)被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、撮像画像としての画角を維持したままで解像度が異なる複数の解像度モードが切替可能とされている光電変換部と、前記光電変換部から出力される撮像画像信号に基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部とを備えた撮像装置の撮像方法として、
前記光電変換部からの撮像画像信号出力を低解像度モードで実行させている際に、焦点合わせに関する動作状態を検出した場合、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える撮像方法。
(10)被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、撮像画像としての画角を維持したままで解像度が異なる複数の解像度モードが切替可能とされている光電変換部と、前記光電変換部から出力される撮像画像信号に基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部とを備えた撮像装置の動作状態を検出する処理と、
前記光電変換部からの撮像画像信号出力を低解像度モードで実行させる処理と、
前記光電変換部からの撮像画像信号出力を低解像度モードで実行させている際に、前記撮像装置の動作状態を検出する処理により、焦点合わせに関する動作状態が検出された場合に、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える制御処理と、
を演算処理装置に実行させるプログラム。
【符号の説明】
【0068】
10…撮像装置、11…光学系、12…イメージャ、13…光学系駆動部、14…センサ部、15…記録部、16…通信部、20…デジタル信号処理部、21…前処理部、22…同時化部、23…YC生成部、24…解像度変換部、25…コーデック部、26…表示データ生成部、27…AF判定部、30…制御部、30a…動作判定部、30b…解像度モード設定部、34…表示部、35…操作部
図1
図2
図3
図4
図5
図6
図7