(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-12
(45)【発行日】2023-06-20
(54)【発明の名称】撮像装置
(51)【国際特許分類】
H04N 23/65 20230101AFI20230613BHJP
G02B 7/28 20210101ALI20230613BHJP
G03B 5/00 20210101ALI20230613BHJP
G03B 13/36 20210101ALI20230613BHJP
G03B 17/02 20210101ALI20230613BHJP
G03B 17/18 20210101ALI20230613BHJP
H04N 23/60 20230101ALI20230613BHJP
【FI】
H04N23/65 100
G02B7/28 N
G03B5/00 F
G03B13/36
G03B17/02
G03B17/18
H04N23/60 500
(21)【出願番号】P 2021196095
(22)【出願日】2021-12-02
(62)【分割の表示】P 2017199539の分割
【原出願日】2017-10-13
【審査請求日】2021-12-03
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】110001678
【氏名又は名称】藤央弁理士法人
(72)【発明者】
【氏名】宇佐美 貴弘
【審査官】佐藤 直樹
(56)【参考文献】
【文献】特開2016-076760(JP,A)
【文献】特開2016-063322(JP,A)
【文献】特開2012-235396(JP,A)
【文献】特開2014-003496(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/65
G02B 7/28
G03B 5/00
G03B 13/36
G03B 17/02
G03B 17/18
H04N 23/60
(57)【特許請求の範囲】
【請求項1】
被写体を撮像して画像データを生成する撮像素子と、
前記撮像素子によって生成された画像データをデータ処理する際の消費電力が異なる複数のデータ処理部と、
動画の記録または表示の動作中に、表示デバイスに表示される前記動画
を構成する画像の拡大表示状態に基づいて前記複数のデータ処理部のうち特定のデータ処理部を選択する選択部と、
前記選択部によって選択された特定のデータ処理部が動作する第1状態に制御し、前記複数のデータ処理部のうち前記特定のデータ処理部以外の他のデータ処理部を動作しない第2状態に制御する動作制御部と、
を有する、撮像装置。
【請求項2】
請求項1に記載の撮像装置であって、
前記選択部は、
前記複数のデータ処理部のうちいずれか1つのデータ処理部に前記画像データを出力可能に切り替える切替部と、
前記選択部は、前記動画の記録または表示の動作中に、前記特定のデータ処理部を前記画像データの出力先に決定する決定部と、を有し、
前記決定部によって決定された前記特定のデータ処理部が前記画像データの出力先となるように前記切替部を切り替える、撮像装置。
【請求項3】
請求項1に記載の撮像装置であって、
前記選択部は、
前記複数のデータ処理部のうちいずれか1つのデータ処理部に前記画像データを出力可能に切り替える切替部と、
前記選択部は、前記動画の記録または表示の動作中に、前記特定のデータ処理部を、前記画像データの出力後に前記撮像素子から出力される次の画像データの出力先に決定する決定部と、を有し、
前記第1状態のデータ処理部が前記画像データについてのデータ処理を終了した後に、前記決定部によって決定された前記特定のデータ処理部が前記次の画像データの出力先となるように前記切替部を切り替える、撮像装置。
【請求項4】
請求項2または3に記載の撮像装置であって、
前記選択部は、前記決定部によって決定された前記特定のデータ処理部が、前記第1状態のデータ処理部である場合、前記切替部を切り替えない、撮像装置。
【請求項5】
請求項1に記載の撮像装置であって、
前記動作制御部は、前記特定のデータ処理部に動作クロック信号を供給することにより、前記特定のデータ処理部を前記第1状態に制御し、前記他のデータ処理部に動作クロック信号を供給しないことにより、前記他のデータ処理部を前記第2状態に制御する、撮像装置。
【請求項6】
請求項1に記載の撮像装置であって、
前記動作制御部は、前記特定のデータ処理部に電力供給することにより、前記特定のデータ処理部を前記第1状態に制御し、前記他のデータ処理部に電力供給しないことにより、前記他のデータ処理部を前記第2状態に制御する、撮像装置。
【請求項7】
請求項1に記載の撮像装置であって、
前記動作制御部は、前記特定のデータ処理部への前記画像データの入力を許可することにより、前記特定のデータ処理部を前記第1状態に制御し、前記他のデータ処理部への前記画像データの信号遷移を抑止することにより、前記他のデータ処理部を前記第2状態に制御する、撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置に関する。
【背景技術】
【0002】
従来技術は、動作モードに応じて各処理ブロックに対する供給電源を制御し、消費電力を低減する(たとえば、下記特許文献1を参照)。しかしながら、当該従来技術は、使用しない回路への電源供給を遮断することで消費電力を削減する。したがって、モニタリング動作中の電力削減や動画記録中の電力削減が不十分である。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【0004】
本願において一側面として開示される撮像装置は、被写体を撮像して画像データを生成する撮像素子と、前記撮像素子によって生成された画像データをデータ処理する際の消費電力が異なる複数のデータ処理部と、動画の記録または表示の動作中に、表示デバイスに表示される前記動画を構成する画像の拡大表示状態に基づいて前記複数のデータ処理部のうち特定のデータ処理部を選択する選択部と、前記選択部によって選択された特定のデータ処理部が動作する第1状態に制御し、前記複数のデータ処理部のうち前記特定のデータ処理部以外の他のデータ処理部を動作しない第2状態に制御する動作制御部と、を有する。
【図面の簡単な説明】
【0005】
【
図1】
図1は、撮像装置の概略構成例を示す横断面図である。
【
図2】
図2は、撮像装置のブロック構成例を示すブロック構成図である。
【
図3】
図3は、活性化状態および非活性化状態の一例を示す説明図である。
【
図4】
図4は、デモザイク処理とラインメモリとの関係を示す説明図である。
【
図5】
図5は、部分拡大表示領域を含む1フレーム分の画像データでのデモザイク処理の選択例を示す説明図である。
【
図6】
図6は、撮像装置によるデモザイク処理の選択制御処理手順例1を示すフローチャートである。
【
図7】
図7は、撮像装置によるデモザイク処理の選択制御処理手順例2を示すフローチャートである。
【発明を実施するための形態】
【0006】
<撮像装置の概略構成例>
図1は、撮像装置の概略構成例を示す横断面図である。撮像装置100は、レンズ部101およびカメラボディ102のうち少なくともカメラボディ102を有する。レンズ部101は、カメラボディ102に着脱可能な交換式レンズである。撮像装置100は、レンズ部101とカメラボディ102とが着脱不可能な一体型でもよい。
【0007】
レンズ部101は、撮像光学系111と、絞り112と、駆動制御部113と、レンズ側マウント部114と、を有する。撮像光学系111は、レンズ111aと、ズーミング用レンズ111bと、フォーカシング用レンズ111cと、を含む。絞り112は、撮像光学系111の光軸103に沿って配置されている。
【0008】
絞り112は、光量およびボケ量調整のために光軸103中心に開口径が可変な開口を形成する。レンズ側マウント部114は、ボディ側マウント部124に着脱可能である。レンズ側マウント部114は、電気接点115を有する。電気接点115は、駆動制御部113に電気的に接続されている。レンズ側マウント部114とボディ側マウント部124との装着により、電気接点115は、カメラボディ102の電気接点125と電気的に接続される。
【0009】
駆動制御部113は、不図示のレンズ側プロセッサ、メモリ、および駆動制御回路を含み、撮像光学系111を駆動制御する。具体的には、たとえば、駆動制御部113は、電気接点115,125を介してカメラボディ102側のシステム制御部129と電気的に接続される。
【0010】
駆動制御部113は、レンズ情報をシステム制御部129に送信し、制御情報をシステム制御部129と送受信する。レンズ情報とは、撮像光学系111の光学特性に関する情報である。制御情報とは、ズーミング用レンズ111b、フォーカシング用レンズ111cおよび絞り112を駆動するための情報である。
【0011】
駆動制御部113内のプロセッサは、撮像光学系111の焦点調節を行うために、カメラボディ102内のシステム制御部129から送信される制御情報(たとえば、フォーカシング用レンズ駆動コマンド)に基づいて、駆動制御部113内の駆動制御回路にフォーカシング用レンズ111cの駆動制御を実行させる。
【0012】
駆動制御部113のプロセッサは、ズーミング調節を行うために、システム制御部129から送信される制御情報(たとえば、ズーミング用レンズ駆動コマンド)に基づいて、駆動制御部113内の駆動制御回路にズーミング用レンズ111bの駆動制御を実行させる。駆動制御部113のプロセッサは、絞り112の開口径調節を行うために、カメラボディ102内のシステム制御部129から送信される制御情報(たとえば、絞り駆動コマンド)に基づいて絞り112の駆動制御を駆動制御部113内の駆動制御回路に実行させる。
【0013】
カメラボディ102は、レリーズボタン(シャッターボタンともいう)120と、シャッター121と、ファインダ122と、操作部123と、ボディ側マウント部124と、電気接点125と、表示デバイス126と、撮像素子127と、画像処理部128と、システム制御部129と、記録媒体130と、バッテリ131と、を有する。
【0014】
レリーズボタン120は、シャッター121を開閉制御するためのデバイスである。レリーズボタン120は、たとえば、2段階押下式である。レリーズボタン120が半押しされることでシャッター121が開放されて、オートフォーカスと露出計が作動する。レリーズボタン120がさらに押し込まれて全押し状態となることでシャッター121が閉鎖される。
【0015】
シャッター121は、撮像素子127の手前に設けられ、開放時に被写体光を撮像素子127に出射し、閉鎖時に被写体光を遮光する。なお、シャッター121は、レンズ部101に設けられてもよい。
【0016】
ファインダ122は、被写体像を閲覧可能な表示デバイスである。ファインダ122が光学式ファインダである場合、ユーザは、レンズ部101から得られた被写体像をファインダ122から観察可能である。ファインダ122が電子式ファインダである場合、ユーザは、撮像素子127からのRAWデータを画像処理部128で画像処理した被写体画像をファインダ122から閲覧可能である。
【0017】
操作部123は、撮像装置100に対し、各種操作をするためのボタンやスイッチ、ダイヤルなどの物理的なデバイスである。操作部123は、タッチパネルでもよい。
【0018】
ボディ側マウント部124は、レンズ側マウント部114に着脱可能である。ボディ側マウント部124は、電気接点125を有する。レンズ側マウント部114とボディ側マウント部124との装着により、電気接点125は、レンズ部101の電気接点115と電気的に接続される。
【0019】
表示デバイス126は、撮像素子127からのRAWデータを画像処理部128で画像処理した画像(静止画、動画、ライブビュー画像を含む)、上述したレンズ情報、そのほか、撮影に関するアイコンや文字情報などを表示するデバイスである。
【0020】
撮像素子127は、レンズ部101の撮像光学系111から出射された光束(撮像視野内の光束)を受光する。撮像素子127は、画像生成のための画素信号を出力する各画素を有する。各画素は、入射された光束を光電変換して画素信号を生成する。撮像素子127は、各画素の画素信号からなるRAWデータを画像処理部128に出力する。RAWデータも画像データの一例である。
【0021】
画像処理部128は、撮像素子127からのRAWデータを画像処理し、画像処理された画像データ(たとえば、JPEG形式)を表示デバイス126および記録媒体130に出力する。また、ファインダ122が電子式ファインダである場合、画像処理部128は、被写体像を縮小してファインダ122に出力する。画像処理部128の詳細については
図2で説明する。
【0022】
システム制御部129は、撮像装置100を統括制御する。具体的には、たとえば、システム制御部129は、駆動制御部113、レリーズボタン120、操作部123、バッテリ131からの制御指示に従って、撮像装置100を制御する。
【0023】
記録媒体130は、カメラボディ102に着脱可能であり、画像データを記録する。なお、記録媒体130は、カメラボディ102に内蔵されていてもよい。
【0024】
バッテリ131は、撮像装置100内の各部に電力供給する。バッテリ131は、着脱型でもよく内蔵型でもよい。
図1では、簡略化のため画像処理部128にのみ電力供給しているが、システム制御部129、撮像素子127、ファインダ122、表示デバイス126、記録媒体130にも電力供給する。
【0025】
<撮像装置100のブロック構成例>
図2は、撮像装置100のブロック構成例を示すブロック構成図である。本実施例では、撮像装置100は、動画の記録動作中または画像の表示動作中におけるデモザイク処理を低品質化する。動画の記録動作中とは、撮像素子127から得られた時系列なフレーム群(画像データ群)を記録媒体130に記録する期間である。画像の表示動作中とは、撮像素子127から得られた時系列なフレーム群(画像データ群)の画像を表示デバイス126(または電子式ファインダ)に表示している期間である。
【0026】
具体的には、撮像装置100は、第1デモザイク処理部203および第2デモザイク処理部204のうち、デモザイク処理が低品質となるデモザイク処理部を選択する。低品質となるデモザイク処理部は、高品質なデモザイク処理部よりも回路規模が小さいため消費電力が低い。
【0027】
したがって、消費電力が抑制される。以下、第1デモザイク処理部203を高品質(すなわち、高消費電力)なデータ処理部とし、第2デモザイク処理部204を第1デモザイク処理部203よりも低品質(すなわち、第1デモザイク処理部203よりも低消費電力)なデータ処理部として、各ブロックについて詳細に説明する。
【0028】
システム制御部129は、検出部200を有する。検出部200は、記録媒体130への動画の記録動作中または表示デバイス126への画像(静止画、動画、ライブビュー画像を含む)の表示動作中における選択契機を検出する。選択契機は、デモザイク処理を低品質化、すなわち、低消費電力化するためのトリガである。選択契機の具体例については後述する。
【0029】
画像処理部128は、画像前処理部201と、選択部202と、第1デモザイク処理部203と、第2デモザイク処理部204と、ラインメモリ205と、動作制御部206と、画像後処理部207と、を有する。選択部202は、切替部231と決定部232とを含む。動作制御部206は、電力制御部261と信号制御部262とを含む。
【0030】
なお、検出部200や画像処理部128内の各ブロック(ラインメモリ205除く)は、具体的には、たとえば、集積回路で設計することによりハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することによりソフトウェアで実現してもよい。
【0031】
画像前処理部201は、撮像素子127からのRAWデータを前処理する。具体的には、たとえば、画像前処理部201は、RAWデータのR(赤)、G(緑)、B(青)の感度調整、ホワイトバランス調整、ノイズ除去、オートフォーカス用の評価値の生成を実行する。
【0032】
選択部202は、動画の記録または表示の動作中における選択契機に基づいて、複数のデータ処理部のうち特定のデータ処理部を選択する。具体的には、たとえば、あるフレームの画像データのデータ処理中に、特定のデータ処理部を選択して、切り替えることになる。ここで、特定のデータ処理部とは、複数のデータ処理部のうち最も低品質(低消費電力)のデータ処理部であり、上述の例では、第2デモザイク処理部204である。具体的には、たとえば、選択部202は、切替部231と、決定部232と、を含む。
【0033】
切替部231は、複数のデータ処理部のうちいずれか1つのデータ処理部に画像データを出力可能に切り替える。切替部231は、スイッチング回路であり、画像前処理部201からの画像データの出力経路を、決定部232からの切替指示で指示された出力先となるデータ処理部に切り替える。
【0034】
決定部232は、選択契機に基づいて、特定のデータ処理部を画像データの出力先に決定する。そして、選択部202は、特定のデータ処理部を出力先とする切替指示を切替部231に与え、切替部231を制御して当該切替指示で指示された出力先となるデータ処理部に切り替える。
【0035】
なお、選択部202は、決定部232によって決定された特定のデータ処理部が、活性化状態のデータ処理部、すなわち、現在動作中のデータ処理部である場合、切替部231を切り替えない。具体的には、たとえば、特定のデータ処理部が、現在動作中の第2デモザイク処理部204である場合、切替部231を切り替える必要がないため、切り替えない。これにより、切替部231の切替試行を抑制することができ、低消費電力化を図ることができる。
【0036】
第1デモザイク処理部203および第2デモザイク処理部204はともに、デモザイク処理を実行する。上述したように、第1デモザイク処理部203は高品質(すなわち、高消費電力)なデータ処理部であり、第2デモザイク処理部204は第1デモザイク処理部203よりも低品質(すなわち、第1デモザイク処理部203よりも低消費電力)なデータ処理部である。
【0037】
第1デモザイク処理部203は、第2デモザイク処理部204に比べて、色補間に用いる周辺画素が多く、したがって、計算量が増大する。このため、第1デモザイク処理部203は、第2デモザイク処理部204に比べてフリップフロップなどの回路規模が多くなり、消費電力が第2デモザイク処理部204よりも増加する。なお、本例では、複数のデータ処理部として、第1デモザイク処理部203および第2デモザイク処理部204を例に挙げたが、3個以上の電力消費量が異なるデモザイク処理部を用いてもよい。
【0038】
動作制御部206は、選択部202によって選択された特定のデータ処理部を活性化状態に制御し、複数のデータ処理部のうち特定のデータ処理部以外の他のデータ処理部を非活性化状態に制御する。上記の例では、特定のデータ処理部が第2デモザイク処理部204であるため、第2デモザイク処理部204が活性化状態となり、他のデータ処理部である第1デモザイク処理部203が非活性化状態となる。
【0039】
図3は、活性化状態および非活性化状態の一例を示す説明図である。
図3では、第1デモザイク処理部203を例に挙げて説明するが、第2デモザイク処理部204も同様である。活性化状態とは、画像データが与えられることでデモザイク処理が実行可能な状態であり、具体的には、たとえば、電力が供給されている状態(電力供給ON)、クロック信号が供給されている状態(クロック信号ON)、または、画像データのデータ信号が抑止されていない状態、すなわち、抑止制御信号を供給しない状態(抑止制御信号OFF)である。
【0040】
一方、非活性化状態とは、画像データが与えられてもデモザイク処理が実行不可能な状態であり、具体的には、たとえば、電力が供給されていない状態(電力供給OFF)、クロック信号が供給されていない状態(クロック信号OFF)、または、画像データのデータ信号が抑止されている状態、すなわち、抑止制御信号を供給する状態(抑止制御信号ON)である。
【0041】
画像データの抑止とは、画像データのデータ信号がリセットされた状態である。具体的には、たとえば、フリップフロップ回路FFの前段に設けられた抑止回路300は、選択部202から抑止制御信号を入力した場合にデータ信号の遷移を抑止して、抑止したデータ信号をFFに出力する。一方、抑止回路300は、抑止制御信号が入力されていない場合にデータ信号の遷移を抑止せずに、そのままフリップフロップ回路FFに出力する。
【0042】
図2に戻り、動作制御部206は、電力制御部261と、信号制御部262と、を含む。電力制御部261は、バッテリ131から第1デモザイク処理部203および第2デモザイク処理部204への電力供給を制御する。具体的には、たとえば、電力制御部261は、上記の例では、特定のデータ処理部(第2デモザイク処理部204)に電力供給し、他のデータ処理部(第1デモザイク処理部203)への電力供給を停止する。
【0043】
信号制御部262は、第1デモザイク処理部203および第2デモザイク処理部204へのクロック信号または抑止制御信号を制御する。具体的には、たとえば、信号制御部262は、上記の例では、特定のデータ処理部(第2デモザイク処理部204)にクロック信号を供給し、他のデータ処理部(第1デモザイク処理部203)へのクロック信号の供給を停止する。または、信号制御部262は、上記の例では、特定のデータ処理部(第2デモザイク処理部204)に抑止制御信号の供給を停止し、他のデータ処理部(第1デモザイク処理部203)への抑止制御信号を供給する。
【0044】
動作制御部206において、電力供給、クロック信号供給、および抑止制御信号の供給の動作制御のうちいずれを適用するかは、撮像装置100の設計時、または、撮像装置100の出荷後においてユーザ設定により決定すればよい。
【0045】
電力制御部261を用いる場合、信号制御部262よりも消費電力の抑制効果が得られる。一方、信号制御部262で抑止制御信号を用いる場合、いずれのデモザイク処理部にも電力およびクロック信号が供給されているため、抑止制御の解除後の復帰動作が電力制御部261やクロック信号制御の場合に比べて速い。また、信号制御部262でクロック信号を用いる場合、クロック信号の供給が停止されるため、抑止制御に比べて低消費電力となり、かつ、電力は供給されているため、クロック信号供給後の復帰動作が電力制御の場合に比べて速い。
【0046】
また、動作制御部206は、電力制御部261および信号制御部262の両方を実装してもよく、いずれか一方を実装してもよい。また、信号制御部262は、クロック信号の供給制御および抑止制御信号の供給制御のうち少なくともいずれか一方を実装してもよい。
【0047】
ラインメモリ205は、たとえば、SRAM(Static Random Access Memory)で構成され、第1デモザイク処理部203のワークエリアとして使用される。
図2では、第2デモザイク処理部204は、ラインメモリ205に接続されていないが、第2デモザイク処理部204もラインメモリ205を用いてもよい。
【0048】
図4は、デモザイク処理とラインメモリ205との関係を示す説明図である。(A)は、第1デモザイク処理部203は第1ラインメモリ251にアクセス可能であり、第2デモザイク処理部204は、第1ラインメモリ251よりもメモリ容量が小さい第2ラインメモリ252にアクセス可能な例である。
【0049】
(B)は、第1デモザイク処理部203および第2デモザイク処理部204がラインメモリ205に接続される例である。この場合、第1デモザイク処理部203は、第1メモリ領域271にアクセス可能であり、第2デモザイク処理部204は、第1メモリ領域271よりもメモリ容量が小さい第2メモリ領域272にアクセス可能である。
【0050】
図2に戻り、画像後処理部207は、デモザイク処理された画像データの収差補正やアップサンプリング処理、手振れ補正、顔認識処理などの後処理を実行する。なお、顔認識処理は、画像前処理部201で実行されてもよく、デモザイク処理と並列に実行されてもよい。
【0051】
つぎに、動画の記録または表示の動作中における選択契機と動作制御の関係について具体的に列挙して説明する。
【0052】
(1)選択契機:撮像素子127の感度
操作部123からの設定またはシステム制御部129による自動設定により撮像素子127の感度(たとえば、ISO感度)が感度しきい値よりも高くなったことを、検出部200が検出する選択契機とする。感度が感度しきい値よりも高い場合の画像の画質は、感度が感度しきい値以下の画像の画質よりも悪い。
【0053】
したがって、撮像素子127の感度(たとえば、ISO感度)が感度しきい値よりも高くなったことを選択契機とする。これにより、第2デモザイク処理部204が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、撮像素子127の感度(たとえば、ISO感度)が感度しきい値以下となったことを検出部200が検出した場合、第1デモザイク処理部203が選択され、高品質なデモザイク処理が実行される。
【0054】
(2)選択契機:絞り値
操作部123からの設定またはシステム制御部129による自動設定により、被写体からの光を通過させる撮像光学系111の絞り値が所定絞り値以下となったことを、検出部200が検出する選択契機とする。絞り値が所定絞り値以下(開放寄り)となった場合、被写界深度が浅くなり、ピントが合わない領域が多く含まれる可能性が高い。ピントが合わない領域が多い被写体に対して高品質なデモザイク処理が無駄になる可能性が高い。
【0055】
したがって、絞り値が所定絞り値以下となったことを選択契機とする。これにより、第2デモザイク処理部204が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、絞り値が所定絞り値よりも大きくなったことを検出部200が検出した場合、第1デモザイク処理部203が選択され、高品質なデモザイク処理が実行される。
【0056】
(3)選択契機:合焦動作の開始
レリーズボタン120の半押しまたはシステム制御部129による自動設定(たとえば、セルフタイマ撮影)により、被写体に対する合焦動作の開始を、検出部200が検出する選択契機とする。被写体に対する合焦動作を開始した段階では、被写体に合焦していないため、合焦していない被写体に対して高品質なデモザイク処理をするのは無駄である。
【0057】
したがって、被写体に対する合焦動作の開始を選択契機とする。これにより、第2デモザイク処理部204が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、合焦動作の開始以降に合焦を検出部200が検出した場合、第1デモザイク処理部203が選択され、高品質なデモザイク処理が実行される。
【0058】
(4)選択契機:表示デバイス126の表示解像度
操作部123からの設定またはシステム制御部129による自動設定により、表示デバイス126の表示解像度が所定解像度以下となったことを、検出部200が検出する選択契機とする。表示解像度が所定解像度以下となった場合、高品質なデモザイク処理をするのは無駄である。したがって、表示解像度が所定解像度以下となったことを選択契機とする。これにより、第2デモザイク処理部204が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。
【0059】
なお、表示解像度が所定解像度よりも高くなったことを検出部200が検出した場合、第1デモザイク処理部203が選択され、高品質なデモザイク処理が実行される。また、表示デバイス126と電子ファインダ122とで解像度が異なり、かつ、一方(たとえば、電子ファインダ122)の解像度が相対的に低い場合に、たとえば、電子ファインダ122にユーザの顔が接近することで、表示先が表示デバイス126から電子ファインダ122に切り替わった場合にも、検出部200が検出する選択契機としてもよい。
【0060】
(5)選択契機:フレームレート
操作部123からの設定またはシステム制御部129による自動設定により、表示デバイス126のフレームレートが所定フレームレート以上となったことを、検出部200が検出する選択契機とする。フレームレートが所定フレームレート以上となった場合、時間方向のフレーム数が、所定フレームレート未満の場合のフレーム数よりも多くなり、所定フレームレート未満の場合に比べて1フレーム内の画像の品質を低下させても問題ない。
【0061】
したがって、フレームレートが所定フレームレート以上となったことを選択契機とする。これにより、第2デモザイク処理部204が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、フレームレートが所定フレームレート未満になったことを検出部200が検出した場合、第1デモザイク処理部203が選択され、高品質なデモザイク処理が実行される。
【0062】
(6)選択契機:縮小表示
操作部123からの設定またはシステム制御部129による自動設定により、表示デバイス126の表示画面の少なくとも一部の領域における拡大表示が終了したことを、検出部200が検出する選択契機とする。拡大表示の終了、すなわち、拡大表示から縮小された場合、縮小後の画像の品質を低下させても問題ない。したがって、拡大表示の終了がしたことを選択契機とする。これにより、第2デモザイク処理部204が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、拡大表示の開始を検出部200が検出した場合、第1デモザイク処理部203が選択され、高品質なデモザイク処理が実行される。
【0063】
なお、上述において、拡大も縮小もしない等倍(1倍)表示を基準として、1倍よりも大きい倍率の場合を拡大表示、1倍未満の倍率の場合を縮小表示とする。たとえば、倍率が1倍より大きい場合は、第1デモザイク処理部203が選択され、倍率が1倍の場合は、第2デモザイク処理部204が選択され、倍率が1倍未満の場合は不図示の第3もデモザイク処理部(第2デモザイク処理部204よりも低品質で低消費電力)が選択される。
【0064】
また、検出部200による拡大終了の検出前の倍率と比較して相対的に拡大終了後の倍率が小さければ、縮小表示であるとして、選択契機としてもよい。また、検出部200による縮小表示終了の検出前の倍率と比較して相対的に縮小終了後の倍率が大きければ、拡大表示であるとして、第1デモザイク処理部203を選択する選択契機としてもよい。
【0065】
(7)選択契機:電池残量
バッテリ131の電池残量が所定残量以下となったことを、検出部200が検出する選択契機とする。電池残量が所定残量以下となった場合、電力消費をできる限り抑制する必要がある。したがって、電池残量が所定残量以下となったことを選択契機とする。これにより、第2デモザイク処理部204が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、バッテリ131への充電やバッテリ131の交換により電池残量が所定残量よりも多くなったことを検出部200が検出した場合、第1デモザイク処理部203が選択され、高品質なデモザイク処理が実行される。
【0066】
(8)選択契機:画像データの飽和
画像データに飽和状態となった領域が存在すること、たとえば、隣接しあう所定数以上の画素集合が飽和状態となったことを、検出部200が検出する選択契機とする。たとえば、画像データ内のある領域において特定の色の彩度が高くなりすぎて階調差が所定値以内となる場合、飽和状態となる。飽和状態において高品質なデモザイク処理をするのは無駄である。
【0067】
したがって、画像データに飽和状態となった領域が存在することを選択契機とすることにより、第2デモザイク処理部204が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、画像データに飽和状態となった領域が存在しなくなったことを検出部200が検出した場合、第1デモザイク処理部203が選択され、高品質なデモザイク処理が実行される。
【0068】
(9)選択契機:手振れ量
撮像装置100の手振れ量が所定手振れ量以上であることを、検出部200が検出する選択契機とする。手振れ量が所定手振れ量以上となった場合、手振れの影響により表示画像の品質が悪くなるため、所定手振れ量未満の場合に比べて画像の品質を低下させても問題ない。したがって、手振れ量が所定手振れ量以上となったことを選択契機とすることにより、第2デモザイク処理部204が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、手振れ量が所定手振れ量未満になったことを検出部200が検出した場合、第1デモザイク処理部203が選択され、高品質なデモザイク処理が実行される。
【0069】
(10)選択契機:特定のオブジェクト
画像データに特定のオブジェクトが存在しないことを、検出部200が検出する選択契機とする。ここで、特定のオブジェクトには、たとえば、人物の顔がある。人物の顔は、画像処理部128の顔認識処理により認識される。また、撮像装置100にあらかじめ特定のオブジェクトのテンプレート(登録した特定の顔、建物、動物など)が用意されている場合、当該テンプレートに対応するオブジェクトである。特定のオブジェクトが存在しない場合、特定のオブジェクトを撮影しようとしていたユーザにとっては、無駄な画像データとなる。
【0070】
したがって、画像データに特定のオブジェクトが存在しないことを選択契機とすることにより、第2デモザイク処理部204が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、画像データに特定のオブジェクトが存在することを検出部200が検出した場合、第1デモザイク処理部203が選択され、高品質なデモザイク処理が実行される。
【0071】
(11)選択契機:レリーズボタン120
レリーズボタン120の操作期間外であることを、検出部200が検出する選択契機とする。レリーズボタン120の操作期間とは、レリーズボタン120の半押し(オートフォーカスと露出計が作動)から全押し(シャッター121を切る)までの期間である。レリーズボタン120の操作期間外では、ライブビュー画像が表示デバイス126に表示されている状態であり、レリーズボタン120の操作によって取得される画像データよりもデモザイク処理が低品質でも問題はない。
【0072】
したがって、レリーズボタン120の操作期間外であることを選択契機とすることにより、第2デモザイク処理部204が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、レリーズボタン120の操作期間であることを検出部200が検出した場合、第1デモザイク処理部203が選択され、高品質なデモザイク処理が実行される。
【0073】
(12)選択契機:レンズ駆動
被写体からの光を通過させるレンズの駆動を、検出部200が検出する選択契機とする。ここでのレンズの駆動とは、具体的には、たとえば、フォーカシング用レンズ111cの駆動である。フォーカシング用レンズ111cの駆動中は、被写体に合焦していないため、デモザイク処理が低品質でも問題はない。
【0074】
したがって、被写体からの光を通過させるレンズの駆動を選択契機とすることにより、第2デモザイク処理部204が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、被写体からの光を通過させるレンズの駆動停止を検出部200が検出した場合、被写体に合焦したとして、第1デモザイク処理部203が選択され、高品質なデモザイク処理が実行される。
【0075】
(12)表示デバイス126での動画の表示動作中に、表示デバイス126の表示画面内の特定のオブジェクトが存在することを、検出部200が検出する選択契機とする。表示画面内の特定のオブジェクトとは、たとえば、操作部123により入力可能なメニュー表示や、撮影のためのグリッド表示、水準器表示である。表示画面内の特定のオブジェクトは、ライブビュー画像の一部に、または、ライブビュー画像に重畳して表示されてもよい。表示画面内の特定のオブジェクトが存在する場合、ユーザは、ライブビュー画像よりも表示画面内の特定のオブジェクトに注目する傾向があるため、デモザイク処理が低品質でも問題はない。
【0076】
したがって、表示デバイス126の表示画面内の特定のオブジェクトが存在することを選択契機とすることにより、第2デモザイク処理部204が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、表示デバイス126の表示画面内の特定のオブジェクトが存在しないことを検出部200が検出した場合、第1デモザイク処理部203が選択され、高品質なデモザイク処理が実行される。
【0077】
(13)表示デバイス126の表示画面内での部分拡大表示
表示デバイス126での動画の表示動作中に、表示デバイス126の表示画面内の部分拡大表示領域が存在しないことを、検出部200が検出する選択契機とする。部分拡大表示領域とは、表示画面の全体である表示領域のうち、操作部123の操作により部分的に拡大表示された領域である。たとえば、ユーザが表示領域内のある領域についてフォーカス調整をしたい場合に、当該領域を部分拡大表示する。部分拡大表示領域は、連続するフレームにおいて同一領域とする。
【0078】
この場合、撮像装置100は、現フレームの時間的に先行する先行フレームにおける部分拡大表示領域を保持しておき、現フレームにおいて当該部分拡大表示領域でのデモザイク処理を高品質とし、部分拡大表示領域外の領域のデモザイク処理を低品質とする。より具体的には、画像データをラインごとにデモザイク処理する場合、あるラインにおいて部分拡大表示領域の区間では、第1デモザイク処理が選択され、部分拡大表示領域外の区間では、第2デモザイク処理が選択される。
【0079】
図5は、部分拡大表示領域を含む1フレーム分の画像データでのデモザイク処理の選択例を示す説明図である。表示領域となるフレーム500は、先行フレームで規定された部分拡大表示領域501を有する。ここで、デモザイク処理は、ラインごとに走査方向の画素順に実行されるものとする。あるラインLの区間A、Cの画素列は、非部分拡大表示領域(等倍の表示領域)502に含まれ、ラインLの区間Bの画素列は、部分拡大表示領域501に含まれる。区間Aは非部分拡大表示領域502であるため、検出部200は、区間Aの先頭画素e1を第2デモザイク処理部204を選択する選択契機として検出し、選択部202は、区間Aにおいて先頭画素e1から第2デモザイク処理部204でデモザイク処理を実行する。
【0080】
つぎに、区間Aの末尾画素e2のデモザイク処理が終了すると、検出部200は、区間Bの先頭画素e3を第1デモザイク処理部203を選択する選択契機として検出し、選択部202は、区間Bにおいて先頭画素e3から第1デモザイク処理部203でデモザイク処理を実行する。
【0081】
つぎに、区間Bの末尾画素e4のデモザイク処理が終了すると、検出部200は、区間Cの先頭画素e5を第1デモザイク処理部203を選択する選択契機として検出し、選択部202は、区間Cにおいて先頭画素e5から第2デモザイク処理部204でデモザイク処理を実行する。
【0082】
ユーザは、部分拡大表示領域501に注目するため、非部分拡大表示領域502を低品質としても問題ない。これにより、非部分拡大表示領域502では第2デモザイク処理部204が選択されるため、デモザイク処理が低品質化し、消費電力が抑制され、部分拡大表示領域501では、非部分拡大表示領域502よりもデモザイク処理が高品質となる。なお、デモザイク処理により、部分拡大表示領域501よりも1回り(所定画素分)小さい領域の現像結果が拡大表示されてもよい。
【0083】
(14)選択契機:レンズの収差補正量
被写体からの光を通過させるレンズ部101の収差補正量が所定収差補正量以上であることを、検出部200が検出する選択契機とする。収差補正量が所定収差補正量以上となった場合、収差補正量にしたがって画像品質の劣化が大きくなる。このため、収差補正量が所定収差補正量以上となった場合、デモザイク処理をあえて低品質とすれば、収差補正に起因する画像品質の劣化が、ユーザにとって顕著にならない可能性がある。
【0084】
したがって、収差補正量が所定収差補正量以上となったことを選択契機とすることにより、第2デモザイク処理部204が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、収差補正量が所定収差補正量未満になったことを検出部200が検出した場合、第1デモザイク処理部203が選択され、高品質なデモザイク処理が実行される。
【0085】
(15)選択契機:セルフタイマ動作中
一定時間の経過により前記被写体を撮像して画像データを取得するセルフタイマの動作中を、検出部200が検出する選択契機とする。セルフタイマの動作中は、ライブビュー画像が表示されている場合があるが、ライブビュー画像を観察する者が少ないため、デモザイク処理が低品質でも問題はない。
【0086】
したがって、セルフタイマの動作中を選択契機とすることにより、第2デモザイク処理部204が選択されるため、デモザイク処理が低品質化し、消費電力が抑制される。なお、セルフタイマの動作終了時を検出部200が検出した場合、撮影(画像データの取得)されるため、第1デモザイク処理部203が選択され、高品質なデモザイク処理が実行される。
【0087】
なお、消費電力を低下させる選択契機と消費電力を上昇させる選択契機とが競合した場合、消費電力を低下させる選択契機を優先して、第2デモザイク処理部204を選択するようにしてもよい。この場合、消費電力を上昇させる選択契機と競合した場合に優先させる、消費電力を低下させる選択契機(たとえば、上記(7)の電池残量)をあらかじめ決定部232に設定しておき、消費電力を低下させる選択契機により第2デモザイク処理部204がデモザイク処理を実行中に、検出部200が消費電力を上昇させる選択契機を検出しても、選択部202は、消費電力を上昇させる選択契機を選択しない。これにより、低消費電力を優先してデモザイク処理を実行することができる。
【0088】
<デモザイク処理の選択制御処理手順例>
図6は、撮像装置100によるデモザイク処理の選択制御処理手順例1を示すフローチャートである。
図6は、1フレームのデモザイク処理中にデモザイク処理部を切り替える選択制御処理を示す。なお、ここでは、例として、初期状態において切替部231が接続される出力先は、第1デモザイク処理部203とする。また、
図6では、動作制御部206として信号制御部262のクロック供給制御を適用する場合について説明するが、抑止制御信号や電力制御部261による電力供給制御を適用する場合も同様である。
【0089】
まず、画像処理部128は、1フレーム分のRAWデータを撮像素子127から入力する(ステップS601)。画像処理部128は、入力されたRAWデータについて画像前処理部201により画像前処理を実行し、画像前処理された画像データを所定数のライン(たとえば、1ライン)ずつ切替部231に出力する(ステップS602)。
【0090】
つぎに、システム制御部129は、検出部200により、上述した(1)~(15)の消費電力を低下させる選択契機を検出したか否かを判断する(ステップS603)。検出していない場合(ステップS603:No)、ステップS609に移行する。一方、検出した場合(ステップS603:Yes)、画像処理部128は、選択部202内の決定部232により、特定のデモザイク処理部を、画像前処理部201からの画像データの出力先に決定する(ステップS604)。
【0091】
そして、画像処理部128は、選択部202により、切替部231の切り替えが必要であるか否かを判断する(ステップS605)。すなわち、選択部202は、現在動作状態のデモザイク処理部と、今回決定された特定のデモザイク処理部とが異なるか否かを判断する。異なる場合は、切り替えが必要であり、同一である場合は、切り替えが不要である。
【0092】
切替が不要である場合(ステップS605:No)、ステップS609に移行する。一方、切替が必要である場合(ステップS605:Yes)、選択部202は、切替部231の出力先が、特定のデモザイク処理部(たとえば、第2デモザイク処理部204)となるように切替部231を切り替える(ステップS606)。
【0093】
そして、画像処理部128は、動作制御部206内の信号制御部262により、特定のデモザイク処理部へのクロック信号の供給を開始し(ステップS607)、特定のデモザイク処理部以外の他のデモザイク処理部(たとえば、第1デモザイク処理部203)へのクロック信号の供給を停止し(ステップS608)、特定のデモザイク処理部によりデモザイク処理を実行する(ステップS609)。これにより、他のデモザイク処理部がデモザイク処理を実行する場合に比べて、消費電力の低下を図ることができる。
【0094】
このあと、画像処理部128は、画像後処理部207により画像後処理を実行し(ステップS610)、画像後処理後の画像データにより、表示デバイス126に表示画像を出力する(ステップS611)。動画の記録中である場合は、画像処理部128は、画像後処理後の画像データを記録媒体130に記録する(ステップS611)。これにより、1フレーム分の処理が終了する(ステップS612)。
【0095】
このように、選択制御処理手順例1によれば、動画記録中またはライブビュー画像の表示中における選択契機に応じて低消費電力である特定のデモザイク処理部を動作状態とし、より消費電力が高い他のデモザイク処理部を非動作状態とするため、動画の記録動作中または画像の表示動作中における消費電力の低減化を図ることができる。
【0096】
図7は、撮像装置100によるデモザイク処理の選択制御処理手順例2を示すフローチャートである。
図7は、1フレームのデモザイク処理中に、次に撮像素子127から得られるフレームに対するデモザイク処理部を切り替える選択制御処理を示す。これにより、フレーム単位でデモザイク処理の品質を切り替えることができるため、1フレーム中において、高品質なデモザイク処理の処理結果と低品質なデモザイク処理の処理結果との混在を抑制することができる。
【0097】
なお、
図6と同様、例として、初期状態において切替部231が接続される出力先は、第1デモザイク処理部203とする。また、
図6と同様、動作制御部206として信号制御部262のクロック供給制御を適用する場合について説明するが、抑止制御信号や電力制御部261による電力供給制御を適用する場合も同様である。なお、
図6で用いた処理と同一処理については同一ステップ番号を付し、その説明を省略する。
【0098】
ステップS605において、切替必要と判断された場合(ステップS605:Yes)、画像処理部128は、切替予約フラグFをF=1に設定する(ステップS701)。切替予約フラグFとは、次のフレームに対して切替部231の切り替えを予約するためのフラグである。F=1が予約有りを示し、F=0が予約なしを示す。
【0099】
切替予約フラグFをF=1に設定後(ステップS701)、画像処理部128は、ステップS609~S611を実行し、その後、すなわち、1フレーム分の出力または記録の終了後に切替予約フラグFを参照し、切替予約フラグFがF=1であるか否かを判断する(ステップS702)。切替予約フラグFがF=1でない場合(ステップS702:No)、ステップS613に移行する。一方、切替予約フラグFがF=1である場合(ステップS702:Yes)、画像処理部128は、次のフレームのために、動作制御部206内の信号制御部262により、特定のデモザイク処理部へのクロック信号の供給を開始する(ステップS607)。
【0100】
また、画像処理部128は、選択部202により、切替部231の出力先が、特定のデモザイク処理部(たとえば、第2デモザイク処理部204)となるように切替部231を切り替え、切替予約フラグFをリセット(F=0)する(ステップS703)。そして、画像処理部128は、特定のデモザイク処理部以外の他のデモザイク処理部が次のフレームでは動作しないため、特定のデモザイク処理部以外の他のデモザイク処理部(たとえば、第1デモザイク処理部203)へのクロック信号の供給を停止する(ステップS608)。そして、1フレーム分の処理が終了する(ステップS612)。これにより、他のデモザイク処理部がデモザイク処理を実行する場合に比べて、動画の記録動作中または画像の表示動作中における消費電力の低下を図ることができる。
【0101】
このように、フレームの入力中に次のフレームでのデモザイク処理部の切替の有無をあらかじめ判断しておき、当該フレームの画像処理の終了後、次のフレームの画像処理前の間に、デモザイク処理の選択制御(ステップS607、S703、S608)を実行する。したがって、フレーム単位でデモザイク処理の品質を切り替えることができ、1フレーム中において、高品質なデモザイク処理の処理結果と低品質なデモザイク処理の処理結果との混在を抑制することができる。これにより、たとえば、高品質な画像に低品質な処理結果が含まれないことになる。したがって、動画の記録動作中または画像の表示動作中における消費電力の低減化と高品質画像の維持とを両立することができる。
【0102】
なお、上述した撮像装置100は、デジタルカメラ(レンズ交換式一眼レフカメラ、レンズ交換式ミラーレスカメラ、コンパクトデジタルカメラ、デジタルビデオカメラを含む)を例に挙げて説明したが、カメラを有するスマートフォン、タブレット、ドローン、車両のドライブレコーダや、監視カメラにも適用可能である。
【0103】
また、上述した撮像装置100の処理の一部または全部をソフトウェアで実現する場合、ダウンロードサーバに記憶されたプログラムを撮像装置100にダウンロードし、ダウンロードしたプログラムを撮像装置100内のプロセッサが実行してもよい。
【符号の説明】
【0104】
100 撮像装置、101 レンズ部、102 カメラボディ、111 撮像光学系、111 レンズ部101 撮像光学系、113 駆動制御部、120 レリーズボタン、121 シャッター、122 ファインダ、123 操作部、126 表示デバイス、127 撮像素子、128 画像処理部、129 システム制御部、130 記録媒体、131 バッテリ、200 検出部、201 画像前処理部、202 選択部、203 第1デモザイク処理部、204 第2デモザイク処理部、205 ラインメモリ、206 動作制御部、207 画像後処理部、231 切替部、232 決定部、261 電力制御部、262 信号制御部