(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024010398
(43)【公開日】2024-01-24
(54)【発明の名称】撮像装置
(51)【国際特許分類】
H04N 23/60 20230101AFI20240117BHJP
H04N 23/70 20230101ALI20240117BHJP
G03B 7/091 20210101ALI20240117BHJP
G03B 15/00 20210101ALI20240117BHJP
【FI】
H04N5/232 290
H04N5/235
G03B7/091
G03B15/00 Q
G03B15/00 H
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2022111717
(22)【出願日】2022-07-12
(71)【出願人】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100140774
【弁理士】
【氏名又は名称】大浪 一徳
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(72)【発明者】
【氏名】▲高▼野 静二
(72)【発明者】
【氏名】中野 博史
(72)【発明者】
【氏名】伊藤 直也
(72)【発明者】
【氏名】高橋 秋彦
(72)【発明者】
【氏名】津田 豊
(72)【発明者】
【氏名】永尾 宏美
(72)【発明者】
【氏名】井田 恭輔
(72)【発明者】
【氏名】吉野 薫
(72)【発明者】
【氏名】▲高▼木 佐和子
【テーマコード(参考)】
2H002
5C122
【Fターム(参考)】
2H002AB01
2H002CC01
2H002CC21
2H002CC31
2H002DB02
2H002GA09
2H002GA26
2H002GA27
2H002GA28
5C122EA18
5C122EA42
5C122FF01
5C122FF03
5C122FF26
5C122FH11
5C122FH14
5C122FH18
5C122GC52
5C122HB01
5C122HB09
(57)【要約】 (修正有)
【課題】AUTO機能を拡張し、ユーザが設定を意識せずにシャッターを切ることで、様々なシーンに適した撮影結果を取得する撮像装置を提供する。
【解決手段】撮像装置において、撮像ユニットは、イメージセンサが出力する撮像信号に基づいて現像データを生成する第1処理ユニットと、アプリケーションを処理するアプリケーションプロセッサを含む第2処理ユニットとを備える。第2処理ユニットは、イメージセンサが出力する撮像信号を解析し、第1処理ユニットは、撮像信号の解析結果に基づいて現像する。
【選択図】
図3
【特許請求の範囲】
【請求項1】
イメージセンサが出力する撮像信号に基づいて現像データを生成する第1処理ユニットと、
アプリケーションを処理するアプリケーションプロセッサを含む第2処理ユニットと、
を備え、
前記第2処理ユニットは、前記イメージセンサが出力する撮像信号を解析し、
前記第1処理ユニットは、前記撮像信号の解析結果に基づいて現像する、撮像装置。
【請求項2】
前記第1処理ユニットは、前記現像データを前記第2処理ユニットへ出力し、
前記第2処理ユニットは、前記第1処理ユニットが出力した前記現像データを解析し、
前記第1処理ユニットは、前記現像データの解析結果に基づいて現像する、請求項1に記載の撮像装置。
【請求項3】
前記第2処理ユニットは、前記第1処理ユニットが出力した前記現像データに基づいてシーン認識処理を行い、
前記第1処理ユニットは、前記シーン認識処理の結果に基づいて現像する、請求項2に記載の撮像装置。
【請求項4】
前記第2処理ユニットは、前記第1処理ユニットが出力したプレビュー画像に基づいて露出条件を決定し、
前記第1処理ユニットは、前記露出条件に基づいて撮像する、請求項1から請求項3のいずれか一項に記載の撮像装置。
【請求項5】
前記第2処理ユニットは、前記第1処理ユニットが出力したプレビュー画像に基づいて合成用の撮像回数を決定し、
前記第1処理ユニットは、前記第2処理ユニットが決定した合成用の前記撮像回数に一回増加させた回数の撮像を行い、
前記第2処理ユニットは、合成用の前記撮像回数の撮像による画像を合成できない場合に、一回増加させた撮像による画像を出力する、請求項1から請求項4のいずれか一項に記載の撮像装置。
【請求項6】
前記第2処理ユニットは、前記第1処理ユニットが出力したプレビュー画像に基づいて合成用の撮像回数を決定し、
前記第1処理ユニットは、前記第2処理ユニットが決定した合成用の前記撮像回数の撮像を行い、
前記第2処理ユニットは、合成用の前記撮像回数の撮像による画像を合成することで合成画像を生成し、生成した前記合成画像が所望ではない場合に、既に撮像した画像を一枚出力する、請求項1から請求項4のいずれか一項に記載の撮像装置。
【請求項7】
前記第2処理ユニットは、前記第1処理ユニットが出力したプレビュー画像に基づいて露出条件と合成用の撮像回数とを決定し、
前記第1処理ユニットは、前記第2処理ユニットが決定した露出条件と合成用の前記撮像回数とに基づいて撮像を行い、
前記第2処理ユニットは、合成用の前記撮像回数の撮像による画像から適切な露出の画像を選択し、選択した前記画像を合成する請求項1から請求項6のいずれか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、撮像装置に関する。
【背景技術】
【0002】
従来のオート機能を拡張し、所定の操作が行われた場合に、撮影シーンに応じた複数の見本画像の表示を行った後、シーン変化の程度に応じて、見本画像の表示を取り止めるか、もしくは継続して表示し続けるかを切り替える撮像装置が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【0004】
本発明の一態様は、イメージセンサが出力する撮像信号に基づいて現像データを生成する第1処理ユニットと、アプリケーションを処理するアプリケーションプロセッサを含む第2処理ユニットとを備え、前記第2処理ユニットは、前記イメージセンサが出力する撮像信号を解析し、前記第1処理ユニットは、前記撮像信号の解析結果に基づいて現像する、撮像装置である。
【図面の簡単な説明】
【0005】
【
図1】本実施形態に係る撮像装置の一例を示す模式図である。
【
図2】本実施形態に係る撮像装置の動作の概要を示す図である。
【
図3】本実施形態に係る撮像装置のカメラボディの一例を示す部分ブロック図である。
【
図6】本実施形態に係る撮像装置の動作の一例を示すフローチャートである。
【
図7】実施形態の変形例に係る撮像装置の動作の概要を示す図である。
【
図8】実施形態の変形例に係る撮像装置のカメラボディの一例を示す部分ブロック図である。
【
図9】実施形態の変形例に係る撮像装置の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【0006】
(実施形態)
以下、図面を参照して、本実施形態に係る撮像装置について説明する。
図1は、本実施形態に係る撮像装置の一例を示す模式図である。
撮像装置100は、カメラボディ1とレンズユニット2とを備える。カメラボディ1には、レンズユニット2が装着される。カメラボディ1は、レリーズボタン3を備える。レリーズボタン3は、シャッターボタンとも呼ばれ、カメラのシャッターを切るときに押すボタンである。
レンズユニット2は、その鏡筒内に、光軸OAに沿って配列された光学系を備える。光学系は、入射する被写体光束をカメラボディ1へ導く。
【0007】
撮像装置100は、従来のAUTO機能を拡張し、ユーザが設定を意識せずにシャッターを切ることで、様々なシーンに適した撮影結果を取得する。
図2は、本実施形態に係る撮像装置の動作の概要を示す図である。
図2に示すように、撮像装置100は、画像を取得し、取得した画像に基づいてシーンを判定する。具体的には、撮像装置100は、撮影シーンが何かを判断する。例えば、撮像装置100は、撮影シーンが、ポートレート、風景、スポーツのいずれかであるかを判定する。
撮像装置100は、撮影シーンの判定結果に基づいてシーンに合った設定を行う。例えば、撮像装置100は、絞り、シャッタースピード、ISO感度などを設定する。撮像装置100は、プレビュー画像を更新する。撮像装置100は、ユーザがシャッターを切ることによって撮影(撮像)する。
【0008】
図3は、本実施形態に係る撮像装置のカメラボディの一例を示す部分ブロック図である。カメラボディ1は、例えば、撮像ユニット16を備える。撮像ユニット16は、イメージセンサ13と、第1処理ユニット11と、第2処理ユニット12とを備える。第1処理ユニット11は、第2処理ユニット12と接続されている。
イメージセンサ13は、例えば、CMOS(Complementary Metal Oxide Semiconductor)等を用いて構成される。光学系がカメラボディ1へ導いた被写体光束は、撮像ユニット16へ導かれる。撮像ユニット16において、イメージセンサ13は、入射光を光電変換して、撮像信号を生成する。イメージセンサ13は、生成した撮像信号を第1処理ユニット11へ送信する。
【0009】
第1処理ユニット11は、イメージセンサ13が出力する撮像信号に基づいて現像データを生成する。第1処理ユニット11は、生成した現像データを第2処理ユニット12へ出力する。
第2処理ユニット12は、アプリケーションを処理するアプリケーションプロセッサを含んで構成される。第2処理ユニット12は、第1処理ユニット11が出力する現像データを取得し、取得した現像データを解析する。第2処理ユニット12は、現像データの解析結果を、第1処理ユニット11へ出力する。
第1処理ユニット11は、第2処理ユニット12が出力した現像データの解析結果を取得し、取得した現像データの解析結果に基づいて現像する。
【0010】
第1処理ユニット11は、現像部11-1と、シーン判定部11-2と、撮影・現像設定部11-3とを備える。第2処理ユニット12は、画像変換部12-1と、シーン認識部12-2と、シーン処理部12-3と、画像記録部12-4とを備える。
第1処理ユニット11は、イメージセンサ13が送信した撮像信号を受信する。第1処理ユニット11は、受信した撮像信号を現像し、現像データを取得する。第1処理ユニット11において、現像データは、現像部11-1へ出力される。
【0011】
現像部11-1が、生成する現像データの一例は、YUVなどである。YUVは、輝度情報Yと、2つの色差情報(彩度情報)U、Vとを使用して、画像を表現したものである。以下、現像データが「YUV420 PLANAR」である場合について説明を続ける。
【0012】
第1処理ユニット11において、現像部11-1が生成した現像データは、シーン判定部11-2と、第2処理ユニット12とへ出力される。
シーン判定部11-2は、現像部11-1が出力した現像データを取得する。シーン判定部11-2は、取得した現像データに基づいて、現像データに表されているシーンを判定する。シーン判定部11-2は、シーン判定情報を有する。シーン判定部11-2は、第1処理ユニット11に入力された焦点距離と、撮影距離と、平均輝度値との情報を取得する。
【0013】
図4は、シーン判定情報の一例を示す図である。シーン判定情報は、シーン名を有するテーブル形式の情報である。
シーン名の一例は、ポートレートと、夜景ポートレートと、クローズアップ(マクロ)と、風景とである。
シーン判定部11-2は、取得した現像データが、ポートレートと夜景ポートレートとクローズアップと風景とのいずれかであるかを判定する。
図3に戻り説明を続ける。
【0014】
第2処理ユニット12において、画像変換部12-1は、現像部11-1が生成した現像データを取得する。画像変換部12-1は、現像データを取得する際にMIPI-CSI(MIPI Camera Serial Interface)による通信を利用する。このような高速通信を利用することで、第2処理ユニット12において、取得した現像データを基にしたシーン認識やプレビュー表示を行う際、イメージセンサ13でとらえた映像を低遅延で第2処理ユニットまで伝達し、処理することが可能となる。画像変換部12-1は、取得した現像データを、第2処理ユニットのシーン認識部12-2で扱いやすい画像フォーマットへ変換する。変換は、データフォーマットに限らず画像の解像度の変更やトリミングなども含む。
シーン認識部12-2は、シーン判定部11-2からシーンの判定結果と、焦点距離を特定する情報と、撮影距離を特定する情報と、平均輝度値とを取得する。シーン認識部12-2は、画像変換部12-1から現像データを変換した結果を取得する。シーン認識部12-2は、シーン認識情報を有する。シーン認識部12-2は、シーン判定部11-2から情報を取得する際にUSB(Universal Serial Bus)による通信を利用する。このように、画像変換部12-1の現像データ取得で利用したMIPI-CSIと通信方法を分けることで、第1処理ユニットと第2処理ユニットを疎結合で結び付けられるので、処理負荷を分散させたシステム構成にすることが可能となる。
【0015】
図5は、シーン認識情報の一例を示す図である。
シーン名の一例は、ポートレートと、夜景ポートレートと、クローズアップ(マクロ)と、風景とに加え、ペット、夜景、夕焼け(日没)、料理(食べ物)、こどもスナップ、キャンドルライト、海、雪、桜、紅葉、イルミネーション、打ち上げ花火、その他(該当なし)である。
図3に戻り説明を続ける。
【0016】
シーン認識部12-2は、シーン判定部11-2から取得したシーンの判定結果と、焦点距離を特定する情報と、撮影距離を特定する情報と、平均輝度値と、画像変換部12-1から取得した現像データとに基づいて、現像データに表されているシーンを特定する。シーン認識部12-2は、シーンの特定に際して、パターンマッチングや、ディープラーニングによる画像認識などを利用しても良い。
具体的には、シーン認識部12-2は、取得したシーンの判定結果と、焦点距離を特定する情報と、撮影距離を特定する情報と、平均輝度値と、現像データを画像変換した結果とに基づいて、現像データに表されている画像が、シーン判定部11-2から取得したシーンの判定結果以外であるペットと、夜景と、夕焼け(日没)と、料理(食べ物)と、こどもスナップと、キャンドルと、海と、雪と、桜と、紅葉と、イルミネーションと、打ち上げ花火と、その他(該当なし)とのいずれのシーンであるかを判定する。
ここで、シーン認識部12-2は、シーン判定部11-2から取得したシーンの判定結果に含まれるポートレートと、夜景ポートレートと、クローズアップ(マクロ)と、風景とのいずれかであるかを再度判定してもよい。
【0017】
シーン処理部12-3は、シーン認識部12-2からシーンの判定結果を取得する。シーン処理部12-3は、取得したシーンの判定結果に基づいて、第1処理ユニット11で適用する撮影・現像処理条件を決定する。撮影・現像処理条件は、特定したシーンに適した絞り値と、シャッタースピードと、ISO感度と、AWB設定と、AF設定と、ピクチャーコントロールとを含む撮影(撮像)と現像に必要な条件を指す。
シーン処理部12-3は、シーン認識部12-2から取得したシーンの判定結果によっては、露出条件を補正しても良い。例えば、シーン認識部12-2から取得したシーンの判定結果が「夕焼け(日没)」と特定した場合には、露出を-1段補正して、より暗い撮影結果となるよう撮影・現像条件を変更しても良い。
シーン処理部12-3は、外付けストロボが接続されている場合は、外付けストロボ動作信号が入力される。シーン処理部12-3に外付けストロボ動作信号が入力された場合は、外付けストロボの使用に適した撮影・現像処理条件を決定する。シーン処理部12-3は、決定した撮影・現像処理条件を第1処理ユニット11へ出力する。
シーン処理部12-3は、撮影・現像処理条件の代わりに特定したシーンを第1処理ユニット11の撮影・現像設定部11-3へ出力しても良い。その場合、第1処理ユニット11の撮影・現像設定部11-3は、取得したシーンの情報を基に撮影・現像処理条件を決定する。
シーン処理部12-3は、
図1のレリーズボタン3から出力されるレリーズ信号が入力されるよう接続されている。第1処理ユニット11の現像部11-1にも同様に
図1のレリーズボタン3が接続されており、撮影レスポンスを優先するか、シーン認識を優先するかで動作が変化する。例えば、撮影レスポンスを優先する場合は、第1処理ユニット11のレリーズ信号が優先されるため、撮像するまでの遅延が少なくすむ。一方、シーン認識を優先する場合は、第2処理ユニット12のレリーズ信号が優先されるため、シーン処理部12-3は、レリーズ信号が入力された時の撮影・現像処理条件を第1処理ユニット11の撮影・現像設定部11-3へ出力した後、第1処理ユニット11の撮影・現像設定部11-3を介して、現像部11-1へ撮像をするよう指示を行う。そのため、撮影レスポンスを優先した時よりも撮像するまでにわずかながら時間を要する。ただし、レリーズ直前に特定したシーンに適した現像・撮像設定となるため、撮影レスポンスを優先した時よりもシーンに適した撮像・現像結果を得られやすくなる。なお、第1処理ユニット11の現像部11-1に入力されるレリーズ信号と第2処理ユニット12のシーン処理部12-3に入力されるレリーズ信号とのうち、どちらが優先されるかは、予めカメラのモードダイヤルや設定等で決定する。また、カメラが露出や設定された情報等から自動で決定しても良い。
【0018】
第1処理ユニット11において、撮影・現像設定部11-3は、シーン処理部12-3が出力した撮影・現像条件を取得する。撮影・現像設定部11-3は、取得した撮影・現像撮処理条件に含まれる撮影条件と現像処理条件を現像部11-1に設定する。
現像部11-1は、レリーズボタンが接続されている。第1処理ユニット11のレリーズボタンが優先される場合、現像部11-1は、レリーズボタンから撮像を指示する信号が入力されると、撮影・現像設定部11-3が設定した撮影条件に基づいて、イメージセンサ13を駆動させ、イメージセンサ13から取得した撮像信号を撮影・現像設定部11-3が設定した現像処理条件に基づき、現像データを生成する。ここでは、現像部11-1が生成する現像データが、JPEGの場合について説明する。現像部11-1は、生成した現像データを第2処理ユニット12へ出力する。
第2処理ユニット12において、画像記録部12-4は、第1処理ユニット11の現像部11-1が出力した現像データを取得する。画像記録部12-4は、現像データを取得する際にUSBによる通信を利用する。これにより、MIPI-CSIは、シーン認識やプレビュー表示に使用する現像データのみの通信に出来る。そのため、撮像後、直ぐに次の撮像に備えた動作を行うことが出来る。具体的には、シーン認識を撮像後すぐに開始出来、プレビュー表示の更新頻度も落とす必要がない。画像記録部12-4は、ユーザが予め設定した画像フォーマットに基づいて、取得した現像データを変換し出力(記録)する。画像フォーマットの設定は、JPEGなどの画像ファイルのフォーマットが指定出来る他、画像の解像度や圧縮率を指定出来ても良い。
【0019】
(撮像装置の動作)
図6は、本実施形態に係る撮像装置の動作の一例を示すフローチャートである。
図6を参照して、撮像装置100の第1処理ユニット11と、第2処理ユニット12との動作について主に、説明する。
(ステップS1-1)
第1処理ユニット11において、現像部11-1は、撮像信号を取得する。
(ステップS2-1)
第1処理ユニット11において、現像部11-1は、取得した撮像信号を処理することによって、現像データを生成する。現像データの一例は、YUVなどである。
(ステップS3-1)
第1処理ユニット11において、現像部11-1が生成した現像データは、第2処理ユニット12へ出力される。
(ステップS4-1)
第2処理ユニット12において、画像変換部12-1は、現像部11-1が生成した現像データを取得する。画像変換部12-1は、取得した現像データを、第2処理ユニット12で扱いやすい画像フォーマットに変換する。変換は、データフォーマットに限らず画像の解像度の変更やトリミングなども含む。
【0020】
(ステップS5-1)
第1処理ユニット11において、シーン判定部11-2は、現像部11-1が生成した現像データを取得する。シーン判定部11-2は、取得した現像データに基づいて、現像データに表されている画像のシーンを判定する。シーン判定部11-2は、シーンの判定結果と第1処理ユニット11に入力された焦点距離と、撮影距離と、平均輝度値との情報を取得する。
(ステップS6-1)
第2処理ユニット12において、シーン認識部12-2は、シーン判定部11-2からシーンの判定結果と、焦点距離を特定する情報と、撮影距離を特定する情報と、平均輝度値とを取得する。
(ステップS7-1)
第2処理ユニット12において、シーン認識部12-2は、画像変換部12-1から現像データを画像変換した結果を取得する。シーン認識部12-2は、取得したシーンの判定結果と、焦点距離を特定する情報と、撮影距離を特定する情報と、平均輝度値と、現像データを画像変換した結果とに基づいて、現像データに表されている画像のシーンを特定する。
【0021】
(ステップS8-1)
第2処理ユニット12において、シーン処理部12-3は、シーン認識部12-2からシーンの特定結果を取得する。シーン処理部12-3は、取得したシーンの特定結果に基づいて、第1処理ユニット11で適用する撮影・現像処理条件を決定する。シーン処理部12-3は、外付けストロボ動作信号が入力された場合は、外付けストロボの使用に適した撮影・現像処理条件を決定する。
【0022】
(ステップS9-1)
第2処理ユニット12において、シーン処理部12-3は、決定した撮影・現像処理条件を、第1処理ユニット11へ出力する。
(ステップS10-1)
第1処理ユニット11において、撮影・現像設定部11-3は、シーン処理部12-3が出力した撮影・現像処理条件を取得する。撮影・現像設定部11-3は、取得した撮影・現像処理条件を現像部11-1に設定する。
(ステップS11-1)
第1処理ユニット11において、現像部11-1は、レリーズボタンによって撮影を指示するための操作が行われ、撮影指示信号が入力された場合は、撮影・現像設定部11-3が設定した撮影・現像処理条件に基づいてイメージセンサ13を駆動させ、撮像信号を取得する。
(ステップS12-1)
第1処理ユニット11において、現像部11-1は、撮影・現像設定部11-3が設定した撮影・現像処理条件に基づいて、現像処理することによって、現像データを生成する。
【0023】
(ステップS13-1)
第1処理ユニット11において、現像部11-1は、生成した現像データを出力する。
(ステップS14-1)
第2処理ユニット12において、画像記録部12-4は、第1処理ユニット11において、現像部11-1から出力された現像データを取得する。画像記録部12-4は、取得した現像データを第2処理ユニット12で保存する画像フォーマットに変換し記録(出力)する。
【0024】
前述した実施形態では、第2処理ユニット12が、第1処理ユニット11が出力する現像データを取得し、取得した現像データを解析する場合について説明したがこの例に限られない。例えば、第2処理ユニット12は、イメージセンサ13が出力する撮像信号を取得し、取得した撮像信号を現像し、現像データを取得してもよい。現像データの一例は、YUVなどである。
【0025】
本実施形態に係る撮像装置100によれば、撮像装置100は、イメージセンサ13が出力する撮像信号に基づいて現像データを生成する第1処理ユニット11と、アプリケーションを処理するアプリケーションプロセッサを含む第2処理ユニット12とを備える。第2処理ユニット12は、イメージセンサ13が出力する撮像信号を解析し、第1処理ユニット11は、撮像信号の解析結果に基づいて現像する。
このように構成することによって、第1処理ユニットは、アプリケーションプロセッサを含む第2処理ユニット12による撮像信号の解析結果に基づいて現像できるため、アプリケーションプロセッサを含む第2処理ユニット12向けに広く公開されているソフトウェア技術を活用して、さまざまなシーンを特定し、そのシーンに適した撮影・現像条件を適用することが出来る。
【0026】
撮像装置100において、第1処理ユニット11は、現像データを第2処理ユニット12へ出力し、第2処理ユニット12は、第1処理ユニット11が出力した現像データを解析し、第1処理ユニット11は、現像データの解析結果に基づいて現像する。
このように構成することによって、第1処理ユニットは、アプリケーションプロセッサを含む第2処理ユニット12による現像データの解析結果に基づいて現像できるため、アプリケーションプロセッサを含む第2処理ユニット12向けに広く公開されているソフトウェア技術を活用して、さまざまなシーンを特定し、そのシーンに適した撮影・現像条件を適用することが出来る。
【0027】
撮像装置100において、第2処理ユニット12は、第1処理ユニット11が出力した現像データに基づいてシーン認識処理を行い、第1処理ユニット11は、シーン認識処理の結果に基づいて現像する。
このように構成することによって、第1処理ユニットは、アプリケーションプロセッサを含む第2処理ユニット12によるシーン認識処理の結果に基づいて現像できるため、アプリケーションプロセッサを含む第2処理ユニット12向けに広く公開されているソフトウェア技術を活用して、さまざまなシーンを特定し、そのシーンに適した撮影・現像条件を適用することが出来る。
【0028】
(実施形態の変形例)
実施形態の変形例に係る撮像装置100aの一例は、
図1を適用できる。
撮像装置100aは、従来のAUTO機能を拡張し、ユーザが設定を意識せずにシャッターを切ることで、様々なシーンに適した撮影結果を取得する。さらに、撮像装置100aは、HDR(High Dynamic Range(ハイダイナミックレンジ))画像合成を行うことによって、白とびや黒つぶれの少ない、シャドー部からハイライト部まで幅広く再現された撮影結果を取得する。
図7は、実施形態の変形例に係る撮像装置の動作の概要を示す図である。
図7に示すように、撮像装置100aは、HDRの撮影に必要な露出差の確認を行い、一回の撮影で露出が異なる画像を連続で撮影する。撮像装置100aは、HDR画像合成を行う。撮像装置100aは、HDR画像合成を行う場合に、シーンの特定結果を利用し撮影・現像処理を適用することで、より印象的なHDR撮像結果を得ることができる。
【0029】
図8は、実施形態の変形例に係る撮像装置のカメラボディの一例を示す部分ブロック図である。カメラボディ1は、例えば、撮像ユニット16aを備える。撮像ユニット16aは、イメージセンサ13と、第1処理ユニット11aと、第2処理ユニット12aとを備える。第1処理ユニット11aは、第2処理ユニット12aと接続されている。
第1処理ユニット11aは、現像部11-1と、シーン判定部11-2と、撮影・現像設定部11-3とを備える。第2処理ユニット12aは、画像変換部12a-1と、シーン認識部12-2と、露出差判定部12a-3と、シーン処理部12a-4と、顔検出部12a-5と、画像合成部12a-6と、画像選定部12a-7と、画像記録部12a-8とを備える。
【0030】
第2処理ユニット12aにおいて、露出差判定部12a-3は、画像変換部12a-1から現像データを変換した結果を取得する。露出差判定部12a-3は、取得した現像データを変換した結果を露出差の基準として解析し、HDR画像合成に必要な露出差(露出アンダー画像、露出オーバー画像、またはその両方)の撮影条件を導出する。露出差判定部12a-3は、導出した露出差の撮影条件をシーン処理部12a-4へ出力する。
第2処理ユニット12aにおいて、シーン処理部12a-4は、シーン認識部12-2からシーンの特定結果を取得する。シーン処理部12a-4は、露出差判定部12a-3から露出差の撮影条件を取得する。シーン処理部12a-4は、取得したシーンの特定結果と露出差の撮影条件とに基づいて、第1処理ユニット11aで適用する撮影・現像処理条件を決定する。撮影・現像処理条件には撮像回数が含まれる。
シーン処理部12a-4は、外付けストロボが接続されている場合は、外付けストロボ動作信号が入力される。シーン処理部12a-4に外付けストロボ動作信号が入力された場合は、外付けストロボの使用に適した撮影・現像処理条件を決定する。シーン処理部12a-4は、決定した撮影・現像処理条件を第1処理ユニット11aへ出力する。
シーン処理部12a-4は、決定した撮影・現像処理条件の代わりに、シーン認識部12-2から取得したシーンの特定結果を第1処理ユニット11aの撮影・現像設定部11-3へ出力しても良い。その場合、第1処理ユニット11aの撮影・現像設定部11-3は、取得したシーンの情報を基に撮影・現像処理条件を決定する。
シーン処理部12a-4は、
図1のレリーズボタン3から出力されるレリーズ信号が入力されるよう接続されている。第1処理ユニット11aの現像部11-1にも同様に
図1のレリーズボタン3から出力されるレリーズ信号が入力されるよう接続されており、撮影レスポンスを優先するか、シーン認識を優先するかで動作が変化する。例えば、撮影レスポンスを優先する場合は、第1処理ユニット11aのレリーズ信号が優先されるため、撮像するまでの遅延が少なくすむ。一方、シーン認識を優先する場合は、第2処理ユニット12aのレリーズ信号が優先されるため、シーン処理部12a-4は、レリーズボタンが押された時の撮影・現像処理条件を第1処理ユニット11の撮影・現像設定部11-3へ出力した後、第1処理ユニット11aの撮影・現像設定部11-3を介して、現像部11-1へ撮像をするよう指示を行う。そのため、撮影レスポンスを優先した時よりも撮像するまでにわずかながら時間を要する。ただし、レリーズ直前に特定したシーンに適した現像・撮像設定となるため、撮影レスポンスを優先した時よりもシーンに適した撮像・現像結果を得られやすくなる。なお、第1処理ユニット11aの現像部11-1に入力されるレリーズ信号と第2処理ユニット12aのシーン処理部12a-4に入力されるレリーズ信号のうち、どちらが優先されるかは、予めカメラのモードダイヤルや設定等で決定する。また、カメラが露出や設定された情報等から自動で決定しても良い。
シーン処理部12a-4は、シーン認識部12-2から取得したシーンの特定結果を画像合成部12a-6へ出力する。
【0031】
第1処理ユニット11aにおいて、撮影・現像設定部11-3は、シーン処理部12a-4が出力した撮影・現像処理条件を取得する。撮影・現像設定部11-3は、取得した撮影・現像処理条件を現像部11-1に設定する。現像部11-1は、撮影・現像設定部11-3が設定した撮影・現像処理条件に基づいて、イメージセンサ13を駆動させ、イメージセンサ13から取得した撮像信号を撮影・現像設定部11-3が設定した現像処理条件に基づき、取得した撮像回数分、現像データを生成する。
ここで、複数の現像データの各々は、撮影・現像処理条件に含まれる撮像回数に基づいて取得された露出が異なる複数の撮像信号を現像した現像データの各々に対応する。実施形態の変形例では、現像部11-1は、複数回の撮像の後に予備撮影として1回、第1処理ユニット11aで適正と判断された撮影・現像条件で撮像と現像を行う。この予備撮影の結果は、後述する第2処理ユニット12aの画像選定部12a-7に出力し利用される。
画像変換部12a-1は、現像部11-1が生成した撮像回数に該当する複数の現像データを取得する。画像変換部12a-1は、現像データを取得する際にUSBによる通信を利用する。これにより、MIPI-CSIは、シーン認識やプレビュー表示に使用する現像データのみの通信に出来る。そのため、撮像後、直ぐに次の撮像に備えた動作を行うことが出来る。具体的には、シーン認識を撮像後すぐに開始出来、プレビュー表示の更新頻度も落とす必要がない。
画像変換部12a-1は、取得した撮像回数に該当する複数の現像データの各々を第2処理ユニット12aで扱いやすい画像フォーマットへ変換する。
【0032】
第2処理ユニット12aにおいて、顔検出部12a-5は、現像データの各々を画像変換した結果のうち、基準となる露出が適正な結果から顔を検出する。顔検出部12a-5は、顔の位置の座標を特定する。顔検出部12a-5は、特定した顔の位置座標を画像合成部12a-6へ出力する。
第2処理ユニット12aにおいて、画像合成部12a-6は、画像変換部12a-1から画像変換した結果を複数枚取得する。画像合成部12a-6は、顔検出部12a-5から、顔の位置の座標を取得する。画像合成部12a-6は、取得した複数の画像変換した結果のうち、露出の基準となる画像と顔の位置の座標とに基づいて、取得した複数の画像を合成する際、顔のある領域が合成によって暗くならないように合成する画像を変更する。具体的には、合成後に顔が暗くなりそうな場合は、入力する画像を基準画像とそれよりも明るい画像を入力画像に選ぶ。画像合成部12a-6は、シーン処理部12a-4から取得したシーンの特定結果に基づいて、画像合成後の画作り(仕上がり)を特定したシーンに適したものに変更する。
【0033】
また、画像合成部12a-6は、取得した複数の画像を合成した結果に発生したゴーストが、予め設定した閾値以上である場合には、画像の合成が失敗であったとみなしてエラーがあった結果と合成した画像を画像選定部12a-7へ出力する。複数の画像を合成した合成画像に発生したゴーストが、予め設定した閾値未満である場合は、画像の合成が成功したとみなし、エラーがなかった結果と合成した画像を画像選定部12a-7へ出力する。
【0034】
第2処理ユニット12aにおいて、画像選定部12a-7は、画像合成部12a-6が出力した画像合成のエラー有無の結果と、合成した合成画像とを取得する。画像選定部12a-7は、第1処理ユニット11aの現像部11-1が出力した予備撮影の結果を取得する。画像選定部12a-7は、画像合成部12a-6から取得した画像合成のエラー有無を確認し、エラーが有った場合は画像合成が失敗したとみなして第1処理ユニット11aの現像部11-1から取得した予備撮影の結果を画像記録部12a-8へ出力する。
画像選定部12a-7は、画像合成部12a-6から取得した画像合成のエラー有無を確認し、エラーが無かった場合は、画像合成が成功したとみなして画像合成部12a-6から取得した合成した画像を画像記録部12a-8へ出力する。
【0035】
第2処理ユニット12aにおいて、画像記録部12a-8は、画像選定部12a-7が出力した画像を取得する。画像記録部12a-8は、ユーザが予め設定した画像フォーマットに基づいて、取得した画像を変換し出力(記録)する。画像のフォーマットの設定は、JPEGなどの画像ファイルのフォーマットが指摘できる他、画像の解像度や圧縮率を指定出来ても良い。画像記録部12a-8が、合成画像を、JPEGなどの画像ファイルに変換する場合は、Exif情報を付加するようにしてもよい。
例えば、画像記録部12a-8は、撮影日時を特定する情報を取得し、取得した撮影日時を特定する情報を含むExif情報を付加する。
【0036】
(撮像装置の動作)
図9は、実施形態の変形例に係る撮像装置の動作の一例を示すフローチャートである。
図9を参照して、撮像装置100aの第1処理ユニット11aと、第2処理ユニット12aとの動作について主に説明する。
ステップS1-2からS7-2は、
図6を参照して説明したステップS1-1からS7-1を適用できるため、ここでの説明は省略する。
(ステップS8-2)
第2処理ユニット12aにおいて、露出差判定部12a-3は、画像変換部12a-1から現像データを画像変換した結果を取得する。露出差判定部12a-3は、取得した現像データを画像変換した結果を基準として解析し、HDR画像合成に必要な露出差(露出アンダー画像、露出オーバー画像、またはその両方)を導出する。露出差判定部12a-3は、導出したHDR画像合成に必要な露出差をシーン処理部12a-4へ出力する。
(ステップS9-2)
第2処理ユニット12aにおいて、シーン処理部12a-4は、シーン認識部12-2からシーンの特定結果を取得する。シーン処理部12a-4は、露出差判定部12a-3からHDR画像合成に必要な露出差を取得する。シーン処理部12a-4は、取得したシーンの特定結果とHDR画像合成に必要な露出差とに基づいて、第1処理ユニット11で適用する撮影・現像処理条件を決定する。撮影・現像処理条件にはHDR画像合成に必要な露出差を得るための撮像回数が含まれる。シーン処理部12a-4は、外付けストロボ動作信号が入力された場合は、外付けストロボの使用に適した撮影・現像処理条件を決定する。
【0037】
(ステップS10-2)
第2処理ユニット12aにおいて、シーン処理部12a-4は、決定した撮影・現像処理条件を、第1処理ユニット11aへ出力する。
(ステップS11-2)
第1処理ユニット11aにおいて、撮影・現像設定部11-3は、シーン処理部12a-4が出力した撮影・現像処理条件を取得する。撮影・現像設定部11-3は、取得した撮影・現像処理条件を現像部11-1に設定する。
(ステップS12-2)
第1処理ユニット11aにおいて、現像部11-1は、レリーズボタンから出力するレリーズ信号によって撮影を指示するための操作が行われ、撮影指示信号が入力された場合は、撮影・現像設定部11-3が設定した撮影・現像処理条件に基づいて、イメージセンサ13を駆動させ、撮像信号を取得する。現像部11-1は、イメージセンサ13を駆動させる際、露出設定を変更した複数回の撮像を指示し、各々の撮像信号を取得、処理することによって複数枚の現像データを生成する。現像部11-1は、複数回の撮像の後に予備撮影として1回、通常の撮影・現像条件で撮像と現像を行い、予備撮影結果として現像データを生成する。
(ステップS13-2)
第1処理ユニット11aにおいて、現像部11-1は、複数の現像データと、予備撮影結果の現像データとを第2処理ユニットへ出力する。
第2処理ユニット12aにおいて、画像変換部12a-1は、現像部11-1が生成した複数の現像データと、予備撮影結果の現像データとを取得する。
(ステップS14-2)
第2処理ユニット12aにおいて、画像変換部12-1は、取得した撮像回数に該当する複数の現像データの各々を画像変換する。
【0038】
(ステップS15-2)
第2処理ユニット12aにおいて、顔検出部12a-5は、取得した現像データの各々を画像変換した結果のうち、基準となる露出が適正な結果から顔の位置座標を特定する。顔検出部12a-5は、特定した顔の位置座標を画像合成部12a-6へ出力する。
(ステップS16-2)
第2処理ユニット12aにおいて、画像合成部12a-6は、画像変換部12a-1から複数の画像を取得する。画像合成部12a-6は、顔検出部12a-5から、顔の位置座標を取得する。画像合成部12a-6は、シーン処理部12a-4から特定したシーン名を取得する。画像合成部12a-6は、取得した現像データの各々を画像変換した結果と特定したシーン名に基づいて画像を合成する。画像合成部12a-6は、複数の画像を合成する際、顔のある領域が合成によって暗くならないように、取得した顔の位置座標に基づいて合成時の顔の明るさが暗くならないよう、合成に使用する画像を変更する。
画像合成部12a-6は、取得した複数の画像を合成した結果に発生したゴーストが、予め設定した閾値以上である場合には、画像の合成が失敗であったとみなしてエラーがあった結果と、合成した画像とを画像選定部12a-7へ出力する。複数の画像を合成した合成画像に発生したゴーストが、予め設定した閾値未満である場合は、画像の合成が成功したとみなし、エラーがなかった結果と、合成した画像とを画像選定部12a-7へ出力する。
【0039】
(ステップS17-2)
第2処理ユニット12aにおいて、画像選定部12a-7は、エラーがなかった場合は、画像合成部12a-6の合成画像を画像記録部12a-8へ出力する。エラーがあった場合は、第1処理ユニット11aの現像部11-1から取得した予備撮影結果を画像記録部12a-8へ出力する。
(ステップS18-2)
第2処理ユニット12aにおいて、画像記録部12a-8は、画像選定部12a-7が出力した画像を取得する。画像記録部12a-8は、ユーザが予め設定した画像フォーマットに基づいて、取得した画像を変換し出力(記録)する。
【0040】
前述した実施形態の変形例では、現像部11-1は、複数回の撮像と予備撮影とを加えた撮像回数に該当する現像データを生成する場合について説明したが、この例に限られない。
例えば、現像部11-1は、予備撮影を行わない撮像回数に該当する現像データを生成するようにしてもよい。この場合、画像選定部12a-7は、画像合成部12a-6からエラーがある結果を取得したら、取得した合成画像ではなく、既に撮像した画像を一枚出力するようにしてもよい。
前述した実施形態の変形例では、画像選定部12a-7は、画像合成部12a-6からエラーがある結果を取得した場合に、現像部11-1から現像データを取得し、取得した現像データを出力する場合について説明したがこの例に限られない。
例えば、画像合成部12a-6は、取得した複数の画像を合成した合成画像が所望の画像であるか否かを判定する。画像選定部12a-7は、取得した判定結果に基づいて、判定結果が複数の画像を合成した画像が所望の画像でないことを示す場合に、現像部11-1から現像データを取得し、取得した現像データを出力するようにしてもよい。
また、画像選定部12a-7は、取得した判定結果に基づいて、判定結果が複数の画像を合成した画像が所望の画像でないことを示す場合に、既に撮像した画像を一枚出力するようにしてもよい。
【0041】
実施形態の変形例に係る撮像装置100aによれば、撮像装置100において、第2処理ユニット12aは、第1処理ユニット11aが出力したプレビュー画像に基づいて合成用の撮像回数を決定する。第1処理ユニット11aは、第2処理ユニット12aが決定した合成用の撮像回数に一回増加させた回数の撮像を行う。第2処理ユニット12aは、合成用の撮像回数の撮像による画像を合成できない場合に、一回増加させた撮像による画像を出力する。
このように構成することによって、第1処理ユニット11aは、第2処理ユニット12aが決定した合成用の撮像回数に一回増加させた回数の撮像を行うことができる。このため、第2処理ユニット12aは、合成用の撮像回数の撮像による画像を合成できない場合に、一回増加させた撮像による画像を出力することができる。
【0042】
撮像装置100aにおいて、第2処理ユニット12aは、第1処理ユニット11aが出力した現像データ(プレビュー画像)に基づいて合成用の撮像回数を決定し、第1処理ユニット11aは、第2処理ユニット12aが決定した合成用の撮像回数の撮像を行い、第2処理ユニット12aは、合成用の撮像回数の撮像による画像を合成することで合成画像を生成し、生成した合成画像が所望ではない場合に、既に撮像した画像を一枚出力する。
このように構成することによって、第2処理ユニット12aは、合成用の撮像回数の撮像による画像を合成することで合成画像を生成し、生成した合成画像が所望ではない場合に、既に撮像した画像を一枚出力できる。既に撮像した画像を出力できるため、第2処理ユニット12aが決定した合成用の撮像回数に一回増加させた回数の撮像を行う場合と比較して、撮像回数を減少させることができる。
【0043】
撮像装置100aにおいて、第2処理ユニット12aは、第1処理ユニット11aが出力した現像データ(プレビュー画像)に基づいて露出条件と合成用の撮像回数とを決定し、第1処理ユニット11aは、第2処理ユニット12aが決定した露出条件と合成用の前記撮像回数とに基づいて撮像を行い、第2処理ユニットは、合成用の撮像回数の撮像による画像から適切な露出の画像を選択し、選択した前記画像を合成する。
このように構成することによって、第2処理ユニットは、合成用の撮像回数の撮像による画像から適切な露出の画像を選択できるため、選択した適切な露出の画像を合成できる。
【0044】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0045】
1…カメラボディ、3…レリーズボタン、11、11a…第1処理ユニット、11-1…現像部、11-2…シーン判定部、11-3…撮影・現像設定部、12、12a…第2処理ユニット、12-1、12a-1…画像変換部、12-2…シーン認識部、12a-3…露出差判定部、12-4、12a-8…画像記録部、12-3、12a-4…シーン処理部、12a-5…顔検出部、12a-6…画像合成部、12a-7…画像選定部、13…イメージセンサ、16、16a…撮像ユニット、100、100a…撮像装置