特許 7446715 画像処理装置、撮像装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-01

(45)【発行日】2024-03-11

(54)【発明の名称】画像処理装置、撮像装置、画像処理方法およびプログラム

(51)【国際特許分類】

   H04N 23/958 20230101AFI20240304BHJP

   G02B 7/36 20210101ALI20240304BHJP

   G03B 13/36 20210101ALI20240304BHJP

   H04N 23/60 20230101ALI20240304BHJP

   H04N 23/67 20230101ALI20240304BHJP

【ＦＩ】

H04N23/958

G02B7/36

G03B13/36

H04N23/60 300

H04N23/67 300

【請求項の数】 14

(21)【出願番号】P 2019041912

(22)【出願日】2019-03-07

(65)【公開番号】P2020145621

(43)【公開日】2020-09-10

【審査請求日】2022-01-07

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】中岡 宏

(72)【発明者】

【氏名】小川 武志

【審査官】吉川 康男

(56)【参考文献】

【文献】特開平０４－１６５７７３（ＪＰ，Ａ）

【文献】特開２０１６－０４６５６２（ＪＰ，Ａ）

【文献】特開２０１７－０９８６３１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／９５８

Ｇ０２Ｂ ７／３６

Ｇ０３Ｂ １３／３６

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６７

(57)【特許請求の範囲】

【請求項1】

複数の画像を取得する取得手段と、
前記取得手段から前記複数の画像の信号を受け取り、前記複数の画像に対して分割を行い、前記複数の画像のそれぞれにおいて複数の分割領域に設定する第１の処理手段と、
前記第１の処理手段から前記複数の分割領域のうち、一部の分割領域の信号を受け取り、深度合成の画像を生成する第２の処理手段と、を有し、
前記第１の処理手段と前記第２の処理手段はそれぞれ個別のブロックで構成され、
前記第１の処理手段は、前記複数の画像のそれぞれにおける前記分割領域に対して評価を行い、前記評価の結果に基づいて前記分割領域を選択するものであって、
前記第１の処理手段は前記評価として前記複数の分割領域の少なくとも一部の分割領域ごとに評価値を算出し、
前記第２の処理手段は、前記評価値が大きい順番で前記第１の処理手段が選択した前記分割領域の信号を受け取り、
前記第２の処理手段が前記第１の処理手段から信号を受け取る伝送レートが、前記第１の処理手段が前記取得手段から信号を受け取る伝送レートよりも低いことを特徴とする画像処理装置。

【請求項2】

前記第１の処理手段が、前記分割領域のコントラスト値を算出し、前記コントラスト値に基づいて前記評価を行うことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記第１の処理手段が、前記分割領域に対して周波数の解析の行い、前記周波数の解析の結果に基づいて前記評価を行うことを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記第２の処理手段が、前記複数の分割領域のうち、同じ位置にあるものうちのいずれも前記第１の処理手段に選択されていない前記分割領域のすくなくとも１つを、受け取ることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。

【請求項5】

前記第１の処理手段が、前記分割領域を互いに重なるように設定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。

【請求項6】

前記第１の処理手段が、前記画像に対して拡大または縮小の処理を行うことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。

【請求項7】

前記第１の処理手段が、前記画像が撮像された光学系の情報に基づいて、前記拡大または縮小の処理を行うことを特徴とする請求項６に記載の画像処理装置。

【請求項8】

前記第１の処理手段が、前記画像が撮像された光学系の情報に基づいて、前記分割領域の大きさを変更することを特徴とする請求項６に記載の画像処理装置。

【請求項9】

前記光学系の情報は、前記画像が撮像されたときのピント位置を含むことを特徴とする請求項７または８に記載の画像処理装置。

【請求項10】

前記光学系の情報は、前記画像が撮像されたときのフォーカスレンズの位置を含むことを特徴とする請求項７または８に記載の画像処理装置。

【請求項11】

前記第１の処理手段が、前記複数の画像に対して切り出しの処理を行うことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。

【請求項12】

複数の画像を撮像する撮像手段と、
前記撮像手段から前記複数の画像の信号を受け取り、前記複数の画像に対して分割を行い、前記複数の画像のそれぞれにおいて複数の分割領域に設定する第１の処理手段と、
前記第１の処理手段から前記複数の分割領域のうち、一部の分割領域の信号を受け取り、深度合成の画像を生成する第２の処理手段と、を有し、
前記第１の処理手段と前記第２の処理手段はそれぞれ個別のブロックで構成され、
前記第１の処理手段は、前記複数の画像のそれぞれにおける前記分割領域に対して評価を行い、前記評価の結果に基づいて前記分割領域を選択するものであって、
前記第１の処理手段は前記評価として前記複数の分割領域の少なくとも一部の分割領域ごとに評価値を算出し、
前記第２の処理手段は、前記評価値が大きい順番で前記第１の処理手段が選択した前記分割領域の信号を受け取り、
前記第２の処理手段が前記第１の処理手段から信号を受け取る伝送レートが、前記第１の処理手段が前記撮像手段から信号を受け取る伝送レートよりも低いことを特徴とする撮像装置。

【請求項13】

取得手段が複数の画像を取得する取得ステップと、
第１の処理手段が、前記取得手段から前記複数の画像の信号を受け取り、前記複数の画像に対して分割を行い、前記複数の画像のそれぞれにおいて複数の分割領域に設定する第１の処理ステップと、
第２の処理手段が前記第１の処理手段から前記複数の分割領域のうち、一部の分割領域の信号を受け取り、深度合成の画像を生成する第２の処理ステップと、を有し、
前記第１の処理手段と前記第２の処理手段はそれぞれ個別のブロックで構成され、
前記第１の処理ステップは、前記第１の処理手段が前記複数の画像のそれぞれにおける前記分割領域に対して評価を行い、前記評価の結果に基づいて前記分割領域を選択するものであって、
前記第１の処理手段は前記評価として前記複数の分割領域の少なくとも一部の分割領域ごとに評価値を算出し、
前記第２の処理ステップは、前記第２の処理手段が、前記評価値が大きい順番で前記第１の処理手段が選択した前記分割領域の信号を受け取り、
前記第２の処理手段が前記第１の処理手段から信号を受け取る伝送レートが、前記第１の処理手段が前記取得手段から信号を受け取る伝送レートよりも低いことを特徴とする画像処理方法。

【請求項14】

画像処理装置をコンピュータに動作させるコンピュータのプログラムであって、
取得手段が複数の画像を取得する取得ステップと、
第１の処理手段が、前記取得手段から前記複数の画像の信号を受け取り、前記複数の画像に対して分割を行い、前記複数の画像のそれぞれにおいて複数の分割領域に設定する第１の処理ステップと、
第２の処理手段が前記第１の処理手段から前記複数の分割領域のうち、一部の分割領域の信号を受け取り、深度合成の画像を生成する第２の処理ステップと、を行わせ、
前記第１の処理手段と前記第２の処理手段はそれぞれ個別のブロックで構成され、
前記第１の処理ステップは、前記第１の処理手段が前記複数の画像のそれぞれにおける前記分割領域に対して評価を行い、前記評価の結果に基づいて前記分割領域を選択するものであって、
前記第１の処理手段は前記評価として前記複数の分割領域の少なくとも一部の分割領域ごとに評価値を算出し、
前記第２の処理ステップは、前記第２の処理手段が、前記評価値が大きい順番で前記第１の処理手段が選択した前記分割領域の信号を受け取り、
前記第２の処理手段が前記第１の処理手段から信号を受け取る伝送レートが、前記第１の処理手段が前記取得手段から信号を受け取る伝送レートよりも低いことを特徴とするプログラム

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ピント位置の異なる複数の画像に対して合成を行う画像処理装置に関するものである。

【背景技術】

【0002】

デジタルカメラなどの撮像装置からの距離が互いに大きく異なる複数の被写体を撮像する場合や、奥行き方向に長い被写体を撮像する場合に、被写界深度が足りないために被写体の一部にしかピントを合わせられない場合がある。または、解像感の極めて高い画像を取得したい場合、被写界深度を浅くして撮像しなければならず、被写体の全部が被写界深度に入らないことがある。これを解決するため、特許文献１には、ピント位置の異なる複数の画像を撮像し、各画像から合焦領域のみを抽出して１枚の画像に合成し、撮像領域全体に合焦している合成画像を生成する、所謂、深度合成の技術が開示されている。

【0003】

一方、特許文献２には、撮像部などから画像信号を受け取る第１画像処理部を第２画像処理部の前に配置し、高い伝送レートを受信することが不可能な第２画像処理部に対して緩衝の役割をすることで、スケーラビリティを実現する撮像装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平１０―２９０３８９号公報

【文献】特開２０１７－１５３１５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献２に記載の撮像装置を用いて深度合成を行おうとすると、第１画像処理部では画像データを一度符号化圧縮して伝送レートを落としているため、画質が劣化する可能性がある。また、深度合成に用いる画像のサイズが極めて大きいことがあるため、第１の画像処理部で一度記憶部に記録してから第２の画像処理部へ伝送すると、データの遅延に起因した画像データ表示や記録が遅くなる可能性もある。

【0006】

本発明は、上記の課題を鑑みてなされたものであり、複数の画像処理部を用いて深度合成を行うとき、画像処理部の間に伝送する情報を変更することで処理負荷の低減を実現できる画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本願発明は、複数の画像を取得する取得手段と、前記取得手段から前記複数の画像の信号を受け取り、前記複数の画像に対して分割を行い、前記複数の画像のそれぞれにおいて複数の分割領域に設定する第１の処理手段と、前記第１の処理手段から前記複数の分割領域のうち、一部の分割領域の信号を受け取り、深度合成の画像を生成する第２の処理手段と、を有し、前記第１の処理手段と前記第２の処理手段はそれぞれ個別のブロックで構成され、前記第１の処理手段は、前記複数の画像のそれぞれにおける前記分割領域に対して評価を行い、前記評価の結果に基づいて前記分割領域を選択するものであって、前記第１の処理手段は前記評価として前記複数の分割領域の少なくとも一部の分割領域ごとに評価値を算出し、前記第２の処理手段は、前記評価値が大きい順番で前記第１の処理手段が選択した前記分割領域の信号を受け取り、前記第２の処理手段が前記第１の処理手段から信号を受け取る伝送レートが、前記第１の処理手段が前記取得手段から信号を受け取る伝送レートよりも低いことを特徴とする画像処理装置を提供する。

【発明の効果】

【0008】

本発明の構成によれば、複数の画像処理部を用いて深度合成の合成を行うとき、後段にある画像処理部へ伝送する情報を減らす画像処理装置を提供することができる。

【図面の簡単な説明】

【0009】

【図1】第１の実施形態におけるデジタルカメラのハードウェア構成を示すブロック図である。

【図2】第１の実施形態における深度合成の処理について説明するためのフローチャートである。

【図3】第１の実施形態における画像に対する領域分割を説明するための図である。

【図4】第１の実施形態における画像の評価を説明するための図である。

【図5】第２の実施形態におけるデジタルカメラのハードウェア構成を示すブロック図である。

【図6】第２の実施形態における深度合成の処理を説明するためのフローチャートである。

【図7】第２の実施形態におけるピント位置と像倍率との関係を説明するための図である。

【図8】第２の実施形態における画像の切り出しを説明するための図である。

【図9】第２の実施形態における画像の拡大の処理を説明するための図である。

【図10】第３の実施形態におけるデジタルカメラのハードウェア構成を示すブロック図である。

【図11】第３の実施形態における深度合成の処理について説明するためのフローチャートである。

【図12】第３の実施形態における領域の分割を説明するための図である。

【図13】第３の実施形態における倍率に応じる分割領域の設定を説明するための図である。

【発明を実施するための形態】

【0010】

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

【0011】

（第１の実施形態）
図１は、本実施形態におけるデジタルカメラのハードウェア構成を示すブロック図である。

【0012】

撮像素子１０１は、不図示の光学系を通った光を電気信号に変換し、画像信号として出力し、たとえば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどである。

【0013】

第１の信号処理部１０２は、撮像素子１０１から出力された画像信号を受け取り、信号処理を行う。第１の信号処理部１０２は、複数の処理部から構成されている。撮像素子１０１と第１の信号処理部１０２とは電気的に接続されており、撮像素子１０１から電気信号として画像信号を所定時間かけて送信される。

【0014】

第１の制御部１０３は、第１の信号処理部１０２の制御を司り、撮像素子１０１、画像信号評価部１０４や領域選択部１０５などの制御も行う。

【0015】

画像信号評価部１０４は、第１の信号処理部１０２を構成する部の１つであり、撮像素子１０１から受け取った画像信号に対する評価結果を算出する。

【0016】

領域選択部１０５は、第１の信号処理部１０２を構成する部の１つであり、画像信号評価部１０４から得られた評価結果をもとに後述するフレームメモリに記憶されている画像信号を読み出す領域を選択するための領域選択信号を出力する。

【0017】

フレームメモリ１０６は、撮像素子１０１から読み出された画像信号を記憶し、後述するメモリ制御部１０７を介して画像信号の読み書きが行われる。

【0018】

メモリ制御部１０７は、第１の信号処理部１０２を構成する部の１つであり、撮像素子１０１から読み出された画像信号をフレームメモリ１０６に記憶するための制御を行う。

【0019】

第２の信号処理部１０８は、第１の信号処理部１０２から出力される画像信号を受け取って信号処理を行う。第１の信号処理部１０２と第２の信号処理部１０８とは電気的に接続されており、第１の信号処理部１０２から電気信号として画像信号が所定時間かけて送信される。

【0020】

第２の制御部１０９は、第２の信号処理部１０８の全体を司り、後述する深度合成部１１０と記憶部１１１との制御や、第１の制御部１０３との送受信などを行う。

【0021】

深度合成部１１０は、第１の信号処理部１０２から出力される画像信号に対して、深度合成の処理を行う。深度合成処理とは、複数枚の画像信号を異なるフォーカス位置で撮像し、各画像からピントが合っている少なくとも一部の領域の画像信号を切り出し、合成して１枚のより被写界深度の深い画像信号を生成する処理である。深度合成部１１０が生成した画像信号を、後述する記憶部１１１に記憶する。

【0022】

記憶部１１１は、たとえば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に代表されるような記録処理を構成に含むメモリである。

【0023】

図１に示した構成では、撮像素子１０１、第１の信号処理部１０２および第２の信号処理部１０８は、それぞれ電気的に接続される。撮像素子１０１から第１の信号処理部１０２へのデータの伝送レートは、第１の信号処理部１０２から第２の信号処理部１０８へのデータの伝送レートよりも高くなるように設計されている。このような設定では、撮像素子１０１が変更したい場合では、第１の信号処理部１０２の中に新たに接続用の回路などを組み込むことで撮像素子１０１を変更することができる。かつ、第２の信号処理部１０８との接続を維持したままで、全体の構成を容易に再構築できる、というメリットがある。

【0024】

図２は、本実施形態における深度合成の処理を説明するためのフローチャートである。図２を参照して本実施形態のフローについて説明する。

【0025】

ステップＳ２０１では、第１の制御部１０３は、あらかじめ定められた枚数またはユーザからの指示で撮像枚数を決定する。

【0026】

ステップＳ２０２では、ユーザからの指示に基づいて、撮像を開始する。

【0027】

ステップＳ２０３では、第１の制御部１０３が、フォーカスレンズを駆動する。フォーカスレンズの相対位置が変わることで、光軸方向でのピント位置を変更することができる。

【0028】

ステップＳ２０４で、撮像素子１０１が不図示の光学系を介して結像した被写体像を電気信号として出力する。

【0029】

ステップＳ２０５で、撮像素子１０１は、被写体像の電気信号を第１の信号処理部１０２に送信する。

【0030】

ステップＳ２０６で、画像信号評価部１０４が、撮像素子１０１から得られた画像を複数の領域に分割し、領域ごとのコントラスト値を算出する。コントラスト値は画像信号を構成する画素値の振れ幅の大小を数値化したもので、例えば、隣接画素との差分値で算出する。

【0031】

図３は、本実施形態における画像に対する領域分割を説明するための図である。画像３０１は撮像素子１０１から得られた画像であり、領域３０２は分割された１つの領域である。被写体３０ないし３０５が画像３０１に写っている。図３では、１枚の画像に対して、水平方向（横方向）に４分割、垂直方向（縦方向）に３分割したときの様子を点線で示しており、全部で１２分割されている様子を示している。画像信号評価部１０４は、１２分割された領域ごとにコントラスト値の平均値を評価結果として領域選択部１０５に送信する。なお、本実施例では画像信号の評価指標としてコントラスト値を用いたが、ほかにも評価指標として使えるパラメータがある。たとえば、分割領域ごとに周波数解析を行い、解析した結果から高周波の成分が含まれる割合や高周波成分の振幅値を指標として、評価結果を算出するようにしても、ピントが合っている度合を示す指標として有効である。

【0032】

ステップＳ２０７で、メモリ制御部１０７は、撮像素子１０１から出力された画像信号を、フレームメモリ１０６に対して書き込みアクセスを行うことで、一時的に記憶する。

【0033】

ステップＳ２０８で、領域選択部１０５が、領域の選択を行う。領域選択部１０５は、画像信号評価部１０４から受け取った評価結果とともに、第２の信号処理部１０８に送信する画像信号の分割領域を選択するための領域選択情報をメモリ制御部１０７に送信する。

【0034】

図４は、本実施形態における画像の評価を説明するための図である。図４は、撮像された画像４０１、４０２、４０３を示している。画像４０１、４０２、４０３のそれぞれは、水平４分割、垂直３分割で分割されている。図４における各画像の分割領域に書かれている数字は、コントラスト値を、０～１２７の範囲内に数値化されたものを意味し、数値の高いほうはコントラスト値が高いと表す。本実施形態では、一例として、コントラスト値の高さ基づいてピントが合っているかどうかを判断する。ピントがある領域に合っている場合は、ピントが該領域に合っていない場合より、一般的に該領域のコントラスト値が高い。ピント位置の異なる複数の画像において、同じ領域は、最もコントラスト値が高いとき、ピントが合っていると判断する。

【0035】

具体的に、図４に示した画像は、以下のような意味をもつ。画像４０１は被写体３０３にピントが合っている状態でのコントラスト値を示しており、分割領域４０４乃至４０９で高い値を示している。同様に、画像４０２は被写体３０４にピントが合っている状態でのコントラスト値を示しており、分割領域４１０と４１１とでコントラスト値が高い値を示している。画像４０３は被写体３０５にピントが合っている状態でのコントラスト値を模式的に示しており、分割領域４１２乃至４１４でコントラスト値が高い値を示している。

【0036】

領域選択部１０５は、予め定められた閾値以上のコントラスト値をもつ分割領域をフレームメモリ１０６から読み出すようにメモリ制御部１０７に対して、領域選択情報を出力する。たとえば、図４の画像に対して、コントラスト値の閾値を５０と定められたときに、領域選択部１０５は分割領域４０４乃至４１４を読み出す。

【0037】

ステップＳ２０９で、第１の信号処理部１０２は、領域選択部１０５が選択した分割領域を、第２の信号処理部１０８に送信する。

【0038】

ステップＳ２１０で、撮像枚数に達したかどうかを判断する。達した場合はステップＳ２１１に進み、達していない場合はステップＳ２０３に戻る。

【0039】

ステップＳ２１１では、深度合成部１１０が、深度合成の処理を行う。深度合成部１１０は、ステップＳ２０９で選択した合焦領域を優先的に合成画像に置き換えることで、合成画像を作成する。同時に、深度合成部１１０は、画像信号の画素位置情報に応じて記憶部１１１への記憶する際のアドレス情報を変更し記憶することで、記憶部１１１上に記憶された複数の領域を先頭アドレスから順に読み出すことで、１枚の画信号として読み出すことが可能になる。

【0040】

なお、本実施形態では、たとえば図４の画像４０３の分割領域４１５で示された領域の評価値は、３枚の画像ともに閾値よりも小さいため、以下の処理を行う。領域選択部１０５は、３枚目の画像信号を処理している時点で１度も選択されていないと判断された分割領域に対して、閾値判別結果によらず読み出し領域として選択する。これにより、深度合成部１１０が合成した画像として欠落が出ないように調整することが可能となる。

【0041】

以上に説明したような処理より、以下の効果が得られる。撮像素子１０１と第１の信号処理部１０２の間のデータ伝送レートが、第１の信号処理部１０２と第２の信号処理部１０８の間のデータ伝送レートより高い場合に、以下の処理を行う。第１の信号処理部１０２では、画像信号評価部１０４の評価結果に応じて、領域選択部１０５が選択した分割領域を第２の信号処理部１０８に伝送する。このような処理により、第１の信号処理部１０２から第２の信号処理部１０８への不要なデータの伝送を抑制し、スケーラビリティの高い構成を設計可能である。

【0042】

なお、本実施形態では、画像信号評価部１０４での評価結果次第、複数の画像信号において同じ分割領域が選択される可能性もある。この場合、第１の信号処理部１０２が選択した画像信号を第２の信号処理部１０８に送信するときに、評価結果も送信する。次に深度合成部１１０が送信された評価結果のよいほうを、最終的に深度合成に用いる。

【0043】

さらに、領域選択部１０５は、最も評価値のよい分割領域のみでなく、評価値の高い順番に上位の所定数の領域を選択してもよい。このような処理により、１枚の画像信号から選択された分割領域数が一定になり、深度合成部１１０がステップＳ２１１での深度合成で実際に合成画像に用いる領域をさらに選択する。

【0044】

第１の実施形態によれば、第２の信号処理部に送信するデータの中、深度合成の画像の作成に必要でないデータを抑制することができ、より処理負荷が低減できる画像処理を行うことができる。

【0045】

（第２の実施形態）
以下では、第２の実施形態について説明する。第２の実施形態は、後述する光学系の光学特性により撮像素子に結像される像の像倍率がフォーカスレンズの位置に応じて変化する場合を考慮されるものである。第１の実施形態と同様な所についての説明を省略する。

【0046】

図５は、本実施形態におけるデジタルカメラのハードウェア構成を示すブロック図である。

【0047】

光学系５０１は、被写体からの光を結像させる。光学系５０１は、被写体にピントを合わせるためのフォーカスレンズとフォーカスレンズの制御機構、およびピント距離を変更するためのズームレンズとズームレンズの制御機構、さらに入射光量を調節するための絞り、の少なくとも１つ以上を有する。

【0048】

光学系駆動部５０２は、第１の信号処理部１０２を構成する１つの部であり、光学系５０１のレンズ群を駆動するための電気信号を送信する。本実施形態では、光学系５０１のレンズ群のうち、被写体にピントを合わせるためのフォーカスレンズの制御のために、光学系駆動部５０２が制御信号を生成する。また、光学系駆動部５０２は、後述する切り出し領域決定部５０３に対して、フォーカスレンズを駆動するときの像倍率を送信する。

【0049】

切り出し領域決定部５０３は、光学系駆動部５０２から送られた像倍率に基づいて、撮像素子１０１から出力された画像を後述する切り出し部５０４が切り出すための領域情報を生成する。

【0050】

切り出し部５０４は、第１の信号処理部１０２を構成する１つの部であり、撮像素子１０１から出力された画像に対して、光学系駆動部５０２から送られた像倍率に基づいて、切り出しの処理を行う。切り出し部５０４が出力した画像信号の画素数が、切り出し部５０４に入力された画像信号の画素数よりも少ない。

【0051】

拡大部５０５は、切り出し部５０４に出力される画像信号を受け取り、画像信号の拡大の処理を行う。拡大の処理とは、画像信号の水平画素数および垂直画素数を所定倍率増加させる処理である。拡大部５０５が出力した画像信号の画素数が、拡大部５０５に入力された画像信号の画素数よりも多い。

【0052】

図６は、本実施形態における深度合成の処理を説明するためのフローチャートである。

【0053】

ステップＳ６０１では、光学系駆動部５０２が、フォーカスレンズ駆動制御信号に基づいて、フォーカスレンズを駆動する。光学系駆動部５０２が、フォーカスレンズ駆動制御信号を光学系５０１に送信する。光学系駆動部５０２が、フォーカスレンズの相対位置を変えることで、ピント位置を変更する。

【0054】

図７は、本実施形態におけるピント位置と像倍率との関係を説明するための図である。図７の曲線７０１は、ピント位置が変化することで像倍率が変化する様子を示している。図７は、３枚の画像をそれぞれピント位置７０２、７０３、７０４で撮像する様子を示す。

【0055】

ステップＳ６０２では、切り出し領域決定部５０３が画像の切り出し領域を決定する。切り出し領域決定部５０３は、第１の信号処理部１０２から受け取った画像を撮像したときの像倍率をもとに、切り出し領域を決定する。たとえば、図７に示したピント位置７０２、７０３、７０４における像倍率７０５、７０６、７０７をαｎ（ｎ＝０、１、２）とする。以降の説明では、像倍率７０５をα０、像倍率７０６をα１、像倍率７０７をα２とする。切り出し領域選択部１０５が、像倍率αｎ（ｎ＝０、１、２）のときの、切り出し開始位置と切り出し画素数とを算出する。

【0056】

図８は、本実施形態における画像の切り出しを説明するための図である。画像８０１は像倍率α０で撮像された画像で、画像８０２は増倍率α１で撮像された画像で、画像８０３は像倍率α２で撮像された画像である。このように、像場率が増加するにつれ、被写体が映る領域が狭くなり、深度合成を行う際には、像倍率が最も高い画像（画角が最も狭い）を基準に合成していくことが望ましい。したがって、像倍率が最も高い画像以外の画像は、一部の画角は合成画像に用いられていない。切り出し領域選択部１０５は、合成画像に用いる画角のみ切り出す。切り出し領域選択部１０５は、ほかの画像ともっとも像倍率が高い画像信号との相対比率（像倍率比：βｎ）を算出し、それをもとに切り出し開始位置と切り出し画素数を決定する。本実施形態では、切り出し領域選択部１０５が下記の（式１）に基づいて算出する。

【0057】

【数1】

【0058】

切り出し領域選択部１０５が求めた像倍率比βｎをもとに切り出し開始位置と切り出し画素数を求める。本実施形態では、左上画素を原点としたゼロオリジンの直交座標系で表すこととする。また、水平方向をｘ座標、垂直方向をｙ座標として定義する。そうすると、切り出し開始位置のｘ座標は下記の（式２）で算出できる。

【0059】

【数2】

【0060】

切り出し開始位置のｙ座標は下記の（式３）で算出できる。

【0061】

【数3】

【0062】

なお、ｐｉｘｅｌＨとｐｉｘｅｌＶのそれぞれ、画像信号の有効領域の水平画素数と垂直画素数を表す。

【0063】

さらに、切り出し領域選択部１０５は、切り出し水平画素数ｐｉｘｅｌＨ’と切り出し垂直画素数ｐｉｘｅｌＶ’とを下記の（式４）および（式５）で算出する。

【0064】

【数4】

【0065】

図８の画像８０１、８０２、８０３に対して、切り出し領域選択部１０５が決定した切り出し領域は領域８０４、８０５、８０６である。なお、画像８０３は、像倍率が最大であるため、切り出し領域選択部１０５が決定した切り出し領域８０６と画像８０３と同じ大きさである。

【0066】

なお、図７に示したようなピント位置と像倍率との関係は、光学系駆動部５０２の内部にある不図示の記憶部で離散的なテーブルで保持してよい。または、第１の制御部１０３の内部にある不図示の記憶部で離散的なテーブルとして保持して送信するようにしてもよい。また、ピント位置と像倍率との関係は、多項式などで近似可能な場合、多項式の係数のみ予め不図示の記憶部に保持するようにしてもよい。

【0067】

ステップＳ６０３で、切り出し部５０４が、切り出し領域決定部５０３が決定した切り出し領域を切り出す。なお、後述する拡大の処理において、切り出し領域選択部１０５で決定した切り出し領域よりも外側の画素が必要な場合、切り出し部５０４が像倍率の最も低い画像信号から該当する信号を出力するように切り出すことで、画質を向上することも可能である。

【0068】

ステップＳ６０４で、拡大部５０５が拡大の処理を行う。拡大部５０５は、第１の信号処理部１０２から像倍率を受け取り、画像のサイズを所定の拡大率に従って増加させる。

【0069】

図９は、本実施形態における画像の拡大の処理を説明するための図である。画像９０１は像倍率α０で撮像された画像を拡大する様子を、画像９０２は像倍率α１で撮像された画像を拡大する様子を、画像９０３は像倍率α２で撮像された画像を拡大する様子を示したものである。画像９０１乃至９０３は、水平および垂直の画素数がそろっておらず、そのままでは合成処理できない。拡大部５０５は、各画像の像倍率比βｎをもとに拡大率γｎを下記の（式６）に従って算出し、拡大の処理を行う。

【0070】

【数5】

【0071】

なお、画像９０３は、像倍率が最も大きいので、拡大の処理を行わなくてもいい。

【0072】

なお、拡大を行うときの拡大率γｎは像倍率比βｎから算出する説明をしたが、ほかの算出方法として、たとえば各々の画像信号の水平画素数かまたは垂直画素数をもとにして、拡大率γｎを算出することもできる。

【0073】

ステップＳ２０６で、第１の実施形態と同様に、画像信号評価部１０４が、拡大部５０５から出力された画像に対して、コントラスト値を算出し、領域選択部１０５に送信する。

【0074】

なお、以上の説明では、拡大部５０５における拡大の処理によって各画像の被写体の大きさをそろえたが、本実施形態においては、縮小の処理をすることによって同様に被写体の大きさをそろえることでも、同様の効果を得ることができる。

【0075】

以上に説明したような処理より、以下の効果が得られる。撮像素子１０１と第１の信号処理部１０２とのデータの伝送レートが、第１の信号処理部１０２と第２の信号処理部１０８との間のデータの伝送レートより高い場合、以下のような処理ができる。像倍率に基づいて撮像素子１０１から得られる画像の画素数を減少させたのちに深度合成に必要な拡大処理を施して画像の被写体の像の大きさを合わせる。第１の信号処理部１０２は、深度合成の処理に用いるデータを選択し伝送することで、像倍率の変動による影響を抑えながら、第１の信号処理部１０２から第２の信号処理部１０８へ伝送するデータを抑制することができる。

【0076】

第２の実施形態によれば、第２の信号処理部に送信するデータの中、像倍率を考慮し、深度合成の画像の作成に必要でないデータを抑制することができ、より処理負荷が低減できる画像処理を行うことができる。

【0077】

（第３の実施形態）
第３の実施形態では、第１の実施形態、第２の実施形態と異なり、画像間の分割領域内に含まれる被写体のサイズのばらつきや評価結果のばらつきなどを低減させるための実施形態である。

【0078】

以下では、第３の実施形態について説明する。なお、第１の実施形態、第２の実施形態と同様な所について説明を省略する。

【0079】

図１０は、本実施形態におけるデジタルカメラのハードウェア構成を示すブロック図である。画像信号評価部１００１は、光学系駆動部５０２から送られた像倍率に基づいて、撮像素子１０１から得られた画像信号の評価範囲を変化させる。

【0080】

縮小部１００２は、第１の信号処理部１０２から送信された分割領域の画像に縮小の処理を行う。縮小の処理とは、画像信号の水平画素数および垂直画素数を所定の倍率で減少させる処理である。縮小部１００２から出力される画像信号の画素数は、入力された画像信号の画素数よりも少ない。

【0081】

図１１は、本実施形態における深度合成の処理を説明するためのフローチャートである。

【0082】

ステップＳ１１０１では、画像信号評価部１００１が画像信号の評価を行う。第１の実施形態と同様に、画像信号評価部１００１が、撮像素子１０１から得られた画像に対して、複数の領域に分割し、複数の領域ごとにコントラスト値を算出する。

【0083】

図１２は、本実施形態における領域の分割を説明するための図である。図１２では、画像１２０１に対して分割領域１２０２、１２０３を設定する様子を示している。第１の実施形態では、分割領域を互いに重ならないように説明したが、本実施形態では、分割領域１２０２、１２０３が重なっていることを示している。

【0084】

合成対象となる画像ごとに同じ範囲で分割領域を設定してしまうと、光学系５０１に起因した像倍率変動による像信号の倍率の変化によって、各分割領域の評価結果に誤差が生じてしまうことがある。そのため、本実施形態では、誤差を低減させるたに、像倍率の変動量に応じて重なり領域を持たせるように分割領域を設定することで、像倍率の変化に対する柔軟性を確保する。

【0085】

ステップＳ１１０２では、領域選択部１０５は、画像信号評価部１００１から受け取った評価結果をもとに、第２の信号処理部１０８に送信する画像信号の分割領域を選択するための領域選択情報をメモリ制御部１０７に送信する。領域選択部１０５は、各分割領域のコントラスト値に基づいて、領域の選択を行う。

【0086】

ステップ１１０３では、縮小部１００２が縮小の処理を行う。光学系駆動部５０２は、像倍率を第１の制御部１０３に送り、第１の制御部１０３が像倍率のもとに縮小率を算出し、第２の制御部１０９に送信する。第１の信号処理部１０２から出力された画像の分割領域を受け取った縮小部１００２は、第２の制御部１０９から縮小の処理を行うための縮小率を受け取り、画像信号に対して縮小の処理を行う。

【0087】

第１の制御部１０３が、下記の（式７）に基づいて、縮小率εｎを算出する。

【0088】

【数6】

【0089】

なお、以下のような方法で、第１の制御部１０３を経由せずに第２の制御部１０９が像倍率を得られる。領域選択部１０５は、領域選択情報とともに、画像信号評価部１００１から像倍率をメモリ制御部１０７へ送信する。第１の信号処理部１０２から第２の信号処理部１０８へ分割領域のデータを送信する際に、像倍率を付加して送信することで、縮小部１００２が像倍率を得られる。

【0090】

記憶部１１１は、縮小の処理の後の分割領域を、深度合成部１１０を経由して記憶する。本実施形態の以降の処理は第１、第２の実施形態と同様である。ただし、記憶部１１１から読み出した各分割領域に重なっている領域が含まれているので、記憶するとき適宜削除の処理が必要である。

【0091】

なお、以上の説明では、縮小部１００２における縮小の処理によって各画像の被写体の大きさをそろえたが、本実施形態においては、拡大の処理をすることによって同様に被写体の大きさをそろえることでも、同様の効果を得ることができる。

【0092】

以上に説明したような処理より、以下の効果が得られる。撮像素子１０１と第１の信号処理部１０２とのデータの伝送レートが、第１の信号処理部１０２と第２の信号処理部１０８との間のデータの伝送レートより高い場合、以下のような処理ができる。

【0093】

画像信号評価部１００１は、光学系駆動部５０２から得られる像倍率をもとに分割領域を変更することにより、光学系５０１を駆動することによって生じた像倍率変更の影響を抑えることができる。同時に、第１の信号処理部１０２から第２の信号処理部１０８へ伝送するデータを抑制することができる。

【0094】

なお、本実施形態では、画像信号評価部１００１が、光学系駆動部５０２から得られる像倍率に応じて、分割領域のサイズを変更するようにしてもよい。図１３は、本実施形態における像倍率に応じる分割領域の設定を説明するための図である。図１３は、３枚の画像１３０１、１３０２、１３０３に対して分割領域を設定している様子を示している。画像１３０１は像倍率α０で撮像された画像であり、画像１３０２は像倍率α１で撮像された画像であり、画像１３０３は像倍率α２で撮像された画像である。図１３に示した点線で区切られた領域が１つの分割領域を示しており、１つの分割領域の水平方向のサイズと垂直方向のサイズを、像倍率に応じて変更していることが示されている。画像１３０３の分割領域を水平４分割、垂直３分割に均等分割した時、像倍率が最も大きい画像１３０３の分割領域を基準にして、画像１３０１の分割領域の水平サイズを像倍率の比率に応じて小さくする。画像に含まれている被写体の像の大きさが変化しても、画像間で評価している領域が変化しないため、評価結果の信頼性を向上させることができる。

【0095】

第３の実施形態によれば、第２の信号処理部に送信するデータの中、画像間の評価のばらつきを考慮し、深度合成の画像の作成に必要でないデータを抑制することができ、より処理負荷が低減できる画像処理を行うことができる。

【0096】

（その他の実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。また、撮像された画像を、デジタルカメラ以外の処理装置に、以上に説明したような方法で処理装置を動作させてもよい。

【0097】

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0098】

１０１ 撮像素子
１０２ 第１の信号処理部
１０３ 第１の制御部
１０４ 画像信号評価部
１０５ 領域選択部
１０６ フレームメモリ
１０７ メモリ制御部
１０８ 第２の信号処理部
１０９ 第２の制御部
１１０ 深度合成部
１１１ 記憶部
５０１ 光学系
５０２ 光学系駆動部
５０３ 切り出し領域決定部
５０４ 切り出し部
５０５ 拡大部
１００１ 画像信号評価部
１００２ 縮小部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】