特許 6249752 画像処理装置、画像処理方法およびプログラム。

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6249752

(24)【登録日】2017年12月1日

(45)【発行日】2017年12月20日

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム。

(51)【国際特許分類】

   H04N 5/232 20060101AFI20171211BHJP

   G06T 5/50 20060101ALI20171211BHJP

【ＦＩ】

   H04N5/232 290

   G06T5/50

   H04N5/232 939

【請求項の数】21

【全頁数】20

(21)【出願番号】特願2013-257164(P2013-257164)

(22)【出願日】2013年12月12日

(65)【公開番号】特開2015-115818(P2015-115818A)

(43)【公開日】2015年6月22日

【審査請求日】2016年12月9日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100124442

【弁理士】

【氏名又は名称】黒岩 創吾

(72)【発明者】

【氏名】正木 淳也

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 特開２０１３−２４７５９０（ＪＰ，Ａ）

【文献】 特開２０１３−００９２７４（ＪＰ，Ａ）

【文献】 特開２００８−２５２７１３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ ５／５０

(57)【特許請求の範囲】

【請求項1】

複数の被写体を含む一のシーンに対応する画像を示す画像データを取得する第一の取得手段と、
前記複数の被写体それぞれについて、前記被写体の種類を示すオブジェクト情報を取得する第二の取得手段と、
前記オブジェクト情報に基づいて、前記複数の被写体を複数の組に分ける組分け手段と、
前記組分け手段によって分けられた組に基づいて、前記画像データが示す画像の合焦状態を変化させた複数のリフォーカス画像を、前記画像データから生成する第一の生成手段と、を備えることを特徴とする画像処理装置。

【請求項2】

前記画像データは、前記シーンを複数の視点から撮像して得られた複数の撮像画像を示すデータであり、
前記第一の生成手段は、前記複数の撮像画像を合成することで、前記複数のリフォーカス画像を生成することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記第一の生成手段は、同じ組に含まれる全ての被写体が被写界深度に収まるような画像を、前記組分け手段によって分けられた組ごとに生成することを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

複数の被写体を含む一のシーンに対応する画像を示す画像データを取得する第一の取得手段と、
前記複数の被写体それぞれのオブジェクト情報を取得する第二の取得手段と、
前記オブジェクト情報に基づいて、前記複数の被写体を複数の組に分ける組分け手段と、
前記組分け手段によって分けられた組に基づいて、前記画像データが示す画像の合焦状態を変化させた複数のリフォーカス画像を、前記画像データから生成する第一の生成手段と、を備え、
前記第一の生成手段は、前記シーンに含まれる各被写体に合焦した画像をそれぞれ生成し、
更に、前記各被写体に合焦した複数の画像のうちの、同じ組に対応する複数の画像が切り替わる動画像を、前記組分け手段によって分けられた組ごとに生成することを特徴とする画像処理装置。

【請求項5】

複数の被写体を含む一のシーンに対応する画像を示す画像データを取得する第一の取得手段と、
前記複数の被写体それぞれのオブジェクト情報を取得する第二の取得手段と、
前記オブジェクト情報に基づいて、前記複数の被写体を複数の組に分ける組分け手段と、
前記組分け手段によって分けられた組に基づいて、前記画像データが示す画像の合焦状態を変化させた複数のリフォーカス画像を、前記画像データから生成する第一の生成手段と、を備え、
前記第一の生成手段により生成された画像を並べた第一の表示画像を生成する第二の生成手段を更に備えることを特徴とする記載の画像処理装置。

【請求項6】

前記第一の表示画像に含まれる、前記複数の組のそれぞれに対応する画像は、前記複数の組のそれぞれに対応するリフォーカス画像であることを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記第一の表示画像に含まれる、前記複数の組のそれぞれに対応する画像は、前記複数の組のそれぞれに含まれる一の被写体に対応するリフォーカス画像が、同じ組に含まれる前記一の被写体とは異なる被写体に対応するリフォーカス画像と切り替わる動画像であることを特徴とする請求項５に記載の画像処理装置。

【請求項8】

ユーザ指示を入力する入力手段を更に備え、
前記ユーザ指示が入力されるタイミングと、前記動画像においてリフォーカス画像が切り替わるタイミングとに基づいて、リフォーカス画像の合焦位置を示す合焦パラメータを出力する合焦出力手段を更に備えることを特徴とする請求項７に記載の画像処理装置。

【請求項9】

前記第二の生成手段は、前記合焦パラメータが示す合焦位置を基準として、前記リフォーカス画像の被写界深度が変化する動画像を含む第二の表示画像を更に生成し、
前記第二の表示画像に基づいて入力されたユーザ指示のタイミングと、前記被写界深度が変化する動画像の、被写界深度の変化のタイミングとに基づいて、リフォーカス画像の被写界深度を示す深度パラメータを出力する深度出力手段を更に備えることを特徴とする請求項８に記載の画像処理装置。

【請求項10】

前記合焦パラメータおよび前記深度パラメータの両方に対応するリフォーカス画像を出力する画像出力手段を更に備えることを特徴とする請求項９に記載の画像処理装置。

【請求項11】

前記第二の生成手段は、前記複数の組のうちの、前記第一の表示画像に基づいてユーザが選択した組に含まれるそれぞれの被写体に対応する、前記第一の生成手段によって生成された画像を並べた第三の表示画像を更に生成することを特徴とする請求項５乃至７のいずれか一項に記載の画像処理装置。

【請求項12】

前記第一の表示画像に含まれる、前記複数の組のそれぞれに対応する画像は、前記複数の組のそれぞれに対応するリフォーカス画像であることを特徴とする請求項６に記載の画像処理装置。

【請求項13】

前記第二の生成手段は、前記第一の表示画像が、前記第一の表示画像に含まれるリフォーカス画像においてピントの合っている被写体を強調する表示を含むように、前記第一の表示画像を生成することを特徴とする請求項５乃至１２のいずれか一項に記載の画像処理装置。

【請求項14】

前記第二の生成手段によって生成された画像を表示する表示手段を更に備えることを特徴とする請求項５乃至１３のいずれか一項に記載の画像処理装置。

【請求項15】

前記オブジェクト情報は、前記画像における前記複数の被写体の位置を示す情報を含み、
前記組分け手段は、前記位置を示す情報に基づいて前記組分けを行うことを特徴とする請求項４また５に記載の画像処理装置。

【請求項16】

前記オブジェクト情報は、前記複数の被写体までの距離を示す情報を含み、
前記組分け手段は、前記距離を示す情報に基づいて前記組分けを行うことを特徴とする請求項４または５に記載の画像処理装置。

【請求項17】

前記オブジェクト情報は、前記複数の被写体のオブジェクト属性を示す情報を含み、
前記組分け手段は、前記オブジェクト属性を示す情報に基づいて前記組分けを行うことを特徴とする請求項４または５に記載の画像処理装置。

【請求項18】

複数の被写体を含む一のシーンに対応する画像を示す画像データを取得するステップと、
前記複数の被写体それぞれについて、前記被写体の種類を示すオブジェクト情報を取得するステップと、
前記オブジェクト情報に基づいて、前記複数の被写体を複数の組に分ける組分けステップと、前記組分けステップによって分けられた組に基づいて、前記画像データが示す画像の合焦状態を変化させた複数のリフォーカス画像を、前記画像データから生成するステップとを含むことを特徴とする画像処理方法。

【請求項19】

複数の被写体を含む一のシーンに対応する画像を示す画像データを取得するステップと、
前記複数の被写体それぞれのオブジェクト情報を取得するステップと、
前記オブジェクト情報に基づいて、前記複数の被写体を複数の組に分ける組分けステップと、
前記シーンに含まれる各被写体に合焦した複数のリフォーカス画像をそれぞれ生成し、
更に、前記各被写体に合焦した複数のリフォーカス画像のうちの、同じ組に対応する複数のリフォーカス画像が切り替わる動画像を、前記組分けステップによって分けられた組ごとに生成するステップとを含むことを特徴とする画像処理方法。

【請求項20】

複数の被写体を含む一のシーンに対応する画像を示す画像データを取得するステップと、
前記複数の被写体それぞれのオブジェクト情報を取得するステップと、
前記オブジェクト情報に基づいて、前記複数の被写体を複数の組に分ける組分けステップと、
前記組分けステップによって分けられた組に基づいて、前記画像データが示す画像の合焦状態を変化させた複数のリフォーカス画像を、前記画像データから生成するステップと、
生成された前記複数のリフォーカス画像を並べた第一の表示画像を生成するステップとを含むことを特徴とする画像処理方法。

【請求項21】

コンピュータを請求項１乃至１７のいずれか一項に記載の画像処理装置の各手段として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、合焦状態を調整した画像を生成する技術に関する。

【背景技術】

【0002】

撮像装置を用いて撮影した画像に画像処理を施し、画像の合焦状態を調整する技術が知られている。

【0003】

多眼カメラなどを用いて複数の視点から同一のシーンを撮像して得られた複数の画像をシフト合成することで、画像の撮影後にピント調整処理（リフォーカス処理）を行う技術がある（特許文献１）。特許文献１では、リフォーカス処理によって合焦させる位置などをユーザが設定することが記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１１−２２７９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載の技術では、リフォーカス処理において、複数の設定を比較して最終的な設定を決定する場合には、ユーザによる設定の負荷が高くなってしまうという課題があった。

【0006】

そこで本発明は、リフォーカス処理において、複数の設定に対応する合焦状態の把握を支援することを目的としている。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明の画像処理装置は、複数の被写体を含む一のシーンに対応する画像を示す画像データを取得する第一の取得手段と、前記複数の被写体それぞれについて、前記被写体の種類を示すオブジェクト情報を取得する第二の取得手段と、前記オブジェクト情報に基づいて、前記複数の被写体を複数の組に分ける組分け手段と、前記組分け手段によって分けられた組に基づいて、前記画像データが示す画像の合焦状態を変化させた複数のリフォーカス画像を、前記画像データから生成する第一の生成手段とを備える。

【発明の効果】

【0008】

リフォーカス処理において、複数の設定に対応する合焦状態をユーザが把握しやすくなる。

【図面の簡単な説明】

【0009】

【図1】画像処理装置の構成を示すブロック図。

【図2】第一の実施例における処理を示すフローチャート。

【図3】第一の実施例における表示画像の一例を示す図。

【図4】第一の実施例における被写体の組分けを説明する図。

【図5】第一の実施例における表示画像の一例を示す図。

【図6】第二の実施例における処理を示すフローチャート。

【図7】第二の実施例における動画像の一例を示す図。

【図8】第二の実施例における動画像の一例を示す図。

【図9】第二の実施例における表示画像の一例を示す図。

【図10】第三の実施例における処理を示すフローチャート。

【図11】第三の実施例における表示画像の一例を示す図。

【図12】第四の実施例における処理を示すフローチャート。

【図13】第四の実施例のける表示画像の一例を示す図。

【発明を実施するための形態】

【0010】

＜第一の実施例＞
本実施例では、多眼カメラによる撮像により複数の視点位置から取得された複数の画像を示す画像データを用いて、所望の合焦状態に調整された画像（リフォーカス画像）を得る。この際、撮影するシーンに含まれる被写体を、各被写体のオブジェクト情報に基づいて組分けし、その組分けに基づいてリフォーカス画像の候補を表示することで、複数のリフォーカス設定に対応する合焦状態をユーザが把握しやすくする。

【0011】

以下、本実施例について説明する。図１は、本実施例に適用される画像処理装置の構成を示すブロック図である。

【0012】

記憶部１０１は、本実施例の画像処理装置内で用いられる種々の情報を記憶する記憶部である。記憶部１０１は、多眼カメラにより取得された画像データや、画像処理装置で処理された画像データを記憶するＲＯＭと、後述の制御部１０３のワークエリアとして機能するＲＡＭを含んでいる。

【0013】

通信部１０２は、ネットワークを介して通信を行い、記憶部１０１に保存したデータをネットワーク上にアップロードしたり、ネットワーク上からデータをダウンロードする通信モジュールである。本実施例においては、有線接続によりネットワークと接続されているが、Ｗｉ−Ｆｉなどの無線接続を用いてもよい。

【0014】

制御部１０３は、画像処理装置全体の動作を統括するＣＰＵである。本実施例の画像処理装置は、記憶部１０１に格納されたプログラムを制御部１０３が実行することで、後述する種々の処理を実行する。

【0015】

操作部１０４は、ユーザが画像処理装置に様々な指示を入力するために操作を行う操作部である。本実施例では、表示部１０８に備えられたタッチパネルを操作部１０４として用いているが、マウスやキーボード、ジョイスティックやダイヤルなどの他のハードウェアを操作部１０４として用いてもよい。

【0016】

ＵＩ制御部１０５は、操作部１０４の操作によって入力されたユーザ指示を、命令信号に変換する処理回路である。

【0017】

表示画像生成部１０６は、表示部１０８に表示するための表示画像を生成する処理回路である。表示画像としては、記憶部１０１に記憶された撮像画像データや、リフォーカス演算部１０７によって生成されたリフォーカス画像データに、ＵＩ表示を付加したものなどが生成される。

【0018】

リフォーカス演算部１０７は、記憶部１０１に保存された画像データを用いて、合焦状態が調整されたリフォーカス画像を生成する処理回路である。本実施例において、リフォーカス画像は同一のシーンを複数の視点から撮像して得られた複数の画像をシフト合成することによって得られる。この時のシフト量は、カメラからピントを合わせる点までの距離と、各視点間の基線長によって決定される。ピントを合わせる１点までの距離に基づいて画像全体のシフト量を一律に決定すると、合焦位置からの距離に応じて自然なボケが付加された画像を得ることができる。一方、画像中の点ごとに距離に応じてシフト量を変化させると、複数の被写体に合焦した、被写界深度の深い画像を得ることができる。

【0019】

表示部１０８は、表示画像生成部１０６によって生成された表示画像を表示するディスプレイである。本実施例において、表示部１０８には、操作部１０４としてタッチパネルが重畳されている。

【0020】

画像解析部１０９は、被写体を組分けする際に必要となる、各被写体に対応するオブジェクト情報を、画像データを解析することで得る処理回路である。オブジェクト情報には、画像を撮像したカメラから各被写体までの距離を示す情報や、画像内で各被写体が占める画像領域を示す情報、各被写体のオブジェクト属性を示す情報などが含まれる。

【0021】

画像処理部１１０は、画像データに輝度補正や色補正などの補正処理を行う処理回路である。

【0022】

システムバス１１１は、画像処理装置の各構成部を相互に接続するインタフェースである。各構成部の間の画像データや命令信号のやり取りは、このシステムバス１１１を介して行われる。

【0023】

以上が本実施例における画像処理装置の構成である。以下、本実施例の画像処理装置にて行われる処理について、図２に示すフローチャートを参照して説明する。本実施例の画像処理装置は、記憶部１０１に記憶された図２のフローチャートに示すプログラムを、制御部１０３が実行することにより、図２のフローチャートに示す処理が行われる。

【0024】

まず、ステップＳ２０１では、ＵＩ制御部１０５が、操作部１０４の操作に基づいて、ユーザによる画像再生要求がなされたかどうかを判定する。ユーザによる画像再生要求がなされていないと判定された場合は、ユーザによる画像再生要求がなされるまで待つ。ユーザによる画像再生要求がなされたと判定された場合は、ステップＳ２０２に進む。

【0025】

ステップＳ２０２では、ＵＩ制御部１０５が、ステップＳ２０１で入力されたユーザ指示に基づいて、リフォーカス演算部１０７に画像再生要求を示す命令信号を出力する。

【0026】

ステップＳ２０３では、リフォーカス演算部１０７が、記憶部１０１に保存された画像データを読み込む。ここで読み込まれる画像データは、多眼カメラの撮像により得られた、同一のシーンを複数の視点から撮像した複数の画像を示す画像データである。画像データは記憶部１０１に保存されたもの以外に、通信部１０２を介してダウンロードしたものを読み込んでもよい。

【0027】

ステップＳ２０４では、リフォーカス演算部１０７が、読み込んだ画像データから、全ての被写体にピントが合ったパンフォーカス画像を生成し、表示画像生成部１０６に出力する。パンフォーカス画像とは、画像データに含まれる各視点の画像を、領域ごとにずらし量を変えてシフト合成した画像である。なお、必ずしもパンフォーカス画像を生成する必要はなく、画像データに含まれる複数の画像のうち、代表視点の画像をパンフォーカス画像としてもよい。

【0028】

ステップＳ２０５では、表示画像生成部１０６が、ステップＳ２０４で生成されたパンフォーカス画像に、ユーザ指示を促すためのＵＩ表示を付加した表示画像を、表示部１０８に出力する。図３にその表示の例を示す。画像３１０は、ステップＳ２０４で生成されたパンフォーカス画像である。画像３１０には、被写体として人物３０１および３０４、動物３０２、ビル３０３、木３０５および３０６、山３０７が含まれている。そして、画像３１０にはＵＩ表示３１１が付加されている。ＵＩ表示３１１はユーザによるグルーピングモード設定を促す表示である。

【0029】

グルーピングモードとは、画像３１０に含まれる被写体３０１〜３０７を組分けする場合の規則を定義する動作モードである。本実施例では、距離分割モード、エリア分割モード、オブジェクト分割モードの３つのグルーピングモードが設定可能である。なお、グルーピングモードは上記の三種類に限られず、他のグルーピングモードを設定可能としてもよい。

【0030】

距離分割モードでは、被写体３０１〜３０７が、画像を撮影したカメラからの距離に応じて組分けされる。また、エリア分割モードでは、被写体３０１〜３０７が、画像平面内の二次元位置に応じて組分けされる。また、オブジェクト分割モードでは、被写体３０１〜３０７が、オブジェクト属性に応じて組分けされる。本実施例では、ここでユーザにより選択されたグルーピングモードに従って組分けされた各被写体に最適なリフォーカス画像を生成して表示することで、合焦状態の調整処理を容易に行えるようにする。

【0031】

ステップＳ２０６では、ＵＩ制御部１０５が、操作部１０４の操作に基づいて、ユーザによるグルーピングモードの設定が行われたかどうかを判定する。ユーザによるグルーピングモードの設定が行われたと判定された場合、ステップＳ２０７に進む。ユーザによるグルーピングモードの設定が行われていないと判定された場合、ユーザによるグルーピングモードの設定が行われるまで待つ。なお、グルーピングモードの設定は、各グルーピングモードに対応するＵＩ表示を、画面上でタップすることにより行われる。本実施例においては、ユーザにより距離分割モードが設定されたとする。なお、ユーザによるモードの設定は必須ではなく、あらかじめいずれかのモードに定めておいてもよい。

【0032】

ステップＳ２０７では、ＵＩ制御部１０５が、ユーザにより設定されたグルーピングモードを示す信号を画像解析部１０９に出力し、画像解析部１０９が、グルーピングに必要なオブジェクト情報を得るための画像解析処理を行う。ここで行われる画像解析処理について説明する。

【0033】

まず、画像解析部１０９は、画像データに含まれる複数の視点に対応する画像間でブロックマッチングを行って、互いに対応する対応点を決定する。そして、各画像を撮影したカメラの焦点距離、各視点間の基線長、対応点の座標などに基づいて、三角法を用いて画像３１０中の各点に対応する距離情報を求める。

【0034】

次に、画像解析部１０９は、画像３１０中の各点について求められた距離情報と、画像３１０中のエッジや色情報などから、各被写体を認識し、各被写体に対応する代表距離を求める。ここで、代表距離としては、各被写体に対応する画像領域全点の距離の平均値を用いるが、例えば最頻値など、別の値を代表距離として用いてもよい。グルーピングモードとして距離分割モード又はエリア分割モードが選択された場合はここでステップＳ２０７の処理を終了するが、グルーピングモードとしてオブジェクト分割モードが選択された場合、ここで各被写体のオブジェクト属性の検出を行う。

【0035】

オブジェクト属性の検出は、各被写体の形状や色、パターンなどを記憶部１０１に記憶された辞書データと照合することによって行われる。なお、ここでオブジェクト属性とは被写体の種類を示す情報であり、本実施例においては、人物、動物、建物、木などが判別可能である。なお、距離情報の取得や被写体の認識の手法としてはここで挙げた方法に限られず、公知のものを広く用いることが可能である。

【0036】

ステップＳ２０８では、画像解析部１０９が、ステップＳ２０７での解析結果に基づいて、被写体３０１〜３０７を複数の組に分け、その組分け情報を含む解析結果をリフォーカス演算部１０７に出力する。本実施例では、グルーピングモードとして距離分割モードが選択されている。その場合の組分け方法を図４を用いて説明する。

【0037】

図４は、各被写体を、画像を撮影した多眼カメラ４０１からの距離に応じて奥行き方向に並べた図である。画像中の領域は、その距離範囲に応じて、Ａ、Ｂ、Ｃ、Ｄ、Ｅの５つに分割されている。ここで、各被写体は、それぞれが属する距離範囲に応じて組分けされる。本実施例では、距離範囲Ａに属する被写体が存在しないため、各被写体はＢ、Ｃ、Ｄ、Ｅの４つの組に分けられることになる。つまり、人物３０１および動物３０２はグループＢに、ビル３０３はグループＣに、人物３０４および木３０５はグループＤに、木３０６および山３０７はグループＥにそれぞれ組分けされる。

【0038】

本実施例において、距離範囲の設定は、各距離範囲に属する被写体の数が略一致するように行われるが、他の規則に従って距離範囲を設定してもよい。例えば、カメラからの距離に応じて一定の間隔で距離範囲を設定してもよいし、遠方に行くに従って距離範囲の間隔が大きくなるように設定してもよい。

【0039】

ステップＳ２０９では、リフォーカス演算部１０７が、画像解析部１０９から出力された解析結果に基づいて、各被写体の組に最適なリフォーカス画像を生成し、表示画像生成部１０６に出力する。本実施例では、リフォーカス演算部１０７が、同じ組に対応する被写体が全て被写界深度に入るような画像を、各組について生成する。

【0040】

ステップＳ２１０では、表示画像生成部１０６が、ステップＳ２０９で生成されたリフォーカス画像を組み込んだ表示画像を生成し、表示部１０８に出力する。また、この際、表示画像生成部１０６が、各画像においてピントがあっている被写体の輪郭を強調するような処理を行う。図５（ａ）にその表示例を示す。画像５０１はグループＢに、画像５０２はグループＣに、画像５０３はグループＤに、画像５０４はグループＥにそれぞれ対応する画像である。ここで生成される表示画像には、その他に、ピント位置強調の有無をユーザが切り替えることができるＵＩ表示５０５が付加されている。

【0041】

ここで行われるピント位置強調処理は被写体の輪郭を強調する処理に限られず、ピントがあっている被写体を矩形で囲むなど、ピントの合っている被写体が分かり易くなる表示であればよい。

【0042】

ステップＳ２１１では、ＵＩ制御部１０５が、操作部１０４の操作に基づいて、被写体の組の選択指示がユーザにより入力されたかどうかを判定する。被写体の組の選択指示がユーザにより入力されたと判定された場合、ステップＳ２１２に進む。被写体の組の選択指示がユーザにより入力されたと判定されない場合、被写体の組の選択指示がユーザにより入力されるまで待つ。なお、ここで、ユーザは表示部１０８に表示された各被写体の組に対応する画像のうち、ピントを合わせたい被写体が属する組の画像をタップすることで、被写体の組の選択指示を入力することが可能である。本実施例では、グループＢがユーザにより選択されたとする。

【0043】

ステップＳ２１２では、ＵＩ制御部１０５が、リフォーカス演算部１０７に選択された組を示す信号を出力し、リフォーカス演算部１０７が、その組に含まれる被写体が２つ以上であるかどうかを判定する。選択された組に含まれる被写体が２つ以上である場合、ステップＳ２１３に進む。選択された組に含まれる被写体が１つである場合、ステップＳ２１６に進む。

【0044】

ステップＳ２１３では、リフォーカス演算部１０７が、選択された組に含まれる各被写体にピントが合った画像を被写体ごとに生成し、表示画像生成部１０６に出力する。ここで、各被写体に対応するリフォーカス画像は、各被写体に対応するシフト量を画像全体に一律に設定してシフト合成を行った画像である。つまり、ピントを合わせる被写体以外の被写体については、ピント位置からの距離に応じて自然なぼけが付加されている。

【0045】

ステップＳ２１４では、表示画像生成部１０６が、ステップＳ２１３で生成されたリフォーカス画像を並べた表示画像を生成し、表示部１０８に出力する。その表示例を図５（ｂ）に示す。グループＢに属する人物３０１と動物３０２にそれぞれピントが合った画像が表示されていることが分かる。

【0046】

ステップＳ２１５では、ＵＩ制御部１０５が、操作部１０４の操作に基づいて、記憶部１０１に記憶する画像がユーザによって選択されたかどうかを判定する。記憶部１０１に記憶する画像がユーザによって選択されたと判定された場合、ステップＳ２１６に進む。記憶部１０１に記憶する画像がユーザによって選択されたと判定されない場合、ユーザの選択指示が入力されるまで待つ。

【0047】

ステップＳ２１６では、リフォーカス演算部１０７が、ステップＳ２１１又はステップＳ２１５で選択された画像を画像処理部１１０に出力し、画像処理部１１０が、入力された画像に輝度補正および色補正を行う。ここで行われる画像処理は、例えば解像度変換やデノイズ処理など、別の処理であってもよい。

【0048】

最後に、ステップＳ２１７では、画像処理部１１０が、記憶部１０１に補正処理済みの画像を出力し、記憶部１０１が入力された画像を記憶して処理を終了する。

【0049】

以上が本実施例の画像処理装置によって行われる処理である。上記の処理によると、複数の被写体がグルーピングモードに従って組分けされ、その組に対応するリフォーカス画像が生成および表示されるので、複数のリフォーカス設定に対応する合焦状態をユーザが把握しやすくなる
なお、本実施例において、リフォーカス演算部１０７は、複数の被写体を含むシーンを撮像して得られた撮像画像を示す画像データを取得する第一の取得手段として機能した。また、画像解析部１０９は、前記複数の被写体それぞれのオブジェクト情報を取得する第二の取得手段として機能した。画像解析部１０９は、前記オブジェクト情報に基づいて、前記複数の被写体を複数の組に分ける組分け手段としても機能した。また、画像解析部１０９は、前記組分け手段によって決定された組分けに基づいて、前記撮像画像の合焦状態を変化させた複数のリフォーカス画像を、前記画像データから生成する第一の生成手段としても機能した。また、表示画像生成部１０６は、前記第一の生成手段により生成された画像を並べた第一の表示画像を生成する第二の生成手段として機能した。

【0050】

＜第二の実施例＞
本実施例では、第一の実施例とは異なる方法で、リフォーカス画像の設定を行う場合について説明する。本実施例における画像処理装置の構成は第一の実施例におけるものと同じである。以下、本実施例における画像処理装置で行われる処理について、図６に示すフローチャートを参照して説明する。なお、本実施例の記憶部１０１には図６のフローチャートに示すプログラムが記憶されており、制御部１０３がそれを実行することで、以下の処理を実行する。

【0051】

ステップＳ２０１〜ステップＳ２０８までの処理は第一の実施例と同じであるため、説明を省略する。

【0052】

ステップＳ６０１では、リフォーカス演算部１０７が、画像３１０内に含まれる各被写体にピントが合ったリフォーカス画像をそれぞれ生成する。生成の方法は、第一の実施例のステップＳ２１３と同様である。そして、同じ組に属するリフォーカス画像同士が切り替わる動画像を、各組について生成する。図７にその例を示す。図７（ａ）はグループＢに属する被写体に、図７（ｂ）はグループＣに属する被写体に、図７（ｃ）はグループＤに属する被写体に、図７（ｄ）はグループＥに属する被写体にそれぞれピントが合った画像を示している。

【0053】

本実施例ではこれらの画像が切り替わる動画像が、各組に対応するリフォーカス画像として表示画像生成部１０６に出力される。例えば、グループＢに対応するリフォーカス画像としては、図７（ａ）に示す、人物３０１にピントが合った画像と動物３０２にピントがあった画像とが切り替わる動画像が出力される。この動画像に含まれる各画像はそれぞれ１秒ずつ表示され、その間の切り替えは０．５秒で行われる。もちろん各画像の表示時間はこれに限られず、ユーザが所望の画像を選択しやすいようにその他の時間を設定してもよい。

【0054】

ステップＳ６０２では、表示画像生成部１０６が、ステップＳ６０１で生成された動画像を組み込んだ表示画像を生成し、表示部１０８に出力する。本実施例で生成される表示画像は、基本的には図５に示す表示画像の、各グループに対応する画像がステップＳ６０１で生成された動画像に切り替わったものである。

【0055】

ステップＳ６０３では、ＵＩ制御部１０５が、操作部１０４の操作に基づいて、ピントを合わせる被写体の選択指示がユーザにより入力されたかどうかを判定する。

【0056】

本実施例において、ユーザは、表示部１０８に表示された動画像をタップすることで、タップ時に表示されている画像の合焦位置を、生成するリフォーカス画像の合焦位置として選択することができる。タップ時の表示が画像の切り替え表示であった場合は、切り替え前の画像の合焦位置が、生成するリフォーカス画像の合焦位置として選択される。なお、本実施例では、人物３０１が、ピントを合わせる被写体として選択されたとする。

【0057】

ピントを合わせる被写体の選択指示がユーザにより入力されたと判定された場合、ステップＳ６０５に進む。ピントを合わせる被写体の選択指示がユーザにより入力されていないと判定された場合は、ステップＳ６０４に進む。

【0058】

ステップＳ６０４では、制御部１０３が、記憶部１０１のＲＡＭに記憶された、表示部１０８で表示されている画像に対応する合焦位置を示す情報を更新する。初期状態では、記憶部１０１のＲＡＭには、各動画像の１枚目に表示される画像に対応する合焦位置を示す情報が記憶されている。

【0059】

ステップＳ６０５では、ＵＩ制御部１０５が、ユーザによる被写体の選択指示があったことを示す信号をリフォーカス演算部１０７に出力する。そして、リフォーカス演算部１０７が、ステップＳ６０３で選択された合焦位置を中心として、被写界深度が変化していく動画像を生成し、表示画像生成部１０６に出力する。この合焦位置は、記憶部１０１のＲＡＭに記憶されている合焦位置を示す情報を、リフォーカス演算部１０７が読み出すことによって行われる。図８に、その表示例を示す。図８（ａ）〜（ｇ）はそれぞれ、ピントを合わせる被写体として選択された人物３０１を中心として、被写界深度を変化させていった画像である。このステップでは、図８（ａ）〜（ｇ）に示す画像が切り替わるような動画像が生成され、表示画像生成部１０６に出力される。

【0060】

ステップＳ６０６では、表示画像生成部１０６が、ステップＳ６０５で生成された、被写界深度が変化する動画像を組み込んだ表示画像を生成し、表示部１０８に出力する。図９にその表示例を示す。このステップで生成された表示画像では、図５に示す表示画像でパンフォーカス画像が表示されていた位置に、ステップＳ６０５で生成された動画像９１０が表示される。また、画像９０１〜９０４の位置には、ステップＳ６０１で生成された各動画像が、ステップＳ６０３で合焦位置の選択が行われた時点で再生が停止された状態で表示されている。その他に、ＵＩ表示として、ＯＫボタン９０５および戻るボタン９０６が表示されている。本実施例では、被写界深度が変化する動画像９１０をタップすることで、生成されるリフォーカス画像の被写界深度も設定することができる。ＯＫボタン９０５はその設定を確定するために用いられ、戻るボタン９０６はその設定をキャンセルするために用いられる。

【0061】

ステップＳ６０７では、ＵＩ制御部１０５が、操作部１０４の操作に基づいて、ユーザにより被写界深度の設定指示が行われたかどうかを判定する。本実施例では、表示部１０８に時間に応じて被写界深度が変化する動画像が表示されており、ユーザはその動画像をタップすることで、タップ時に表示されていた画像の被写界深度を、生成するリフォーカス画像の被写界深度として設定することができる。ユーザにより被写界深度の設定指示が行われたと判定された場合は、ステップＳ６０９に進む。ユーザにより被写界深度の設定指示が行われたと判定されない場合は、ステップＳ６０８に進む。

【0062】

ステップＳ６０８では、制御部１０３が、記憶部１０１のＲＡＭに記憶された、表示部１０８で表示されている画像に対応する被写界深度を示す情報を更新する。初期状態では、動画像の１枚目に表示される画像に対応する被写界深度が記憶されている。

【0063】

ステップＳ６０９では、ＵＩ制御部１０５が、操作部１０４の操作に基づいて、戻るボタン９０６が押されたかどうかを判定する。戻るボタン９０６が押されたと判定された場合、ステップＳ６０３に戻って、ピントを合わせる被写体の選択を再び行う。戻るボタン９０６が押されたと判定されていない場合、ステップＳ６１０に進む。

【0064】

ステップＳ６１０では、ＵＩ制御部１０５が、操作部１０４の操作に基づいて、ＯＫボタン９０５が押されたかどうかを判定する。ＯＫボタン９０５が押されていないと判定された場合は、ステップＳ６０９に戻る。そして、ＯＫボタン９０５が押されたと判定された場合、ステップＳ６１１に進む。

【0065】

ステップＳ６１１では、ＵＩ制御部１０５が、被写界深度の設定が行われたことを示す信号をリフォーカス演算部１０７に出力する。そして、リフォーカス演算部１０７は、ＲＡＭに記憶された合焦位置と被写界深度に対応するリフォーカス画像を画像処理部１１０に出力し、画像処理部１１０がそのリフォーカス画像に対して補正処理を行う。

【0066】

ステップＳ６１２では、画像処理部１１０が補正済み画像を記憶部１０１に出力し、記憶部１０１が入力された画像を記憶する。

【0067】

以上が、本実施例における画像処理装置で行われる処理である。以上の処理によれば、より少ないステップにより、ユーザがリフォーカス画像のパラメータを設定することができる。

【0068】

なお、本実施例において、リフォーカス演算部１０７は、複数の被写体を含むシーンを撮像して得られた撮像画像を示す画像データを取得する第一の取得手段として機能した。また、画像解析部１０９は、前記複数の被写体それぞれのオブジェクト情報を取得する第二の取得手段として機能した。また、画像解析部１０９は、前記オブジェクト情報に基づいて、前記複数の被写体を複数の組に分ける組分け手段としても機能した。また、画像解析部１０９は、前記組分け手段によって決定された組分けに基づいて、前記撮像画像の合焦状態を変化させた複数のリフォーカス画像を、前記画像データから生成する第一の生成手段としても機能した。また、表示画像生成部１０６は、前記第一の生成手段により生成された画像を並べた第一の表示画像を生成する第二の生成手段として機能した。

【0069】

また、操作部１０４は、ユーザ指示を入力する入力手段として機能した。また、ＵＩ制御部１０５は、前記ユーザ指示が入力されるタイミングと、前記動画像においてリフォーカス画像が切り替わるタイミングとに基づいて、リフォーカス画像の合焦位置を示す合焦パラメータを出力する合焦出力手段として機能した。また、ＵＩ制御部１０５は、入力されたユーザ指示のタイミングと、被写界深度が変化する動画像の、被写界深度の変化のタイミングとに基づいて、リフォーカス画像の被写界深度を示す深度パラメータを出力する深度出力手段としても機能した。また、リフォーカス演算部１０７は、前記合焦パラメータおよび前記深度パラメータの両方に対応するリフォーカス画像を出力する画像出力手段としても機能した。

【0070】

＜第三の実施例＞
本実施例では、第一の実施例で言及したグルーピングモードの１つである、「エリア分割モード」について説明する。本実施例の画像処理装置の構成は、第一の実施例の画像処理装置の構成と同じである。以下、本実施例の画像処理装置で行われる処理について、図１０のフローチャートを参照して説明する。なお、本実施例の記憶部１０１には図１０のフローチャートに示すプログラムが記憶されており、制御部１０３がそれを実行することで、以下の処理を実行する。

【0071】

第一の実施例と同様の処理については、同じ符号を付し、説明を省略する。

【0072】

まず、ステップＳ２０１〜２０７の処理が行われ、ステップＳ１００１では、画像解析部１０９が、ステップＳ２０７で得られた解析結果に基づいて、撮影したシーンに含まれる被写体を複数の組に分け、その結果をリフォーカス演算部１０７に出力する。本実施例ではエリア分割モードが設定されているので、画像中でその被写体が存在する位置によって被写体の組分けを行う。本実施例においては画像を、画像の各辺の二等分線で分割された４つのエリアに分割し、画像の左上のエリアをエリアＡ、右上のエリアをエリアＢ、左下のエリアをエリアＣ、右下のエリアをエリアＤとする。そして各被写体は、画像中で各被写体が存在するエリアに応じてグループＡ〜Ｄに組分けされる。ビル３０３のようにその大部分が二つのエリアにまたがって存在する被写体がある場合には、両方のエリアに属するとして組分けを行う。

【0073】

ステップＳ２０９ではステップＳ１００１で決定された組分けに基づいてリフォーカス画像を生成する。

【0074】

そして、ステップＳ１００２では、ステップＳ２０９で生成されたリフォーカス画像に基づいて、表示画像を生成し、表示部１０８に出力する。本実施例では、更に、パンフォーカス画像３１０に、分割されたエリアの境界を示す表示を重畳する。図１１にその表示例を示す。パンフォーカス画像３１０は、境界１１０１および１１０２によって、４つのエリア１１０３〜１１０６に分割されている。エリア１１０３〜１１０６はそれぞれエリアＡ〜Ｄであり、画像１１０７〜１１１０は、グループＡ〜Ｄに対応するリフォーカス画像である。

【0075】

ステップＳ１００３では、ＵＩ制御部１０５が、操作部１０４の操作に基づいて、被写体の組の選択指示がユーザにより入力されたかどうかを判定する。被写体の組の選択指示がユーザにより入力されたと判定された場合、ステップＳ２１２に進む。被写体の組の選択指示がユーザにより入力されたと判定されない場合、ステップＳ１００４に進む。

【0076】

ステップＳ１００４では、ＵＩ制御部１０５が、操作部１０４の操作に基づいて、分割エリアの変更指示が入力されたかどうかを判定する。本実施例では、ユーザが境界１１０１および１１０２をドラッグして移動させることで、分割エリアの変更指示を入力することが可能である。ここで、分割エリアの指定は、境界１１０１および１１０２の移動だけでなく、所望の領域を円形に囲んだり、分割エリアの数を変更したり、様々な変形例を適用可能である。

【0077】

分割エリアの変更指示がユーザにより入力されたと判定された場合、ステップＳ１００５に進む。分割エリアの変更指示がユーザにより入力されたと判定されていない場合、ステップＳ１００３に戻る。

【0078】

ステップＳ１００５では、ＵＩ制御部１０５が、画像解析部１０９および表示画像生成部１０６に新たな分割エリアを示す信号を出力し、ステップＳ１００１に戻る。

【0079】

以上が本実施例の画像処理装置で行われる処理である。以上の処理によれば、画像に含まれる被写体の組分けを、被写体が画像中で存在する位置に応じて適切に行うことができるので、画像中の位置に応じて被写体の数に偏りがある場合なども、適切な組分けを行うことができる。

【0080】

＜第四の実施例＞
本実施例では、第一の実施例で言及したオブジェクト分割モードが選択された例と、リフォーカス画像の画角を変更可能とした例について説明する。本実施例の画像処理装置の構成は第一の実施例と同様であるので、説明を省略する。以下、本実施例の画像処理装置で行われる処理について、図１２のフローチャートを参照して説明する。なお、本実施例の記憶部１０１には図１２のフローチャートに示すプログラムが記憶されており、制御部１０３がそれを実行することで、以下の処理を実行する。第一の実施例と同様の処理については同じ符号を付し、説明を省略する。

【0081】

まず、ステップＳ２０１〜２０７の処理が行われ、ステップＳ１２０１では、画像解析部１０９が、ステップＳ２０７で得られた解析結果に基づいて、撮影したシーンに含まれる被写体を複数の組に分け、その結果をリフォーカス演算部１０７に出力する。

【0082】

本実施例では、リフォーカス画像の画角が変更可能であるので、このステップでは、記憶部１０１のＲＡＭに記憶された、リフォーカス画像の画角に更に基づいて被写体の組分けを行う。例えば、ユーザにより画角が小さく変更された場合は、その画角内に存在する被写体のみを組分けの対象とする。初期状態においては、画像データの最大の画角を示す情報が記憶されている。

【0083】

ステップＳ２０９ではステップＳ１２０１で行われた組分けに基づいてリフォーカス画像の生成を行い、表示画像生成部１０６に出力する。

【0084】

ステップＳ１２０２では、表示画像生成部１０６が、ステップＳ２０９で生成されたリフォーカス画像を用いて表示画像を生成し、表示部１０８に出力する。この時の表示画像は、記憶部１０１のＲＡＭに保存された画角を示す情報に基づいて生成される。図１３（ａ）および（ｂ）にその表示例を示す。図１３（ａ）は、初期状態の最大画角がリフォーカス画像の画角として選択されている場合の表示例である。本実施例において、画角の変更が可能であるため、画角の指定が可能である旨の表示が付加されている。また、本実施例ではオブジェクト分割モードが選択されているため、表示画像の下部には、オブジェクトの属性に応じて分割された被写体の組に対応する画像が表示されている。つまり、人物の被写体に対応する画像１３０１と、動物の被写体に対応する画像１３０２、人物と動物の両方の被写体に対応する画像１３０３、そしてビルおよび木に対応する画像１３０４が表示されている。

【0085】

図１３（ｂ）に、画角が小さく変更された場合の表示例を示す。パンフォーカス画像３１０では、ピンチイン操作により設定された画角に合うように、トリミングされて拡大表示されている。そして、画像１３０１〜１３０４も同様にトリミングおよび拡大が行われて表示される。

【0086】

ステップＳ１２０３では、ＵＩ制御部１０５が、操作部１０４の操作に基づいて、被写体の組の選択指示がユーザにより入力されたかどうかを判定する。被写体の組の選択指示がユーザにより入力されたと判定された場合、ステップＳ２１２に進む。被写体の組の選択指示がユーザにより入力されたと判定されない場合、ステップＳ１２０４に進む。

【0087】

ステップＳ１２０４では、ＵＩ制御部１０５が、操作部１０４の操作に基づいて、リフォーカス画像の画角の変更指示が入力されたかどうかを判定する。本実施例では、ユーザがパンフォーカス画像３１０上でピンチイン／ピンチアウト操作を行うことにより、リフォーカス画像の画角変更指示を入力することができる。

【0088】

画角の変更指示がユーザにより入力されたと判定された場合、ステップＳ１２０５に進む。画角の変更指示がユーザにより入力されたと判定されていない場合、ステップＳ１２０３に戻る。

【0089】

ステップＳ１２０５では、ＵＩ制御部１０５が、操作部１０４の操作に基づいて、記憶部１０１のＲＡＭに記憶された画角を示す情報を更新し、ステップＳ１２０１に戻る。

【0090】

ステップＳ２１５までの処理が終了し、記憶部１０１に記憶する画像として選択されたリフォーカス画像が画像処理部１１０に出力されたら、ステップＳ１２０６の処理を行う。

【0091】

ステップＳ１２０６の処理では、ステップＳ２１６での輝度補正と色補正の他に、記憶部１０１のＲＡＭに記憶された画角情報に基づいて、リフォーカス画像のトリミングおよび解像度変更を行い、それを記憶部１０１に出力する。

【0092】

以上が、本実施例の画像処理装置で行われる処理である。以上の処理によれば、リフォーカス画像の画角が変更された時に、その画角に含まれる被写体に応じて被写体の組分けが変更されるので、ユーザがより容易に所望の画像を選択できるようになる。例えば、本実施例ではオブジェクト分割モードを用いたが、距離分割モードを用いた場合には、より細かく被写体の組分けができるようになる。

【0093】

＜その他の実施形態＞
本発明の実施形態は、上記の実施例に限られるものではない。例えば、上記の実施例を組み合わせたものであってもよい。例えば、第一の実施例のステップＳ２０９で、被写界深度を調整した画像ではなく、第二の実施例のようにリフォーカス画像が切り替わる動画像を生成してもよい。また、第四の実施例において、オブジェクト属性の組分けの基準をユーザによって変更可能としてもよい。

【0094】

なお、上記の実施例では、複数の撮像部を備えた多眼カメラによって撮像された画像を示す画像データをもとにリフォーカス処理を行ったが、別の形態で撮像された画像を示す画像データを用いてもよい。例えば、それぞれが独立した複数のカメラによって撮像された画像を用いてもよい。また、１枚のセンサの出力から複数視点の画像を抽出できる、Ｐｌｅｎｏｐｔｉｃ撮像系を備えたカメラにより撮像された画像を示す画像データを用いてもよい。

【0095】

また、リフォーカス処理の方法は、複数の視点から撮像された画像のシフト合成に限られず、他の方法を用いてもよい。例えば、仮想的なセンサ位置や絞り系を想定し、その際の光線の光路を考慮して、各視点の画像の画素を抜き出して組み合わせることで、リフォーカス画像を生成してもよい。また、単一の視点から撮像された画像に、被写体の距離に基づいてボケフィルタを適用し、擬似的に被写界深度を小さくすることによってリフォーカス画像を生成してもよい。

【0096】

また、実施例は一つの画像処理装置に限られず上記実施例に示される画像処理装置の機能を、複数の画像処理装置で分担する画像処理システムであってもよい。例えば、画像解析処理とリフォーカス画像の生成処理をそれぞれ別の装置で行ってもよい。

【0097】

また、本発明の画像処理装置の構成は上記実施例に示したものに限られず、各ブロックの機能を複数のブロックに分けたり、複数のブロックの機能を持つブロックを含むような構成にしてもよい。また、上記実施例では、制御部１０３が、記憶部１０１に記憶されたプログラムを実行して各処理回路を動作させることで処理を行ったが、全ての処理を制御部１０３だけで行うようにしてもよい。また、制御部１０３を用いずに、全ての処理を１つの処理回路で行うようにしてもよい。

【0098】

また、上記実施例では、組分けされた被写体の組に対応する画像を並べて表示した表示画像に従って、ユーザが組の選択を行ったが、実施例はこれに限られない。すなわち、組分けした生成したリフォーカス画像をそれぞれファイルとして出力し、出力された各ファイルをユーザが後から確認する場合でも、ユーザによる設定の負荷が低減される。

【0099】

なお、本発明は例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。また、複数の機器から構成されるシステムに適用してもよいし、一つの機器からなる装置に適用してもよい。

【0100】

また、本発明は、上述した実施例の機能（例えば、上記のフローチャートにより示される工程）を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても実現できる。この場合、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が、コンピュータが読み取り可能に記憶媒体に格納されたプログラムコードを読み出し実行することにより、上述した実施例の機能を実現する。また、プログラムは、１つのコンピュータで実行させても、複数のコンピュータを連動させて実行させるようにしてもよい。

【符号の説明】

【0101】

１０１ 記憶部
１０２ 通信部
１０３ 制御部（ＣＰＵ）
１０４ 操作部
１０５ ＵＩ制御部
１０６ 表示画像生成部
１０７ リフォーカス演算部
１０８ 表示部
１０９ 画像解析部
１１０ 画像処理部
１１１ システムバス
３０１、３０４ 人物
３０２ 動物
３０３ ビル
３０５、３０６ 木
３０７ 山

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】