特開 2025-143848 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025143848

(43)【公開日】2025-10-02

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   H04N 23/60 20230101AFI20250925BHJP

   G06T 7/00 20170101ALI20250925BHJP

   G06T 7/11 20170101ALI20250925BHJP

   G06T 3/00 20240101ALI20250925BHJP

   H04N 5/262 20060101ALI20250925BHJP

【ＦＩ】

H04N23/60 500

G06T7/00 350B

G06T7/11

G06T3/00 775

H04N5/262

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2024043309

(22)【出願日】2024-03-19

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】形川 浩靖

(72)【発明者】

【氏名】本田 充輝

(72)【発明者】

【氏名】渡澤 尚子

【テーマコード（参考）】

5B057

5C023

5C122

5L096

【Ｆターム（参考）】

5B057BA02

5B057BA24

5B057CA08

5B057CA13

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CC01

5B057CE09

5B057DA08

5B057DB02

5B057DB09

5B057DC09

5C023AA06

5C023BA01

5C023CA03

5C122DA04

5C122EA59

5C122EA61

5C122FD03

5C122FH10

5C122FH11

5C122FH24

5C122FK41

5C122FL03

5C122GA01

5C122HA13

5C122HA35

5C122HB01

5C122HB05

5L096AA09

5L096CA02

5L096CA24

5L096DA01

5L096DA04

5L096FA02

5L096FA06

5L096FA32

5L096FA35

5L096FA66

5L096FA69

5L096GA51

5L096JA11

(57)【要約】

【課題】撮像画像から所望の領域を高精度に切り出すことを可能にする技術を提供する。
【解決手段】本発明の画像処理装置は、撮像画像から被写体領域を検出する検出手段と、前記撮像画像に対応する距離マップを取得する取得手段と、前記被写体領域、前記距離マップ、および前記撮像画像から領域を切り出す際に指定された位置に基づいて、前記撮像画像から切り出す領域である切り出し領域を決定する決定手段とを有することを特徴とする。
【選択図】図７

【特許請求の範囲】

【請求項1】

撮像画像から被写体領域を検出する検出手段と、
前記撮像画像に対応する距離マップを取得する取得手段と、
前記被写体領域、前記距離マップ、および前記撮像画像から領域を切り出す際に指定された位置に基づいて、前記撮像画像から切り出す領域である切り出し領域を決定する決定手段と
を有することを特徴とする画像処理装置。

【請求項2】

前記検出手段は、学習済みモデルを用いて前記被写体領域を検出する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記撮像画像を表示面に表示する第１のモードを設定した状態で前記表示面に対して所定のタッチ操作が行われたことに応答して、設定する動作モードを、前記第１のモードから、前記撮像画像から領域を切り出す第２のモードに切り替える設定手段
をさらに有する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記所定のタッチ操作は、ロングタップ、ダブルタップ、スワイプ、フリック、またはドラッグである
ことを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記決定手段は、
前記指定された位置およびその周辺を含む領域について前記距離マップが示す複数の距離に基づいて、前記距離マップを加工し、
前記被写体領域と加工後の距離マップとに基づいて、前記切り出し領域を決定する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項6】

前記決定手段は、前記複数の距離の平均値に基づいて、前記距離マップを加工する
ことを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記決定手段は、前記複数の距離のヒストグラムに基づいて、前記距離マップを加工する
ことを特徴とする請求項５に記載の画像処理装置。

【請求項8】

前記撮像画像から領域を切り出す際に、前記切り出し領域を識別可能に前記撮像画像を表示するように制御する制御手段
をさらに有する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項9】

前記決定手段は、
前記指定された位置が前記被写体領域に含まれる場合に、前記指定された位置に基づく距離範囲の距離が前記距離マップによって示された領域を含まない切り出し領域を決定し、
前記指定された位置が前記被写体領域に含まれない場合に、前記指定された位置に基づく距離範囲が前記距離マップによって示された領域を含む切り出し領域を決定する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項10】

前記決定手段は、
前記指定された位置が前記被写体領域に含まれる場合に、前記指定された位置に基づ
く距離範囲が前記距離マップによって示された領域を含まない第２の被写体領域を示すように前記距離マップを加工し、
前記指定された位置が前記被写体領域に含まれない場合に、前記指定された位置に基づく距離範囲が前記距離マップによって示された領域を含む第２の被写体領域を示すように前記距離マップを加工し、
前記被写体領域と前記第２の被写体領域とに基づいて、前記切り出し領域を決定することを特徴とする請求項１に記載の画像処理装置。

【請求項11】

前記決定手段は、
前記指定された位置が前記被写体領域に含まれる場合に、前記被写体領域と前記第２の被写体領域との両方に含まれる領域を、前記切り出し領域として決定し、
前記指定された位置が前記被写体領域に含まれない場合に、前記被写体領域と前記第２の被写体領域との少なくとも一方に含まれる領域を、前記切り出し領域として決定することを特徴とする請求項１０に記載の画像処理装置。

【請求項12】

撮像画像から被写体領域を検出する検出ステップと、
前記撮像画像に対応する距離マップを取得する取得ステップと、
前記被写体領域、前記距離マップ、および前記撮像画像から領域を切り出す際に指定された位置に基づいて、前記撮像画像から切り出す領域である切り出し領域を決定する決定ステップと
を有することを特徴とする画像処理方法。

【請求項13】

コンピュータを、請求項１～１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

【請求項14】

コンピュータを、請求項１～１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置に関し、特に撮像画像（撮像された画像）から領域を切り出す技術に関する。

【背景技術】

【0002】

撮像画像から被写体領域を切り出す技術が提案されている。非特許文献１には、撮像画像から被写体領域を切り出す学習済みモデルであるイメージマッティングが開示されている。また、撮像画像におけるデフォーカス量の分布に基づいて撮像画像から被写体領域を切り出す技術も提案されている。非特許文献２には、撮像画像から距離マップ（デフォーカス量の分布を示す二次元情報）を生成する学習済みモデルが開示されている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】“Deep image matting”, N.Xu, B.Price, S.Cohen, and T.Huang, Proc. IEEE Conference on CVPR, 2017

【非特許文献2】“Depth map prediction from a single image using a multi-scale deep network”,David Eigen, Christian Puhrsch, and Rob Fergus, NeurIPS,2014

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の方法では、所望の領域を高精度に切り出すことができない。例えば、イメージマッティングを使った方法では、人物およびその持ち物の領域を切り出すことをユーザが望んでいても、当該人物の領域のみが切り出され、当該持ち物の領域が切り出されないことがある。また、複数の人物のうちのいずれか（特定の人物）のみの領域を切り出すことをユーザが望んでいても、複数の人物の領域が切り出されることがある。距離マップを使った方法では、人物の髪の毛の領域または動物の毛の領域のように、背景に複雑に交じりあった領域は正確に切り出されない。

【0005】

本発明は、撮像画像から所望の領域を高精度に切り出すことを可能にする技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様は、撮像画像から被写体領域を検出する検出手段と、前記撮像画像に対応する距離マップを取得する取得手段と、前記被写体領域、前記距離マップ、および前記撮像画像から領域を切り出す際に指定された位置に基づいて、前記撮像画像から切り出す領域である切り出し領域を決定する決定手段とを有することを特徴とする画像処理装置である。

【0007】

本発明の第２の態様は、撮像画像から被写体領域を検出する検出ステップと、前記撮像画像に対応する距離マップを取得する取得ステップと、前記被写体領域、前記距離マップ、および前記撮像画像から領域を切り出す際に指定された位置に基づいて、前記撮像画像から切り出す領域である切り出し領域を決定する決定ステップとを有することを特徴とする画像処理方法である。

【0008】

本発明の第３の態様は、コンピュータを、上記画像処理装置の各手段として機能させるためのプログラムである。本発明の第４の態様は、コンピュータを、上記画像処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶
媒体である。

【発明の効果】

【0009】

本発明によれば、撮像画像から所望の領域を高精度に切り出すことが可能になる。

【図面の簡単な説明】

【0010】

【図1】実施例１に係る画像処理装置のブロック図である。

【図2】実施例１に係る領域検出部のブロック図である。

【図3】実施例１に係るイメージマッティングと距離マップの模式図である。

【図4】実施例１に係る距離マップの加工の模式図である。

【図5】実施例１に係る切り出し処理部のブロック図である。

【図6】実施例１に係る更新前の切り出し領域重畳画像の模式図である。

【図7】実施例１に係る切り出し処理のフローチャートである。

【図8】実施例１に係る距離マップの加工の模式図である。

【図9】実施例１に係る小値選択処理の模式図である。

【図10】実施例１に係る更新後の切り出し領域重畳画像の模式図である。

【図11】実施例２に係る領域検出部のブロック図である。

【図12】実施例２に係る小値選択処理の模式図である。

【発明を実施するための形態】

【0011】

＜実施例１＞
本発明の実施例１を説明する。図１は、実施例１に係る画像処理装置１０１の構成を示すブロック図である。画像処理装置１０１は、例えば、被写体の画像を撮像するスマートフォンまたはデジタルカメラといった撮像装置である。

【0012】

画像処理装置１０１は、光学系１０２、撮像部１０３、Ａ／Ｄ変換部１０４、画像処理部１０５、記憶部１０６、表示部１０７、制御部１０８、ＲＯＭ１０９、ＲＡＭ１１０、領域検出部１１１、および切り出し処理部１１２を有する。これらは、互いに通信を行えるようバスに接続されている。

【0013】

光学系１０２は、ズームレンズとフォーカスレンズを含むレンズ群であり、被写体像（被写体の光学像）を撮像部１０３に結像する。撮像部１０３は、例えばＣＣＤまたはＣＭＯＳセンサといった撮像センサであり、光学系１０２によって撮像部１０３に結像された被写体像（被写体の光学像）の光電変換を行う。そして、撮像部１０３は、光電変換によって得られたアナログ信号（被写体像を示すアナログ信号）をＡ／Ｄ変換部１０４に出力する。撮像部１０３における複数の撮像素子の配列は、例えば、ＲＧＢ（赤、緑、および青）のベイヤー配列である。Ａ／Ｄ変換部１０４は、入力されたアナログ画像信号をデジタル画像データに変換し、得られたデジタル画像データをＲＡＭ１１０に出力する。

【0014】

画像処理部１０５は、ＲＡＭ１１０に記録されている画像データに対して、ホワイトバランス調整、ノイズ低減、色補間（ディベイヤー）、およびガンマ処理といった様々な画像処理を適用する。画像処理部１０５は、画像処理後の画像として、メイン画像とサムネイル画像を得る（生成する）ことができる。サムネイル画像は、例えば、メイン画像の解像度をＶＧＡサイズに低減した画像である。

【0015】

記憶部１０６は、例えば画像処理装置１０１に対して着脱可能なメモリカードである。画像処理部１０５による画像処理後の画像は、ＲＡＭ１１０を介して記憶部１０６に、記録画像として記録される。

【0016】

表示部１０７は、タッチ操作を受け付け可能な表示部である。例えば、表示部１０７は
、液晶ディスプレイとタッチスクリーンを有する。タッチスクリーンは、指またはスタイラスペンといった操作体の接触を検出する。タッチスクリーンに対する操作体の接触を検出する方式として、例えば、静電容量方式または抵抗被膜方式が用いられる。画像処理装置１０１（制御部１０８）は、タッチスクリーンによって検出された接触の位置および時間に基づいて、タッチ操作の種別を判別する。タッチ操作は、操作体によってタッチスクリーンに対して行われる操作である。タッチ操作として、例えば、タッチ、リリース、タップ、ドラッグ、スワイプ、フリック、ピンチイン、またはピンチアウトが行われる。タッチ操作が行われると、画像処理装置１０１（制御部１０８）は、行われたタッチ操作に応じた処理（制御）を行う。液晶ディスプレイは、ＲＡＭ１１０または記憶部１０６に記録された画像を表示したり、液晶ディスプレイは、ユーザからの指示を受け付けるための操作ユーザインターフェースを表示したりする。

【0017】

例えば、ユーザは、表示部１０７に表示されている撮像画像（撮像された画像）における、切り出したい被写体をタッチする。そして、制御部１０８は、タッチ位置（タッチされた位置）に基づいて切り出し処理部１１２を制御することによって、タッチ位置の被写体領域（タッチされた被写体の領域）を切り出す。なお、タッチによって位置を指定する例を説明したが、位置の指定方法は特に限定されず、例えば、ユーザは、４方向キーを用いてカーソルを移動させることによって位置を指定してもよい。また、撮像画像は、画像処理部１０５による画像処理後の画像（メイン画像またはサムネイル画像）であってもよいし、画像処理部１０５による画像処理前の画像（Ａ／Ｄ変換部１０４から出力された画像）であってもよい。

【0018】

制御部１０８は、画像処理装置１０１の全体を制御する。例えば、制御部１０８はＣＰＵであり、プログラムをＲＯＭ１０９から読み出し、ＲＡＭ１１０に展開して実行することによって画像処理装置１０１の各部を制御する。ＲＯＭ１０９は、不揮発性メモリであり、画像処理装置１０１の各部の制御に必要なデータ（例えば、プログラムおよびパラメータ）を記憶する。ＲＡＭ１１０は、揮発性メモリであり、画像処理装置１０１の各部の制御に必要なデータを一時的に記憶する。

【0019】

領域検出部１１１は、撮像画像から切り出す領域である切り出し領域を決定し、切り出し領域を示す切り出しマップを出力する。

【0020】

切り出し処理部１１２は、領域検出部１１１から出力された切り出しマップを取得し、当該切り出しマップによって示された切り出し領域を撮像画像から切り出す。切り出し処理部１１２は、切り出し領域の輪郭線を撮像画像に重畳し、輪郭線が重畳された後の撮像画像を出力する。これによって、切り出し領域を識別可能に、撮像画像を表示することができる。なお、切り出し領域を識別可能にする方法は特に限定されない。例えば、切り出し領域の輪郭でなく全体を強調してもよい。

【0021】

図２は、領域検出部１１１の構成を示すブロック図である。領域検出部１１１は、イメージマッティング部２０１、測距部２０２、距離マップ加工部２０３、平均距離取得部２０４、および切り出しマップ生成部２０５を有する。

【0022】

イメージマッティング部２０１は、撮像画像から被写体領域を検出する。例えば、イメージマッティング部２０１は、非特許文献１に開示のイメージマッティング（学習済みモデル）を用いて被写体領域を検出する。イメージマッティングを用いることによって、人物の髪の毛の領域または動物の毛の領域のように、背景に複雑に交じりあった領域も正確に検出することができる。イメージマッティング部２０１は、検出した被写体領域を示すイメージマッティングマップを切り出しマップ生成部２０５に出力する。

【0023】

測距部２０２は、撮像画像に対応する距離マップ（撮像画像の各位置での被写体距離を示すマップ）を取得する。距離マップの取得方法は特に限定されず、例えば、非特許文献２に記載の方法のように学習済みモデルを用いて撮像画像から距離マップを取得してもよいし、位相差ＡＦを行うことによってデフォーカス量の分布を示し距離マップを取得してもよい。距離マップは、撮像画像のファイルにメタデータとして予め含まれていてもよく、当該メタデータから取得してもよい。撮像画像とは別に、当該撮像画像に関連付けられた距離マップが予め保存されており、当該保存された距離マップを取得してもよい。距離マップは、外部機器から取得してもよい。

【0024】

図３（Ａ）は、イメージマッティング部２０１によって得られたイメージマッティングマップの模式図であり、図３（Ｂ）は、測距部２０２によって得られた距離マップの模式図である。図３（Ａ），３（Ｂ）は、画像処理装置１０１（撮像装置）からの距離が異なる３人が並んだ撮像画像から得られた（生成された）マップを示す。例えば、イメージマッティングマップとして、検出された被写体領域が明るく（検出された被写体領域の信号レベルが高く）且つ残りの領域が暗い（残りの領域の信号レベルが低い）画像が生成される。そして、距離マップとして、被写体距離が短いほど明るく（被写体距離が短いほど信号レベルが高く）且つ被写体距離が長いほど暗い（被写体距離が長いほど信号レベルが低い）画像が生成される。実施例１では、距離マップにおいて明るさ（信号レベル）が閾値以上の領域が、距離マップが示す被写体領域であるとする。

【0025】

測距部２０２は、取得した距離マップを、距離マップ加工部２０３と平均距離取得部２０４に出力する。平均距離取得部２０４は、測距部２０２によって得られた距離マップを用いて、ユーザのタッチ領域について当該距離マップが示す複数の被写体距離の平均値（平均距離）を取得する。タッチ領域は、ユーザによって指定（タッチ）された位置およびその周辺を含む領域であり、ユーザによってタッチされた領域と解釈してもよい。距離マップ加工部２０３は、平均距離取得部２０４によって得られた平均距離に基づいて、測距部２０２によって得られた距離マップを加工する。距離マップ加工部２０３は、加工後の距離マップを切り出しマップ生成部２０５に出力する。

【0026】

図４（Ａ）～４（Ｃ）を用いて、距離マップ加工部２０３と平均距離取得部２０４の動作例を説明する。

【0027】

図４（Ｂ）は、測距部２０２によって得られた距離マップの模式図である。図４（Ｂ）の距離マップでは、人物の顔の領域４０２の被写体距離が長く（領域４０２の明るさ（信号レベル）低く）、領域４０２は被写体領域として示されていない。ユーザが領域４０２にタッチすると、平均距離取得部２０４は、領域４０２について図４（Ｂ）の距離マップが示す複数の被写体距離の平均値（平均距離）を取得する。

【0028】

距離マップ加工部２０３は、平均距離取得部２０４によって得られた平均距離に基づいて、図４（Ａ）のゲイン関数４０１を生成する。ゲイン関数４０１は、被写体距離と、被写体距離のゲイン値（被写体距離に乗算する係数）との対応関係を示す。ゲイン関数４０１の代わりに、被写体距離とゲイン値の対応関係を示すテーブルが生成されてもよい。図４（Ａ）の横軸は被写体距離を示し、図４（Ａ）の縦軸はゲイン値を示す。ｔ１からｔ３への被写体距離の増加に伴いゲイン値は０から２に線形に増加し、ｔ３からｔ４への被写体距離の増加に伴いゲイン値は２から０に線形に減少する。被写体距離ｔ３は、平均距離取得部２０４によって得られた平均距離であり、被写体距離ｔ１，ｔ４は、被写体距離ｔ３に基づいて決定される。被写体距離ｔ２は、図４（Ｂ）の領域４０３の被写体距離である。

【0029】

距離マップ加工部２０３は、生成したゲイン関数を用いたゲイン処理によって、測距部
２０２から出力された距離マップを加工する。ゲイン処理では、各位置の被写体距離に、当該被写体距離に対応するゲイン値が乗算される。図４（Ｃ）は、図４（Ａ）のゲイン関数を用いて図４（Ｂ）の距離マップを加工した後の距離マップの模式図である。図４（Ａ）のゲイン関数を用いることによって、図４（Ｂ）の領域４０２の明るさ（信号レベル）が高められる。その結果、図４（Ｃ）の距離マップでは、図４（Ｂ）の領域４０２に対応する領域４０４が、被写体領域として示される。図４（Ｂ）の距離マップでは、領域４０２の明るさ（信号レベル）は領域４０３の明るさ（信号レベル）よりも低い。これに対し、図４（Ｃ）の距離マップでは、図４（Ｂ）の領域４０２に対応する領域４０４の明るさ（信号レベル）は、図４（Ｂ）の領域４０３に対応する領域４０５の明るさ（信号レベル）よりも高い。

【0030】

このように、タッチ領域における複数の被写体距離に基づいて距離マップが加工される。なお、タッチ領域における複数の被写体距離の平均値を含む距離範囲のゲイン値が大きいゲイン関数を決定する例を説明したが、タッチ領域における複数の被写体距離の平均値を含む距離範囲のゲイン値が小さいゲイン関数を決定してもよい（詳細は後述する）。また、タッチ領域における複数の被写体距離の平均値を用いる例を説明したが、距離マップの加工方法はこれに限られない。タッチ領域における複数の被写体距離の最大値と最小値に基づいて、距離マップを加工してもよい。例えば、タッチ領域における複数の被写体距離の最大値と最小値を取得し、最大値から最小値までの距離範囲のゲイン値が大きい（または小さい）ゲイン関数を決定してもよい。タッチ領域における複数の被写体距離のヒストグラムに基づいて、距離マップを加工してもよい。例えば、タッチ領域のヒストグラムに類似したヒストグラムの領域で大きい（または小さい）ゲイン値を用いて、距離マップを加工してもよい。また、ゲイン処理とは異なる処理によって距離マップを加工してもよい。加工後の距離マップは、各位置の信号レベルが被写体領域か否かを示す２値（１ｂｉｔの値）のマップであってもよい。

【0031】

切り出しマップ生成部２０５は、イメージマッティング部２０１から出力されたイメージマッティングマップと、距離マップ加工部２０３から出力された距離マップとを合成する合成処理によって、切り出しマップを生成する。合成処理では、例えば、２つのマップの大値選択処理、小値選択処理、加算処理、減算処理、乗算処理、および除算処理が選択的に行われる。合成処理では、距離マップの信号レベル（画素値）と閾値の比較結果に基づいて、イメージマッティングマップまたは距離マップの信号レベルが、切り出しマップの信号レベルとして選択されてもよい。例えば、距離マップの信号レベルが閾値未満の場合に、イメージマッティングマップの信号レベルが切り出しマップの信号レベルとして選択されてもよい。そして、距離マップの信号レベルが閾値以上の場合に、距離マップの信号レベルが切り出しマップの信号レベルとして選択されてもよい。

【0032】

図５は、切り出し処理部１１２の構成を示すブロック図である。切り出し処理部１１２は、切り出し部５０１と切り出し領域重畳部５０２を有する。

【0033】

切り出し部５０１は、切り出しマップによって示された切り出し領域を撮像画像から切り出す。例えば、切り出し部５０１は、切り出しマップの信号レベルが閾値以上の領域の画素値が撮像画像と同じであり且つ切り出しマップの信号レベルが閾値以上の領域の画素値が所定値（例えば黒の画素値）である画像を、切り出し画像として生成して出力する。

【0034】

切り出し領域重畳部５０２は、切り出しマップによって示された切り出し領域の輪郭線を検出して撮像画像に重畳し、輪郭線が重畳された後の撮像画像（切り出し領域重畳画像）を出力する。輪郭線の検出方法は特に限定されず、既知の方法が使用され得る。

【0035】

図６は、切り出し領域重畳画像の模式図である。図６では、画像処理装置１０１（撮像
装置）からの距離が異なる３人が並んだ撮像画像に、切り出し領域の輪郭線が重畳されている。図６では、３人の領域が切り出し領域として決定されており、切り出し領域の輪郭線として、３人を囲むグレーの輪郭線が重畳されている。切り出し領域の輪郭線を撮像画像に重畳して表示することによって、ユーザに切り出し領域を知らせることができる。なお、輪郭線の色は特に限定されない。

【0036】

図７は、画像処理装置１０１で行われる切り出し処理のフローチャートである。図７の切り出し処理は、制御部１０８が、ＲＯＭ１０９に格納されたプログラムをＲＡＭ１１０に展開して実行することによって実現される。例えば、ユーザによって所定の画像編集アプリケーションの実行が指示されると、図７の切り出し処理が開始する。

【0037】

ステップＳ７０１では、制御部１０８は、記憶部１０６に格納されている複数の撮像画像から、ユーザによって指定された撮像画像を選択し、選択した撮像画像を表示部１０７に表示する。このとき、画像処理装置１０１には、撮像画像を表示面に表示する動作モードである画像表示モードが設定されている。

【0038】

ステップＳ７０２では、制御部１０８は、表示部１０７（タッチスクリーン）に対してロングタップが行われたことに応答して、設定する動作モードを、画像表示モードから、撮像画像から領域を切り出す動作モードである切り出しモードに切り替える。そして、制御部１０８は、領域検出部１１１を制御して切り出し領域を決定し、切り出し領域重畳部５０２を制御して切り出し領域の輪郭線を撮像画像に重畳し、表示する画像を切り出し領域重畳画像に切り替える。

【0039】

イメージマッティングでは、１つの被写体の領域を高精度に決定することができる。そのため、ステップＳ７０２では、イメージマッティング部２０１のみを用いて切り出し領域を決定するとする。つまり、イメージマッティング部２０１によって検出された被写体領域が、切り出し領域として決定されるとする。

【0040】

なお、切り出しモードを設定するための所定のタッチ操作はロングタップに限られない。例えば、ダブルタップ、スワイプ、フリック、またはドラッグであってもよい。ロングタップは、表示面を第１の時間よりも長くタッチして離すタッチ操作であり、ダブルタップは、タップ（表示面を第１の時間よりも短くタッチして離すタッチ操作）を行った後、第２の時間が経過する前に再びタップを行うタッチ操作である。スワイプは表示面をなぞるタッチ操作であり、フリックは表示面をはじくタッチ操作であり、ドラッグは表示面の１点を第３の時間よりも長くタッチした後にタッチ位置を移動させるタッチ操作である。

【0041】

ユーザは、切り出し領域重畳画像を見て、望んだ領域が切り出し領域として決定されているか否かを確認し、確認結果を画像処理装置１０１に入力する。ステップＳ７０３では、制御部１０８は、ユーザからの入力に基づいて、ユーザの望んだ領域が切り出し領域として決定されているか否かを判定する。ユーザの望んだ領域が切り出し領域として決定されている場合はステップＳ７１２に進み、ユーザの望んだ領域が切り出し領域として決定されていない場合はステップＳ７０４に進む。

【0042】

ユーザの望んだ領域が切り出し領域として決定されていない場合に、ユーザは、修正したい箇所をタッチ（指定）する。ステップＳ７０４では、制御部１０８は、修正したい箇所のタッチ（指定）を受け付ける。修正したい箇所とは、切り出し領域に加えたい箇所、または切り出し領域から除きたい箇所である。図６の切り出し領域重畳画像が表示され、ユーザが真ん中の人物のみを切り出したい場合には、ユーザは、一番手前の人物と一番奥の人物とにタッチする。

【0043】

ステップＳ７０５では、制御部１０８は、平均距離取得部２０４を制御して、ユーザのタッチ領域について距離マップが示す複数の被写体距離の平均値（平均距離）を取得する。このとき、測距部２０２によって既に距離マップが得られているとする。

【0044】

ステップＳ７０６では、制御部１０８は、ユーザによって指定された位置（修正したい箇所）が現在の切り出し領域（イメージマッティング部２０１によって検出された被写体領域）に含まれているか否かを判定する。指定された位置が現在の切り出し領域に含まれていない場合はステップＳ７０７に進み、指定された位置が現在の切り出し領域に含まれている場合はステップＳ７０９に進む。詳細は後述するが、ステップＳ７０７に進んだ場合は、指定された位置に基づく距離領域を含む切り出し領域が決定される。指定された位置に基づく距離領域は、指定された位置に基づく距離範囲の被写体距離が加工前の距離マップによって示された領域である。つまり、指定された位置の被写体の領域が、切り出し領域に加えられる。ステップＳ７０９に進んだ場合は、指定された位置に基づく距離領域を含まない切り出し領域が決定される。つまり、指定された位置の被写体の領域が、切り出し領域から除かれる。

【0045】

ステップＳ７０７では、制御部１０８は、距離マップ加工部２０３を制御して、ユーザによって指定された位置（修正したい箇所）に基づく距離領域を含む被写体領域を示すように当該距離マップを加工する。上述したように、指定された位置に基づく距離領域は、指定された位置に基づく距離範囲の被写体距離が加工前の距離マップによって示された領域である。例えば、図４（Ａ）に示すように、タッチ領域における複数の被写体距離の平均値を含む距離範囲のゲイン値が大きいゲイン関数が決定され、当該ゲイン関数を用いて距離マップが加工される。

【0046】

ステップＳ７０８では、制御部１０８は、切り出しマップ生成部２０５を制御して、切り出し領域を更新する。切り出し領域の更新に伴い、表示する切り出し領域重畳画像も更新される。制御部１０８は、現在の切り出し領域（イメージマッティング部２０１によって検出された被写体領域）と、加工後の距離マップが示す被写体領域とに基づいて、更新後の切り出し領域を決定する。例えば、制御部１０８は、現在の切り出し領域と、加工後の距離マップが示す被写体領域との少なくとも一方に含まれる領域を、更新後の切り出し領域として決定する。そのような更新後の切り出し領域は、例えば、現在の切り出しマップ（イメージマッティングマップ）の信号レベルと、加工後の距離マップの信号レベルとのうちの大きい方を選択する大値選択処理によって決定することができる。

【0047】

ステップＳ７０９では、制御部１０８は、距離マップ加工部２０３を制御して、ユーザによって指定された位置（修正したい箇所）に基づく距離領域を含まない被写体領域を示すように当該距離マップを加工する。上述したように、指定された位置に基づく距離領域は、指定された位置に基づく距離範囲の被写体距離が加工前の距離マップによって示された領域である。例えば、図８（Ａ）に示すように、タッチ領域における複数の被写体距離の平均値を含む距離範囲のゲイン値が小さいゲイン関数が決定され、当該ゲイン関数を用いて距離マップが加工される。

【0048】

図８（Ａ）はゲイン関数の模式図であり、図８（Ｂ）は加工前の距離マップの模式図であり、図８（Ｃ）は加工後の距離マップの模式図である。図６の切り出し領域重畳画像が表示された状態で、ユーザは、真ん中の人物のみを切り出すために、図８（Ｂ）の領域８０２，８０３（一番奥と一番手前の人物）にタッチしたとする。図８（Ａ）のゲイン関数８０１では、被写体距離ｔ１を含む距離範囲と被写体距離ｔ３を含む距離範囲とでゲイン値が０であり、それらの距離範囲の間でゲイン値が２である。被写体距離ｔ１は、図８（Ｂ）の領域８０２の被写体距離であり、被写体距離ｔ３は、図８（Ｂ）の領域８０３の被写体距離である。被写体距離ｔ２は、真ん中の人物の被写体距離である。図８（Ａ）のゲ
イン関数を用いて図８（Ｂ）の距離マップを加工することによって、真ん中の人物の領域のみを示す図８（Ｃ）の距離マップを得ることができる。

【0049】

ステップＳ７０９では、制御部１０８は、切り出しマップ生成部２０５を制御して、切り出し領域を更新する。切り出し領域の更新に伴い、表示する切り出し領域重畳画像も更新される。制御部１０８は、現在の切り出し領域（イメージマッティング部２０１によって検出された被写体領域）と、加工後の距離マップが示す被写体領域とに基づいて、更新後の切り出し領域を決定する。例えば、制御部１０８は、現在の切り出し領域と、加工後の距離マップが示す被写体領域との両方に含まれる領域を、更新後の切り出し領域として決定する。そのような更新後の切り出し領域は、例えば、現在の切り出しマップ（イメージマッティングマップ）の信号レベルと、加工後の距離マップの信号レベルとのうちの小さい方を選択する小値選択処理によって決定することができる。

【0050】

図９は、イメージマッティングマップと加工後の距離マップとの小値選択処理を示す模式図である。イメージマッティングマップは３人全員の領域で値が大きく、加工後の距離マップでは真ん中の人物の領域でのみ値が大きい。この場合は、小値選択処理によって、真ん中の人物の領域でのみ値が大きい切り出しマップが得られる。

【0051】

図１０は、更新後の切り出し領域重畳画像の模式図である。真ん中の人物の領域のみを示す切り出しマップに更新されたことによって、図１０の切り出し領域重畳画像では、真ん中の人物の領域のみを示す輪郭線が示されている。

【0052】

ステップＳ７１１では、制御部１０８は、ユーザからの入力に基づいて、ユーザの望んだ領域が切り出し領域として決定されているか否かを判定する。ユーザの望んだ領域が切り出し領域として決定されている場合はステップＳ７１１に進み、ユーザの望んだ領域が切り出し領域として決定されていない場合はステップＳ７０４に進む。

【0053】

ステップＳ７１２では、制御部１０８は、ユーザからの指示（例えばコピー指示）に従って、切り出し領域の切り出しを行う。

【0054】

以上説明したように、実施例１によれば、イメージマッティングマップ、距離マップ、および撮像画像から領域を切り出す際に指定された位置に基づいて、切り出し領域を決定することによって、撮像画像から所望の領域を高精度に切り出すことが可能になる。

【0055】

＜実施例２＞
本発明の実施例２を説明する。なお、以下では、実施例１と同じ点（例えば実施例１と同じ構成および処理）についての説明は省略し、実施例１と異なる点について説明する。実施例１では、イメージマッティングによって被写体領域を検出するとした。実施例２では、イメージマッティングとは異なる方法で被写体領域を検出する。

【0056】

図１１は、実施例２に係る領域検出部１１１の構成を示すブロック図である。実施例２に係る領域検出部１１１は、実施例１のイメージマッティング部２０１の代わりに、被写体検出部１１００を有する。

【0057】

被写体検出部１１００は、撮像画像から被写体領域を検出する。例えば、被写体検出部１１００は、人物の顔領域と人体領域を検出し、それらを包含する矩形領域を被写体領域として決定する。顔領域と人体領域の検出方法は特に限定されず、例えば、既知の顔検出処理によって顔領域が検出されてもよい。顔に関する情報（例えば、肌の色情報、目と鼻と口といった顔器官の情報）を用いて顔領域が検出されてもよい。被写体検出部１１００は、ニューラルネットに代表される学習アルゴリズムを用いて顔領域を検出する識別器で
あってもよい。人体領域も、同様に既知の人体検出処理によって検出されてよい。被写体検出部１１００は、検出した被写体領域を示す被写体検出マップを切り出しマップ生成部２０５に出力する。

【0058】

図１２は、被写体検出マップと加工後の距離マップとの小値選択処理を示す模式図である。被写体検出マップは３人をそれぞれ包含する３つの矩形領域で値が大きく、加工後の距離マップでは真ん中の人物の領域でのみ値が大きい。この場合は、小値選択処理によって、真ん中の人物の領域でのみ値が大きい切り出しマップ、つまり実施例１（図９）と同様の切り出しマップが得られる。

【0059】

以上説明したように、イメージマッティングとは異なる方法で矩形の被写体領域を検出する実施例２の構成であっても、実施例１と同様に、撮像画像から所望の領域を高精度に切り出すことが可能になる。

【0060】

なお、上述の各種制御は１つのハードウェア（例えばプロセッサーまたは回路）が行ってもよいし、そうでなくてもよい。複数のハードウェア（例えば、複数のプロセッサー、複数の回路、または１つ以上のプロセッサーと１つ以上の回路の組み合わせ）が処理を分担することで、装置全体の制御を行ってもよい。

【0061】

また、上記プロセッサーは、広義のプロセッサーであり、汎用のプロセッサーと専用のプロセッサーを含む。汎用のプロセッサーは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などである。専用のプロセッサーは、例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）などである。プログラマブル論理デバイスは、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＣＰＬＤ（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）などである。

【0062】

また、本発明の実施形態を詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

【0063】

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0064】

本実施形態の開示は、以下の構成、方法、プログラム、および媒体を含む。
（構成１）
撮像画像から被写体領域を検出する検出手段と、
前記撮像画像に対応する距離マップを取得する取得手段と、
前記被写体領域、前記距離マップ、および前記撮像画像から領域を切り出す際に指定された位置に基づいて、前記撮像画像から切り出す領域である切り出し領域を決定する決定手段と
を有することを特徴とする画像処理装置。
（構成２）
前記検出手段は、学習済みモデルを用いて前記被写体領域を検出する
ことを特徴とする構成１に記載の画像処理装置。
（構成３）
前記撮像画像を表示面に表示する第１のモードを設定した状態で前記表示面に対して所定のタッチ操作が行われたことに応答して、設定する動作モードを、前記第１のモードから、前記撮像画像から領域を切り出す第２のモードに切り替える設定手段
をさらに有する
ことを特徴とする構成１または２に記載の画像処理装置。
（構成４）
前記所定のタッチ操作は、ロングタップ、ダブルタップ、スワイプ、フリック、またはドラッグである
ことを特徴とする構成３に記載の画像処理装置。
（構成５）
前記決定手段は、
前記指定された位置およびその周辺を含む領域について前記距離マップが示す複数の距離に基づいて、前記距離マップを加工し、
前記被写体領域と加工後の距離マップとに基づいて、前記切り出し領域を決定する
ことを特徴とする構成１～４のいずれかに記載の画像処理装置。
（構成６）
前記決定手段は、前記複数の距離の平均値に基づいて、前記距離マップを加工する
ことを特徴とする構成５に記載の画像処理装置。
（構成７）
前記決定手段は、前記複数の距離のヒストグラムに基づいて、前記距離マップを加工する
ことを特徴とする構成５に記載の画像処理装置。
（構成８）
前記撮像画像から領域を切り出す際に、前記切り出し領域を識別可能に前記撮像画像を表示するように制御する制御手段
をさらに有する
ことを特徴とする構成１～７のいずれかに記載の画像処理装置。
（構成９）
前記決定手段は、
前記指定された位置が前記被写体領域に含まれる場合に、前記指定された位置に基づく距離範囲の距離が前記距離マップによって示された領域を含まない切り出し領域を決定し、
前記指定された位置が前記被写体領域に含まれない場合に、前記指定された位置に基づく距離範囲が前記距離マップによって示された領域を含む切り出し領域を決定する
ことを特徴とする構成１～８のいずれかに記載の画像処理装置。
（構成１０）
前記決定手段は、
前記指定された位置が前記被写体領域に含まれる場合に、前記指定された位置に基づく距離範囲が前記距離マップによって示された領域を含まない第２の被写体領域を示すように前記距離マップを加工し、
前記指定された位置が前記被写体領域に含まれない場合に、前記指定された位置に基づく距離範囲が前記距離マップによって示された領域を含む第２の被写体領域を示すように前記距離マップを加工し、
前記被写体領域と前記第２の被写体領域とに基づいて、前記切り出し領域を決定することを特徴とする構成１～９のいずれかに記載の画像処理装置。
（構成１１）
前記決定手段は、
前記指定された位置が前記被写体領域に含まれる場合に、前記被写体領域と前記第２の被写体領域との両方に含まれる領域を、前記切り出し領域として決定し、
前記指定された位置が前記被写体領域に含まれない場合に、前記被写体領域と前記第２の被写体領域との少なくとも一方に含まれる領域を、前記切り出し領域として決定することを特徴とする構成１０に記載の画像処理装置。
（方法）
撮像画像から被写体領域を検出する検出ステップと、
前記撮像画像に対応する距離マップを取得する取得ステップと、
前記被写体領域、前記距離マップ、および前記撮像画像から領域を切り出す際に指定された位置に基づいて、前記撮像画像から切り出す領域である切り出し領域を決定する決定ステップと
を有することを特徴とする画像処理方法。
（プログラム）
コンピュータを、構成１～１１のいずれかに記載の画像処理装置の各手段として機能させるためのプログラム。
（媒体）
コンピュータを、構成１～１１のいずれかに記載の画像処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

【符号の説明】

【0065】

１０１：画像処理装置 １０８：制御部 １１１：領域検出部
２０１：イメージマッティング部 ２０２：測距部
２０３：距離マップ加工部 ２０４：平均距離取得部
２０５：切り出しマップ生成部
１１００：被写体検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】