特許第6863284号(P6863284)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニーグループ株式会社の特許一覧
特許6863284検出装置、検出方法、検出プログラムおよび撮像装置
<>
  • 特許6863284-検出装置、検出方法、検出プログラムおよび撮像装置 図000003
  • 特許6863284-検出装置、検出方法、検出プログラムおよび撮像装置 図000004
  • 特許6863284-検出装置、検出方法、検出プログラムおよび撮像装置 図000005
  • 特許6863284-検出装置、検出方法、検出プログラムおよび撮像装置 図000006
  • 特許6863284-検出装置、検出方法、検出プログラムおよび撮像装置 図000007
  • 特許6863284-検出装置、検出方法、検出プログラムおよび撮像装置 図000008
  • 特許6863284-検出装置、検出方法、検出プログラムおよび撮像装置 図000009
  • 特許6863284-検出装置、検出方法、検出プログラムおよび撮像装置 図000010
  • 特許6863284-検出装置、検出方法、検出プログラムおよび撮像装置 図000011
  • 特許6863284-検出装置、検出方法、検出プログラムおよび撮像装置 図000012
  • 特許6863284-検出装置、検出方法、検出プログラムおよび撮像装置 図000013
  • 特許6863284-検出装置、検出方法、検出プログラムおよび撮像装置 図000014
  • 特許6863284-検出装置、検出方法、検出プログラムおよび撮像装置 図000015
  • 特許6863284-検出装置、検出方法、検出プログラムおよび撮像装置 図000016
  • 特許6863284-検出装置、検出方法、検出プログラムおよび撮像装置 図000017
  • 特許6863284-検出装置、検出方法、検出プログラムおよび撮像装置 図000018
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6863284
(24)【登録日】2021年4月5日
(45)【発行日】2021年4月21日
(54)【発明の名称】検出装置、検出方法、検出プログラムおよび撮像装置
(51)【国際特許分類】
   G02B 7/28 20210101AFI20210412BHJP
   G03B 13/36 20210101ALI20210412BHJP
   G03B 17/18 20210101ALI20210412BHJP
   H04N 5/232 20060101ALI20210412BHJP
   G02B 7/34 20210101ALI20210412BHJP
【FI】
   G02B7/28 N
   G03B13/36
   G03B17/18 Z
   H04N5/232 127
   H04N5/232 945
   G02B7/34
【請求項の数】20
【全頁数】21
(21)【出願番号】特願2017-537193(P2017-537193)
(86)(22)【出願日】2016年6月27日
(86)【国際出願番号】JP2016003087
(87)【国際公開番号】WO2017037978
(87)【国際公開日】20170309
【審査請求日】2019年5月9日
(31)【優先権主張番号】特願2015-171165(P2015-171165)
(32)【優先日】2015年8月31日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100082762
【弁理士】
【氏名又は名称】杉浦 正知
(74)【代理人】
【識別番号】100123973
【弁理士】
【氏名又は名称】杉浦 拓真
(72)【発明者】
【氏名】孫 楽公
(72)【発明者】
【氏名】稲葉 靖二郎
【審査官】 登丸 久寿
(56)【参考文献】
【文献】 特開2013−037246(JP,A)
【文献】 特開2013−242408(JP,A)
【文献】 国際公開第2015/141081(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G02B 7/28
G02B 7/34
G03B 13/36
G03B 17/18
H04N 5/232
(57)【特許請求の範囲】
【請求項1】
画像中の被写体に対応した被写体領域ごとの値である、前記画像に対して設定される複数のフォーカスエリアのデフォーカス情報の値に基づいて、距離が異なる複数の被写体が前記フォーカスエリア内に存在する度合いを算出し、前記度合いに基づいて前記複数のフォーカスエリアから有効フォーカスエリアを検出する検出器
を備える検出装置。
【請求項2】
前記フォーカスエリアの前記被写体領域ごとの深さ情報に基づいて前記有効フォーカスエリアを検出する
請求項に記載の検出装置
【請求項3】
前記深さ情報はデフォーカス情報に基づいて計算される
請求項に記載の検出装置
【請求項4】
前記有効フォーカスエリアとは、前記複数のフォーカスエリアのうち、距離が異なる複数の被写体が存在しないフォーカスエリアである
請求項1から3のいずれかに記載の検出装置。
【請求項5】
前記有効フォーカスエリアとは、前記複数のフォーカスエリアのうち、距離が異なる複数の被写体が混在する度合いが所定の閾値以下であるフォーカスエリアである
請求項に記載の検出装置。
【請求項6】
距離が異なる複数の被写体が前記フォーカスエリア内に存在する度合いに基づいて、前記フォーカスエリアを分類する
請求項に記載の検出装置。
【請求項7】
前記有効フォーカスエリア以外のフォーカスエリアを非有効フォーカスエリアと中間フォーカスエリアとに分類する
請求項に記載の検出装置。
【請求項8】
前記有効フォーカスエリアを示す情報を外部に出力する
請求項1から7のいずれかに記載の検出装置。
【請求項9】
前記有効フォーカスエリア、前記非有効フォーカスエリアおよび前記中間フォーカスエリアを示す情報を外部に出力する
請求項に記載の検出装置。
【請求項10】
前記有効フォーカスエリアのみが撮像装置におけるオートフォーカスに用いられる
請求項に記載の検出装置。
【請求項11】
前記有効フォーカスエリア、前記非有効フォーカスエリアおよび前記中間フォーカスエリアの検出結果に基づいて、表示部における表示制御を行なう
請求項7、9、10のいずれかに記載の検出装置。
【請求項12】
前記検出結果に応じて、前記表示部における前記フォーカスエリアの表示を変化させる
請求項11に記載の検出装置。
【請求項13】
前記表示部における前記フォーカスエリアのフレームの表示色の透明度を変化させる
請求項11または12に記載の検出装置。
【請求項14】
前記表示部に表示される画像中における被写体に対応した複数の領域のうち、合焦している領域の表示を変化させる
請求項11から13のいずれかに記載の検出装置。
【請求項15】
前記表示部に表示される前記画像中における前記被写体に対応した複数の領域のうち、合焦している領域の色を変化させる
請求項14に記載の検出装置。
【請求項16】
前記表示部にモニタリング画像と、前記フォーカスエリアにおけるデフォーカス情報の前記被写体領域ごとの値を示す情報を表示する
請求項11から15のいずれかに記載の検出装置。
【請求項17】
合焦した前記被写体領域と他の被写体領域とにおいて、前記フォーカスエリアにおけるデフォーカス情報の被写体領域ごとの値が略同等である場合、合焦している前記被写体領域と前記他の被写体領域とを同一の態様で表示する
請求項11から16のいずれかに記載の検出装置。
【請求項18】
画像中の被写体に対応した被写体領域ごとの値である、前記画像に対して設定される複数のフォーカスエリアのデフォーカス情報の値に基づいて、距離が異なる複数の被写体が前記フォーカスエリア内に存在する度合いを算出し、前記度合いに基づいて前記複数のフォーカスエリアから有効フォーカスエリアを検出する
検出方法。
【請求項19】
画像中の被写体に対応した被写体領域ごとの値である、前記画像に対して設定される複数のフォーカスエリアのデフォーカス情報の値に基づいて、距離が異なる複数の被写体が前記フォーカスエリア内に存在する度合いを算出し、前記度合いに基づいて前記複数のフォーカスエリアから有効フォーカスエリアを検出する
検出方法をコンピュータに実行させる検出プログラム。
【請求項20】
画像を撮像する撮像素子と、
前記撮像素子により撮像される前記画像中の被写体に対応した被写体領域ごとの値である、前記画像に対して設定される複数のフォーカスエリアのデフォーカス情報の値に基づいて、距離が異なる複数の被写体が前記フォーカスエリア内に存在する度合いを算出し、前記度合いに基づいて前記複数のフォーカスエリアから有効フォーカスエリアを検出する検出器を備える
撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、検出装置、検出方法、検出プログラムおよび撮像装置に関する。
【背景技術】
【0002】
デジタルカメラなどの撮像装置においては、例えば位相差検出方式によるオートフォーカス用の複数のAF(Auto Focus)エリアを備え、各AFエリアで被写体に合焦しているかを検出することができるものがある(特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2014−202875号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、AFエリア内に例えば、距離が異なる複数の被写体が存在する場合、そのAFエリアにおいてはユーザが所望する被写体ではない被写体に合焦してしまう、またはそれら複数の被写体の略中間の位置に合焦してしまい、ユーザが所望する被写体に合焦しないという問題がある。そのような距離が異なる複数の被写体が存在するAFエリアは、オートフォーカスなどにおいて有効なAFエリアであるとはいえない。
【0005】
本技術はこのような問題点に鑑みなされたものであり、複数のAFエリアの中から有効なAFエリアを検出することができる検出装置、検出方法、検出プログラムおよび撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決するために、第1の技術は、画像中の被写体に対応した被写体領域ごとの値である、画像に対して設定される複数のフォーカスエリアのデフォーカス情報の値に基づいて、距離が異なる複数の被写体がフォーカスエリア内に存在する度合いを算出し、度合いに基づいて複数のフォーカスエリアから有効フォーカスエリアを検出する検出器を備える検出装置である。
【0007】
また、第2の技術は、画像中の被写体に対応した被写体領域ごとの値である、画像に対して設定される複数のフォーカスエリアのデフォーカス情報の値に基づいて、距離が異なる複数の被写体がフォーカスエリア内に存在する度合いを算出し、度合いに基づいて複数のフォーカスエリアから有効フォーカスエリアを検出する検出方法である。
【0008】
また、第3の技術は、画像中の被写体に対応した被写体領域ごとの値である、画像に対して設定される複数のフォーカスエリアのデフォーカス情報の値に基づいて、距離が異なる複数の被写体がフォーカスエリア内に存在する度合いを算出し、度合いに基づいて複数のフォーカスエリアから有効フォーカスエリアを検出する検出方法をコンピュータに実行させる検出プログラムである。
【0009】
さらに、第4の技術は、画像を撮像する撮像素子と、撮像素子により撮像される画像中の被写体に対応した被写体領域ごとの値である、画像に対して設定される複数のフォーカスエリアのデフォーカス情報の値に基づいて、距離が異なる複数の被写体がフォーカスエリア内に存在する度合いを算出し、度合いに基づいて複数のフォーカスエリアから有効フォーカスエリアを検出する検出器を備える撮像装置である。
【発明の効果】
【0010】
本技術によれば、複数のフォーカスエリアの中から有効なフォーカスエリアを検出することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、明細書中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【0011】
図1】検出装置の構成を示すブロック図である。
図2】有効フォーカスエリアの説明図である。
図3】撮像装置の構成を示すブロック図である。
図4】検出処理の流れを示すフローチャートである。
図5図5A乃至図5Eは、被写体領域検出処理の説明図である。
図6図6Aは、処理対象となる画像を示す図であり、図6Bは画像から検出された被写体領域を示す図である。
図7】深さ情報生成処理の説明図である。
図8】フォーカスエリア検出処理の説明図である。
図9】フォーカスエリア検出処理の説明図である。
図10】フォーカスエリア検出情報を用いたオートフォーカス処理の流れを示すフローチャートである。
図11図11Aおよび図11Bは、遠近混在度と重みの関係を示すグラフである。
図12】表示制御部を備える検出装置の構成を示すブロック図である。
図13図13Aは表示態様の比較例であり、図13Bはフォーカスエリア検出情報を利用した表示態様の第1の例である。
図14図14Aおよび図14Bは表示態様の比較例であり、図14Cおよび図14Dはフォーカスエリア検出情報を利用した表示態様の第2の例である。
図15図15Aは表示態様の比較例であり、図15Bはフォーカスエリア検出情報を利用した表示態様の第3の例である。
図16図16Aは表示態様の比較例であり、図16Bはフォーカスエリア検出情報を利用した表示態様の第4の例である。
【発明を実施するための形態】
【0012】
以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
<1.実施の形態>
[1−1.検出装置の構成]
[1−2.撮像装置の構成]
[1−3.検出処理]
[1−4.フォーカスエリア検出情報の利用]
[1−5.表示処理]
<2.変形例>
【0013】
<1.実施の形態>
[1−1.検出装置の構成]
まず、図1を参照して、本技術に係る検出装置100の構成について説明する。図1は検出装置100の構成を示すブロック図である。
【0014】
検出装置100は、被写体領域検出部101、検波部102、深さ情報生成部103、フォーカスエリア検出器104から構成されている。
【0015】
被写体領域検出部101は、入力画像中における被写体に対応した領域(以下、被写体領域と称する。)を検出する。被写体領域の検出の詳細については後述する。検出された被写体領域を示す情報(以下、被写体領域情報と称する。)は深さ情報生成部103およびフォーカスエリア検出器104に供給される。入力画像は、例えば、検出装置100が搭載される撮像装置200の撮影により取得された画像である。
【0016】
検波部102は、入力画像に対するオートフォーカス用の検波範囲である各フォーカスエリアにおける被写体への合焦の状態(合焦の程度)を検出して、全てのフォーカスエリアにおける、焦点からのずれ量を表すデフォーカス情報を取得する。または、撮像装置が備えるAFセンサによって得られるフォーカスエリアごとの位相差検出信号に基づいて、複数のフォーカスエリア全てにおける、焦点からのずれ量を表すデフォーカス情報を算出する。フォーカスエリアごとのデフォーカス情報は深さ情報生成部103およびフォーカスエリア検出器104に供給される。また、検波部102からはフォーカスエリア検出器104に対して、全てのフォーカスエリアの位置およびサイズを示す情報(以下、フォーカスエリア位置情報と称する。)が供給される。
【0017】
深さ情報生成部103は、被写体領域情報とデフォーカス情報とに基づいて、入力画像中におけるデフォーカス情報の被写体領域ごとの値である深さ情報を生成する。深さ情報の詳細については後述する。生成された深さ情報はフォーカスエリア検出器104に供給される。
【0018】
フォーカスエリア検出器104は、被写体領域情報、深さ情報およびフォーカスエリア位置情報に基づいて、全てのフォーカスエリアの中から、距離が異なる複数の被写体が存在しないフォーカスエリア(以下、有効フォーカスエリアと称する。)を検出する。検出された有効フォーカスエリアを示すフォーカスエリア検出情報は外部に出力される。フォーカスエリア検出器104は、特許請求の範囲における検出器に相当するものである。
【0019】
検出装置100は、複数存在するフォーカスエリアの中から、距離が異なる複数の被写体が存在しないフォーカスエリアを有効フォーカスエリアとして検出するものである。図2の例においては、モニタリング画像上に破線のフレームで示されるように多数のフォーカスエリアが配置されている。その多数のフォーカスエリアの中の1つであるフォーカスエリアL内においては、近い側に位置する人物の顔の一部である被写体Mと、遠い側に位置する背景である被写体Nという2つの距離が異なる被写体が存在している。よって、このフォーカスエリアLは有効フォーカスエリアではない非有効フォーカスエリアとなる。検出装置100はこのような非有効フォーカスエリア以外を有効フォーカスエリアとして検出する。検出した有効フォーカスエリアなどを示す情報はフォーカスエリア検出情報として外部、例えば検出装置100が搭載された撮像装置に供給される。なお、「距離が異なる複数の被写体」における「距離」とは、検出装置100としての機能を備え、撮影を行なう撮像装置200のAFセンサ、撮像装置200の筐体の特定の位置、撮像装置200のレンズ、撮影者、いずれからの距離であってもよい。
【0020】
以上のようにして検出装置100が構成されている。検出装置100は、例えば撮像装置において用いられる。
【0021】
検出装置100は、プログラムで構成され、そのプログラムは、予め撮像装置内にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らインストールするようにしてもよい。そのプログラムを撮像装置の制御部が実行することにより制御部が検出装置100として機能する。なお、検出装置100は、プログラムによって実現されるのみでなく、その機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。
【0022】
[1−2.撮像装置の構成]
次に、実施の形態に係る検出装置100の機能を備える撮像装置200の構成について説明する。図3は、撮像装置200の構成を示すブロック図である。
【0023】
撮像装置200は、制御部201、光学撮像系202、レンズ駆動ドライバ203、撮像素子204、前処理部205、画像信号処理部206、画像メモリ207、記憶部208、入力部209、表示部210を備えて構成されている。
【0024】
制御部201は、CPU(Central Processing Unit)、RAM(Random Access Memory)およびROM(Read Only Memory)などから構成されている。ROMには、CPUにより読み込まれ動作されるプログラムなどが記憶されている。RAMは、CPUのワークメモリとして用いられる。CPUは、ROMに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置200全体の制御を行う。また、制御部201は、所定のプログラムを実行することにより検出装置100、AF制御部211として機能する。
【0025】
光学撮像系202は、被写体からの光を撮像素子204に集光するための撮影レンズ、撮影レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などから構成されている。これらは制御部201からの制御およびレンズ駆動ドライバ203の制御に基づいて駆動される。光学撮像系202を介して得られた被写体の光画像は、撮像デバイスとしての撮像素子204上に結像される。
【0026】
レンズ駆動ドライバ203は、例えばマイコンなどにより構成され、制御部201の制御に従い、光学撮像系202の駆動機構、シャッタ機構、アイリス機構などの動作を制御する。これにより、露光時間(シャッタースピード)の調整、絞り値(F値)などの調整がなされる。
【0027】
撮像素子204は、被写体からの入射光を光電変換して電荷量に変換し、アナログ撮像信号として出力する。撮像素子204から出力されるアナログ撮像信号は前処理部205に出力される。撮像素子204としては、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などが用いられる。なお、撮像素子204がAFセンサの機能を備えているという構成でもよい。
【0028】
前処理部205は、撮像素子204から出力された撮像信号に対して、CDS(Correlated Double Sampling)処理によりS/N(Signal/Noise)比を良好に保つようにサンプルホールドなどを行う。さらに、AGC(Auto Gain Control)処理により利得を制御し、A/D(Analog/Digital)変換を行ってデジタル画像信号を出力する。
【0029】
画像信号処理部206は、デモザイク処理、ホワイトバランス調整処理や色補正処理、ガンマ補正処理、Y/C変換処理、AE(Auto Exposure)処理、解像度変換処理などの所定の信号処理を画像信号に対して施す。
【0030】
画像メモリ207は、揮発性メモリ、例えば、DRAM(Dynamic Random Access Memory)で構成されるバッファメモリである。画像メモリ207は、画像信号処理部206によって所定の処理が施された画像データなどを一時的に蓄えておくものである。
【0031】
記憶部208は、例えば、ハードディスク、メモリスティック(ソニー株式会社の登録商標)、SDメモリカードなどの大容量記憶媒体である。画像は例えばJPEG(Joint Photographic Experts Group)などの規格に基づいて圧縮された状態で保存される。また、保存された画像に関する情報、撮像日時などの付加情報を含むEXIF(Exchangeable Image File Format)データもその画像に対応付けられて保存される。動画は、例えば、MPEG2(Moving Picture Experts Group2)、MPEG4などの形式で保存される。
【0032】
入力部209は、例えば、電源オン/オフ切り替えのための電源ボタン、撮像画像の記録の開始を指示するためのレリーズボタン、ズーム調整用の操作子、表示部210と一体に構成されたタッチスクリーンなどからなる。入力部209に対して入力がなされると、その入力に応じた制御信号が生成されて制御部201に出力される。そして、制御部201はその制御信号に対応した演算処理や制御を行う。
【0033】
表示部210は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro Luminescence)パネルなどにより構成された表示デバイスである。表示部210には、撮像装置200のユーザインターフェース、メニュー画面、撮影中のモニタリング画像、記憶部208に記録された撮影済み画像、撮影済み動画などが表示される。
【0034】
AF制御部211は、検出装置100からのフォーカスエリア検出情報に基づいてレンズ駆動ドライバ203を駆動させることにより、被写体に合焦するようにオートフォーカス制御を行なう。
【0035】
検出装置100としての機能を備える撮像装置200は以上のようにして構成されている。
【0036】
[1−3.検出処理]
次に検出装置100を備える撮像装置200において行われる検出処理について説明する。図4は、検出処理の流れを示すフローチャートである。
【0037】
まずステップS11で検出装置100に画像が入力される。本実施の形態において入力画像は撮像装置200による撮影で得られた画像である。次にステップS12で、検波部102が全てのフォーカスエリアにおけるデフォーカス情報を取得する。
【0038】
次にステップS13で、被写体領域検出部101は画像中における被写体領域の検出を行う。被写体領域検出部101は、例えばスーパーピクセルを用いて被写体領域の検出を行うことができる。
【0039】
ここで、図5を参照してスーパーピクセルを用いた被写体領域の検出の概要について説明する。処理は処理対象である画像に対してシード画素Sを設定し、図5Aに示すようにそのシード画素Sを画像を構成する全画素について左上からラスタ状に移動させていき、全ての画素をスキャンしていくことにより行われる。
【0040】
まず、図5Bに示すように、シード画素Sで指定される左端最上段の画素が注目画素Tとされ、その注目画素Tの上下左右に位置する太線で囲われた4つの画素を処理対象画素U1、U2、U3、U4として順に処理していく。処理は同一の被写体領域に含まれると決定された全画素の平均色と処理対象画素の色の差分と所定の閾値を比較し、差分が閾値以下である場合にその画素をその被写体領域に含まれるものとして決定することにより行われる。
【0041】
図5Bに示すように、注目画素Tの右の画素を一つ目の処理対象画素U1とする場合、まだ複数の画素からなる被写体領域が形成されていないため、注目画素Tと処理対象画素U1の差分と所定の閾値との比較を行う。差分が閾値以下である場合、その処理対象画素U1を被写体領域として決定する。一方、差分が閾値以上である場合、被写体領域として決定せず、その被写体領域の拡張は終了する。そして次の処理対象画像から別の被写体領域となる。そして、この処理を注目画素Tの周囲上下左右のすべての画素について行う。
【0042】
図5Cは上述の処理を数回行った状態を示す図である。斜線が付されている画素が同一の被写体領域として設定された画素である。この状態においても上述の説明と同様に注目画素Tの上下左右の画素を順次処理対象画素U1、U2、U3、U4として処理していく。注目画素Tの下に位置する処理対象画素U2を処理する場合、それまでの処理で同一の被写体領域とされた斜線が付されているすべての画素の平均色と処理対象画素U2の差分と閾値との比較を行う。その結果、差分が閾値以下である場合、その処理対象画素U2を被写体領域として決定する。そして、図5D図5Eに示すようにシード画素Sを移動させていき、全ての画素を注目画素Tとして上記の処理を行っていく。
【0043】
以上の処理により、図6に示すように画像中における被写体のそれぞれに対応した領域である被写体領域が検出される。図6Aは処理対象となる入力画像であり、図6Bが入力画像から検出された被写体領域を示すものである。図6Bにおいては、被写体領域は白線により区切られており、人物、地面、背景の3つの被写体のそれぞれに対応する領域が被写体領域として検出されている。この被写体領域を示す被写体領域情報は深さ情報生成部103およびフォーカスエリア検出器104に供給される。
【0044】
被写体領域は、画像中における個々の被写体のそれぞれに対応した領域である。よって、被写体領域検出部101は公知のエッジ検出処理を用いて被写体領域の検出を行うことも可能である。
【0045】
フローチャートの説明に戻る。ステップS13の次にステップS14で深さ情報生成部103が被写体領域情報とデフォーカス情報とに基づいて深さ情報を生成する。
【0046】
ここで、深さ情報の生成について説明する。図7に示すように、まず被写体領域情報とデフォーカス情報との重ね合わせを行い、被写体領域ごとに、被写体領域とその被写体領域に重なるフォーカスエリアのデフォーカス情報とを対応付ける。そして、被写体領域ごとにその被写体領域に重なる全てのフォーカスエリアのデフォーカス情報の平均値を算出する。このデフォーカス情報の平均値をその被写体領域についての1つの深さ情報とする。これにより、画像中における全ての被写体領域ごとにその被写体領域に対応した1つの深さ情報を得ることができる。このように、深さ情報は距離に対応するデフォーカス情報に基づいて生成するものである。深さ情報は、被写体本体の深さではなく、被写体領域の深さと相関性がある情報であり、デフォーカス情報の平均値で各被写体領域の深さを反映することができる。
【0047】
なお、深さ情報は、被写体領域内に位置する複数のフォーカスエリアのデフォーカス情報の平均値に限られない。例えば、被写体領域内に位置する各フォーカスエリアのデフォーカス情報の最大値と最小値を除いた残りのデフォーカス情報の平均値を深さ情報としてもよい。最大値と最小値を除くことによりノイズ耐性を向上させることができる。また、被写体領域内に位置する各フォーカスエリアのデフォーカス情報の中間値を深さ情報としてもよい。これらの値が特許請求の範囲におけるデフォーカス情報の被写体領域ごとの値に相当するものである。
【0048】
フローチャートの説明に戻る。ステップS14の次にステップS15で、フォーカスエリア検出器104により有効フォーカスエリアの検出が行われる。上述したように、フォーカスエリア検出器104には、被写体領域情報、深さ情報およびフォーカスエリア位置情報が供給されている。フォーカスエリア検出器104は、それらの情報に基づいて有効フォーカスエリアの検出を行なう。
【0049】
有効フォーカスエリアの検出はまず、図8に示すように、被写体領域情報、深さ情報およびフォーカスエリア位置情報を重ね合わせることにより各フォーカスエリアに被写体領域と各被写体領域の深さ情報を対応付ける。そして、全てのフォーカスエリアごとに下記の式(1)を用いてフォーカスエリア内に距離が異なる複数の被写体が存在する度合い(以下、遠近混在度Pと称する。)を算出する。式(1)においてspdはフォーカスエリア内における被写体領域の深さ情報である。
【0050】
【数1】
【0051】
そして、算出したフォーカスエリアごとの遠近混在度Pを所定の閾値と比較することにより遠近混在度Pの大きさに応じてフォーカスエリアの分類を行う。
【0052】
本実施の形態においては、図9に示すように、第1閾値と、第1閾値よりも小さい値である第2閾値という2つの閾値と遠近混在度Pを比較することにより、遠近混在度Pの大きさに応じてフォーカスエリアを第1閾値以上、第2閾値以下、第2閾値を超えかつ第1閾値未満以下の3つに分類する。
【0053】
遠近混在度Pが第2閾値以下である場合、遠近混在度Pが低い、すなわち、フォーカスエリア内に距離が異なる複数の被写体が存在しないと判定し、そのフォーカスエリアを有効フォーカスエリアとして分類する。また、遠近混在度Pが第1閾値以上である場合、遠近混在度Pが高い、すなわち、フォーカスエリア内に距離が異なる複数の被写体が存在すると判定し、そのフォーカスエリアを非有効フォーカスエリアとして分類する。
【0054】
さらに、遠近混在度Pが第1閾値以上であり、かつ、第2閾値以下である場合、そのフォーカスエリアを有効フォーカスエリアでもなく、非有効フォーカスエリアでもない中間フォーカスエリアとして分類する。
【0055】
なお、フォーカスエリアの分類は、上述した3つの分類に限られない。有効フォーカスエリアと、有効フォーカスエリア以外の非有効フォーカスエリアという2つに分類してもよい。また、閾値の数を増やし、遠近混在度Pの大きさに応じてフォーカスエリアを4つ以上に分類してもよい。
【0056】
そして、ステップS16で検出装置100から有効フォーカスエリア、非有効フォーカスエリア、中間フォーカスエリアを示すフォーカスエリア検出情報が外部に出力される。本実施形態においては、フォーカスエリア検出情報は撮像装置200におけるAF制御を実行するAF制御部211に供給される。
【0057】
以上のようにして検出装置100による有効フォーカスエリア検出処理が行われる。
【0058】
[1−4.フォーカスエリア検出情報の利用]
次に、検出装置100から外部に出力されるフォーカスエリア検出情報の利用について説明する。第1の利用態様は、有効フォーカスエリアのみを撮像装置200におけるオートフォーカスに使用し、有効フォーカスエリア以外、すなわち、非有効フォーカスエリアと中間フォーカスエリアはオートフォーカスには使用しない、とするものである。これは、遠近混在度Pが高い、すなわち、距離が異なる複数の被写体が存在するフォーカスエリアは上述したように複数の被写体の略中間の位置など適切ではない位置に合焦してしまうという問題があるため、そのようなフォーカスエリアは信頼度が低いとしてオートフォーカスには使用しないとするものである。この場合、有効フォーカスエリアのみを用いてオートフォーカスが行われる。
【0059】
これによれば、距離が異なる複数の被写体が存在しないフォーカスエリアにおけるデフォーカス情報を用いてオートフォーカスが行われるため、オートフォーカスの精度を高めることができる。また、遠くの被写体と近くの被写体の略中央など、ユーザが所望する位置とは異なる位置に合焦してしまうことを抑制することができる。
【0060】
図10は有効フォーカスエリアを用いてオートフォーカスを行う場合の処理を示すフローチャートである。ステップS11乃至ステップS16までは図4におけるフローチャートと同様であるため説明を省略する。
【0061】
ステップS16でフォーカスエリア検出情報が外部であるAF制御部211に出力されると、ステップS21でAF制御部211は被写体に合焦しているか否かを判定する。被写体に合焦しているか否かは検波部102で得られるデフォーカス情報に基づいて判定することができる。
【0062】
被写体に合焦していない場合、処理はステップS22でAF制御部211の制御のもと、被写体に合焦するようにレンズ駆動ドライバ203が光学撮像系202のレンズを駆動する。そして処理はステップS11に戻り、ステップS11乃至ステップS16で再び有効フォーカスエリアが検出されて、フォーカスエリア検出情報がAF制御部211に出力される。そして、被写体に合焦するまでステップS11乃至ステップS16、ステップS21およびステップS22の処理が繰り返される。
【0063】
フォーカスエリア検出情報の第2の利用態様は、非有効フォーカスエリアはオートフォーカスには使用せず、有効フォーカスエリアはオートフォーカスに使用し、中間フォーカスエリアは有効フォーカスエリアよりも重み付けを低くしてオートフォーカスに使用する、というものである。
【0064】
例えば図11Aのグラフに示すように、横軸を遠近混在度Pとし、縦軸を重みとして、遠近混在度Pが低いほど重みが高くなり、遠近混在度Pが高いほど重みが低くなるような特性を設定し、その特性に従い重みを決定する。なお、重み付けを決定する特性は必ずしも図11Aに示したような直線状である必要はなく、図11Bに示すような曲線状の特性であってもよい。
【0065】
フォーカスエリア検出情報の第3の利用態様は、有効フォーカスエリアはオートフォーカスに使用し、非有効フォーカスエリアはオートフォーカスには使用せず、中間フォーカスエリアは再度フォーカスエリアの検出を行う、というものである。
【0066】
再び中間フォーカスエリアの検出を行う場合、検波部102は、中間フォーカスエリアと判定されたフォーカスエリアの位置、サイズを変化させて再度検出を行なう。また、中間フォーカスエリアに分類されたフォーカスエリアの位置に、よりサイズの小さいフォーカスエリアを密に再配置して検出を行なうとよい。再配置されたフォーカスエリアの位置、サイズを示すフォーカスエリア位置情報は、検波部102からはフォーカスエリア検出器104に供給される。そして、フォーカスエリア検出器104その再配置されたフォーカスエリアのフォーカスエリア位置情報に基づいて有効フォーカスエリアの検出を行なう。これによって、中間フォーカスエリアと分類されたフォーカスエリアをより細かくし、その中から有効フォーカスエリア、非有効フォーカスエリア、中間フォーカスエリアを検出することができるので、より詳細に有効フォーカスエリアの検出を行なうことが可能となる。
【0067】
[1−5.表示処理]
次に、本技術により検出されるフォーカスエリア検出情報などを利用したユーザインターフェースにおける表示処理について説明する。図12は、表示制御部105を備える検出装置110の構成を示すブロック図である。被写体領域検出部101、検波部102、深さ情報生成部103、フォーカスエリア検出器104は図1を参照して説明したものと同様である。
【0068】
表示制御部105は、被写体領域検出部101、検波部102、深さ情報生成部103、フォーカスエリア検出器104からの情報に基づいて撮像装置200が備える表示部210における表示を制御する。なお、その際、表示部210における表示と共に、または表示に替えて、スピーカ(図示せず)からの音声によりガイドを行なうようにしてもよい。
【0069】
図13を参照してユーザインターフェース表示の第1の態様について説明する。図13Aの比較例では、合焦しているフォーカスエリアに色が付されて表示されている。第1の態様では、撮像装置200による撮影時に表示部210に表示されるモニタリング画像上において合焦しているフォーカスエリアを示すフレームに色を付して表示する。さらに遠近混在度Pに応じてフォーカスエリアを示すフレームの透明度を変化させて表示する。
【0070】
図13Bの本技術における第1の態様では、フォーカスエリア1乃至フォーカスエリア14の合計14個のフォーカスエリアが合焦しているとして色が付されて表示されている。また、被写体H1の略中央に並ぶ5つのフォーカスエリアであるフォーカスエリア1乃至フォーカスエリア5は遠近混在度Pが低いとしてフレームの透明度が低く表示されている。さらに、被写体H1の中央の頂点、左側、右側に位置する合計9個のフォーカスエリア6乃至フォーカスエリア14は、被写体領域の境界に重なっており、遠近混在度Pが高いとしてフレームの透明度が高く表示されている。このように表示することにより、ユーザは有効フォーカスエリアは遠い被写体と近い被写体とが混在しておらず、高い精度で合焦しているということを容易に理解することができる。また、ユーザは透明度が高いフォーカスエリアは遠い被写体と近い被写体とが混在しており、有効フォーカスエリアに比べて合焦の精度が低くなっているということを容易に理解できる。
【0071】
このようなユーザインターフェース表示を実現するためには、フォーカスエリア検出器104からフォーカスエリア検出情報、遠近混在度情報を表示制御部105に供給し、AF制御部211から全てのフォーカスエリアにおける最終的な合焦状態を示す情報を表示制御部105に供給する必要がある。そして、表示制御部105は、各フォーカスエリアの合焦状態、遠近混在度Pとフォーカスエリアのフレームの透明度とを対応付け、フォーカスエリアのフレームの透明度を変更する処理を行なう。
【0072】
なお、合焦し、かつ、遠近混在度Pが低いフォーカスエリアを示すフレームの透明度を低く表示するのは、そのフォーカスエリアを強調して表示するためである。よって、色を付す以外にも、フォーカスエリアを示すフレームを他のフォーカスエリアのフレームよりも太くする、合焦していないフォーカスエリアや遠近混在度Pが高いフォーカスエリアを示すフレームを細くするなどの手法を採用してもよい。
【0073】
次に図14を参照してユーザインターフェース表示の第2の態様について説明する。図14Aの比較例では、合焦している被写体である被写体H1に重なるフォーカスエリアのみが表示されている。また、図14Bの比較例では、合焦している被写体である被写体H2に重なるフォーカスエリアのみが表示されている。
【0074】
一方、本技術におけるユーザインターフェース表示の第2の態様である図14Cの例では、有効フォーカスエリアのみを表示し、さらに、有効フォーカスエリアが位置する被写体H1に対応する被写体領域に色を付して表示している。また、図14Dの例では、有効フォーカスエリアのみを表示し、さらに、有効フォーカスエリアが位置する被写体H2に対応する被写体領域に色を付して表示している。
【0075】
これにより、ユーザはモニタリング画像中においてどの被写体に合焦しているかを容易に確認することができる。なお、有効フォーカスエリアを示すフレームに色を付して強調する場合、有効フォーカスエリアに付す色と被写体領域に付す色は異なる色にするとよい。同じ色または似た色を付すと被写体領域上に表示されている有効フォーカスエリアを視認することが難しくなるからである。
【0076】
このようなユーザインターフェース表示を実現するためには、被写体領域検出部101から被写体領域情報を表示制御部105に供給し、AF制御部211から全てのフォーカスエリアにおける最終的な合焦状態を示す情報を表示制御部105に供給する必要がある。そして、表示制御部105は、各フォーカスエリアの合焦状態と被写体領域とを対応付け、被写体領域の色を変更する処理を行なう。
【0077】
なお、合焦している被写体領域に色を付すのは、被写体領域を強調して表示するためである。よって、色を付す以外にも、合焦している被写体領域の輪郭を太くする、被写体領域の輪郭に線を重畳する、合焦していない被写体領域の輪郭を細くするなど、合焦している被写体領域を強調することができればどのような方法を採用してもよい。
【0078】
図15を参照してユーザインターフェース表示の第3の態様について説明する。第3の態様では、表示部210に表示されているモニタリング画像上に深さ情報を示す画像を重畳表示する。図15Aの比較例では、深さ情報を示す画像は重畳表示されていない。一方、本技術における第3の態様である図15Bの例では、モニタリング画像の右上にモニタリング画像よりも小さいサイズで深さ情報を示す深さ情報画像Rが重畳表示されている。
【0079】
深さ情報画像Rは、被写体領域と、それに対応する深さ情報が示されているため、この第3の態様によればモニタリング画像における被写体が画角内でどのような位置関係で位置しており、さらにどのような深さ情報を有しているかをユーザは確認することができる。
【0080】
このようなユーザインターフェース表示を実現するためには、被写体領域検出部101から被写体領域情報を表示制御部105に供給し、深さ情報生成部103から深さ情報を表示制御部105に供給する必要がある。表示制御部105は被写体領域と深さ情報とから深さ情報画像Rを生成し、表示部210に表示する制御を行う。なお、重畳表示する位置はモニタリング画像の右上に限られるものではない。また、重畳表示にかぎらず、表示部210を左右、上下などに分割してモニタリング画像と深さ情報を示す画像を表示するようにしてもよい。
【0081】
図16を参照してユーザインターフェース表示の第4の態様について説明する。第4の態様では、表示部210に表示されているモニタリング画像において合焦している被写体領域に加え、その合焦している被写体領域と深さ情報が略同等である被写体領域を強調して表示する。「深さ情報が略同等である被写体領域」を強調して表示するには、合焦している被写体領域(有効フォーカスエリア)の深さ情報の平均値と、合焦している被写体領域以外の被写体領域の深さ情報を比較する。もし、その比較結果(差分値)が所定の誤差以内である場合には、その合焦している被写体領域と合焦していない領域を同一の態様で表示する(同一の色)。例えば、図16Bにおいて、人物の上半身に対応する被写体領域は合焦しており、人物の下半身に対応する被写体領域は合焦していない場合でも、上半身の被写体領域と下半身の被写体領域の深さ情報の差分値が所定の誤差以内場合には同一の色で表示する。なお、ユーザがその差分値の所定の誤差を設定することができるようにしてもよい。
【0082】
図16Aの比較例では、合焦しているフォーカスエリアのみが表示されている。一方、本技術における第4の態様である図16Bの例では、人物の上半身に対応する被写体H3に合焦している。よって、人物の上半身に対応する被写体H3に色が付されて表示されている。さらに、人物の下半身に対応する被写体H4は人物の上半身に対応する被写体H3と深さ情報がほぼ等しいため、人物の下半身に対応する被写体H4にも被写体H3と同様の色が付されて表示されている。
【0083】
このようなユーザインターフェース表示を実現するためには、被写体領域検出部101から被写体領域情報を表示制御部105に供給し、撮像装置200のAF制御部211からの全てのフォーカスエリアにおける最終的な合焦状態を示す情報を表示制御部105に供給し、さらに、深さ情報生成部103から深さ情報を表示制御部105に供給する必要がある。
【0084】
そして、表示制御部105は、合焦している被写体領域を把握し、深さ情報生成部103から供給された情報に基づいてその被写体領域における深さ情報を取得する。次に、その被写体領域の深さ情報とほぼ等しい深さ情報を有する被写体領域を画像中から検索する。この検索は、深さ情報生成部103から供給された情報を参照することにより行なうことができる。そして、それらのほぼ等しい深さ情報を有する被写体領域を強調して表示部210に表示する。
【0085】
なお、深さ情報がほぼ等しいとは、例えば、合焦している被写体領域の深さ情報よりも大きい閾値と小さい閾値をそれぞれ設定し、比較対象である他の被写体領域の深さ情報がその閾値の範囲内であることをいう。
【0086】
なお、上述したユーザインターフェース表示の第1乃至第4の態様はいずれか一つだけを用いるのではなく、組み合わせて用いてもよい。例えば、第1の態様と、第3の態様を組み合わせて、合焦しているフォーカスエリアを示すフレームの透明度を低く表示し、さらに、深さ情報を示す画像をモニタリング画像上に重畳表示する、などである。
【0087】
なお、表示制御部105は、必ずしも検出装置100が備える必要はなく、検出装置100を備える他の装置、例えば撮像装置200が備えていてもよい。
【0088】
<2.変形例>
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
【0089】
実施の形態においては、距離が異なる複数の被写体が存在するフォーカスエリアを非有効フォーカスエリアとし、その非有効フォーカスエリア以外を有効フォーカスエリアとして検出すると説明した。しかし、検出装置100は非有効フォーカスエリアのみを検出し、非有効フォーカスエリア検出情報を外部に出力するようにしてもよい。
【0090】
検出装置100は、デジタルスチルカメラ、デジタル一眼レフカメラなどの他にも、スマートフォンと連携するいわゆるレンズスタイルカメラ、車載カメラ、監視カメラ、暗視カメラ、X線カメラ(X線写真)や胃カメラ(内視鏡)などの医療用カメラ、航空カメラ、水中カメラなどに適用することも可能である。また、カメラ機能を備える各種機器、例えば、スマートフォン、携帯電話機、タブレット端末、パーソナルコンピュータ、ノートパソコン、携帯ゲーム機などにも適用可能である。
【0091】
検出装置100からのフォーカスエリア検出情報の出力先は撮像装置に限られず、パーソナルコンピュータ、スマートフォンなどの情報処理装置であってもよい。
【0092】
また、本技術は静止画撮影に限らず動画撮影に適用することも可能である。
【0093】
本技術は以下のような構成も取ることができる。
(1)
画像中の被写体に対応した領域である被写体領域に基づいて、前記画像に対して設定される複数のフォーカスエリアから有効フォーカスエリアを検出する検出器
を備える検出装置。
(2)
前記フォーカスエリアのデフォーカス情報の前記被写体領域ごとの値に基づいて前記有効フォーカスエリアを検出する
(1)に記載の検出装置。
(3)
フォーカスエリアの前記被写体領域ごとの深さ情報に基づいて有効フォーカスエリアを検出する
(1)または(2)に記載の検出装置
(4)
前記深さ情報はデフォーカス情報に基づいて計算される
(3)に記載の検出装置
(5)
距離が異なる複数の被写体が前記フォーカスエリア内に存在する度合いを前記デフォーカス情報の前記被写体領域ごとの値から算出し、前記度合いに基づいて前記有効フォーカスエリアを検出する
(2)に記載の検出装置。
(6)
前記有効フォーカスエリアとは、前記複数のフォーカスエリアのうち、距離が異なる複数の被写体が存在しないフォーカスエリアである
(1)から(5)のいずれかに記載の検出装置。
(7)
前記有効フォーカスエリアとは、前記複数のフォーカスエリアのうち、距離が異なる複数の被写体が混在する度合いが所定の閾値以下であるフォーカスエリアである
(5)に記載の検出装置。
(8)
距離が異なる複数の被写体が前記フォーカスエリア内に存在する度合いに基づいて、前記フォーカスエリアを分類する
(5)に記載の検出装置。
(9)
前記有効フォーカスエリア以外のフォーカスエリアを非有効フォーカスエリアと中間フォーカスエリアとに分類する
(8)に記載の検出装置。
(10)
前記有効フォーカスエリアを示す情報を外部に出力する
(1)から(9)のいずれかに記載の検出装置。
(11)
前記有効フォーカスエリア、前記非有効フォーカスエリアおよび前記中間フォーカスエリアを示す情報を外部に出力する
(9)に記載の検出装置。
(12)
前記有効フォーカスエリアのみが撮像装置におけるオートフォーカスに用いられる
(11)に記載の検出装置。
(13)
有効フォーカスエリア、非有効フォーカスエリアと中間フォーカスエリアの検出結果に基づいて、表示部における表示制御を行なう
(1)から(12)のいずれかに記載の検出装置。
(14)
前記検出結果に応じて、前記表示部における前記フォーカスエリアの表示を変化させる
(13)に記載の検出装置。
(15)
前記表示部における前記フォーカスのフレームの表示色の透明度を変化させる
(14)に記載の検出装置。
(16)
前記表示部に表示される画像中における被写体に対応した複数の領域のうち、合焦している領域の表示を変化させる
(13)に記載の検出装置。
(17)
前記表示部に表示される前記画像中における前記被写体に対応した複数の領域のうち、合焦している領域の色を変化させる
(16)に記載の検出装置。
(18)
前記表示部にモニタリング画像と、前記フォーカスエリアにおけるデフォーカス情報の前記被写体領域ごとの値を示す情報を表示する
(13)に記載の検出装置。
(19)
合焦した前記被写体領域と他の被写体領域とにおいて、前記フォーカスエリアにおけるデフォーカス情報の被写体領域ごとの値が略同等である場合、合焦している前記被写体領域と前記他の被写体領域とを同一の態様で表示する
(13)に記載の検出装置。
(20)
画像中の被写体に対応した領域である被写体領域に基づいて、前記画像に対して設定される複数のフォーカスエリアから有効フォーカスエリアを検出する
検出方法。
(21)
画像中の被写体に対応した領域である被写体領域に基づいて、前記画像に対して設定される複数のフォーカスエリアから有効フォーカスエリアを検出する検出方法をコンピュータに実行させる
検出プログラム。
(22)
画像を撮像する撮像素子と、
前記撮像素子により撮像される画像中の被写体に対応した領域である被写体領域に基づいて、前記画像上に配置される複数のフォーカスエリアから有効フォーカスエリアを検出する検出器
を備える
撮像装置。
【符号の説明】
【0094】
100・・・・撮像装置
154・・・・表示制御部
200・・・・撮像装置
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16