特許 5979453 全焦点の実現のためのシステム、方法、プログラム、および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5979453

(24)【登録日】2016年8月5日

(45)【発行日】2016年8月24日

(54)【発明の名称】全焦点の実現のためのシステム、方法、プログラム、および装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20160817BHJP

   G03B 15/00 20060101ALI20160817BHJP

   G03B 7/091 20060101ALI20160817BHJP

   G03B 17/00 20060101ALI20160817BHJP

   G02B 7/36 20060101ALI20160817BHJP

   G02B 7/28 20060101ALI20160817BHJP

   G03B 13/36 20060101ALI20160817BHJP

【ＦＩ】

   H04N5/232 Z

   H04N5/232 A

   G03B15/00 H

   G03B7/091

   G03B17/00 Q

   G02B7/36

   G02B7/28 N

   G03B13/36

【請求項の数】25

【外国語出願】

【全頁数】21

(21)【出願番号】特願2015-18510(P2015-18510)

(22)【出願日】2015年2月2日

(65)【公開番号】特開2015-201837(P2015-201837A)

(43)【公開日】2015年11月12日

【審査請求日】2015年2月2日

(31)【優先権主張番号】14/225,866

(32)【優先日】2014年3月26日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】591003943

【氏名又は名称】インテル・コーポレーション

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】サルカー、ソウメンデュー

(72)【発明者】

【氏名】バーンズ、ジェフリー エフ．

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特開２０１０−１１８８５０（ＪＰ，Ａ）

【文献】 特開２０１０−１２８０１８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０２Ｂ ７／２８

Ｇ０２Ｂ ７／３６

Ｇ０３Ｂ ７／０９１

Ｇ０３Ｂ １３／３６

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／００

(57)【特許請求の範囲】

【請求項1】

カメラを動作させるためのシステムであって、
異なる複数の焦点面において一連の画像を撮像するための前記カメラ中の画像センサであって、前記一連の画像の少なくとも一部は、全焦点画像を格納するための信号を受信する前に生じる画像センサと、
全焦点画像を格納するための前記信号をユーザから受信するためのユーザインターフェースモジュールと、
前記全焦点画像を生じさせるために、異なる複数の焦点面を有する少なくとも２つの画像を結合させるための画像処理プロセッサと、
を備えるシステム。

【請求項2】

前記一連の画像を撮像するために、前記画像センサは、１秒当たり特定のフレーム数で前記一連の画像を撮像する、請求項１に記載のシステム。

【請求項3】

前記１秒当たり特定のフレーム数は、毎秒２４フレーム、毎秒３０フレーム、毎秒４５フレーム、または、毎秒６０フレームのうちの１つである、請求項２に記載のシステム。

【請求項4】

前記全焦点画像を格納するための前記信号を受信するために、前記ユーザインターフェースモジュールは、前記一連の画像中の一の時間フレームにおいて前記全焦点画像を格納するためのコマンドを受信し、
前記全焦点画像を生じさせるべく前記少なくとも２つの画像を結合させるために、前記画像処理プロセッサは、前記一の時間フレームにおける前記一連の画像から前記少なくとも２つの画像を選択する、請求項１から請求項３のいずれか１項に記載のシステム。

【請求項5】

前記全焦点画像を格納するための前記信号を受信することは第１の時間において生じ、
前記画像処理プロセッサは、
前記第１の時間よりも前に生じる第２の時間であって、前記全焦点画像を格納することを前記ユーザがいつ行ったかを表す前記第２の時間を推定し、
前記第２の時間における前記一連の画像から前記少なくとも２つの画像を選択することにより、前記全焦点画像を生じさせるべく前記少なくとも２つの画像を結合させる、請求項１から請求項３のいずれか１項に記載のシステム。

【請求項6】

前記第２の時間を推定するために、前記画像処理プロセッサは、
前記ユーザの反応時間を特定し、
前記第１の時間から前記反応時間を減算して、前記第２の時間を導出する、請求項５に記載のシステム。

【請求項7】

異なる複数の焦点面における前記一連の画像は、基準焦点面、遠焦点面、および近焦点面での複数の画像が繰り返される連続を含む、請求項１から請求項６のいずれか１項に記載のシステム。

【請求項8】

前記全焦点画像を生じさせるべく少なくとも２つの画像を結合させるために、前記画像処理プロセッサは、
前記基準焦点面での画像、前記遠焦点面での画像、および、前記近焦点面での画像を含む３つの連続する画像を前記一連の画像から選択し、
前記全焦点画像を生じさせるために、前記複数の画像のうちの焦点が合わされた複数の部分を結合させる、請求項７に記載のシステム。

【請求項9】

前記基準焦点面は、オートフォーカス推定された焦点面である、請求項８に記載のシステム。

【請求項10】

異なる複数の焦点面における前記一連の画像は、基準焦点面、遠焦点面、前記基準焦点面、および近焦点面での複数の画像が繰り返される連続を含む、請求項１から請求項６のいずれか１項に記載のシステム。

【請求項11】

前記全焦点画像を生じさせるべく少なくとも２つの画像を結合させるために、前記画像処理プロセッサは、
前記基準焦点面での画像、前記遠焦点面での画像、および、前記近焦点面での画像を含む３つの連続する画像を前記一連の画像から選択し、
前記全焦点画像を生じさせるために、前記複数の画像のうちの焦点が合わされた複数の部分を結合させる、請求項１０に記載のシステム。

【請求項12】

前記全焦点画像を生じさせるべく少なくとも２つの画像を結合させるために、前記画像処理プロセッサは、
前記一連の画像から、前記遠焦点面での画像を選択し、
前記一連の画像から、前記遠焦点面での前記画像に直接続く前記基準焦点面での画像を選択し、
前記一連の画像から、前記基準焦点面での前記画像に直接続く前記近焦点面での画像を選択し、
前記全焦点画像を生じさせるために、前記遠焦点面、前記基準焦点面、および、前記近焦点面での前記複数の画像のうちの焦点が合わされた複数の部分を結合させる、請求項１０に記載のシステム。

【請求項13】

前記全焦点画像を生じさせるべく少なくとも２つの画像を結合させるために、前記画像処理プロセッサは、
前記一連の画像から、前記近焦点面での画像を選択し、
前記一連の画像から、前記近焦点面での前記画像に直接続く前記基準焦点面での画像を選択し、
前記一連の画像から、前記基準焦点面での前記画像に直接続く前記遠焦点面での画像を選択し、
前記全焦点画像を生じさせるために、前記近焦点面、前記基準焦点面、および、前記遠焦点面での前記複数の画像のうちの焦点が合わされた複数の部分を結合させる、請求項１０に記載のシステム。

【請求項14】

前記ユーザインターフェースモジュールは、前記一連の画像から選択された画像により電子ビューファインダー画像を提示する、請求項１から請求項１３のいずれか１項に記載のシステム。

【請求項15】

カメラを動作させる方法であって、
前記カメラ中の画像センサを用いて、異なる複数の焦点面において一連の画像を撮像する段階であって、前記一連の画像の少なくとも一部は、全焦点画像を格納するための信号を受信する前に生じる、撮像する段階と、
全焦点画像を格納するための前記信号をユーザから受信する段階と、
画像処理プロセッサを用いて、前記全焦点画像を生じさせるために、異なる複数の焦点面を有する少なくとも２つの画像を結合させる段階と、
を備える方法。

【請求項16】

前記一連の画像を撮像する段階は、１秒当たり特定のフレーム数で前記一連の画像を撮像する段階を有する、請求項１５に記載の方法。

【請求項17】

前記１秒当たり特定のフレーム数は、毎秒２４フレーム、毎秒３０フレーム、毎秒４５フレーム、または、毎秒６０フレームのうちの１つである、請求項１６に記載の方法。

【請求項18】

前記全焦点画像を格納するための前記信号を受信する段階は、前記一連の画像中の一の時間フレームにおいて前記全焦点画像を格納するためのコマンドを受信する段階を有し、
前記全焦点画像を生じさせるべく前記少なくとも２つの画像を結合させる段階は、前記一の時間フレームにおける前記一連の画像から前記少なくとも２つの画像を選択する段階を有する、請求項１５から請求項１７のいずれか１項に記載の方法。

【請求項19】

前記全焦点画像を格納するための前記信号を受信する段階は第１の時間において生じ、
前記方法は、
前記第１の時間よりも前に生じる第２の時間であって、前記全焦点画像を格納することを前記ユーザがいつ行ったかを表す前記第２の時間を推定する段階を備え、
前記全焦点画像を生じさせるために前記少なくとも２つの画像を結合させる段階は、前記第２の時間における前記一連の画像から前記少なくとも２つの画像を選択する段階を有する、請求項１５から請求項１８のいずれか１項に記載の方法。

【請求項20】

前記第２の時間を推定する段階は、
前記ユーザの反応時間を特定する段階と、
前記第２の時間を導出するために、前記第１の時間から前記反応時間を減算する段階と、
を有する、請求項１９に記載の方法。

【請求項21】

異なる複数の焦点面における前記一連の画像は、基準焦点面、遠焦点面、および近焦点面での複数の画像が繰り返される連続を含む、請求項１５から請求項２０のいずれか１項に記載の方法。

【請求項22】

前記全焦点画像を生じさせるべく少なくとも２つの画像を結合させる段階は、
前記基準焦点面での画像、前記遠焦点面での画像、および、前記近焦点面での画像を含む３つの連続する画像を前記一連の画像から選択する段階と、
前記全焦点画像を生じさせるために、前記複数の画像のうちの焦点が合わされた複数の部分を結合させる段階と、
を有する、請求項２１に記載の方法。

【請求項23】

前記基準焦点面は、オートフォーカス推定された焦点面である、請求項２２に記載の方法。

【請求項24】

機械により実行されると、請求項１５から請求項２３のいずれか１項に記載の方法の複数の動作を前記機械に実行させる複数の命令を含むプログラム。

【請求項25】

請求項１５から請求項２３のいずれか１項に記載の方法を実行するための手段を備える装置。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書中に記載される複数の実施形態は、概して写真撮影に関し、特に、全焦点の実現に関する。

【背景技術】

【0002】

写真撮影および映画撮影術において、被写界深度（ＤＯＦ）とは、ある画像における、焦点の前後範囲を指す。大きなＤＯＦを持った写真においては、前景、中間、および背景の全てに焦点が合っている。逆に、浅いＤＯＦを持った写真は、焦点の合った平面を１つだけ有するかもしれない。従来のカメラにおいては、大きなＤＯＦは、小さなカメラ開口によって実現され得た。いくつかのデジタルカメラにおいては、いくつかの焦点面が立て続けに撮像され、結合されて全焦点画像を生成し得る。

【図面の簡単な説明】

【0003】

図面は必ずしも縮尺通りには描かれていないが、複数の図面における複数の同様な符号は、異なる複数の図における同様な複数の構成要素を示してよい。異なる添え字を有する複数の同様な符号は、同様な複数の構成要素の異なる複数の事例を表してよい。いくつかの実施形態が、添付の複数の図面の複数の図において、限定事項ではなく、例として図示される。

【図1】例示的な一実施形態に従った、カメラを説明するブロック図である。

【図2】一実施形態に従った、フレームシーケンスを説明する表である。

【図3】一実施形態に従った、フレームシーケンスを説明する表である。

【図4】一実施形態に従った、カメラを動作させる方法を説明するフローチャートである。

【図5】例示的な一実施形態に従った、本明細書中で説明される１つまたは複数の技術（例えば方法論）の任意のものを実行する機械の一例を説明するブロック図である。

【発明を実施するための形態】

【0004】

全焦点画像は、完全にではないとしても、広く焦点の合った合成画像を得るために、異なる複数の焦点面における複数の画像を結合させることによって生成される。この技術はまた、フォーカススタッキング（focus stacking）、フォーカルプレーンマージ（focal plane merging）、またはｚ−スタッキング（z-stacking）とも呼ばれる。異なる複数の焦点面からの複数の画像の結合は、画像解析を通じて画像処理プロセッサによって実行される。例えば、エッジ検出を使用して、異なる複数の焦点面からの複数の画像における対応する様々な部分が比較され、その後、最も焦点の合った部分が合成画像において使用される。

【0005】

従来のカメラにおいては、撮影者がシャッター機構を作動させる時と、画像が撮像される時との間に遅延が存在する。全焦点写真撮影に対しては、この遅延が誇張される。撮影者がシャッターレリーズを作動させた場合、従来のカメラは複数の画像を撮像し、その後、それらを結合して全焦点画像を生成する。さらに、遅延のために、撮影者が電子ビューファインダー上で見ていたものが、実際に撮像された画像と整合しない。本開示は、全焦点画像に対して最適化されたビューファインダーおよびゼロシャッターラグを提供するための複数のシステムおよび複数の方法を記載する。本明細書中に記載される複数のシステムおよび複数の方法は、オートフォーカスの実現と協同する。

【0006】

図１は、例示的な一実施形態に従った、カメラ１００を説明するブロック図である。カメラ１００は、レンズ１０２、画像センサ１０４、画像データ格納デバイス１０６、プレビュー画面１０８、および電子ビューファインダー１１０を含む。レンズ１０２は、画像センサ１０４に対して光の焦点を合わせるように動作する。画像センサ１０４は、電荷結合素子（ＣＣＤ）、相補型金属酸化物半導体（ＣＭＯＳ）またはＮ型金属酸化物半導体（ＮＭＯＳ）素子を含む、任意のタイプの画像センサであってよい。ＣＣＤセンサにおいては、複数の画素が、ｐ−ドープされた複数のＭＯＳキャパシタによって表される。キャパシタアレイは、光活性領域として動作し、光強度に比例した電荷を各キャパシタに蓄積させる。アレイがダンプされるに連れて、電荷は電圧へと変換される。その後電圧はサンプリングされ、デジタル化され、メモリに格納される。ＣＭＯＳアクティブ画素センサは、複数の画素センサのアレイを含む集積回路であり、各画素が光検出器とアクティブ増幅器とを含む。

【0007】

画像データ格納デバイス１０６は、ランダムアクセスメモリ（ＲＡＭ）、コンパクトフラッシュ（登録商標）メモリ、セキュアデジタルメモリ、ハードドライブ、フラッシュドライブ、または、その他のフラッシュメモリデータ格納デバイスのような、任意のタイプの内蔵メモリまたは着脱式メモリであってよい。画像が撮られると、少なくとも一時的に、画像データ格納デバイスにその画像が格納される。

【0008】

多くの形態で、撮った直後に画像を一時的に表示するために、プレビュー画面１０８が使用される。プレビュー画面１０８は、カメラ本体のサイズと比べて、比較的大きくてよい。例えば、プレビュー画面１０８は、カメラ本体のバックパネルの大部分を占めてよい。プレビュー画面に表示される複数のプレビュー画像は、ユーザ（撮影者）が画像をすぐに見ることを可能にし、望ましいものでなかった場合には、その画像を削除し別の画像を撮る、または、複数のフィルタ、トリミング、ズームなどによってその画像を修正するためのカメラ内での処理を使用するといったような、複数の付加的なステップを取ることを可能にする。電子ビューファインダー１１０は、画像撮像処理を始動させる前に、シーンを構成し枠組みを決めるために、ユーザによって使用される。電子ビューファインダー１１０は、カメラ本体の最上部のようなカメラ１００上の従来の位置に配置されてよく、周辺光から電子ビューファインダーの画像を遮るためのフードまたはその他のハウジングを含んでよい。プレビュー画面がシーンのライブプレビューとして使用されるように、場合によっては電子ビューファインダー１１０がプレビュー画面１０８に組み込まれる。携帯電話、タブレット、またはスマートフォンのような、いくつかのモバイルデバイスにおいては、電子ビューファインダー１１０およびプレビュー画面１０８は全く同じである。この機構は、滑らかなビューファインダー画像を確実にするために、プレビュー画面の高いＦＰＳアップデートを必要とする。

【0009】

画像データ格納デバイス１０６は、画像バッファ１１２を含んでよい。動作中、画像バッファ１１２は、画像センサ１０４によって継続的に撮像される複数の画像の循環バッファを格納するために使用される。複数の画像は、あるフレームレートで画像センサ１０４から撮像されてよい。フレームレートは、画像センサ１０４、画像データ格納デバイス１０６、画像処理プロセッサ１１６、またはカメラ１００のその他複数の構成要素の複数の性能に従って制約または設計されてよい。フレームレートは、毎秒３０フレーム（ＦＰＳ）、２４ＦＰＳ、４５ＦＰＳ、６０ＦＰＳ、または、その他任意のフレームレートであってよい。ユーザが、（例えば、シャッターレリーズを部分的に押すこと、または、単純に被写体に向けることにより）あるシーンの枠組みを決めると、カメラ１００は継続的に複数の画像を撮像し、画像バッファ１１２中にそれらを格納する。ユーザが画像撮像を動作させた（例えば、シャッターレリーズを押した）場合、いくつかの画像が画像バッファ１１２から読み出され、全焦点画像を組み上げるために使用される。さらに、ユーザがシーンの枠組みを決めている間に、電子ビューファインダー１１０および／またはプレビュー画面１０８が、画像バッファ１１２から読み出されてよい焦点の合った画像（例えば、オートフォーカスされた画像）でアップデートされる。

【0010】

画像バッファ１１２は、複数の全焦点画像に対する処理時間を改善するため、および、電子ビューファインダー１１０またはプレビュー画面１０８における残像を改善するため、または除くためのいくつかの方法のうちの１つで配置されてよい。一実施形態においては、画像センサ１０４によって一連の画像が継続的に撮像され、画像バッファ１１２に格納される。この連続は、オートフォーカスされた基準フォーカスでの画像、より遠い焦点面での画像、および、より近い焦点面での画像の順で、３つの差動的に焦点の合った画像の繰り返しパターンを含んでよい。この連続は、３つの代わりに、５つ、またはそれよりも多くの差動的に露出された画像を有するように拡張されてよい。例えば、この連続は、基準フォーカス画像、遠くの画像、より遠くの画像、近くの画像、および、より近くの画像であってよい。この設計によって、最小限の処理遅延で全焦点画像が得られるであろう。

【0011】

図２は、一実施形態に従ったフレームシーケンスを説明する表２００である。第１の行２０２には、一連のフレーム周期が図示されている。相対焦点距離が第２の行２０４に示されている。第３から第５の行２０６、２０８および２１０には、全焦点画像の結合が図示されている。第６の行２１２には、特定の画像フレームの間にオートフォーカス処理が使用されたかどうかの表示が図示されている。第７の行２１４には、特定の画像フレームの間にプレビュー処理が使用されたかどうかの表示が図示されている。

【0012】

表２００に示されるように、フレーム周期０、１および２において撮像された画像を用いて多重フレーム画像結合を実行することにより、フレーム周期１に対する全焦点処理が行われてよい。同様に、フレーム周期１、２および３において撮像された画像を用いて多重フレーム画像結合を実行することにより、フレーム周期２に対する全焦点処理が行われてよい。このようにして、全てのフレーム周期に対して全焦点画像が処理されてよい。

【0013】

従って、単一のフレーム周期精度で、ゼロシャッターラグ機能が支援される。ユーザは、複数の単一フレーム周期の複数ステップで、フレーム履歴に戻って操作することができる。シャッターが押されるよりも前の時間の複数の画像に対してユーザがアクセスすることを可能にする時間微動機能（time nudge feature）が、同じく、単一のフレーム精度で実行されてよい。時間微動を容易にするべく、複数の差動的に焦点の合った画像に関するより良好な明瞭性をユーザに提供するために、撮像された複数のフレームに対して前処理が実行されてよい。

【0014】

しかしながら、２つおきの画像フレームがオートフォーカスから導出された基準フォーカスで露出されるので、図２に図示される機構は、プレビュー枠に対して、撮像ＦＰＳの３分の１という、より遅いＦＰＳに苦しむかもしれない。近くおよび遠くに焦点の合った複数の画像フレームは、画像中の目標被写体に対して意図的に焦点がはずされているので、プレビューには適さない。また、２つおきの画像フレームしかオートフォーカスを使用しないので、オートフォーカス処理およびオートフォーカスの収束速度が劣るかもしれず、これがオートフォーカスをより困難にする。

【0015】

図３は、一実施形態に従ったフレームシーケンスを説明する表３００である。第１の行３０２には、一連のフレーム周期が図示されている。相対焦点距離が第２の行３０４に示されている。第３および第４の行３０６および３０８には、全焦点画像の結合が図示されている。第５の行３１０には、特定の画像フレームの間にオートフォーカス処理が使用されたかどうかの表示が図示されている。第６の行３１２には、特定の画像フレームの間にプレビュー処理が使用されたかどうかの表示が図示されている。

【0016】

プレビューおよびオートフォーカス性能を最適化するために、図２に関して上記のように記載されたものから修正された機構がここに記載されている。４つの連続する画像撮像毎に、基準（オート）フォーカス撮像、遠くのフォーカス撮像、再び基準（オート）フォーカス撮像、および、近くのフォーカス撮像として焦点が合わされるように、連続的撮像に対する複数の焦点値が変えられている。このサイクルを繰り返す。オートフォーカスは、基準フォーカスでの画像撮像に際して算出される。図２の機構と同様に、ビューファインダーに対するプレビューは、基準（オート）フォーカスでの画像撮像に際して処理される。

【0017】

表３００に示されるように、フレーム周期１、２および３において撮像された画像を用いて多重フレーム画像結合を実行することにより、フレーム周期２に対して全焦点処理が実行される。同様に、フレーム周期３、４および５において撮像された画像を用いて多重フレーム画像結合を実行することにより、フレーム周期４に対して全焦点処理が実行される。このように、２つのフレーム周期ごとに１つの全焦点処理された画像が得られる。

【0018】

その結果、ユーザは一度に２つのフレーム分戻ることができるので、２フレーム周期精度でゼロシャッターラグ機能が支援される。同じく時間微動機能は、２フレーム周期で実行される。

【0019】

基準オートフォーカスでの画像が、フレーム２つおき（例えば図２中）ではなくフレーム１つおきに得られるので、ビューファインダー１１０またはプレビュー画面１０８に対するオートフォーカスおよびプレビュー処理は、１フレームおきに、または、画像撮像のＦＰＳの半分で行われてよい。オートフォーカスの収束は、単一フレームの時間精度を持った図２中に図示される機構に比べて著しく速い。そのため、基準フォーカスとしてオートフォーカスを用いた、より速いカメラ応答およびそれ故により高い品質の全焦点によって、ユーザ体験はより良好なものとなる。プレビューＦＰＳは、カメラ撮像ＦＰＳのわずか半分なので、ビューファインダーの画像化は滑らかであり、ユーザ体験を向上させる。単一フレームの時間精度を持った図２中に図示される機構に比べてオートフォーカスの収束が著しく速いので、視野中の変化がフォーカスの変化をもたらす場合にも、基準フォーカスをより正確に追跡し、且つ、より速く焦点を合わせることにより、結果として生じる適合され得る全焦点画像はまた、より品質が高い。

【0020】

本明細書中に記載される複数のシステムおよび方法は、時間遅延を取り除くまたは低減することによってユーザ体験を向上させ、シャッターレリーズの瞬間またはその付近において、ユーザが全焦点画像を撮像することを可能にする。この機構は、ゼロシャッターラグと呼ばれる。

【0021】

さらに、画像バッファ１１２によって、ユーザは、短い周期に間に合うように戻って操作すること、および、画像バッファ１１２からの画像に基づいて全焦点画像を組み上げることができる。上記のように、この機構は時間微動（time nudge）と呼ばれる。

【0022】

本明細書中に記載される複数のシステムおよび方法は、適合され得る。基準としてオートフォーカス推定された焦点面を使用すること、および、オートフォーカス推定された画像フレームに対して複数の異なった焦点面における他の構成要素の静止画撮像を利用することにより、システムがオートフォーカス焦点面に適合され、適応することを可能にする。

【0023】

図１に戻ると、図１は、カメラ１００を動作させるためのシステムを図示する。このシステムは、異なる複数の焦点面において一連の画像を撮像するためのカメラ１００中の画像センサ１０４と、全焦点画像を格納するための信号をユーザから受信するためのユーザインターフェースモジュール１１４と、全焦点画像を生じさせるべく、少なくとも２つの画像を結合させるための画像処理プロセッサ１１６と、を備える。ここで、上記一連の画像の少なくとも一部は、全焦点画像を格納するための信号を受信する前に生じ、上記少なくとも２つの画像は、異なる複数の焦点面を有する。

【0024】

一実施形態においては、一連の画像を撮像するために画像センサ１０４は、１秒当たり、あるフレーム数で一連の画像を撮像する。様々な実施形態においては、１秒当たりのフレーム数は、毎秒２４フレーム、毎秒３０フレーム、毎秒４５フレーム、または、毎秒６０フレームのうちの１つである。

【0025】

一実施形態においては、全焦点画像を格納するための信号を受信するために、ユーザインターフェースモジュール１１４は、一連の画像中のある時間フレームにおいて、全焦点画像を格納するためのコマンドを受信する。全焦点画像を生じさせるべく少なくとも２つの画像を結合させるために、画像処理プロセッサ１１６は、当該時間フレームにおける一連の画像から、少なくとも２つの画像を選択する。

【0026】

一実施形態においては、全焦点画像を格納するための信号を受信することは第１の時間において生じる。画像処理プロセッサ１１６は、第２の時間を推定し、第２の時間における一連の画像から少なくとも２つの画像を選択することによって、全焦点画像を生じさせるべく、少なくとも２つの画像を結合させる。ここで第２の時間は第１の時間よりも前に生じる。また、第２の時間は、全焦点画像を格納することをユーザがいつ意図したのかを表す。

【0027】

一実施形態においては、第２の時間を推定するために画像処理プロセッサ１１６は、ユーザの反応時間を特定し、第１の時間から反応時間を減算して第２の時間を導出する。

【0028】

一実施形態においては、異なる複数の焦点面における一連の画像は、基準焦点面、遠焦点面、および近焦点面での複数の画像が繰り返される連続を含む。

【0029】

一実施形態においては、全焦点画像を生じさせるべく少なくとも２つの画像を結合させるために、画像処理プロセッサ１１６は、一連の画像から３つの連続する画像を選択し、全焦点画像を生じさせるために、これら複数の画像のうちの焦点が合わされた複数の部分を結合させる。ここで、当該３つの連続する画像は、基準焦点面での画像、遠焦点面での画像、および、近焦点面での画像を含む。一実施形態においては、基準焦点面は、オートフォーカス推定された焦点面である。

【0030】

一実施形態においては、異なる複数の焦点面における一連の画像は、基準焦点面、遠焦点面、当該基準焦点面、および近焦点面での複数の画像が繰り返される連続を含む。

【0031】

一実施形態においては、全焦点画像を生じさせるべく少なくとも２つの画像を結合させるために、画像処理プロセッサ１１６は、一連の画像から３つの連続する画像を選択し、全焦点画像を生じさせるために、これら複数の画像のうちの焦点が合わされた複数の部分を結合させる。ここで、当該３つの連続する画像は、基準焦点面での画像、遠焦点面での画像、および、近焦点面での画像を含む。

【0032】

一実施形態においては、全焦点画像を生じさせるべく少なくとも２つの画像を結合させるために、画像処理プロセッサ１１６は、遠焦点面での画像を一連の画像から選択し、基準焦点面での画像であって、且つ遠焦点面での画像に直接続く基準焦点面での画像を一連の画像から選択し、近焦点面での画像であって、且つ基準焦点面での画像に直接続く近焦点面での画像を一連の画像から選択し、全焦点画像を生じさせるために、遠焦点面、基準焦点面、および、近焦点面での複数の画像のうちの焦点が合わされた複数の部分を結合させる。

【0033】

一実施形態においては、全焦点画像を生じさせるべく少なくとも２つの画像を結合させるために、画像処理プロセッサ１１６は、近焦点面での画像を一連の画像から選択し、基準焦点面での画像であって、且つ近焦点面での画像に直接続く基準焦点面での画像を一連の画像から選択し、遠焦点面での画像であって、且つ基準焦点面での画像に直接続く遠焦点面での画像を一連の画像から選択し、全焦点画像を生じさせるために、近焦点面、基準焦点面、および、遠焦点面での複数の画像のうちの焦点が合わされた複数の部分を結合させる。

【0034】

一実施形態においては、ユーザインターフェースモジュール１１４は、一連の画像から選択された画像により電子ビューファインダー画像を提示する。

【0035】

図４は、一実施形態に従った、カメラを動作させる方法４００を図示するフローチャートである。４０２においては、カメラ中の画像センサを用いて、異なる複数の焦点面において一連の画像が撮像される。ここで、一連の画像の少なくとも一部は、全焦点画像を格納するための信号を受信する前に生じる。

【0036】

一実施形態においては、一連の画像を撮像することは、１秒当たり、あるフレーム数で一連の画像を撮像することを含む。様々な実施形態においては、１秒当たりのフレーム数は、毎秒２４フレーム、毎秒３０フレーム、毎秒４５フレーム、または、毎秒６０フレームのうちの１つである。

【0037】

一実施形態においては、異なる複数の焦点面における一連の画像は、基準焦点面、遠焦点面、および近焦点面での複数の画像が繰り返される連続を含む。一実施形態においては、全焦点画像を生じさせるべく少なくとも２つの画像を結合させることは、一連の画像から３つの連続する画像を選択すること、および、全焦点画像を生じさせるために、これら複数の画像のうちの焦点が合わされた複数の部分を結合させること、を含む。ここで、当該３つの連続する画像は、基準焦点面での画像、遠焦点面での画像、および、近焦点面での画像を含む。一実施形態においては、基準焦点面は、オートフォーカス推定された焦点面である。

【0038】

一実施形態においては、異なる複数の焦点面における一連の画像は、基準焦点面、遠焦点面、当該基準焦点面、および近焦点面での複数の画像が繰り返される連続を含む。一実施形態においては、全焦点画像を生じさせるべく少なくとも２つの画像を結合させることは、一連の画像から３つの連続する画像を選択すること、および、全焦点画像を生じさせるために、これら複数の画像のうちの焦点が合わされた複数の部分を結合させること、を含む。ここで、当該３つの連続する画像は、基準焦点面での画像、遠焦点面での画像、および、近焦点面での画像を含む。

【0039】

一実施形態においては、全焦点画像を生じさせるべく少なくとも２つの画像を結合させることは、遠焦点面での画像を一連の画像から選択すること、基準焦点面での画像であって、且つ遠焦点面での画像に直接続く基準焦点面での画像を一連の画像から選択すること、近焦点面での画像であって、且つ基準焦点面での画像に直接続く近焦点面での画像を一連の画像から選択すること、および、全焦点画像を生じさせるために、遠焦点面、基準焦点面、および、近焦点面での複数の画像のうちの焦点が合わされた複数の部分を結合させること、を含む。

【0040】

一実施形態においては、全焦点画像を生じさせるべく少なくとも２つの画像を結合させることは、近焦点面での画像を一連の画像から選択すること、基準焦点面での画像であって、且つ近焦点面での画像に直接続く基準焦点面での画像を一連の画像から選択すること、遠焦点面での画像であって、且つ基準焦点面での画像に直接続く遠焦点面での画像を一連の画像から選択すること、および、全焦点画像を生じさせるために、近焦点面、基準焦点面、および、遠焦点面での複数の画像のうちの焦点が合わされた複数の部分を結合させること、を含む。

【0041】

４０４においては、全焦点画像を格納するための信号が、ユーザから受信される。ユーザが、物理的または仮想的シャッターレリーズボタンを押すこと、プレビュー画面１０８を押すこと、リモートシャッターレリーズを用いること、指定時刻に作動するシャッターレリーズを用いること、などによって信号は開始されてよい。

【0042】

４０６において、全焦点画像を生じさせるために、画像処理プロセッサを用いて、少なくとも２つの画像が結合される。ここで、当該少なくとも２つの画像は、異なる複数の焦点面を有する。

【0043】

一実施形態においては、全焦点画像を格納するための信号を受信することは、一連の画像中のある時間フレームにおいて、全焦点画像を格納するためのコマンドを受信することを含む。全焦点画像を生じさせるべく少なくとも２つの画像を結合させることは、当該時間フレームにおける一連の画像から、少なくとも２つの画像を選択することを含む。

【0044】

一実施形態においては、全焦点画像を格納するための信号を受信することは第１の時間において生じる。そしてこの方法は、第２の時間を推定することを含む。ここで第２の時間は第１の時間よりも前に生じる。また、第２の時間は、全焦点画像を格納することをユーザがいつ意図したのかを表す。全焦点画像を生じさせるために少なくとも２つの画像を結合させることは、第２の時間における一連の画像から、少なくとも２つの画像を選択することを含む。一実施形態において第２の時間を推定することは、ユーザの反応時間を特定すること、および、第２の時間を導出するために、第１の時間から反応時間を減算すること、を含む。

【0045】

一実施形態において方法４００は、一連の画像から選択された画像により電子ビューファインダー画像を提示することを含む。画像は、例えば、画像バッファ１１２からの基準オートフォーカスされた画像であってよい。

【0046】

複数の実施形態は、ハードウェア、ファームウェア、およびソフトウェアの１つ、またはそれらの組み合わせで実行されてよい。複数の実施形態はまた、本明細書中に記載される複数の動作を実行するために、少なくとも１つのプロセッサによって読み出され、且つ実行され得る、機械可読格納デバイスに格納された複数の命令として実行されてもよい。機械可読格納デバイスは、機械（例えばコンピュータ）によって可読な形で情報を格納するための、任意の非一時な機構を含んでよい。例えば、機械可読格納デバイスは、読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス、および、その他の格納デバイス並びに媒体を含んでよい。

【0047】

本明細書中に記載されるように、複数の例は、ロジックまたは多くの構成要素、モジュール、または機構を含んでよく、あるいは、それら上で動作してよい。複数のモジュールは、本明細書中に記載される複数の動作を実行するために１または複数のプロセッサに通信可能に結合されたハードウェア、ソフトウェア、またはファームウェアであってよい。複数のモジュールは複数のハードウェアモジュールであってよく、そのような複数のモジュールは、複数の特定の動作を実行することの可能な複数の有形な実体物とみなされてよいし、特定の態様で構成され、または配置されてよい。ある例においては、複数の回路が、１つのモジュールとして特定の態様で（例えば、内部に、または、他の複数の回路のような複数の外部実体物に対して）配置されてよい。ある例においては、１または複数のコンピュータシステム（例えば、スタンドアロン、クライアントまたはサーバコンピュータシステム）あるいは１または複数のハードウェアプロセッサの全体または一部分は、複数の特定の動作を実行するべく動作するモジュールとして、ファームウェアまたはソフトウェア（例えば、複数の命令、アプリケーション部分、またはアプリケーション）によって構成されてよい。ある例においては、ソフトウェアは機械可読媒体に存在してよい。ある例においてソフトウェアは、モジュールの基盤となるハードウェアによって実行されると、複数の特定の動作をハードウェアに実行させる。従って、ハードウェアモジュールという用語は、有形な実体物を包含し、特定の態様で動作するため、または、本明細書中に記載される任意の動作の一部またはすべてを実行するために、物理的に構築され、具体的に構成され（例えば、配線で接続され）、または、一時的に（例えば過渡的に）構成され（例えばプログラムされ）た実体物であると理解される。複数のモジュールが一時的に構成されている複数の例を考えると、複数のモジュールのそれぞれが、任意のある１つの瞬間にインスタンス化される必要は無い。例えば、複数のモジュールが、ソフトウェアを用いて構成された汎用ハードウェアプロセッサを備える場合、この汎用ハードウェアプロセッサは、複数の異なる時間において、複数の異なるモジュールのそれぞれとして構成されてよい。従ってソフトウェアは、例えば、１つの時間インスタンスにおいてはある特定のモジュールを構成し、異なる時間インスタンスにおいてはある異なるモジュールを構成するためのハードウェアプロセッサを構成してよい。複数のモジュールはまた、本明細書中に記載される複数の方法論を実行するべく動作する、複数のソフトウェアまたはファームウェアモジュールであってもよい。

【0048】

図５は、コンピュータシステム５００の例示的形態である機械を図示するブロック図である。ここでは、例示的な一実施形態に従って、複数の命令の組またはシーケンスが実行されて、本明細書中にて説明される複数の方法論の任意の１つを当該機械に実行させてよい。代替的な複数の実施形態において機械は、スタンドアロンのデバイスとして動作する。あるいは、その他複数の機械へと接続され（例えば、ネットワーク接続され）てよい。ネットワーク接続された配置において機械は、複数のサーバ−クライアントネットワーク環境におけるサーバまたはクライアントマシンのいずれかの資格を持って動作することができる。あるいは、複数のピアツーピア（または分散型）ネットワーク環境におけるピア装置として動作することができる。機械は、車載システム、ウェアラブルデバイス、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、ハイブリッドタブレット、携帯情報端末（ＰＤＡ）、携帯電話、または、その機械によって取られるべき複数の動作を特定する（逐次的な、またはそうでない）複数の命令を実行することの可能な任意の機械であってよい。さらに、単一の機械のみが図示されているが、"機械"という用語は、本明細書中にて説明される複数の方法論の任意の１つまたは複数を実行するための複数の命令の組（または複数の組）を個別に実行する、または共同で実行する、複数の機械の任意の集合体を含むものと解釈されるべきでもある。同様に、"プロセッサベースのシステム"という用語は、本明細書中にて説明される複数の方法論の任意の１つまたは複数を実行するための複数の命令を個別に実行するため、または共同で実行するためのプロセッサ（例えばコンピュータ）によって制御されるまたは動作される１または複数の機械の任意の組を含むものと解釈されるべきである。

【0049】

例示的なコンピュータシステム５００は、少なくとも１つのプロセッサ５０２（例えば中央処理装置（ＣＰＵ）、グラフィク処理ユニット（ＧＰＵ）、またはその両方、複数のプロセッサコア、複数の計算ノード等）、メインメモリ５０４、およびスタティックメモリ５０６を含み、これらがリンク５０８（例えばバス）を介して互いに通信する。コンピュータシステム５００は、ビデオディスプレイユニット５１０、英数字入力デバイス５１２（例えばキーボード）、およびユーザインターフェース（ＵＩ）ナビゲーションデバイス５１４（例えばマウス）をさらに含んでよい。一実施形態では、ビデオディスプレイユニット５１０、入力デバイス５１２、およびＵＩナビゲーションデバイス５１４は、タッチスクリーンディスプレイに組み込まれる。コンピュータシステム５００は、格納デバイス５１６（例えばドライブユニット）、信号発生デバイス５１８（例えばスピーカ）、ネットワークインターフェースデバイス５２０、および、全地球測位システム（ＧＰＳ）センサ、コンパス、加速度計、またはその他のセンサのような１または複数のセンサ（不図示）をさらに含んでよい。

【0050】

格納デバイス５１６は、本明細書中に記載される複数の方法論または機能の任意の１つまたは複数を具現化する、またはこれらによって利用される複数のデータ構造および複数の命令５２４（例えばソフトウェア）の１または複数の組が格納される機械可読媒体５２２を含む。複数の命令５２４はまた、メインメモリ５０４、スタティックメモリ５０６、および、機械可読媒体も構成するプロセッサ５０２を用いた、コンピュータシステム５００によるこれらの実行の間には、メインメモリ５０４内、スタティックメモリ５０６内、および／またはプロセッサ５０２内に完全に、または少なくとも部分的に存在してもよい。

【0051】

機械可読媒体５２２は、例示的な一実施形態においては単一の媒体であるように図示されているが、"機械可読媒体"という用語は、１または複数の命令５２４を格納する単一の媒体または複数の媒体（例えば、集中型または分散型データベース、および／または、関連する複数のキャッシュおよびサーバ）を含んでよい。"機械可読媒体"という用語はまた、機械による実行用の複数の命令を格納すること、符号化すること、または搬送することが可能な、そして、本開示の任意な１または複数の方法論を機械に実行させる、あるいは、そのような複数の命令によって利用されるまたは複数の命令に関連付けられた複数のデータ構造を格納すること、符号化すること、または搬送することが可能な、任意の有形な媒体を含むものと解釈されるべきである。従って、"機械可読媒体"という用語は、これらに限定されるものではないが、固体メモリ、並びに光および磁気媒体を含むものと解釈されるべきである。機械可読媒体の複数の具体的な例は、これらに限定されるものではないが、例として、半導体メモリデバイス（例えば、電気的プログラム可能読取専用メモリ（ＥＰＲＯＭ）、電気的消去可能読取専用メモリ（ＥＥＰＲＯＭ））およびフラッシュメモリデバイスを含む不揮発性メモリ、内蔵ハードディスクおよびリムーバブルディスクのような磁気ディスク、光磁気ディスク、および、ＣＤ−ＲＯＭおよびＤＶＤ−ＲＯＭディスクを含む。

【0052】

さらに複数の命令５２４は、多くの周知の転送プロトコル（例えばＨＴＴＰ）のうち任意の１つを利用したネットワークインターフェースデバイス５２０を介する伝送媒体を使用した通信ネットワーク５２６上で、送信または受信されてよい。複数の通信ネットワークの複数の例は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、インターネット、携帯電話ネットワーク、旧来の音声通話（ＰＯＴＳ）ネットワーク、無線データネットワーク（例えば、Ｗｉ−Ｆｉ、３Ｇおよび４Ｇ ＬＴＥ／ＬＴＥ−ＡまたはＷｉＭＡＸネットワーク）を含む。"伝送媒体"という用語は、機械による実行用の複数の命令を格納すること、符号化すること、または搬送することが可能であり、デジタルまたはアナログ通信信号を含む任意の無形の媒体、あるいは、そのようなソフトウェアの通信を容易にするためのその他の無形の媒体を含むものと解釈されるべきである。

【0053】

追記および例

【0054】

例１は、カメラを動作させるための（デバイス、装置、または機械のような）主題を含む。この主題は、異なる複数の焦点面において一連の画像を撮像するためのカメラ中の画像センサと、全焦点画像を格納するための信号をユーザから受信するためのユーザインターフェースモジュールと、全焦点画像を生じさせるべく、少なくとも２つの画像を結合させるための画像処理プロセッサと、を含むシステムを備える。ここで、上記一連の画像の少なくとも一部は、全焦点画像を格納するための信号を受信する前に生じ、上記少なくとも２つの画像は、異なる複数の焦点面を有する。

【0055】

例２においては、例１の主題が次の事項を含んでよい。一連の画像を撮像するために画像センサは、１秒当たり、あるフレーム数で一連の画像を撮像する。

【0056】

例３においては、例１から２のいずれか１つまたは複数の主題が次の事項を含んでよい。１秒当たりのフレーム数は、毎秒２４フレーム、毎秒３０フレーム、毎秒４５フレーム、または、毎秒６０フレームのうちの１つである。

【0057】

例４においては、例１から３のいずれか１つまたは複数の主題が次の事項を含んでよい。全焦点画像を格納するための信号を受信するために、ユーザインターフェースモジュールは、上記一連の画像中のある時間フレームにおいて、全焦点画像を格納するためのコマンドを受信する。全焦点画像を生じさせるべく少なくとも２つの画像を結合させるために、画像処理プロセッサは、当該時間フレームにおける一連の画像から、少なくとも２つの画像を選択する。

【0058】

例５においては、例１から４のいずれか１つまたは複数の主題が次の事項を含んでよい。全焦点画像を格納するための信号を受信することは第１の時間において生じる。画像処理プロセッサは、第２の時間を推定し、第２の時間における一連の画像から少なくとも２つの画像を選択することによって、全焦点画像を生じさせるべく、少なくとも２つの画像を結合させる。ここで第２の時間は第１の時間よりも前に生じる。また、第２の時間は、全焦点画像を格納することをユーザがいつ意図したのかを表す。

【0059】

例６においては、例１から５のいずれか１つまたは複数の主題が次の事項を含んでよい。第２の時間を推定するために画像処理プロセッサは、ユーザの反応時間を特定し、第１の時間から反応時間を減算して第２の時間を導出する。

【0060】

例７においては、例１から６のいずれか１つまたは複数の主題が次の事項を含んでよい。異なる複数の焦点面における一連の画像は、基準焦点面、遠焦点面、および近焦点面での複数の画像が繰り返される連続を含む。

【0061】

例８においては、例１から７のいずれか１つまたは複数の主題が次の事項を含んでよい。全焦点画像を生じさせるべく少なくとも２つの画像を結合させるために、画像処理プロセッサは、一連の画像から３つの連続する画像を選択し、全焦点画像を生じさせるために、これら複数の画像のうちの焦点が合わされた複数の部分を結合させる。ここで、当該３つの連続する画像は、基準焦点面での画像、遠焦点面での画像、および、近焦点面での画像を含む。

【0062】

例９においては、例１から８のいずれか１つまたは複数の主題が次の事項を含んでよい。基準焦点面は、オートフォーカス推定された焦点面である。

【0063】

例１０においては、例１から９のいずれか１つまたは複数の主題が次の事項を含んでよい。異なる複数の焦点面における一連の画像は、基準焦点面、遠焦点面、当該基準焦点面、および近焦点面での複数の画像が繰り返される連続を含む。

【0064】

例１１においては、例１から１０のいずれか１つまたは複数の主題が次の事項を含んでよい。全焦点画像を生じさせるべく少なくとも２つの画像を結合させるために、画像処理プロセッサは、一連の画像から３つの連続する画像を選択し、全焦点画像を生じさせるために、これら複数の画像のうちの焦点が合わされた複数の部分を結合させる。ここで、当該３つの連続する画像は、基準焦点面での画像、遠焦点面での画像、および、近焦点面での画像を含む。

【0065】

例１２においては、例１から１１のいずれか１つまたは複数の主題が次の事項を含んでよい。全焦点画像を生じさせるべく少なくとも２つの画像を結合させるために、画像処理プロセッサは、遠焦点面での画像を一連の画像から選択し、基準焦点面での画像であって、且つ遠焦点面での画像に直接続く基準焦点面での画像を一連の画像から選択し、近焦点面での画像であって、且つ基準焦点面での画像に直接続く近焦点面での画像を一連の画像から選択し、全焦点画像を生じさせるために、遠焦点面、基準焦点面、および、近焦点面での複数の画像のうちの焦点が合わされた複数の部分を結合させる。

【0066】

例１３においては、例１から１２のいずれか１つまたは複数の主題が次の事項を含んでよい。全焦点画像を生じさせるべく少なくとも２つの画像を結合させるために、画像処理プロセッサは、近焦点面での画像を一連の画像から選択し、基準焦点面での画像であって、且つ近焦点面での画像に直接続く基準焦点面での画像を一連の画像から選択し、遠焦点面での画像であって、且つ基準焦点面での画像に直接続く遠焦点面での画像を一連の画像から選択し、全焦点画像を生じさせるために、近焦点面、基準焦点面、および、遠焦点面での複数の画像のうちの焦点が合わされた複数の部分を結合させる。

【0067】

例１４においては、例１から１３のいずれか１つまたは複数の主題が次の事項を含んでよい。ユーザインターフェースモジュールは、一連の画像から選択された画像により電子ビューファインダー画像を提示する。

【0068】

例１５は、カメラを動作させるための（方法、複数の動作を実行するための手段、機械によって実行されると当該機械に複数の動作を実行させる複数の命令を含む機械可読媒体、または、実行するように構成された装置のような）主題を含む。この主題は、カメラ中の画像センサを用いて、異なる複数の焦点面において一連の画像を撮像すること、全焦点画像を格納するための信号をユーザから受信すること、および、全焦点画像を生じさせるために、画像処理プロセッサを用いて、少なくとも２つの画像を結合させること、を備える。ここで、上記一連の画像の少なくとも一部は、全焦点画像を格納するための信号を受信する前に生じ、上記少なくとも２つの画像は、異なる複数の焦点面を有する。

【0069】

例１６においては、例１５の主題が次の事項を含んでよい。一連の画像を撮像することは、１秒当たり、あるフレーム数で一連の画像を撮像することを含む。

【0070】

例１７においては、例１５から１６のいずれか１つまたは複数の主題が次の事項を含んでよい。１秒当たりのフレーム数は、毎秒２４フレーム、毎秒３０フレーム、毎秒４５フレーム、または、毎秒６０フレームのうちの１つである。

【0071】

例１８においては、例１５から１７のいずれか１つまたは複数の主題が次の事項を含んでよい。全焦点画像を格納するための信号を受信することは、一連の画像中のある時間フレームにおいて、全焦点画像を格納するためのコマンドを受信することを含む。全焦点画像を生じさせるべく少なくとも２つの画像を結合させることは、当該時間フレームにおける一連の画像から、少なくとも２つの画像を選択することを含む。

【0072】

例１９においては、例１５から１８のいずれか１つまたは複数の主題が次の事項を含んでよい。全焦点画像を格納するための信号を受信することは第１の時間において生じる。この方法は、第２の時間を推定することを含む。ここで第２の時間は第１の時間よりも前に生じる。また、第２の時間は、全焦点画像を格納することをユーザがいつ意図したのかを表す。全焦点画像を生じさせるために少なくとも２つの画像を結合させることは、第２の時間における一連の画像から、少なくとも２つの画像を選択することを含む。

【0073】

例２０においては、例１５から１９のいずれか１つまたは複数の主題が次の事項を含んでよい。第２の時間を推定することは、ユーザの反応時間を特定すること、および、第２の時間を導出するために、第１の時間から反応時間を減算すること、を含む。

【0074】

例２１においては、例１５から２０のいずれか１つまたは複数の主題が次の事項を含んでよい。異なる複数の焦点面における一連の画像は、基準焦点面、遠焦点面、および近焦点面での複数の画像が繰り返される連続を含む。

【0075】

例２２においては、例１５から２１のいずれか１つまたは複数の主題が次の事項を含んでよい。全焦点画像を生じさせるべく少なくとも２つの画像を結合させることは、一連の画像から３つの連続する画像を選択すること、および、全焦点画像を生じさせるために、これら複数の画像のうちの焦点が合わされた複数の部分を結合させること、を含む。ここで、当該３つの連続する画像は、基準焦点面での画像、遠焦点面での画像、および、近焦点面での画像を含む。

【0076】

例２３においては、例１５から２２のいずれか１つまたは複数の主題が次の事項を含んでよい。基準焦点面は、オートフォーカス推定された焦点面である。

【0077】

例２４においては、例１５から２３のいずれか１つまたは複数の主題が次の事項を含んでよい。異なる複数の焦点面における一連の画像は、基準焦点面、遠焦点面、当該基準焦点面、および近焦点面での複数の画像が繰り返される連続を含む。

【0078】

例２５においては、例１５から２４のいずれか１つまたは複数の主題が次の事項を含んでよい。全焦点画像を生じさせるべく少なくとも２つの画像を結合させることは、一連の画像から３つの連続する画像を選択すること、および、全焦点画像を生じさせるために、これら複数の画像のうちの焦点が合わされた複数の部分を結合させること、を含む。ここで、当該３つの連続する画像は、基準焦点面での画像、遠焦点面での画像、および、近焦点面での画像を含む。

【0079】

例２６においては、例１５から２５のいずれか１つまたは複数の主題が次の事項を含んでよい。全焦点画像を生じさせるべく少なくとも２つの画像を結合させることは、遠焦点面での画像を一連の画像から選択すること、基準焦点面での画像であって、且つ遠焦点面での画像に直接続く基準焦点面での画像を一連の画像から選択すること、近焦点面での画像であって、且つ基準焦点面での画像に直接続く近焦点面での画像を一連の画像から選択すること、および、全焦点画像を生じさせるために、遠焦点面、基準焦点面、および、近焦点面での複数の画像のうちの焦点が合わされた複数の部分を結合させること、を含む。

【0080】

例２７においては、例１５から２６のいずれか１つまたは複数の主題が次の事項を含んでよい。全焦点画像を生じさせるべく少なくとも２つの画像を結合させることは、近焦点面での画像を一連の画像から選択すること、基準焦点面での画像であって、且つ近焦点面での画像に直接続く基準焦点面での画像を一連の画像から選択すること、遠焦点面での画像であって、且つ基準焦点面での画像に直接続く遠焦点面での画像を一連の画像から選択すること、および、全焦点画像を生じさせるために、近焦点面、基準焦点面、および、遠焦点面での複数の画像のうちの焦点が合わされた複数の部分を結合させること、を含む。

【0081】

例２８においては、例１５から２７のいずれか１つまたは複数の主題が、一連の画像から選択された画像により電子ビューファインダー画像を提示することを含んでよい。

【0082】

例２９は、機械により実行されると、例１から２８のいずれか１つの複数の動作を当該機械に実行させる複数の命令を含む機械可読媒体を含む。

【0083】

例３０は、例１から２８のいずれかを実行させるための手段を備える装置を含む。

【0084】

例３１は、カメラ中の画像センサを用いて、異なる複数の焦点面において一連の画像を撮像する手段、全焦点画像を格納するための信号をユーザから受信する手段、および、全焦点画像を生じさせるために、画像処理プロセッサを用いて、少なくとも２つの画像を結合させる手段、を備える装置を含む。ここで、上記一連の画像の少なくとも一部は、全焦点画像を格納するための信号を受信する前に生じ、上記少なくとも２つの画像は、異なる複数の焦点面を有する。

【0085】

例３２においては、例３０の主題が次の事項を含んでよい。一連の画像を撮像することは、１秒当たり、あるフレーム数で一連の画像を撮像することを含む。

【0086】

例３３においては、例３０から３２のいずれか１つまたは複数の主題が次の事項を含んでよい。１秒当たりのフレーム数は、毎秒２４フレーム、毎秒３０フレーム、毎秒４５フレーム、または、毎秒６０フレームのうちの１つである。

【0087】

例３４においては、例３０から３３のいずれか１つまたは複数の主題が次の事項を含んでよい。全焦点画像を格納するための信号を受信する手段は、一連の画像中のある時間フレームにおいて、全焦点画像を格納するためのコマンドを受信する手段を有する。また、全焦点画像を生じさせるべく少なくとも２つの画像を結合させる手段は、当該時間フレームにおける一連の画像から、少なくとも２つの画像を選択する手段を有する。

【0088】

例３５においては、例３０から３４のいずれか１つまたは複数の主題が次の事項を含んでよい。全焦点画像を格納するための信号を受信することは第１の時間において生じる。この装置は、第２の時間を推定する手段を有する。ここで第２の時間は第１の時間よりも前に生じる。また、第２の時間は、全焦点画像を格納することをユーザがいつ意図したのかを表す。全焦点画像を生じさせるために少なくとも２つの画像を結合させる手段は、第２の時間における一連の画像から、少なくとも２つの画像を選択する手段を含む。

【0089】

例３６においては、例３０から３５のいずれか１つまたは複数の主題が次の事項を含んでよい。第２の時間を推定する手段は、ユーザの反応時間を特定する手段、および、第２の時間を導出するために、第１の時間から反応時間を減算する手段、を有する。

【0090】

例３７においては、例３０から３６のいずれか１つまたは複数の主題が次の事項を含んでよい。異なる複数の焦点面における一連の画像は、基準焦点面、遠焦点面、および近焦点面での複数の画像が繰り返される連続を含む。

【0091】

例３８においては、例３０から３７のいずれか１つまたは複数の主題が次の事項を含んでよい。全焦点画像を生じさせるべく少なくとも２つの画像を結合させる手段は、一連の画像から３つの連続する画像を選択する手段、および、全焦点画像を生じさせるために、これら複数の画像のうちの焦点が合わされた複数の部分を結合させる手段、を含む。ここで、当該３つの連続する画像は、基準焦点面での画像、遠焦点面での画像、および、近焦点面での画像を含む。

【0092】

例３９においては、例３０から３８のいずれか１つまたは複数の主題が次の事項を含んでよい。基準焦点面は、オートフォーカス推定された焦点面である。

【0093】

例４０においては、例３０から３９のいずれか１つまたは複数の主題が次の事項を含んでよい。異なる複数の焦点面における一連の画像は、基準焦点面、遠焦点面、当該基準焦点面、および近焦点面での複数の画像が繰り返される連続を含む。

【0094】

例４１においては、例３０から３９のいずれか１つまたは複数の主題が次の事項を含んでよい。全焦点画像を生じさせるべく少なくとも２つの画像を結合させる手段は、一連の画像から３つの連続する画像を選択する手段、および、全焦点画像を生じさせるために、これら複数の画像のうちの焦点が合わされた複数の部分を結合させる手段、を含む。ここで、当該３つの連続する画像は、基準焦点面での画像、遠焦点面での画像、および、近焦点面での画像を含む。

【0095】

例４２においては、例３０から４１のいずれか１つまたは複数の主題が次の事項を含んでよい。全焦点画像を生じさせるべく少なくとも２つの画像を結合させる手段は、遠焦点面での画像を一連の画像から選択する手段、基準焦点面での画像であって、且つ遠焦点面での画像に直接続く基準焦点面での画像を一連の画像から選択する手段、近焦点面での画像であって、且つ基準焦点面での画像に直接続く近焦点面での画像を一連の画像から選択する手段、および、全焦点画像を生じさせるために、遠焦点面、基準焦点面、および、近焦点面での複数の画像のうちの焦点が合わされた複数の部分を結合させる手段、を含む。

【0096】

例４３においては、例３０から４２のいずれか１つまたは複数の主題が次の事項を含んでよい。全焦点画像を生じさせるべく少なくとも２つの画像を結合させる手段は、近焦点面での画像を一連の画像から選択する手段、基準焦点面での画像であって、且つ近焦点面での画像に直接続く基準焦点面での画像を一連の画像から選択する手段、遠焦点面での画像であって、且つ基準焦点面での画像に直接続く遠焦点面での画像を一連の画像から選択する手段、および、全焦点画像を生じさせるために、近焦点面、基準焦点面、および、遠焦点面での複数の画像のうちの焦点が合わされた複数の部分を結合させる手段、を含む。

【0097】

例４４においては、例３０から４３のいずれか１つまたは複数の主題が、一連の画像から選択された画像により電子ビューファインダー画像を提示する手段を含んでよい。

【0098】

上述した詳細な記載は、詳細な記載の一部を形成する添付の複数の図面への参照を含む。複数の図面は、実施され得る複数の特定の実施形態を例として示す。これらの実施形態もまた、本明細書中では複数の"例"として参照される。そのような複数の例は、示されている、または記載されているこれらのものに加えて、複数の要素を含んでよい。しかしながら、示されている、または記載されている複数のそれらの要素を含む複数の例も予期される。さらにまた、本明細書中に示されている、または記載されている特定の例（または、１または複数のそれらの特徴）についてか、あるいは、その他複数の例（または、１または複数のそれらの特徴）についてかのいずれかで示されている、または記載されているこれらの要素（または、１または複数のそれらの特徴）の任意の組み合わせまたは配列を用いた複数の例も予期される。

【0099】

この文書中において参照される複数の出版物、特許、および特許文献は、参照によって個別に組み込まれているかのように、それらの全体が、参照により本明細書中に組み込まれる。この文書と、参照によってそのように組み込まれたそれら複数の文書との間に食い違った使用がある場合には、組み込まれた参照文献中の使用は、この文書における使用に対する補足的なものであり、矛盾した不一致に対しては、この文書における使用が優先する。

【0100】

特許文献において一般的であるように、この文書中の"１つの"または"一の"（aまたはan）という用語は、"少なくとも１つ"または"１または複数"の任意の他の複数の事例または使用からは独立して、１つ、または１つよりも多くのものを含むように使用されている。この文書中の"または"（or）という用語は、そうでないということが示されない限り、"ＡまたはＢ"が"ＡであるがＢではない"、"ＢであるがＡではない"、および、"ＡおよびＢ"を含むように、非排他的な"または"を指すべく使用されている。添付された特許請求項においては、"含む"（including）および"ここで"（in which）という用語が、それぞれ"備える"（comprising）および"そこで"（wherein）という用語の平易な英語の等価物として使用されている。また、以下の特許請求項においては、"含む"および"備える"（includingおよびcomprising）という用語はオープンエンド形態である。すなわち、特許請求項中のそのような用語の後に列挙されたものに加えて複数の要素を含むシステム、デバイス、物品、または処理も、依然としてその特許請求項の範囲内に入るものとみなされる。さらに、以下の特許請求項において"第１"、"第２"、および"第３"等の用語は、単なる名称として使用されるものであり、それらの対象に対する順番を示唆することが意図されるものではない。

【0101】

上記の記載は、例示的なものであることが意図されており、限定的なものではない。例えば、上述の複数の例（または、１または複数のそれらの特徴）は、他の複数のものと組み合わせて使用されてよい。上記の記載を検討した当業者等によって、その他複数の実施形態が使用されてよい。要約は、読者が、技術的開示の本質をすぐに確かめることを可能にするためのものである。要約は、特許請求項の範囲または意義を解釈するため、あるいは限定するためには使用されないであろうという理解のもとに提出されている。また、上記の発明を実施するための形態においては、開示を効率的にするために、様々な特徴が一緒にグループ化されているかもしれない。しかしながら特許請求項は、本明細書中に開示されるあらゆる特徴を記載するものではないかもしれない。何故ならば、複数の実施形態は、上記複数の特徴のサブセットを特徴付けることもあり得るためである。さらに、複数の実施形態は、特定の例に開示されているものよりも少ない特徴を含むかもしれない。従って、以下の特許請求項は、１つの特許請求項が独立した１つの実施形態として自立するように、発明を実施するための形態に組み込まれる。本明細書中に開示される複数の実施形態の範囲は、そうした特許請求項に対して与えられる等価物の全範囲と併せて、添付の特許請求項を参照して決定されるべきものである

【図1】

【図2】

【図3】

【図4】

【図5】