特許 6404941 動きぼけを有する画像を取得するための方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6404941

(24)【登録日】2018年9月21日

(45)【発行日】2018年10月17日

(54)【発明の名称】動きぼけを有する画像を取得するための方法および装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20181004BHJP

   G03B 15/00 20060101ALI20181004BHJP

   G03B 7/093 20060101ALI20181004BHJP

【ＦＩ】

   H04N5/232 290

   G03B15/00 H

   G03B15/00 Q

   G03B7/093

【請求項の数】16

【全頁数】19

(21)【出願番号】特願2016-562516(P2016-562516)

(86)(22)【出願日】2015年4月9日

(65)【公表番号】特表2017-520135(P2017-520135A)

(43)【公表日】2017年7月20日

(86)【国際出願番号】EP2015057667

(87)【国際公開番号】WO2015158590

(87)【国際公開日】20151022

【審査請求日】2016年12月1日

(31)【優先権主張番号】14305544.0

(32)【優先日】2014年4月14日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】391030332

【氏名又は名称】アルカテル−ルーセント

(74)【代理人】

【識別番号】110001173

【氏名又は名称】特許業務法人川口國際特許事務所

(72)【発明者】

【氏名】ハイセゲムス，ラファエル

(72)【発明者】

【氏名】ゴドン，マルク

【審査官】 大西 宏

(56)【参考文献】

【文献】 特開２０１１−２２１９２４（ＪＰ，Ａ）

【文献】 特開２００７−０７４０３１（ＪＰ，Ａ）

【文献】 特開２０１２−１０００００（ＪＰ，Ａ）

【文献】 特開２０００−１９４０３０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００６／００１７８３７（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｇ０３Ｂ ７／００ − ７／３０

Ｇ０３Ｂ １５／００ −１５／０３５

Ｇ０３Ｂ １５／０６ −１５／１６

(57)【特許請求の範囲】

【請求項1】

動きぼけを有する部分を含む画像を取得するための方法であって、
少なくとも１つのカメラを、物体および背景の第１、第２および第３の写真を決定された順序で撮影するように、制御するステップと、
カメラの制御により、前記第１の写真を第１の露光時間、前記第２の写真を第２の露光時間、前記第３の写真を第３の露光時間で、それぞれ撮影するステップと、
前記第２の露光時間が前記第１および前記第３の露光時間より長くすることによって、前記第２の写真が背景および／または物体のぼけ画像を、前記物体および／または前記背景が前記少なくとも１つのカメラに対して動いている場合に含むように制御するステップと、
前記第１、第２および第３の写真を用いて、第２の写真の前記ぼけ画像の少なくとも一部、ならびに前記第１および／または第３の写真から得られる部分を含む最終画像を生成するステップとを、
備える方法。

【請求項2】

前記決定された順序で撮影するように制御するステップは、
第１、第２および第３の写真を１つずつ撮影するように単一のカメラを制御する、
請求項１に記載の方法。

【請求項3】

前記動いている場合に含むように制御するステップは、
第１および第３の露光時間が１／１００秒より短く、第２の露光時間が１／８０秒より長い、
請求項１または２に記載の方法。

【請求項4】

前記最終画像を生成するステップは、
第１および第３の写真を用いて、前記第１および前記第３の写真における物体の形状および位置を決定し、
第１および第３の写真における物体の位置および形状を用いて、ぼけ画像の少なくとも一部を第２の写真から分離し、
ぼけ画像の分離された少なくとも一部を、第１および／または第３の写真から得られる部分と結合して、最終画像を取得する、
請求項１から３のいずれか一項に記載の方法。

【請求項5】

コンピュータプログラムであって、プログラムがコンピュータ上で実行された場合に、請求項１から４のいずれか一項に記載の方法を実施するためのコンピュータ実行可能命令を備える、コンピュータプログラム。

【請求項6】

決定された順序で少なくとも１つのカメラで撮影された物体および背景の第１、第２および第３の写真を受信するように構成された画像生成モジュールであって、前記第１の写真が第１の露光時間で撮影され、前記第２の写真が第２の露光時間で撮影され、前記第３の写真が第３の露光時間で撮影され、前記第２の露光時間が前記第１および前記第３の露光時間より長く、それによって、前記第２の写真が背景および／または物体のぼけ画像を、前記物体および／または前記背景が前記少なくとも１つのカメラに対して動いている場合に含むようにし、
前記画像生成モジュールが、第２の写真の前記ぼけ画像の少なくとも一部、ならびに前記第１および／または第３の写真から得られる部分を含む最終画像を、前記第１、第２および第３の写真を用いて生成するように構成された、画像生成モジュール。

【請求項7】

第１および第３の写真を用いて前記第１および前記第３の写真における物体の形状および位置を決定し、
第１および第３の写真における物体の位置および形状を用いて、ぼけ画像の少なくとも一部を第２の写真から分離し、
ぼけ画像の分離された少なくとも一部を、第１および／または第３の写真から得られる部分と結合して最終画像を取得するように構成された、請求項６に記載の画像生成モジュール。

【請求項8】

第１および第３の写真を用いて、物体に基づくつなぎ合わせを用いることで物体の形状および位置を決定し、
第１および／または第３の写真における物体の決定された形状および／または位置を用いて、前記第１および／または第３の写真から背景画像を取得し、
第１および第３の写真における決定された位置を用いて、第２の写真における物体の任意選択的にぼけた画像の位置を決定し、
最終画像を取得するために、第２の写真における任意選択的にぼけた部分の位置を考慮して、第２の写真の任意選択的にぼけた画像を前記背景画像にオーバーレイするように構成された、請求項６または７に記載の画像生成モジュール。

【請求項9】

第１および第３の写真を用いて、物体に基づくつなぎ合わせを用いることで物体の形状および位置を決定し、
第１および第３の背景画像を生成するために、決定された形状および位置を考慮して、前記第１および前記第３の写真から物体を除去し、
前記第１および第３の背景画像を結合して結合された背景画像を取得し、
第１および第３の写真における決定された位置を用いて、第２の写真における物体の任意選択的にぼけた画像の位置を決定し、
最終画像を取得するために、第２の写真における任意選択的にぼけた部分の位置を考慮して、第２の写真の任意選択的にぼけた画像を前記結合された背景画像にオーバーレイするように構成された、請求項６から８のいずれか一項に記載の画像生成モジュール。

【請求項10】

前記第１および／または前記第３の写真から物体の非ぼけ画像を取得し、
物体の非ぼけ画像を最終画像にオーバーレイする
ように構成された、請求項６から９のいずれか一項に記載の画像生成モジュール。

【請求項11】

第１および第３の写真を用いて、物体に基づくつなぎ合わせを用いることで物体の形状および位置を生成し、
前記第１および／または前記第３の写真から物体の非ぼけ画像を取得し、
前記第１および第３の写真における決定された位置を用いて、第２の写真における物体の任意選択的にぼけた画像の位置を決定し、
最終画像を取得するために、第２の写真における物体の任意選択的にぼけた画像の決定された位置を考慮して、物体の非ぼけ画像を第２の写真にオーバーレイするように構成された、請求項６から１０のいずれか一項に記載の画像生成モジュール。

【請求項12】

少なくとも１つのカメラと、
物体および背景の第１、第２および第３の写真を決定された順序で撮影するよう少なくとも１つのカメラを制御するように構成されたコントローラであって、制御することによって、前記第１の写真が第１の露光時間で撮影され、前記第２の写真が第２の露光時間で撮影され、前記第３の写真が第３の露光時間で撮影されるようにし、前記第２の露光時間が前記第１および前記第３の露光時間より長く、それによって、前記第２の写真が背景および／または物体のぼけ画像を、前記物体および／または前記背景が前記少なくとも１つのカメラに対して動いている場合に含むようにする、コントローラと、
請求項６から１１のいずれか一項に記載の画像生成モジュールと
を備える、装置。

【請求項13】

コントローラが、第１、第２および第３の写真を１つずつ撮影するように単一のカメラを制御するように構成される、請求項１２に記載の装置。

【請求項14】

コントローラが、１／１００秒より短い第１および第３の露光時間で第１および第３の写真を撮影し、１／８０秒より長い第２の露光時間で第２の写真を撮影するよう、少なくとも１つのカメラを制御するように構成された、請求項１２または１３に記載の装置。

【請求項15】

コントローラが、第２の写真の後に第３の写真を、第１の写真の後に第２の写真を撮影するように少なくとも１つのカメラを制御するように構成された、請求項１２から１４のいずれか一項に記載の装置。

【請求項16】

コントローラが、第１および第３の画像を第２の画像の前に撮影し、または第１および第３の画像を第２の画像の後に撮影するように少なくとも１つのカメラを制御するように構成され、
第１および第３の画像を用いて、少なくとも１つのカメラに対する物体の速度を決定し、
速度を用いて、第２の写真におけるぼけ画像の位置を決定する、請求項１２から１４のいずれか一項に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の分野は、写真撮影に関する。詳細な実施形態は、動きぼけを有する部分を含む画像を取得するための方法および装置、コンピュータプログラム、コントローラ、ならびに方法を実施するためのプログラムを符号化するデータ記憶デバイスに関する。

【背景技術】

【0002】

写真撮影では、静止画像において動作および速度の印象を与えるために、動きぼけがしばしば用いられる。しかしながら多くの場合、少数の、典型的には専門家の撮影者のみが、コントロールされた方法で動きぼけを写真に含めることがまさに可能なカメラ操作レベルおよび専門知識に到達する。

【0003】

加えて、従来技術の技法を用いると、たとえばＰｈｏｔｏｓｈｏｐ、ＧＩＭＰなどを用いた写真の後処理によって納得のいく自然な動きぼけを導入することは難しく、時間がかかる。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｈｉｇｈ−ｄｙｎａｍｉｃ−ｒａｎｇｅ＿ｉｍａｇｉｎｇ

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の実施形態の目的は、経験の浅い撮影者が、コントロールされた方法で動きぼけを含む画像を取得できるようにすることである。より詳細には、本発明の実施形態の目的は、撮影者が動きぼけを自分の写真に創造的に用いるのを手助けすることである。

【課題を解決するための手段】

【0006】

本発明の第１の態様によれば、動きぼけを有する部分を含む画像を取得するための方法が提供される。方法は、少なくとも物体および背景の第１、第２および第３の写真を撮影するように少なくとも１つのカメラを制御することと、最終画像を、前記第１、第２および第３の写真を用いて生成することとを備える。第１の写真は第１の露光時間で撮影され、第２の写真は第２の露光時間で撮影され、第３の写真は第３の露光時間で撮影される。第２の露光時間は、第１および第３の露光時間より長く、第２の写真が前記背景および／または前記物体のぼけ画像を含むようなものである。少なくとも１つのカメラを制御することは、第１、第２および第３の写真が決定された順序で撮影されるようなものである。この順序は必ずしも、第１、次いで第２、次いで第３ではなく、第１、第３、第２、または他の任意の順序でもよいことに留意されたい。第１、第２および第３の写真を用いて最終画像を生成することは、最終画像が、第２の写真のぼけ画像の少なくとも一部、ならびに第１および／または第３の写真から得られる部分を含むようなものである。

【0007】

本発明の実施形態は、一連の少なくとも３枚の写真を組み合わせることであって、３枚の写真のうち２枚は比較的短い露光時間を有するが、一方これらの写真の１枚は比較的長い露光時間を有する、組み合わせることによって、一方では長い露光時間で撮影された写真のぼけ部分を含み、他方では残りの部分の鮮明な画像を含む改良された最終画像を生成することが可能となるという発明的洞察にとりわけ基づいている。

【0008】

一実施形態では、少なくとも１つのカメラを制御することは、第１、第２および第３の写真が順々に撮影され、好ましくは後続の写真の撮影の間の時間が極力短くなるよう、これらの写真を撮影するように単一のカメラを制御することを備える。

【0009】

一実施形態では、制御することは、第３の写真が第２の写真の後に撮影され、第２の写真が第１の写真の後に撮影されるように、少なくとも１つのカメラを制御することを備える。このようにして、第１および第３の写真によって、物体の位置および形状を決定することが可能になり、この情報を用いて、第２の写真におけるぼけ画像の位置および形状を決定することができる。好ましくは、第１の写真の撮影と第２の写真の撮影との間の時間、ならびに第２の写真の撮影と第３の写真の撮影との間の時間は、１／１００秒より短く、より好ましくは１／３００秒より短い。これらの値が、可視スペクトルの光線を用いて撮影される写真について典型的な値であることに留意されたい。異なる範囲が、たとえば赤外線、紫外線、レントゲン線、超音波、電磁スキャンなどを用いて取得される画像に適用され得ることを当業者は理解する。

【0010】

好ましい実施形態では、第１および第３の露光時間は１／１００秒より短く、好ましくは１／３００秒より短い。このようにして、第１および第３の写真には、ほとんど動きぼけがない。第２の露光時間は、好ましくは１／８０秒より長く、より好ましくは１／５０秒より長く、最も好ましくは１／４０秒より長い。この場合もやはり、これらの値が、可視スペクトルの光線を用いて撮影される写真について典型的なものであることを当業者は理解するであろう。これは比較的長い第２の露光時間に対応し、したがって、物体および／または背景が動いている場合、第２の写真が背景および／または物体のぼけ画像を含むことになる。好ましい実施形態では、第１および第３の露光時間は、第２の露光時間よりも少なくとも５倍、好ましくは少なくとも１０倍短い。

【0011】

好ましい実施形態では、最終画像を生成することが、第１および第３の写真を用いて、前記第１および前記第３の写真における物体の形状および位置を決定することと、第１および第３の写真における物体の位置および形状を用いて、ぼけ画像の少なくとも一部を第２の写真から分離することと、ぼけ画像の分離された少なくとも一部を、第１および／または第３の写真から得られる部分と結合して、最終画像を取得することとを備える。そのような実施形態では、第１および第３の写真における物体の位置および形状によって、第２の写真におけるぼけ画像の位置および形状を決定することが可能になり、その結果、ぼけ画像の少なくとも一部を、第１および第３の写真から得られる部分と結合して、位置合わせの問題を回避することができる。

【0012】

本発明の実施形態では、第２の写真におけるぼけ画像が、物体のぼけ画像または背景のぼけ画像であってよいことに留意されたい。第１および第３の写真における物体の位置および形状を決定することにより、第２の写真における（任意選択的にぼけた）物体の輪郭を決定することができる。ぼけた物体の場合、この輪郭はぼけ画像の境界を形成する。ぼけた背景の場合、この輪郭は背景のぼけ画像の内側の境界に対応し、一方外側の境界は第２の写真の外側の境界となる。写真が２つ以上の物体を含む場合にも、同様の考察が当てはまる。

【0013】

他の可能な実施形態では、制御することが、第１および第３の画像を第２の画像の前に撮影し、または第１および第３の画像を第２の画像の後に撮影するように少なくとも１つのカメラを制御することを備える。そのような実施形態では、第１および第３の画像を用いて、少なくとも１つのカメラに対する物体または背景の移動速度を決定することができる。次いで、この移動速度を用いて、第２の写真におけるぼけ画像の位置および形状を決定することができる。物体が第１および第３の画像の間で動いていない場合、移動速度はゼロとなり、ぼけ画像は第２の写真における背景画像となることに留意されたい。任意選択で、最終画像を生成することは、物体の非ぼけ画像を第１および／または第３の写真から取得することと、物体の非ぼけ画像を最終画像にオーバーレイすることとをさらに備えることができる。

【0014】

好ましい実施形態によれば、最終画像を生成することが、第１および第３の写真を用いて、物体に基づくつなぎ合わせを用いることで物体の形状および位置を決定することと、決定された形状および位置を考慮して、第１および第３の写真から物体を除去することで、第１および第３の背景画像を生成することと、第１および第３の背景画像を結合して結合された背景画像を取得することと、決定された位置および形状を用いて、第２の写真における物体の任意選択的にぼけた画像の位置および形状を決定することと、第２の写真における任意選択的にぼけた画像の位置を考慮して、第２の写真の任意選択的にぼけた画像を結合された背景画像にオーバーレイすることとを備える。そのような実施形態は、第２の写真が動く物体のぼけ画像を安定した背景（ｓｔａｂｌｅ ｂａｃｋｇｒｏｕｎｄ）と共に含む場合に、よい結果を与える。

【0015】

他の実施形態によれば、最終画像を生成することが、第１および第３の写真を用いて、物体に基づくつなぎ合わせを用いることで物体の形状および位置を生成することと、決定された位置および形状を用いて、第２の写真における物体の任意選択的にぼけた画像の位置および形状を決定することと、第１および／または第３の写真における物体の決定された形状および位置を考慮して、第１および／または第３の写真から物体の非ぼけ画像を取得することと、第２の写真における物体の任意選択的にぼけた画像の位置を考慮して、物体の非ぼけ画像を第２の写真にオーバーレイすることとを備える。そのような実施形態は、第２の写真が背景のぼけ画像を含む場合に、よい結果を与える。

【0016】

本発明の実施形態では、２つの最終画像、すなわち、上記で開示された第１の実施形態、たとえば安定した背景を有する動く物体に特に適した一実施形態による第１の最終画像、および上記で開示された第２の実施形態、たとえば動く背景に特に適した一実施形態による第２の最終画像を生成することができる。そして、ユーザに第１および第２の最終画像の両方を提示することができ、ユーザは最良のものを選択することができる。一代替的実施形態では、ユーザに、「動く物体」モードまたは「動く背景」モードを選択するための選択インターフェースを提示することができ、すると最終画像がそれに従って計算される。

【0017】

本発明のさらなる態様によれば、コンピュータプログラムであって、プログラムがコンピュータ上で実行された場合に、上記で開示された実施形態のいずれか１つの実施形態のステップのいずれか１つによる方法を実施するためのコンピュータ実行可能命令を備える、コンピュータプログラムが提供される。

【0018】

本発明のさらなる態様によれば、上記で開示された方法の実施形態のいずれか１つの実施形態の１つまたは複数のステップを実施するようにプログラムされた、コンピュータデバイスまたは他のハードウェアデバイスが提供される。他の態様によれば、上記で開示された方法の実施形態のいずれか１つの実施形態の１つまたは複数のステップを実施するために、機械可読かつ機械実行可能な形式にプログラムを符号化する、データ記憶デバイスが提供される。

【0019】

他の態様によれば、少なくとも１つのカメラと、上記で開示されたデータ記憶デバイスの一実施形態とを備える、装置が提供される。

【0020】

さらに他の態様によれば、コントローラが提供される。コントローラは、物体および背景の第１、第２および第３の写真を撮影するよう少なくとも１つのカメラを制御するように構成される。典型的には、物体および／または背景が少なくとも１つのカメラに対して動いている場合に、写真が撮影される。コントローラは、第１の写真を第１の露光時間で撮影し、第２の写真を第２の露光時間で撮影し、第３の写真を第３の露光時間で撮影するよう少なくとも１つのカメラを制御するようにさらに構成され、第２の露光時間が第１および第３の露光時間より長く、第２の画像が背景および／または物体のぼけ画像を、背景および／または物体が少なくとも１つのカメラに対して動いている場合に含むようにする。さらに、コントローラは、第１、第２および第３の写真が決定された順序で撮影されるよう、少なくとも１つのカメラを制御するように構成される。このようにして、どの写真がどの瞬間に撮影されるかが既知となる。

【0021】

一実施形態では、コントローラは、第１、第２および第３の写真が順々に撮影されるよう、第１、第２および第３の写真を撮影するように単一のカメラを制御するように構成される。

【0022】

一実施形態では、コントローラは、１／１００秒より短く、好ましくは１／３００秒より短い第１および第３の露光時間で第１および第３の写真を撮影し、１／８０秒より長く、好ましくは１／５０秒より長く、より好ましくは１／４０秒より長い第２の露光時間で第２の写真を撮影するよう、少なくとも１つのカメラを制御するように構成される。

【0023】

他の態様によれば、画像生成モジュールが提供される。画像生成モジュールは、第１、第２および第３の写真を受信し、第２の写真のぼけ画像の少なくとも一部、ならびに第１および／または第３の写真から得られる部分を含む最終画像を、第１、第２および第３の写真を用いて生成するように構成される。

【0024】

一実施形態では、コントローラは、第１および第３の画像を第２の画像の前に撮影し、または第１および第３の画像を第２の画像の後に撮影するよう少なくとも１つのカメラを制御するように構成される。そして、画像生成モジュールは、第１および第３の画像を用いて、少なくとも１つのカメラに対する物体の移動速度を決定し、移動速度を用いて、第２の写真におけるぼけ画像の位置を決定するように構成することができる。

【0025】

一実施形態では、画像生成モジュールは、第１および第３の写真を用いて、前記第１および前記第３の写真における物体の形状および位置を決定し、第１および第３の写真における物体の位置および形状を用いて、ぼけ画像の少なくとも一部を第２の写真から分離し、ぼけ画像の分離された少なくとも一部を、第１および／または第３の写真から得られる部分と結合して、最終画像を取得するように構成される。

【0026】

一実施形態では、画像生成モジュールは、第１および第３の写真を用いて、物体に基づくつなぎ合わせを用いることで物体の形状および位置を決定し、第１および／または第３の写真における物体の決定された形状および／または位置を用いて、前記第１および／または第３の写真から背景画像を取得し、第１および第３の写真における決定された位置を用いて、第２の写真における物体の任意選択的にぼけた画像の位置を決定し、最終画像を取得するために、第２の写真における任意選択的にぼけた部分の位置を考慮して、第２の写真の任意選択的にぼけた画像を前記背景画像にオーバーレイするように構成される。

【0027】

一実施形態では、画像生成モジュールが、第１および第３の写真を用いて、物体に基づくつなぎ合わせを用いることで物体の形状および位置を決定し、決定された形状および位置を考慮して、前記第１および前記第３の写真から物体を除去することで、第１および第３の背景画像を生成し、前記第１および第３の背景画像を結合して結合された背景画像を取得し、第１および第３の写真における決定された位置を用いて、第２の写真における物体の任意選択的にぼけた画像の位置を決定し、最終画像を取得するために、第２の写真における任意選択的にぼけた部分の位置を考慮して、第２の写真の任意選択的にぼけた画像を前記結合された背景画像にオーバーレイするように構成される。

【0028】

一実施形態では、画像生成モジュールは、物体の非ぼけ画像を第１および／または第３の写真から取得し、物体の非ぼけ画像を最終画像にオーバーレイするようにさらに構成される。

【0029】

一実施形態では、画像生成モジュールは、第１および第３の写真を用いて、物体に基づくつなぎ合わせを用いることで物体の形状および位置を生成し、前記第１および／または前記第３の写真から物体の非ぼけ画像を取得し、前記第１および第３の写真における決定された位置を用いて、第２の写真における物体の任意選択的にぼけた画像の位置を決定し、最終画像を取得するために、第２の写真における物体の任意選択的にぼけた画像の決定された位置を考慮して、物体の非ぼけ画像を第２の写真にオーバーレイするように構成される。

【0030】

さらに他の態様によれば、少なくとも１つのカメラと、上記で開示された実施形態のいずれか１つによるコントローラと、任意選択で、上記で開示された実施形態のいずれか１つによる画像生成モジュールとを備える、装置が提供される。また、装置は、画像生成モジュールにより生成された最終画像を表示するように構成された表示デバイスを備えることができる。例示的実施形態では、装置は、適切に構成されたスマートフォン、適切に構成されたデジタルカメラ、少なくとも１つのカメラを有する適切に構成されたコンピュータなどとすることができる。さらに、装置は、ユーザが装置を操作できるように構成されたユーザインターフェースを含むことができる。ユーザインターフェースは、ユーザが装置を「動きぼけ有り写真」動作様式に設定できるように構成することができる。ユーザインターフェースは、装置が「動きぼけ有り写真」動作様式に設定された場合に、第１、第２および第３の写真の撮影を制御するようにコントローラをアクティブ化するボタンを備えることができる。ボタンは、たとえば、表示デバイスがタッチスクリーンを備える場合に、表示デバイス上に表示される仮想ボタンでもよく、または物理ボタンでもよい。

【0031】

添付の図面は、本発明のデバイスの現在好ましい非限定的な例示的実施形態を示すために用いられる。添付の図面と併用して読まれた場合に、以下の詳細な説明から、本発明の特徴および目的の上記および他の利点がより明らかとなり、本発明がより良く理解されるであろう。

【図面の簡単な説明】

【0032】

【図1】方法の第１の実施形態の略図である。

【図2】方法の第２の実施形態の略図である。

【図3】方法の第２の実施形態の略図である。

【図4】方法の第３の実施形態の略図である。

【図5】方法の第４の実施形態の略図である。

【図6】装置の一実施形態を示す図である。

【図7】方法の一実施形態を示すフローチャートである。

【図8】方法の生成ステップの一実施形態を示すフローチャートである。

【図9】方法の生成ステップの一実施形態を示すフローチャートである。

【図10】方法の生成ステップの一実施形態を示すフローチャートである。

【図11】方法の生成ステップの一実施形態を示すフローチャートである。

【発明を実施するための形態】

【0033】

静止画像の中で、異なるタイプの動きぼけを区別することができる。

【0034】

タイプ１−意図せず動いたカメラ、静止した風景および／または物体
典型的には、光条件が悪い場合に、このタイプの動きぼけが観測され得る。この場合、撮影者および／またはカメラは、十分な光を取り込めるように、より長いシャッター速度に切り替える必要がある。三脚に取り付けられていない場合、意図しないぼけ写真が得られるリスクが高い。

【0035】

タイプ２−意図せず動いた物体、静止したカメラ
このタイプの動きぼけもまた、光条件が悪い場合に生じることがあり、撮影者および／またはカメラがより長いシャッター速度に切り替える必要がある。写真の撮影中に物体が動いた場合に、動きぼけが生じる。そのような状況では、三脚を用いても役に立たない。

【0036】

タイプ３−ぼけた動く物体を有する鮮明な背景
このタイプのぼけは、典型的には、カメラを静止して保持する（手持ち）か、または三脚に取り付けて、比較的遅いシャッターと組み合わせて、故意に発生させる。カメラを三脚に取り付けることで、遅いシャッター速度を用いつつ、背景の意図しないぼけを回避することができる。しかしながら、ほとんどの趣味の撮影者は、三脚を常に持ち歩いているわけではない。また、三脚およびカメラを設置するのには時間がかかる。最悪な場合のシナリオでは、設置が終わったときには、写真を撮影する機会がなくなっている。

【0037】

タイプ４−鮮明な動く物体およびぼけた背景
このタイプのぼけもまた、故意に発生させることができる。これは、比較的遅いシャッター速度と組み合わせて、物体が動いているのと同じ方向および同じ速度でカメラをパンすることで、実現される。これは、移動車両に乗っており、物体が車両内にある間に写真が撮影され、したがって物体はカメラに対しては動かないが、窓などから見える背景がカメラに対して動く場合にも実現することができる。理論的には、遅いシャッター速度に対応している任意のカメラを用いて、そのような写真を撮影することができる。しかしながら、実際には、このタイプの動きぼけ画像を撮影するためには、優れた運動および速度の感覚を有する経験のある撮影者である必要がある。経験の少ない撮影者の場合、（鮮明となることが意図される）動く物体までもが一部が動きぼけした写真になってしまう。

【0038】

図１に、動きぼけを有する部分を含む写真を取得するための方法の第１の実施形態を示す。この実施形態は、限定された時間間隔、典型的には１秒未満の時間間隔内で同じ位置から撮影された３枚の写真１１、１２、１３のシーケンスを用いる。カメラに対して比較的高速で動いている物体または背景について、この時間間隔は比較的短い場合があり、一方カメラに対して比較的低速で動いている物体または背景について、この時間間隔は比較的長い場合がある。図１に示された露光タイムラインは、３枚の後続の写真１１、１２、１３を生成するためにシャッターが開閉された瞬間を示す。第１および第３の写真１１、１３は、動きぼけを回避するために短い露光時間Ｔ１、Ｔ３で撮影され、一方カメラに対して動く背景に（図１非図示、図３参照）、またはカメラに対して動く１つまたは複数の物体に動きぼけを導入する目的で、第２の写真１２は長い露光時間Ｔ２で撮影される。後者は、図１に、トラックの形の１つの物体について示されている。第１の写真１１では、トラックは位置Ｐ１にあり、第３の写真では、トラックは位置Ｐ３にある。第２の写真では、動くトラックによって、位置Ｐ１および位置Ｐ３の間で伸びる動きぼけ部分ＢＰが生成される。

【0039】

３枚の写真１１、１２、１３が結合されて、１枚の意図的なぼけ画像が、コントロールされた方法で生成される。３枚の写真を結合することによって、方法の第１の実施形態は、画像のある部分は鮮明に見えるが、一方他の部分は動きぼけして見える画像の取得を容易にする。タイプ３の動きぼけについて、背景はより鮮明に見えるが、一方物体は動きぼけして見える。タイプ４の動きぼけについて、動く物体はより鮮明に見えるが、一方背景は動きぼけして見える。

【0040】

３枚の写真１１、１２、１３は、背景に対して（タイプ３）、または物体に対して（タイプ４）実質的に同じ位置から生成される。写真１１、１２、１３は、同一のカメラによって、または異なるカメラによって同期された方法で、撮影することができる。

【0041】

１枚の融合された画像を生成する目的で異なる画像を撮影する技法は、現在ハイエンドのカメラで一般的に利用可能なＨＤＲ写真撮影においても用いられており、たとえばｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｈｉｇｈ−ｄｙｎａｍｉｃ−ｒａｎｇｅ＿ｉｍａｇｉｎｇを参照されたい。これらのカメラは、１秒の何分の１かで、異なる露光および／または絞りを用いて異なる画像を撮影する。このステップの後、カメラは自動的にこれらの画像を融合して、ハイダイナミックレンジ（ＨＤＲ）を有する１枚の画像を合成する。しかしながら、ＨＤＲ写真撮影は、動きぼけに対処することができず、趣味の撮影者が動きぼけを有する改良された画像を取得することができない。

【0042】

より詳細には、第１の実施形態は、以下のステップを備えることができる。第１のステップは、３枚の後続の写真を自動的にキャプチャすることからなり、ここで第１の写真１１および第３の写真１３は高速露光、たとえば１／３００秒未満の露光時間を有し、第２の写真１２はたとえば１／４０秒を超える低速露光を用いる。当業者は、露光時間について述べられた範囲が例にすぎないことに気づくであろう。特定の実施形態では、露光時間の値は異なってもよい。たとえば、第１／第３の写真がフラッシュ光で撮影される場合、これは１／６０秒の露光時間で行うことができる。その場合、この撮影は、画像を「フリーズ」させるフラッシュの超短光パルス（１／１０００秒程度）となる。また、科学的な写真、たとえば望遠鏡で撮影される写真を撮影する場合、第１および第３の写真の露光時間は、さらに長く、たとえば１／１００秒より長いことがある。さらに、本発明の実施形態は、赤外線、紫外線、レントゲン線、電磁波、超音波などを用いて撮影される写真にも適用可能である。そのような写真を撮影するために、可視スペクトルでの写真用の露光時間と比べて大きく異なる露光時間が使用され得る。

【0043】

３枚の写真１１、１２、１３は、いずれも同じカメラによって生成されるか、または同じ場所にある異なる同期されたカメラにより生成される。第２のステップでは、動く物体の境界および場所（位置）が、第１の写真１１および第３の写真１３に基づいて決定される。これは、これらの写真１１、１３を、動く物体に関して位置合わせして、つなぎ合わせることで行うことができる。図示の例では、トラックの形状および位置Ｐ１、Ｐ３が決定される。第３のステップでは、第２の写真１２における物体の露光領域が、第１の写真１１および第３の写真１３における物体の決定された場所Ｐ１、Ｐ３の補間に基づいて決定される。さらに開発された実施形態では、この決定は、第１の写真１１および第２の写真１２のキャプチャの間、ならびに第２の写真１２および第３の写真１３のキャプチャの間の短い時間ΔＴを考慮することができる。実際には、Ｔ１、Ｔ２、Ｔ３およびΔＴが既知の値であるので、物体が一定速度で動くと仮定すると、物体の露光領域の正確な位置および形状を決定することができる。実際にΔＴは非常に短い場合があり、その場合、位置Ｐ１およびＰ３が露光領域の端を形成すると仮定することができる。物体がカメラに対して動いているか、または背景がカメラに対して動いているかにかかわらず、物体の決定された露光領域の知識を用いて、第２の写真１２のぼけ部分ＢＰを分離することができ、そのぼけ部分ＢＰは、物体（図１図示）または背景（図１非図示、図３の以下の議論参照）にそれぞれ対応する。第４のステップでは、動きぼけを含む最終画像を得るために、この分離されたぼけ部分ＢＰは、第１および第３の写真から得られる非ぼけ部分と結合される。物体が動いており背景が安定していると仮定される場合、ぼけ部分は、写真２の物体の露光領域に対応することがあり、非ぼけ部分は、第１および／または第３の写真から物体を除去することで得られる背景画像に対応することがある。物体が安定しており（または単に意図せず動いており）背景が動いている場合、ぼけ部分は、写真２の背景に対応することがあり、非ぼけ部分は、第１および／または第３の写真から抽出される物体の分離された画像に対応することがある。

【0044】

図２および図３に、動きぼけを有する画像を取得するための方法の第２の実施形態を示す。この実施形態は、静止画用のカメラで実装することができる。カメラのメニューにおいて、ユーザは、「改良動きぼけ」設定を選択することができる。好ましい実施形態では、ユーザは、第２の写真の露光時間を、たとえば１／３０秒、１／１５秒などに指定することもできる。カメラは、写真を作成するようにトリガされた場合、３枚の写真１１、１２、１３、図２のステップ１０１参照、または２１、２２、２３、図３のステップ２０１参照、のシーケンスを自動的に開始する。

【0045】

３枚の写真が撮影された場合、カメラは、２枚の最終画像２０、２７を生成することになり、以下を参照されたい。その後、ユーザは所望の最終画像を選択することができる。第１の最終画像については、カメラは安定した背景および動く物体を仮定し、一方第２の最終画像については、動く背景および安定した物体を仮定する。図２および図３の例は、３枚の写真の異なる組１１、１２、１３および２１、２２、２３に基づいて第１および第２の最終画像を生成することを示すが、一方実際には、もちろん、この写真の組は同一である。この例は、タイプ３の動きぼけについては、第１の最終画像の生成が良い結果をもたらし得るが、一方タイプ４の動きぼけについては、第２の最終画像の生成が良い結果をもたらし得ることを示す。

【0046】

第１の融合された写真２０を生成するための処理フローが図２に示されている。この処理フローでは、カメラは、動きぼけ物体を有する非ぼけ背景を仮定する。ステップ１０２において、第１の写真１１および第３の写真１３がつなぎ合わせられる。つなぎ合わせは、物体に基づいて行われる。動く物体を決定するために、オートフォーカスシステムからの情報を用いることができる。物体の正確な形状、すなわち境界線は、第１の写真および第３の写真を比較する、すなわちつなぎ合わせることで決定され、１４を参照されたい。物体の分離された画像を取得するために、結果画像１５において、つなぎ合わせ可能な領域が第１および第３の写真から抽出される。

【0047】

任意選択のステップ１０３において、拡張された背景（ｅｘｔｅｎｄｅｄ ｂａｃｋｇｒｏｕｎｄ）が生成される。ステップ１０２で決定される第１および第３の写真における物体の場所Ｐ１、Ｐ３に基づいて、物体が第１および第３の写真１１、１３から除去され、それぞれ画像１６および１７となる。次いで、これら２枚の画像がつなぎ合わせられ、拡張された背景の画像１８を形成する。この画像１８において、通過物体による風景の隠蔽領域が最小限に削減される。拡張された背景の画像１８を用いる代わりに、ΔＴが典型的には非常に短いことを考慮して、第１の写真のみまたは第２の写真のみから抽出された背景画像を用いることも可能であることに留意すべきであり、請求項１についての上記の議論を参照されたい。

【0048】

ステップ１０４において、第１の写真１１および第３の写真１３における動く物体の形状および場所に基づいて、第２の写真１２をキャプチャするために露光が開いていた間に物体がいた場所を決定するために、線形補間が行われる。この情報に基づいて、第２の写真１２における露光領域が決定される。露光領域は画像１９に点線で描かれている。

【0049】

ステップ１０５において、拡張された背景の画像１８は、露光領域の位置（画像１９）に応じて、第２の写真１２のぼけ部分ＢＰと結合される。これは、動きぼけを含む第１の最終画像２０となり、ここでは撮影者により想像されたように、背景は完全に動きぼけがないが（高速露光でキャプチャされている）、一方物体は動きぼけしている（低速露光でキャプチャされている）。

【0050】

図３に、第２の最終写真２７のための処理フローを示す。この処理フローでは、カメラは、非ぼけ物体を有する動きぼけ背景を仮定する。ステップ２０２において、第１および第３の写真２１、２３がつなぎ合わせられる。つなぎ合わせは、物体に基づいて行われる。動く物体を決定するために、オートフォーカスシステムからの情報を用いることができる。次いで、物体の正確な形状が、２つの画像を比較（つなぎ合わせ）することで決定される。つなぎ合わせ可能な領域が２つの写真２１、２３から抽出されて、物体のその結果の分離された画像２５が取得される。

【0051】

ステップ２０３において、第１および第３の写真２１、２３における物体の形状および場所に基づいて、第２の写真２２のために露光が開いていた間に物体がいた場所を決定するために、線形補間が行われる。この情報および物体の形状に基づいて、第２の写真２２における露光領域が決定される。露光領域は画像２６に点線で描かれている。理想的な場合では、カメラが物体と全く同じ速度で動いている場合、たとえば撮影者が電車内で人物の写真を、窓を通して見える動く背景と共に撮影する場合に、第１および第３の写真における物体の位置は変化していない。しかしながら、実際には物体の位置もわずかに変化している場合があり、第２の写真における物体の表現にわずかなぼけが生じる。

【0052】

ステップ２０４において、画像２５を、露光領域の位置（画像２６）に応じて、オーバーレイとして第２の写真２２上に配置する。これは第２の最終画像２７となり、ここでは撮影者により想像されたように、物体は完全に動きぼけがないが（高速露光でキャプチャされている）、一方背景は動きぼけしている（低速露光でキャプチャされている）。

【0053】

写真１１、１２、１３または２１、２２、２３および撮影者の意図（ぼけた背景を有するぼけのない物体、またはその逆）に応じて、２つの最終画像２０、２７の一方のみが思い通りとなり、すなわち期待された結果を与える。２つの最終画像２０、２７の生成後、撮影者は単に正しい画像を選択する。他方の写真は削除することができる。

【0054】

図２および図３の実施形態の変形によれば、ユーザはまず、「タイプ３−動く物体、安定した背景」動きぼけ、または「タイプ４−安定した物体、動く背景」動きぼけを選択可能なインターフェースが提供され、すると図２の方法または図３の方法がユーザの選択に従って実施される。

【0055】

他の変形では、図２の実施形態の方法を用いて、動きぼけ物体および非ぼけ背景を有する画像２０を生成することができる。この画像２０上に、物体（または物体の一部）の追加の鮮明な画像を重畳することができる。動く物体の鮮明な画像は、たとえばステップ１０２で得られる第１または第３の画像から生成することができる。

【0056】

図４に、方法の第３の実施形態を示す。第３の実施形態では、第２の写真４２が、第１および第３の写真４１、４３の後に撮影される。第１および第２の実施形態のように、第１および第３の写真４１、４３は短い露光時間Ｔ１、Ｔ３で撮影され、一方第２の写真４２は長い露光時間Ｔ２で撮影される。第１および第３の写真４１、４３はそれぞれ時刻ｔ１およびｔ２に撮影される。物体の第１の写真４１および第３の写真４３をつなぎ合わせることで、第１の写真４１における物体と第３の写真４３における物体との間の距離を計算することができる。時間差（ｔ２−ｔ１）と計算された距離とを用いて、物体の平均速度ｖを計算することができる。平均速度ｖを用いて、第２の写真を撮影するための露光の終了時間ｔ４における物体の位置Ｐ４を決定することができる。第３の写真４３および第２の写真４２の間の時間ΔＴは非常に短いことが仮定される場合、第２の写真を撮影するための露光の開始ｔ３における物体の位置Ｐ３は、第３の写真４３における物体の位置に等しいと仮定することができる。方法のそのような実施形態は、時刻ｔ１および時刻ｔ４の間にほぼ一定の速度で物体が動く限り、うまく機能する。

【0057】

図４の実施形態では、図２のように、背景が安定しており物体が動いていると仮定される状況について、最終画像を得ることができるが、任意選択のステップ１０３が省略されるという違いがある。拡張された背景の画像１８を用いる代わりに、第３の写真４３の背景が最終画像で用いられ、第２の写真４２から抽出される物体のぼけ画像ＢＰを、第３の写真４３上にオーバーレイすることができる。

【0058】

第３の実施形態において、物体ではなく背景がカメラに対して動いているならば、図３の実施形態に従って計算される最終画像が良い結果を与えるであろう。そのような実施形態では、物体がカメラに対して大きくは動いていないので、物体の速度の計算を省略することができる。第２の実施形態に関しては、上記の２つの開示の方法を並列で実施して、ユーザに２つの最終画像を提示することができ、するとユーザは好みの最終画像を選択することができる。

【0059】

図５に、第４の実施形態を示す。この第４の実施形態は、順々に撮影される５枚の写真５１−５５のシーケンスを用いる。第１の写真は短い露光時間Ｔ１で撮影され、第２の写真は長い露光時間Ｔ２で撮影され、第３の写真は短い露光時間Ｔ３で撮影され、第４の写真は長い露光時間Ｔ４で撮影され、第５の写真は短い露光時間Ｔ５で撮影される。第１、第２および第３の写真５１−５３に基づいて、図１、図２および図３に関して上記で開示された方法と同様に、第１の中間画像６１を生成することができる。第３、第４および第５の写真５３−５５を用いて、やはり図１、図２および図３に関して上記で開示された方法と同様に、第２の中間画像６２を生成することができる。次に、中間画像６１および６２を結合して最終画像６３を取得することができる。そのような実施形態は、物体が直線的に動かない場合に有益な場合がある。物体が曲線に沿って動く場合、短いおよび長いシャッター露光時間を有する写真のシーケンスを用いることで、曲線は一連の直線運動によって近似することができる。したがって、物体のより複雑な運動についても、本発明の実施形態によって、動きぼけを含む最終画像を改良された様態で取得することができる。

【0060】

図６に、装置の一実施形態を示す。装置６００は、カメラ６０１、コントローラ６０２、画像生成モジュール６０３、および表示ユニット６０４を備える。カメラ６０１は、コントローラ６０２によって、一連の後続の写真Ｉ１、Ｉ２、Ｉ３をそれぞれ露光時間Ｔ１、Ｔ２、Ｔ３で撮影するように制御される。Ｔ１およびＴ３は短い露光時間であり、これらは写真Ｉ１およびＩ３にほとんど動きぼけが現れないように選択される。露光時間Ｔ２は比較的長い露光時間であり、これは写真Ｉ２内に動きぼけ部分を生成するように選択される。画像生成モジュール６０３は、第１、第２および第３の写真Ｉ１、Ｉ２、Ｉ３を用いて、第２の写真Ｉ２のぼけ部分の少なくとも一部、ならびに第１および／または第３の写真Ｉ１およびＩ３から得られる部分を含む最終画像を生成するように構成される。表示ユニット６０４は、生成された最終画像をユーザに表示するように構成される。画像生成モジュール６０３による最終画像の生成は、上記で開示された方法の実施形態のいずれか１つに従って実施することができる。また、画像生成モジュール６０３は、上記で開示された方法の異なる実施形態に従って複数の最終画像を生成するように構成することができ、すると表示ユニットは複数の最終画像を表示するように構成することができる。さらに、装置は、ユーザが装置を操作できるように構成されたユーザインターフェース６０５を含むことができる。ユーザインターフェース６０５は、ユーザが装置を「動きぼけ有り写真」動作様式に設定できるように構成することができる。ユーザインターフェース６０５は、装置が「動きぼけ有り写真」動作様式に設定された場合に、第１、第２および第３の写真の撮影を制御するようにコントローラ６０２をアクティブ化するボタンを備えることができる。ボタンは、たとえば、表示ユニット６０４がタッチスクリーンを備える場合に、表示ユニット６０４上に表示される仮想ボタンでもよく、または物理ボタン、たとえばデジタルカメラのボタンでもよい。

【0061】

例示的実施形態では、装置６００は、適切に構成されたスマートフォン、適切に構成されたデジタルカメラ、少なくとも１つのカメラを有する適切に構成されたコンピュータなどとすることができる。完全を期すために、コントローラ６０２は、別個のエンティティとして設けることができ、または装置の他のコンポーネントに統合することができることに留意されたい。同様に、画像生成モジュール６０３は、別個のエンティティとして設けることができ、または装置の他のコンポーネントに統合することができる。

【0062】

図７に、動きぼけを有する部分を含む画像を取得するための方法の一実施形態を示す。第１のステップ７１０において、少なくとも１つのカメラが、物体および背景の第１、第２および第３の写真を決定された順序で撮影するように制御され、それによって、前記第１の写真が第１の露光時間Ｔ１で撮影され、前記第２の写真が第２の露光時間Ｔ２で撮影され、前記第３の写真が第３の露光時間Ｔ３で撮影されるようにし、前記第２の露光時間が前記第１および前記第３の露光時間より長く、それによって、前記第２の写真が背景および／または物体のぼけ画像を、前記物体および／または前記背景が前記少なくとも１つのカメラに対して動いている場合に含むようにする。第２のステップ７２０において、第２の写真の前記ぼけ画像の少なくとも一部、ならびに前記第１および／または第３の写真から得られる部分を含む最終画像が、第１、第２および第３の写真を用いて生成される。制御ステップ７１０は、第３の写真を第２の写真の後に撮影し、第２の写真を第１の写真の後に撮影するように、少なくとも１つのカメラを制御することを備えることができる。他の実施形態では、制御すること７１０は、第１および第３の画像を第２の画像の前に撮影し、または第１および第３の画像を第２の画像の後に撮影するように少なくとも１つのカメラを制御することを備えることができ、第１および第３の画像を用いて、少なくとも１つのカメラに対する物体の速度を決定し、速度を用いて、第２の写真におけるぼけ画像の位置を決定する。一例示的実施形態では、第１および第３の露光時間Ｔ１、Ｔ３は１／１００秒より短く、第２の露光時間Ｔ２は１／８０秒より長い。

【0063】

図８に、最終画像を生成するために実施され得るステップの一例示的実施形態を詳細に示す。この実施形態では、最終画像を生成するためのステップ８２０は、第１および第３の写真８０１、８０３を用いて、第１および第３の写真における物体の形状および位置を決定するための第１のステップ８２１と、第１および第３の写真における物体の位置および形状を用いて、ぼけ画像の少なくとも一部を第２の写真８０２から分離するための第２のステップ８２３と、ぼけ画像の分離された少なくとも一部を、第１および／または第３の写真から得られる部分と結合して、最終画像を取得するための第３のステップ８２５とを備える。

【0064】

図９に、最終画像を生成するために実施され得るステップの他の例示的実施形態を詳細に示す。この実施形態では、最終画像を生成するためのステップ９２０は、第１および第３の写真９０１、９０３を用いて、物体に基づくつなぎ合わせを用いることで物体の形状および位置を決定するための第１のステップ９２１と、第１および／または第３の写真における物体の決定された形状および／または位置を用いて、前記第１および／または第３の写真９０１、９０３から背景画像を取得するための第２のステップ９２２と、第１および第３の写真における決定された位置を用いて、第２の写真９０２における物体の任意選択的にぼけた画像の位置を決定するためのステップ９２３と、最終画像を取得するために、第２の写真における任意選択的にぼけた部分の位置を考慮して、第２の写真の任意選択的にぼけた画像を前記背景画像にオーバーレイするための最終ステップ９２５とを備える。

【0065】

図１０に、最終画像を生成するために実施され得るステップの他の例示的実施形態を詳細に示す。この実施形態では、最終画像を生成するためのステップ１０２０は、第１および第３の写真１００１、１００３を用いて、物体に基づくつなぎ合わせを用いることで物体の形状および位置を決定するための第１のステップ１０２１と、決定された形状および位置を考慮して、前記第１および前記第３の写真から物体を除去することで、第１および第３の背景画像を生成するための第２のステップ１０２２と、前記第１および第３の背景画像を結合して結合された背景画像を取得するための第３のステップ１０２４と、第１および第３の写真における決定された位置を用いて、第２の写真１００２における物体の任意選択的にぼけた画像の位置を決定するためのステップ１０２３と、最終画像を取得するために、第２の写真における任意選択的にぼけた部分の位置を考慮して、第２の写真の任意選択的にぼけた画像を前記結合された背景画像にオーバーレイするための最終ステップ１０２５とを備える。

【0066】

図１１に、最終画像を生成するために実施され得るステップの他の例示的実施形態を詳細に示す。この実施形態では、最終画像を生成するためのステップ１１２０は、第１および第３の写真１１０１、１１０３を用いて、物体に基づくつなぎ合わせを用いることで物体の形状および位置を生成するための第１のステップ１１２１と、前記第１および／または前記第３の写真から物体の非ぼけ画像を取得するための第２のステップ１１２２と、前記第１および第３の写真における決定された位置を用いて、第２の写真１１０２における物体の任意選択的にぼけた画像の位置を決定するためのステップ１１２３と、最終画像を取得するために、第２の写真における物体の任意選択的にぼけた画像の決定された位置を考慮して、物体の非ぼけ画像を第２の写真にオーバーレイするための最終ステップ１１２５とを備える。

【0067】

本発明の実施形態では、２つの最終画像、たとえば、安定した背景を有する動く物体に特に適した図９または図１０の実施形態による第１の最終画像、および動く背景に特に適した図１１の実施形態による第２の最終画像を生成することができる。そして、ユーザに第１および第２の最終画像の両方を提示することができ、ユーザは最良のものを選択することができる。一代替的実施形態では、ユーザに、「動く物体」モードまたは「動く背景」モードを選択するための選択インターフェースを提示することができ、すると最終画像がそれに従って計算される。そして、図６のユーザインターフェース６０５は、そのような選択インターフェースを備えることができる。

【0068】

様々な上述の方法のステップが、プログラムされたコンピュータにより実行可能であることを当業者であれば容易に認識するであろう。本明細書では、いくつかの実施形態は、機械可読またはコンピュータ可読であり、機械実行可能またはコンピュータ実行可能な命令のプログラムであって、前記命令が前記上述の方法のステップの一部または全部を実施する、プログラムを符号化する、デジタルデータ記憶媒体などのプログラム記憶デバイスも含む意図がある。プログラム記憶デバイスは、たとえば、デジタルメモリ、磁気記憶媒体、たとえば磁気ディスクおよび磁気テープ、ハードドライブ、または光学的可読デジタルデータ記憶媒体とすることができる。また、実施形態は、上述の方法の前記ステップを実施するようにプログラムされたコンピュータを含む意図がある。

【0069】

「コントローラ」または「モジュール」とラベル付けされた任意の機能ブロックを含む、図面に示された様々な要素の機能は、専用ハードウェアを用いて、ならびに適切なソフトウェアと関連してソフトウェアを実行可能なハードウェアを用いて提供することができる。これらの機能は、コントローラまたはプロセッサにより提供される場合、単一の専用コントローラ、単一の共有コントローラ、または一部を共有可能な複数の個別コントローラにより提供されてもよい。さらに、「プロセッサ」または「コントローラ」という用語の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に指すように解釈されるべきではなく、暗黙的に、限定はしないが、デジタルシグナルプロセッサ（ＤＳＰ）ハードウェア、ネットワークプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ソフトウェアを記憶するための読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、および不揮発性ストレージを含むことができる。他のハードウェアも、従来型および／またはカスタム型にかかわらず、同様に含むことができる。同様に、図面に示されたいかなるスイッチも、概念的なものにすぎない。それらの機能は、プログラムロジックの動作を通じて、専用ロジックを通じて、プログラム制御および専用ロジックの相互作用を通じて、または手動でさえ実行することができ、特定の技法は、文脈からより具体的に理解されるように実装者により選択可能である。

【0070】

本明細書のいかなるブロック図も、本発明の原理を具現化した例示的回路の概念図を表すことは当業者には理解されたい。同様に、いかなるフローチャート、フロー図、状態遷移図、疑似コードなども、コンピュータ可読媒体に実質的に表現可能であって、したがってコンピュータまたはプロセッサにより、そのようなコンピュータまたはプロセッサが明示的に示されていようといまいと、実行可能である様々な処理を表すことは理解されよう。

【0071】

本発明の原理が上記で特定の実施形態に関して示されているが、この記述は、単なる例としてなされているにすぎず、添付の特許請求の範囲により決定される保護の範囲を限定するものとしてなされていないことは理解されたい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】