特許 5784587 画像選択および結合の方法およびデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5784587

(24)【登録日】2015年7月31日

(45)【発行日】2015年9月24日

(54)【発明の名称】画像選択および結合の方法およびデバイス

(51)【国際特許分類】

   H04N 5/232 20060101AFI20150907BHJP

【ＦＩ】

   H04N5/232 Z

【請求項の数】22

【全頁数】22

(21)【出願番号】特願2012-507374(P2012-507374)

(86)(22)【出願日】2010年4月22日

(65)【公表番号】特表2012-525072(P2012-525072A)

(43)【公表日】2012年10月18日

(86)【国際出願番号】US2010032019

(87)【国際公開番号】WO2010124065

(87)【国際公開日】20101028

【審査請求日】2011年12月8日

【審判番号】不服2014-7530(P2014-7530/J1)

【審判請求日】2014年4月23日

(31)【優先権主張番号】12/428,295

(32)【優先日】2009年4月22日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】595020643

【氏名又は名称】クゥアルコム・インコーポレイテッド

【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100109830

【弁理士】

【氏名又は名称】福原 淑弘

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100075672

【弁理士】

【氏名又は名称】峰 隆司

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100140176

【弁理士】

【氏名又は名称】砂川 克

(74)【代理人】

【識別番号】100158805

【弁理士】

【氏名又は名称】井関 守三

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100124394

【弁理士】

【氏名又は名称】佐藤 立志

(74)【代理人】

【識別番号】100112807

【弁理士】

【氏名又は名称】岡田 貴志

(74)【代理人】

【識別番号】100111073

【弁理士】

【氏名又は名称】堀内 美保子

(72)【発明者】

【氏名】フォルタンプーア、ババク

(72)【発明者】

【氏名】リ、ジンチアン

【合議体】

【審判長】 清水 正一

【審判官】 渡辺 努

【審判官】 豊島 洋介

(56)【参考文献】

【文献】 特開２００７−３６３５９（ＪＰ，Ａ）

【文献】 特開２００６−３３０６２（ＪＰ，Ａ）

【文献】 特開２００８−９２２９７（ＪＰ，Ａ）

【文献】 特開２００９−４９５７５（ＪＰ，Ａ）

【文献】 特開２００６−３１９７８２（ＪＰ，Ａ）

【文献】 特開２００８−１２４６２５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

H04N5/222-5/257

G06T1/00

H04N1/38-1/393

(57)【特許請求の範囲】

【請求項1】

画像キャプチャデバイスによって取り込まれる複数の連続画像であって、互いに位置合わせされる画像及び互いに位置合わせされない画像を含む前記複数の連続画像を受信することと、
互いに位置合わせされる前記画像及び互いに位置合わせされない前記画像から、前記複数の連続画像で検出された１つの定常の注目画像領域での画像間のピクセル値の差分に基づいて互いに位置合わせされていると判定された前記複数の連続画像のサブセットを選択することと、
前記複数の連続画像の前記サブセットにおける各画像に対して、前記ピクセル値の差分に基づいて不透明値を割り当てることと、
前記不透明値を使用して、前記複数の連続画像の前記サブセットにおける各画像からのピクセル値を平均化して結合画像を作成することと
を備える方法。

【請求項2】

前記複数の連続画像は物理的オブジェクトを表すデータを含み、
前記複数の連続画像の前記サブセットにおける各画像からの前記ピクセル値を平均化することは、前記結合画像におけるノイズの量を減らすために前記データを変換し、
さらに、表示デバイスを介して前記変換済みデータを表示することを備える請求項１に記載の方法。

【請求項3】

前記定常の注目画像領域に基づいて前記複数の連続画像のサブセットを選択することは、前記ピクセル値の差分として、前記定常の注目画像領域での少なくとも１つのチャネルにおけるそれぞれの画像間のピクセル値の絶対値差分和を算出することを備える請求項１に記載の方法。

【請求項4】

前記絶対値差分和は、しきい値以下である請求項３に記載の方法。

【請求項5】

前記複数の連続画像の前記サブセットにおける各画像は、前記絶対値差分和に少なくとも部分的に基づき不透明値が割り当てられて、
前記不透明値は、前記複数の連続画像の前記サブセットからの前記ピクセル値を平均化して前記結合画像を作成する際に使用される請求項３に記載の方法。

【請求項6】

前記定常の注目画像領域に基づいて前記複数の連続画像のサブセットを選択することは、前記ピクセル値の差分として、前記定常の注目画像領域での少なくとも１つのチャネルにおけるそれぞれの画像間のピクセル値の平方差分和を算出することを備える請求項１に記載の方法。

【請求項7】

前記平方差分和は、しきい値以下である請求項６に記載の方法。

【請求項8】

前記複数の連続画像の前記サブセットにおける各画像は、前記平方差分和に少なくとも部分的に基づき不透明値が割り当てられて、
前記不透明値は、前記複数の連続画像の前記サブセットからの前記ピクセル値を平均化して前記結合画像を作成する際に使用される請求項６に記載の方法。

【請求項9】

前記複数の連続画像の前記サブセットにおける各画像からのピクセル値を平均化する前に、前記複数の連続画像の前記サブセットを鮮明化すること
をさらに備える請求項１に記載の方法。

【請求項10】

互いに位置合わせされた前記複数の連続画像の前記サブセットを選択することは、少なくとも１つの定常の注目画像領域を有する第１の画像セットをリアルタイムで検出することと、前記少なくとも１つの定常の注目画像領域を有さない第２の画像セットを除去することとを含む請求項１に記載の方法。

【請求項11】

互いに位置合わせされた前記複数の連続画像の前記サブセットを選択する前に、前記画像キャプチャデバイスによって取り込まれた最大６０個の連続画像が受信される請求項１０に記載の方法。

【請求項12】

バーストでｎ個の連続画像をキャプチャすることと、
前記ｎ個の連続画像の第１の画像における注目画像領域を決定することと、
しきい値未満である前記注目画像領域の絶対値差分和をそれぞれ有するｍ個の連続画像を決定することと、
前記第１の画像における前記注目画像領域に対する前記ｍ個の連続画像の各々における前記注目画像領域の前記絶対値差分和に基づき、前記ｍ個の連続画像の各々の不透明値を決定することと、
前記ｍ個の連続画像の各々の前記不透明値を使用して前記ｍ個の連続画像をマージすることと
をさらに備える請求項１に記載の方法。

【請求項13】

互いに位置合わせされる画像及び互いに位置合わせされない画像を含む複数の連続画像を受信し、
互いに位置合わせされる前記画像及び互いに位置合わせされない前記画像から、前記複数の連続画像で検出された１つの定常の注目画像領域での画像間のピクセル値の差分に基づいて互いに位置合わせされていると判定された前記複数の連続画像のサブセットを選択し、
前記複数の連続画像の前記サブセットにおける各画像に対して、前記ピクセル値の差分に基づいて不透明値を割り当て、
前記不透明値を使用して、前記複数の連続画像の前記サブセットにおける各画像からのピクセル値を平均化して結合画像を作成する
ように構成された画像処理システムを備える装置。

【請求項14】

前記複数の連続画像を取り込むように構成された画像キャプチャデバイスをさらに備え、前記複数の連続画像は物理的オブジェクトを表すデータを含み、
前記複数の連続画像の前記サブセットにおける各画像からの前記ピクセル値を平均化することで前記結合画像におけるノイズの量を減らすために前記データを変換し、
前記変換済みデータを表示するように構成された表示デバイスをさらに備える請求項１３に記載の装置。

【請求項15】

互いに位置合わせされた前記複数の連続画像の前記サブセットを選択することは、少なくとも１つの定常の注目画像領域を有する第１の画像セットをリアルタイムで検出することと、前記少なくとも１つの定常の注目画像領域を有さない第２の画像セットを除去することとを含む請求項１３に記載の装置。

【請求項16】

複数の連続画像を処理して、
互いに位置合わせされる画像及び互いに位置合わせされない画像を含む複数の連続画像を受信し、
互いに位置合わせされる前記画像及び互いに位置合わせされない前記画像から、前記複数の連続画像で検出された１つの定常の注目画像領域での画像間のピクセル値の差分に基づいて互いに位置合わせされていると判定された前記複数の連続画像のサブセットを選択し、
前記複数の連続画像の前記サブセットにおける各画像に対して、前記ピクセル値の差分に基づいて不透明値を割り当て、
前記不透明値を使用して、前記複数の連続画像の前記サブセットにおける各画像からのピクセル値を平均化して結合画像を作成する
ように構成された画像処理回路を備える集積回路。

【請求項17】

互いに位置合わせされた前記複数の連続画像の前記サブセットを選択することは、少なくとも１つの定常の注目画像領域を有する第１の画像セットをリアルタイムで検出することと、前記少なくとも１つの定常の注目画像領域を有さない第２の画像セットを除去することとを含む請求項１６に記載の集積回路。

【請求項18】

互いに位置合わせされる画像及び互いに位置合わせされない画像を含む複数の連続画像を受信するための手段と、
互いに位置合わせされる前記画像及び互いに位置合わせされない前記画像から、前記複数の連続画像で検出された１つの定常の注目画像領域での画像間のピクセル値の差分に基づいて互いに位置合わせされていると判定された前記複数の連続画像のサブセットを選択するための手段と、
前記複数の連続画像の前記サブセットにおける各画像に対して、前記ピクセル値の差分に基づいて不透明値を割り当てるための手段と、
前記不透明値を使用して、前記複数の連続画像の前記サブセットにおける各画像からのピクセル値を平均化して結合画像を作成するための手段と
を備える装置。

【請求項19】

前記複数の連続画像を取り込むように構成された画像キャプチャデバイスをさらに備え、前記複数の連続画像は、物理的オブジェクトを表すデータを含み、
前記複数の連続画像の前記サブセットにおける各画像からの前記ピクセル値を平均化することで前記結合画像におけるノイズの量を減らすために前記データを変換し、
前記変換済みデータを表示するように構成された表示デバイスをさらに備える請求項１８に記載の装置。

【請求項20】

互いに位置合わせされた前記複数の連続画像の前記サブセットを選択することは、少なくとも１つの定常の注目画像領域を有する第１の画像セットをリアルタイムで検出することを含む請求項１８に記載の装置。

【請求項21】

画像キャプチャデバイスからの複数の連続画像であって、互いに位置合わせされる画像及び互いに位置合わせされない画像を含む前記複数の連続画像を受信するためのコードと、
互いに位置合わせされる前記画像及び互いに位置合わせされない前記画像から、前記複数の連続画像で検出された１つの定常の注目画像領域での画像間のピクセル値の差分に基づいて互いに位置合わせされていると判定された前記複数の連続画像のサブセットを選択するためのコードと、
前記複数の連続画像の前記サブセットにおける各画像に対して、前記ピクセル値の差分に基づいて不透明値を割り当てるためのコードと、
前記不透明値を使用して、前記複数の連続画像の前記サブセットにおける各画像からのピクセル値を平均化して結合画像を作成するためのコードと
を備えるコンピュータ実行可能コードを記憶するコンピュータ可読媒体。

【請求項22】

互いに位置合わせされた前記複数の連続画像の前記サブセットを選択することは、少なくとも１つの定常の注目画像領域を有する第１の画像セットをリアルタイムで検出することと、前記少なくとも１つの定常の注目画像領域を有さない第２の画像セットを除去することとを含む請求項２１に記載のコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に画像の選択および結合に関する。

【背景技術】

【0002】

技術の進歩によって、コンピューティングデバイスは小さくかつ強力になってきている。例えば、小型で、軽く、ユーザが容易に運べる携帯型ワイヤレス電話、携帯情報端末（ＰＤＡ）、およびページングデバイス（paging devices）のようなワイヤレスコンピューティングデバイスを含む様々な携帯型パーソナルコンピューティングデバイスが現存する。より具体的には、セルラ電話およびインターネットプロトコル（ＩＰ）電話のような携帯型ワイヤレス電話は、ワイヤレスネットワークを介してボイスパケットおよびデータパケットを通信することができる。さらに、多くのこうしたワイヤレス電話は、他の種類のデバイスを組み込んでいる。例えば、ワイヤレス電話はデジタルスチルカメラと、デジタルビデオカメラと、デジタルレコーダと、オーディオファイルプレーヤとを含むこともできる。また、こうしたワイヤレス電話は、インターネットへのアクセスに使用できるウェブブラウザ・アプリケーションのようなソフトウェア・アプリケーションを含む実行可能命令を処理することができる。したがって、これらのワイヤレス電話は、相当なコンピューティング能力を含み得る。

【0003】

デジタル信号プロセッサ（ＤＳＰ）、画像プロセッサ、および他の処理デバイスは、携帯型パーソナルコンピューティングデバイスで頻繁に使用される。この携帯型パーソナルコンピューティングデバイスは、デジタルカメラを含むか、デジタルカメラによって取り込まれた画像データまたはビデオデータを表示する。こうした処理デバイスを利用して、ビデオ機能と音声機能とを提供することで、画像データのような受信済みデータを処理すること、または他の機能を実行することができる。

【0004】

１つの種類の画像処理は、デジタル画像の信号対雑音比（ＳＮＲ）を改善することを伴う。暗電流、光子雑音、およびクロストークのようなノイズを減らすことで、画質が良くなることがある。信号対雑音比（ＳＮＲ）は、低光量写真撮影の場合に特に低いことがある。画像のノイズを減らず１つの方法は、画像に対し低域フィルタを動作させる一方で、エッジ検出器を使用してエッジ境界を保護することである。しかし、エッジが保護されたとしても、テクスチャとノイズとを区別するのは難しいため、フィルタはシーンのテクスチャに影響を与える。ノイズを減らすもう１つの方法は、２つ以上の画像を結合することであるが、これはゴースティング（ghosting）につながることがある。ノイズを減らすさらに別の方法は、ゴースティングを最小限に抑えるために２つ以上の画像の一部を結合することである。しかし、これは計算コストが高いことがあり、使用されるマクロブロック（macro blocks）が少なくなることがあるため、動いているオブジェクトの周りのノイズを減らす可能性は低い。

【発明の概要】

【0005】

カメラは「バーストモード」で一度に多くの写真を撮ることができる。例えば、あるカメラは１秒間に最大６０枚の６メガピクセル（６ＭＰ）の写真を撮ることができる。この技術を活用して、微光状態やハンドジッタ低減のためだけでなく、すべての写真のために、デジタル写真撮影で多く発生するノイズを減らすことができる。一対の目のようなあるオブジェクトをフレームからフレームへと追跡することができ、選択されたオブジェクトがフレーム間で定常に見える場合、こうしたフレームのみが結合される。複数の写真がマージされるとき、こうしたフレームのみを結合することで結果が改善される。

【0006】

特定の一実施形態では、画像キャプチャデバイスによって取り込まれた複数の連続画像を受信することを含む方法が開示される。本方法は、互いに位置合わせされた複数の連続画像のサブセットを選択することを含む。本方法は、複数の連続画像のサブセットにおける各画像からのピクセル値を平均化して結合画像を作成することをさらに含む。

【0007】

別の実施形態では、互いに位置合わせされた複数の連続画像のサブセットを選択するように構成された画像処理システムを含む装置が開示される。画像処理システムは、複数の連続画像のサブセットにおける各画像からのピクセル値を平均化して結合画像を作成するようにさらに構成される。

【0008】

別の実施形態では、複数の連続画像を処理するように構成された画像処理回路を含む集積回路が開示される。画像処理回路は、互いに位置合わせされた複数の連続画像のサブセットを選択するように構成される。画像処理回路は、複数の連続画像のサブセットにおける各画像からのピクセル値を平均化して結合画像を作成するようにさらに構成される。

【0009】

別の実施形態では、互いに位置合わせされた複数の連続画像のサブセットを選択するための手段を含む装置が開示される。本装置は、複数の連続画像のサブセットにおける各画像からのピクセル値を平均化して結合画像を作成するための手段をさらに含む。

【0010】

別の実施形態では、コンピュータ実行可能コードを記憶するコンピュータ可読媒体が開示される。コンピュータ可読媒体は、画像キャプチャデバイスによって取り込まれる複数の連続画像を受信するためのコードを含む。コンピュータ可読媒体はまた、互いに位置合わせされた複数の連続画像のサブセットを選択するためのコードを含む。コンピュータ可読媒体は、複数の連続画像のサブセットにおける各画像からのピクセル値を平均化して結合画像を作成するためのコードをさらに含む。

【0011】

開示された実施形態によって提供される１つの特定の利点は、フォーカスチャートの鮮明さの低下が知覚されることなく、スナップショットの信号対雑音比（ＳＮＲ）を改善する能力である。例えば、緑のパッチの（green patch）標準偏差（ＳＴＤ）は、例えば赤（Ｒ）チャネル、緑（Ｇ）チャネルおよび青（Ｂ）チャネルなど、すべてのチャネルにわたり大幅に縮小され得る。

【0012】

開示される実施形態によって提供される別の利点は、システムが単一パラメータを介して調節可能であり、それにより、ユーザが所望のノイズ低減（結合する画像をどれだけ多くするか）と鮮明さ（結合する画像をどれだけ少なくするか）との間で兼ね合いをとれることである。システムは、すべてのノイズ低減において顔や目などの主要部分の鮮明さを犠牲にしないよう、特徴検出（saliency detection）を利用することができる。システムは、カメラプレビューによる顔面検出を活用することによって、中央処理装置（ＣＰＵ）の複雑性を軽減することができる。

【0013】

本開示の他の態様、利点、および特徴は、以下のセクション、すなわち、図面の簡単な説明、発明を実施するための形態、および特許請求の範囲を含むアプリケーション全体を見た後に明らかになろう。

【図面の簡単な説明】

【0014】

【図1】画像選択／結合システムに関する特定の例示的な実施形態を示すブロック図。

【図2】互いに位置合わせされた複数の連続画像のサブセットに関する第１の実施形態を示す例示的な図。

【図3】互いに位置合わせされた複数の連続画像のサブセットに関する第２の実施形態を示す例示的な図。

【図4】互いに位置合わせされた複数の連続画像のサブセットに関する第３の実施形態を示す例示的な図。

【図5】画像選択および結合の方法に関する第１の例示的な実施形態を示す流れ図。

【図6】画像選択および結合の方法に関する第２の例示的な実施形態を示す流れ図。

【図7】画像選択／結合モジュールを含むデバイスに関する特定の一実施形態を示すブロック図。

【図8】画像選択／結合モジュールを含む携帯型通信デバイスに関する特定の一実施形態を示すブロック図。

【発明を実施するための形態】

【0015】

図１を参照すると、画像選択／結合システム１００の特定の例示的な実施形態に関するブロック図が示される。画像選択／結合システム１００は、画像処理システム１３０に連結された画像キャプチャデバイス１０１を含む。画像処理システム１３０は画像記憶装置１５０に連結されている。画像記憶装置１５０は、ランダムアクセスメモリ（ＲＡＭ）デバイスまたは不揮発性メモリデバイス、例えば読み取り専用メモリ（ＲＯＭ）やフラッシュメモリであってよい。画像キャプチャデバイス１０１はセンサ１０８と、オートフォーカスコントローラ１０４と、自動露出コントローラ１０６とを含む。オートフォーカスコントローラ１０４および自動露出コントローラ１０６は、それぞれレンズシステム１０２に連結されている。一般に、画像選択／結合システム１００は、単一の画像キャプチャコマンドから生じる画像の「バースト」でキャプチャされた（取り込まれた）画像１０３の複数の連続画像１０７のサブセット１４１を選択することを可能にし、サブセット１４１を結合して結合画像１４３を作成することを可能にする画像処理システム１３０を含む。

【0016】

画像キャプチャデバイス１０１は、単一の画像キャプチャコマンドから生じる画像の「バースト」で画像１０３の複数の連続画像１０７をキャプチャするように構成され得る。例えば、画像キャプチャデバイス１０１は、約１秒間のバーストで、各々が最大およそ６メガピクセル（ＭＰ）を有する最大およそ６０個の連続画像をキャプチャするように構成できる。

【0017】

画像処理システム１３０は、画像選択モジュール１４０を使用して互いに位置合わせされた複数の連続画像１０７のサブセット１４１を選択するように構成され得る。画像選択モジュール１４０は、画像プレビュー動作による顔面検出を活用して、互いに位置合わせされた複数の連続画像１０７のサブセット１４１を選択することができる。あるいは、画像選択モジュール１４０は、画像プレビュー動作による皮膚検出を活用して、互いに位置合わせされた複数の連続画像１０７のサブセット１４１を選択することができる。画像処理システム１３０はまた、画像結合モジュール１４２を使用して、複数の連続画像１０７のサブセット１４１における各画像からのピクセル値を平均化して結合画像１４３を作成するように構成され得る。画像処理システム１３０はさらに、画像結合モジュール１４２を使用して、複数の連続画像１０７のサブセット１４１における各画像からのピクセル値を平均化して結合画像１４３を作成する前に、鮮明化モジュール１４５を使用して、互いに位置合わせされた複数の連続画像１０７のサブセット１４１を鮮明化するように構成され得る。

【0018】

動作中に、画像１０３の複数の連続画像がレンズシステム１０２を介してオートフォーカスされ、自動露出され、センサ１０８によって感知される。複数の連続画像１０７を含む画像データが、矢印１０９が示すようにセンサ１０８から出力され、画像処理パイプラインへの入り口１３１で画像処理システム１３０に入力される。画像データは、色変換（色温度変換）デバイス１１８に入力１１７する前に、ホワイトバランスデバイス１１０、色補正デバイス１１２、ガンマ補正デバイス１１４、およびルーマ適合（luma adaptation）デバイス１１６によって連続的に処理される。

【0019】

色変換デバイス１１８で色変換した後、処理済み画像データは画像選択モジュール１４０に入力される。画像選択モジュール１４０は、互いに位置合わせされた複数の連続画像１０７のサブセット１４１を選択する。画像選択モジュール１４０は、複数の連続画像１０７のサブセット１４１における各画像からのピクセル値を平均化して結合画像１４３を作成する画像結合モジュール１４２に連結されている。結合画像１４３は、結合画像１４３を作成するのに使用される複数の連続画像１０７のサブセット１４１の各々に対して低減されたランダムノイズを有することがある。結合画像１４３は、画像圧縮デバイス１２０への入力１４４であり、矢印１２１が示すように、画像処理パイプラインからの出口１３２における画像処理システム１３０から出力され、画像記憶装置１５０に入力される。

【0020】

代替的な実施形態では、互いに位置合わせされた複数の連続画像１０７のサブセット１４１の選択が、画像処理システム１３０の画像処理パイプラインの画像選択モジュール１４０で実行される一方、複数の連続画像１０７のサブセット１４１における各画像からのピクセル値を平均化して結合画像を作成する処理は、サブセット１４１が画像記憶装置１５０に記憶された後に実行される。別の代替的な実施形態では、互いに位置合わせされた複数の連続画像１０７のサブセットの選択、および複数の連続画像１０７のサブセットにおける各画像からのピクセル値を平均化して結合画像を作成する処理は、複数の連続画像１０７が画像記憶装置１５０に記憶された後に実行される。

【0021】

画像選択モジュール１４０は、画像結合モジュール１４２とともに、スナップショットの信号対雑音比（ＳＮＲ）を改善し、フォーカスチャートの鮮明さの低下がほとんどまたは全く知覚されない状態を実現できる。例えば、緑のパッチの標準偏差（ＳＴＤ）は、例えば赤（Ｒ）チャネル、緑（Ｇ）チャネルおよび青（Ｂ）チャネルなど、すべてのチャネルにわたり縮小され得る。画像選択モジュール１４０と画像結合モジュール１４２とを有する画像処理システム１３０は、単一パラメータを介して調節可能であり、それによりユーザは、所望の量のノイズ低減（結合する画像をどれだけ多くするか）と鮮明さ（結合する画像をどれだけ少なくするか）との間で兼ね合いをとることができる。単一パラメータは、結合する画像の数であってよい。画像における顕著な特徴の検出などの突出検出を利用して、すべてのノイズ低減において顔や目などの主要部分の鮮明さが犠牲にならないようにすることができる。画像選択モジュール１４０と画像結合モジュール１４２とを有する画像処理システム１３０は、例えばカメラプレビュー動作による顔面検出を活用することによって、中央処理装置（ＣＰＵ）の複雑性の軽減を達成することができる。

【0022】

図２を参照すると、互いに位置合わせされた複数の連続画像２００のサブセットに関する第１の実施形態の例示的な図が示されている。例示的な一実施形態では、複数の連続画像２００は、図１の複数の連続画像１０７と同様である。複数の連続画像の各々はフレームと呼ばれることがある。注目画像領域２２４内のオブジェクト２２２は、フレームからフレームへと追跡され得る。注目画像領域２２４内のオブジェクト２２２が定常に見えるフレームを選択して、結合またはマージすることができる。２つのフレームは、両フレームの同じ注目画像領域２２４内にオブジェクト２２２があるとき、互いに位置合わせできる。例えば、フレーム２０２および２０４は、両フレームの注目画像領域２２４内にオブジェクト２２２があるため、互いに位置合わせできる。図２に示すように、各画像のピクセル値を平均化して結合画像２２６を作成することができる。例示的な一実施形態では、結合画像２２６は図１の結合画像１４３と同様である。

【0023】

フレームによっては、オブジェクト２２２は、画像選択／結合システム１００を持っている手の動きにより、注目画像領域２２４内に存在しないことがある。ダークフレーム２０２、２０４、２０６、２０８、および２１４は、互いに位置合わせされた複数の連続画像２００のサブセットを形成することができる。ライトフレーム２１０、２１２、２１６、２１８、および２２０は、ダークフレーム２０２、２０４、２０６、２０８、および２１４と位置合わせできない。互いに位置合わせされていないフレームを結合すると、オブジェクト２２２が結合画像内の２つの場所に現れる「ゴースティング」が生じることがある。例えば、図２のダークフレーム２０２、２０４、２０６、２０８、および２１４のサブセットは、結合されたとき、左上の隅にある注目画像領域２２４内のゴースティングを最小限に抑える、または減らす絶好の機会を持つ可能性がある。特定の一実施形態では、互いに位置合わせされた複数の連続画像２００のサブセットを選択することは、オブジェクト２２２が注目画像領域２２４に存在する、少なくとも１つの定常の注目画像領域を有する第１の画像セット、例えば、ダークフレーム２０２、２０４、２０６、２０８、および２１４をリアルタイムで検出することと、オブジェクト２２２が注目画像領域２２４に存在しない、少なくとも１つの定常の注目画像領域を有さない第２の画像セット、例えばライトフレーム２１０、２１２、２１６、２１８、および２２０を除去することとを含む。

【0024】

図３を参照すると、互いに位置合わせされた複数の連続画像３００のサブセットに関する第２の実施形態の例示的な図が示されている。例示的な一実施形態では、複数の連続画像３００は、図１の複数の連続画像１０７と同様であり、また図２の複数の連続画像２００と同様である。複数の連続画像の選択済みサブセットは、非連続または非順次のフレームを含むことができる。例えば、ダークフレーム３０２は、ダークフレーム３０８、３１０、３１４、３１６、および３１８と結合することができ、その理由は、それぞれのフレーム間で定常の注目画像領域が互いに位置合わせされることにある。ライトフレーム３０４、３０６、３１２、および３２０は、それぞれのフレーム間で定常の注目画像領域が互いに位置合わせされないため、結合できない。

【0025】

以下でより詳細に説明するように、定常の注目画像領域におけるピクセルについて、少なくとも１つのチャネル、例えば赤（Ｒ）、緑（Ｇ）、または青（Ｂ）におけるそれぞれの画像間のピクセル値の絶対値差分和（ＳＡＤ）に基づき画像を選択できる。例えば、ダークフレーム３０８、３１０、３１４、３１６、および３１８は、しきい値ｔ以下である注目画像領域（ＲＯＩ）内のダークフレーム３０２に対する絶対値差分和（ＳＡＤ）をそれぞれ有してよい。同様に、ライトフレーム３０４、３０６、３１２、および３２０は、しきい値ｔを超える注目画像領域（ＲＯＩ）内のダークフレーム３０２に対する絶対値差分和（ＳＡＤ）をそれぞれ有してよい。以下でより詳細に説明するように、フレームを結合するために使用される不透明値を、注目画像領域（ＲＯＩ）内のダークフレーム３０２に対する絶対値差分和（ＳＡＤ）に基づき、ダークフレーム３０２と、３０８と、３１０と、３１４と、３１６と、３１８とに割り当てることができる。

【0026】

図４を参照すると、互いに位置合わせされた複数の連続画像４００のサブセットに関する第３の実施形態の例示的な図が示されている。例示的な一実施形態では、複数の連続画像４００は、図１の複数の連続画像１０７、図２の複数の連続画像２００、および図３の複数の連続画像３００と同様である。複数の連続画像の選択済みサブセットは、フレームの順番の初めにないフレームを含むことができる。例えば、ダークフレーム４０８、４１０、４１２、４１４、４１６、および４１８は結合でき、その理由として、図１の画像選択／結合システム１００のスナップショットボタンを押すことに起因する手の動きにより、ライトフレーム４０２、４０４、および４０６が、ダークフレーム４０８、４１０、４１２、４１４、４１６、および４１８とうまく位置合わせされていないか、または位置がずれている可能性が挙げられる。

【0027】

以下でより詳細に説明するように、定常の注目画像領域におけるピクセルについて、少なくとも１つのチャネル、例えば輝度（Ｙ）、青輝度（Ｃｂ）、または赤輝度（Ｃｒ）におけるそれぞれの画像間のピクセル値の平方差分和（ＳＳＤ）に基づき画像を選択できる。例えば、ダークフレーム４０８、４１０、４１４、４１６、および４１８は、しきい値Ｔ以下である注目画像領域（ＲＯＩ）内のダークフレーム４１２に対する平方差分和（ＳＳＤ）をそれぞれ有してよい。同様に、ライトフレーム４０２、４０４、４０６、および４２０は、しきい値Ｔを超える注目画像領域（ＲＯＩ）内のダークフレーム４１２に対する平方差分和（ＳＳＤ）をそれぞれ有してよい。以下でより詳細に説明するように、フレームを結合するために使用される不透明値を、注目画像領域（ＲＯＩ）内のダークフレーム４１２に対する平方差分和（ＳＳＤ）に基づき、ダークフレーム４０８と、４１０と、４１２と、４１４と、４１６と、４１８とに割り当てることができる。

【0028】

特定の一実施形態では、複数の連続画像のサブセットは、少なくとも１つの定常の注目画像領域を有する画像を含む。例えば、図２のフレーム２０２、２０４、２０６、２０８、および２１４は、左上の隅に少なくとも１つの定常の注目画像領域２２４を有してよい。画像によっては、少なくとも１つの定常の注目画像領域は、少なくとも一対の目を含むことができる。

【0029】

特定の一実施形態では、少なくとも１つの定常の注目画像領域を有する画像が、少なくとも１つの定常の注目画像領域におけるピクセルについて、少なくとも１つのチャネルにおけるそれぞれの画像間のピクセル値の絶対値差分和（ＳＡＤ）に少なくとも部分的に基づき選択される。例えば、少なくとも１つの定常の注目画像領域（ＲＯＩ）におけるピクセルｉについて、赤（Ｒ）チャネルにおける画像１と呼ばれる第１の画像と、画像２と呼ばれる第２の画像との間のピクセル値の絶対値差分和（ＳＡＤ）は、

【数1】

【0030】

により定義される。ここで、Ｒ_i1は画像１における赤のピクセルｉの値であり、Ｒ_i2は画像２における赤のピクセルｉの値である。一般に、少なくとも１つの定常の注目画像領域（ＲＯＩ）におけるピクセルｉについて、αチャネルにおける画像ｊと、画像ｋとの間のピクセル値の絶対値差分和（ＳＡＤ）は、

【数2】

【0031】

によって定義される。ここで、例えば、α＝Ｒ，Ｇ，Ｂまたはα＝Ｙ，Ｃｂ，Ｃｒである。少なくとも１つの定常の注目画像領域（ＲＯＩ）におけるピクセルｉについて、αチャネルにおける画像ｊと画像ｋとが同一である場合、ＳＡＤ_αjk＝０となる。すべてのチャネルにわたって合計すると、

【数3】

【0032】

となる。これは、少なくとも１つの定常の注目画像領域（ＲＯＩ）におけるピクセルｉについて、すべてのチャネルにおける画像ｊと画像ｋとの間のピクセル値の絶対値差分和（ＳＡＤ）であり、少なくとも１つの定常の注目画像領域（ＲＯＩ）におけるピクセルｉについて、画像ｊと画像ｋとの間の差の大きさを表す。

【0033】

特定の一実施形態では、少なくとも１つの定常の注目画像領域を有する画像が、しきい値以下である絶対値差分和（ＳＡＤ）で少なくとも部分的に基づいて選択される。例えば、２００ピクセル×８０ピクセルの定常の注目画像領域の場合、しきい値ｔ＝５００を使用することができ、それにより、ピクセル値の絶対値差分和（ＳＡＤ）がＳＡＤ_jk≦ｔ＝５００のとき、画像ｊと画像ｋとを選択して結合することができる。

【0034】

特定の一実施形態では、少なくとも１つの定常の注目画像領域を有する画像には、絶対値差分和（ＳＡＤ）に少なくとも部分的に基づき不透明値がそれぞれ割り当てられ、この不透明値は、複数の連続画像のサブセットからのピクセル値を平均化して結合画像を作成する際に使用される。例えば、参照画像として画像ｊを使用して、ピクセル値の絶対値差分和（ＳＡＤ）が０≦ＳＡＤ_jk≦２００のとき、画像ｋには５０％の不透明値を割り当てることができ、２０１≦ＳＡＤ_jk≦３００のとき、画像ｋには４０％の不透明値を割り当てることができ、３０１≦ＳＡＤ_jk≦４００のとき、画像ｋには３０％の不透明値を割り当てることができ、４０１≦ＳＡＤ_jk≦５００のとき、画像ｋには２０％の不透明値を割り当てることができる。

【0035】

不透明値を使用して、選択された画像が結合されるときにピクセル値に適用する重みを生成することができる。例えば、４つの画像が、基準画像または参照画像に対する低い絶対値差分和（ＳＡＤ）を有するとき、４つの画像の不透明値はそれぞれ５０％、５０％、４０％、および２０％であることがある。基準画像または参照画像には、最も低い絶対値差分和（ＳＡＤ）を有する画像（複数存在する場合もある）の不透明値を割り当てることができ、この場合には不透明値５０％である。各画像のピクセル値に適用する重みは、当該画像の不透明値を、結合される画像のすべての不透明値の合計で割った値に等しくなり得る。ここでは、結合される画像のすべての不透明値の合計は、５０＋５０＋５０＋４０＋２０＝２１０である。例えば、基準画像または参照画像の赤、緑、および青のピクセル値には、すべて５０／２１０を掛けることができ、５０％の不透明値を有する他の画像の各々の赤、緑、および青のピクセル値にも、すべて５０／２１０を掛けることができ、４０％の不透明値を有する画像の赤、緑、および青のピクセル値には、４０／２１０を掛けることができ、２０％の不透明値を有する画像の赤、緑、および青のピクセル値には、２０／２１０を掛けることができる。５つの画像の重み付けされたピクセル値を平均化して、結合画像を作成することができる。

【0036】

特定の一実施形態では、少なくとも１つの定常の注目画像領域を有する画像が、少なくとも１つの定常の注目画像領域におけるピクセルについて、少なくとも１つのチャネルにおけるそれぞれの画像間のピクセル値の平方差分和（ＳＳＤ）に少なくとも部分的に基づき選択される。例えば、少なくとも１つの定常の注目画像領域（ＲＯＩ）におけるピクセルｉについて、赤（Ｒ）チャネルにおける画像１と呼ばれる第１の画像と、画像２と呼ばれる第２の画像との間のピクセル値の平方差分和（ＳＳＤ）は、

【数4】

【0037】

により定義される。ここで、Ｒ_i1は画像１における赤のピクセルｉの値であり、Ｒ_i2は画像２における赤のピクセルｉの値である。一般に、少なくとも１つの定常の注目画像領域（ＲＯＩ）におけるピクセルｉについて、αチャネルにおける画像ｊと、画像ｋとの間のピクセル値の平方差分和（ＳＳＤ）は、

【数5】

【0038】

によって定義される。ここで、例えば、α＝Ｒ，Ｇ，Ｂまたはα＝Ｙ，Ｃｂ，Ｃｒである。少なくとも１つの定常の注目画像領域（ＲＯＩ）におけるピクセルｉについて、αチャネルにおける画像ｊと画像ｋとが同一である場合、ＳＳＤ_αjk＝０となる。すべてのチャネルにわたって合計すると、

【数6】

【0039】

となる。これは、少なくとも１つの定常の注目画像領域（ＲＯＩ）におけるピクセルｉについて、すべてのチャネルにおける画像ｊと画像ｋとの間のピクセル値の平方差分和（ＳＳＤ）であり、少なくとも１つの定常の注目画像領域（ＲＯＩ）におけるピクセルｉについて、画像ｊと画像ｋとの間の差の大きさを表す。

【0040】

特定の一実施形態では、少なくとも１つの定常の注目画像領域を有する画像が、しきい値以下である平方差分和（ＳＳＤ）に少なくとも部分的に基づき選択される。例えば、２００ピクセル×８０ピクセルの定常の注目画像領域の場合、しきい値Ｔ＝５００を使用することができ、それにより、ピクセル値の平方差分和（ＳＳＤ）がＳＳＤ_jk≦Ｔ＝５００のとき、画像ｊと画像ｋとを選択して結合することができる。

【0041】

特定の一実施形態では、少なくとも１つの定常の注目画像領域を有する画像には、平方差分和（ＳＳＤ）に少なくとも部分的に基づき不透明値がそれぞれ割り当てられ、この不透明値は、複数の連続画像のサブセットからのピクセル値を平均化して結合画像を作成する際に使用される。例えば、参照画像として画像ｊを使用して、ピクセル値の平方差分和（ＳＳＤ）が０≦ＳＳＤ_jk≦２００のとき、画像ｋには５０％の不透明値を割り当てることができ、２０１≦ＳＳＤ_jk≦３００のとき、画像ｋには４０％の不透明値を割り当てることができ、３０１≦ＳＳＤ_jk≦４００のとき、画像ｋには３０％の不透明値を割り当てることができ、４０１≦ＳＳＤ_jk≦５００のとき、画像ｋには２０％の不透明値を割り当てることができる。

【0042】

不透明値を使用して、選択された画像が結合されるときにピクセル値に適用する重みを生成することができる。例えば、３つの画像が、基準画像または参照画像に対する低い平方差分和（ＳＳＤ）を有するとき、３つの画像の不透明値はそれぞれ５０％、４０％、および２０％であることがある。基準画像または参照画像には、最も低い平方差分和（ＳＳＤ）を有する画像（複数存在する場合もある）の不透明値を割り当てることができ、この場合には不透明値５０％である。各画像のピクセル値に適用する重みは、当該画像の不透明値を、結合される画像のすべての不透明値の合計で割った値に等しくなり得る。ここでは、結合される画像のすべての不透明値の合計は、５０＋５０＋４０＋２０＝１６０である。例えば、基準画像または参照画像の赤、緑、および青のピクセル値には、すべて５０／１６０を掛けることができ、５０％の不透明値を有する他の画像の赤、緑、および青のピクセル値にも、すべて５０／１６０を掛けることができ、４０％の不透明値を有する画像の赤、緑、および青のピクセル値には、４０／１６０を掛けることができ、２０％の不透明値を有する画像の赤、緑、および青のピクセル値には、２０／１６０を掛けることができる。４つの画像の重み付けされたピクセル値を平均化して、結合画像を作成することができる。

【0043】

最も低い絶対値差分和（ＳＡＤ）セットに、または最も低い平方差分和（ＳＳＤ）につながる基準画像または参照画像を選択することができる。例えば、ｎ個の画像の場合、各画像を順に基準画像または参照画像として選択することができ、当該基準画像または参照画像に対してその他すべての（ｎ−１個の）画像について絶対値差分和（ＳＡＤ）または平方差分和（ＳＳＤ）を計算することができる。結合する画像の数ｍは事前に決めることができ、次いで基準画像または参照画像を選択することができる。このようにして、絶対値差分和（ＳＡＤ）または平方差分和（ＳＳＤ）の最も低いグループ（ｍ個の画像）を提供する基準画像または参照画像を見つけることができる。例えば、ｍは３または４に等しいことがある。こうした探索法は、カメラがｎ個の画像すべてを保存することはできず、互いにうまく位置合わせされたｍ個の画像があれば単一のキャプチャコマンドから生じる画像のバーストの画像を処理するのを停止するときに、役に立つことがある。画像処理は、実行中に画像処理システム１３０内のハードウェアにおいて、またはその後に画像記憶装置１５０内において実行できる。この探索法では１以外の増分を使用してもよい。例えば、画像を４つおきに基準画像または参照画像として評価できる。

【0044】

画像キャプチャデバイスを持っている手の動き、および対象の動きは、画像から画像へと相関し得る。基準画像また参照画像として使用されるときの所与の画像が、しきい値を上回る絶対値差分和（ＳＡＤ）または平方差分和（ＳＳＤ）のグループを作成する場合、所与の画像の近くにある画像も同じ処理をすることができる。二分探索法を使用することができる。例えば、１００個の画像がある場合、画像２５、画像５０、および画像７５が基準画像または参照画像として選択され得る。どの基準画像が絶対値差分和（ＳＡＤ）または平方差分和（ＳＳＤ）の最も低いグループを作成したかにより、探索間隔は半分にされることがある。例えば、基準画像または参照画像として画像７５が絶対値差分和（ＳＡＤ）または平方差分和（ＳＳＤ）の最も低いグループを作成した場合、１２の探索間隔を２５の間隔の代わりに使用することができ、その結果、画像６３と画像８７とを基準画像または参照画像として使用できる。基準画像または参照画像として画像６３が絶対値差分和（ＳＡＤ）または平方差分和（ＳＳＤ）の最も低いグループを作成した場合、６の探索間隔を１２の間隔の代わりに使用することができ、その結果、画像５７と画像６９とを基準画像または参照画像として使用できる。二分探索法は、探索間隔が１つの画像になるまで続いてよい。

【0045】

特定の一実施形態では、複数の連続画像のサブセットにおける各画像からのピクセル値を平均化する前に、複数の連続画像のサブセットは鮮明化される。例えば、図１の複数の連続画像１０７のサブセット１４１は、画像結合モジュール１４２で結合される前に、鮮明化モジュール１４５で鮮明化され得る。特定の一実施形態では、互いに位置合わせされた複数の連続画像２００のサブセットを選択することは、オブジェクト２２２が注目画像領域２２４に存在する、少なくとも１つの定常の注目画像領域を有する第１の画像セット、例えばダークフレーム２０２、２０４、２０６，２０８、および２１４をリアルタイムで検出することと、オブジェクト２２２が注目画像領域２２４に存在しない、少なくとも１つの定常の注目画像領域を有さない第２の画像セット、例えばライトフレーム２１０、２１２、２１６、２１８、および２２０を除去することとを含む。特定の一実施形態では、図１の画像キャプチャデバイス１０１によってキャプチャされた最大６０個の連続画像が、互いに位置合わせされた複数の連続画像のサブセットを選択する前に受信される。

【0046】

図５を参照すると、互いに位置合わせされた複数の連続画像を選択し結合する方法の第１の例示的な実施形態のフローチャートが５００に示されている。例えば、方法５００は、図１の画像選択／結合システム１００によって実施できる。方法５００は、５０２においてバーストでｎ個の連続画像をキャプチャすることを含む。例えば、各々が６メガピクセル（ＭＰ）を有する最大およそ６０個の連続画像を、約１秒間のバーストでキャプチャできる。方法５００はまた、５０４において、ｎ個の連続画像の第１の画像における注目画像領域を決定することを含む。例えば、注目画像領域は一対の目であってよい。図２に示すように、注目画像領域２２４は定常のオブジェクト２２２を有することがある。

【0047】

方法５００はさらに、５０６において、しきい値未満の注目画像領域の絶対値差分和（ＳＡＤ）をそれぞれ有するｍ個の連続画像を決定することを含む。例えば、ｍは約２〜約１０の範囲であってよい。注目画像領域が約２００ピクセル×約８０ピクセルであるとき、しきい値は約５００であり得る。図３に示すように、ダークフレーム３０８、３１０、３１４、３１６、および３１８のサブセットは、しきい値ｔ以下である注目画像領域（ＲＯＩ）におけるダークフレーム３０２に対する絶対値差分和（ＳＡＤ）を各々有してよい。

【0048】

方法５００はまた、５０８において、第１の画像における注目画像領域に対する各注目画像領域の絶対値差分和（ＳＡＤ）に基づき、ｍ個の連続画像の各々について不透明値を決定することを含む。例えば、画像ｊを第１の画像として使用し、ピクセル値の絶対値差分和（ＳＡＤ）が０≦ＳＡＤ_jk≦２００であるとき、画像ｋには５０％の不透明値を割り当てることができ、２０１≦ＳＡＤ_jk≦３００であるとき、画像ｋには４０％の不透明値を割り当てることができ、３０１≦ＳＡＤ_jk≦４００であるとき、画像ｋには３０％の不透明値を割り当てることができ、４０１≦ＳＡＤ_jk≦５００であるとき、画像ｋには２０％の不透明値を割り当てることができる。第１の画像はＳＡＤ_jj＝０を有するため、第１の画像は、しきい値未満の各注目画像領域の絶対値差分和（ＳＡＤ）をそれぞれ有するｍ個の連続画像に含まれ得る。

【0049】

方法５００はさらに、５１０において、ｍ個の連続画像の各々の不透明値を使用して、ｍ個の連続画像をマージすることを含む。例えば、ｍ＝５の場合、４個の画像が第１の画像に対する低い絶対値差分和（ＳＡＤ）を有するとき、４個の画像の不透明値はそれぞれ５０％、４０％、４０％、および２０％であり得る。第１の画像には５０％の不透明値を割り当てることができる。各画像のピクセル値に適用する重みは、当該画像の不透明値を、結合される画像のすべての不透明値の合計で割った値に等しくなることができ、この場合、すべての不透明値の合計は５０＋５０＋４０＋４０＋２０＝２００である。例えば、第１の画像の赤、緑、および青のピクセル値には、すべて５０／２００を掛けることができ、５０％の不透明値を有する他の画像の赤、緑、および青のピクセル値にも、５０／２００を掛けることができ、４０％の不透明値を有する画像の赤、緑、および青のピクセル値には、４０／２００を掛けることができ、２０％の不透明値を有する画像の赤、緑、および青のピクセル値には、２０／２００を掛けることができる。次いで、ｍ＝５個の連続画像の適切に重み付けされたピクセル値を平均化して、結合画像またはマージ画像を作成することができる。

【0050】

図６を参照すると、互いに位置合わせされた複数の連続画像を選択し結合する方法の第２の例示的な実施形態のフローチャートが６００に示されている。方法６００は、６０２において、画像キャプチャデバイスによってキャプチャされた複数の連続画像を受信することを含む。例えば、複数の連続画像１０７が図１の画像キャプチャデバイス１０１によってキャプチャされ得る。方法６００はまた、６０４において、互いに位置合わせされた複数の連続画像のサブセットを選択することを含む。例えば、図２のダークフレーム２０２、２０４、２０６、２０８、および２１４が、互いに位置合わせされた複数の連続画像２００のサブセットとして選択され得る。方法６００はさらに、６０６において、複数の連続画像のサブセットにおける各画像からのピクセル値を平均化して結合画像を作成することを含む。例えば、図２のダークフレーム２０２、２０４、２０６、２０８、および２１４の各々からのピクセル値を平均化して、結合画像２２６と同様の結合画像を作成することができる。

【0051】

方法６００はさらに、６０８において、複数の連続画像のサブセットにおける各画像からのピクセル値を平均化する前に、複数の連続画像のサブセットを鮮明化することを含む。例えば、図１の複数の連続画像１０７のサブセット１４１は、画像結合モジュール１４２で結合される前に、鮮明化モジュール１４５で鮮明化され得る。方法６００はさらに、６１０において、少なくとも１つの定常の注目画像領域を有する第１の画像セットをリアルタイムで検出することを含む。例えば、互いに位置合わせされた図２の複数の連続画像２００のサブセットを選択することは、オブジェクト２２２が注目画像領域２２４に存在する、少なくとも１つの定常の注目画像領域を有する第１の画像セット、例えばダークフレーム２０２、２０４、２０６、２０８、および２１４をリアルタイムで検出することを含むことができる。方法６００はまた、６１２において、少なくとも１つの定常の注目画像領域を有さない第２の画像セットを除去することを含む。例えば、互いに位置合わせされた図２の複数の連続画像２００のサブセットを選択することは、オブジェクト２２２が注目画像領域２２４に存在しない、少なくとも１つの定常の注目画像領域を有さない第２の画像セット、例えばライトフレーム２１０、２１２、２１６、２１８、および２２０を除去することを含むことができる。

【0052】

特定の一実施形態では、１つの装置は、互いに位置合わせされた複数の連続画像のサブセットを選択するための手段を含む。互いに位置合わせされた複数の連続画像のサブセットを選択するための手段は、画像選択モジュール１４０を有する図１の画像処理システム１３０のような画像処理システム、画像処理回路、対応するハードウェア、ファームウェア、またはこれらの組み合わせを含むことができる。例えば、画像選択モジュール１４０を有する図１の画像処理システム１３０は、互いに位置合わせされた複数の連続画像のサブセットを選択するアルゴリズムを実行するようにプログラムできる。本装置は、複数の連続画像のサブセットにおける各画像からのピクセル値を平均化して結合画像を作成するための手段をさらに含む。複数の連続画像のサブセットにおける各画像からのピクセル値を平均化して結合画像を作成するための手段は、画像結合モジュール１４２を有する図１の画像処理システム１３０のような画像処理システム、画像処理回路、対応するハードウェア、ファームウェア、またはこれらの組み合わせを含むことができる。例えば、画像結合モジュール１４２を有する図１の画像処理システム１３０は、複数の連続画像のサブセットにおける各画像からのピクセル値を平均化して結合画像を作成するアルゴリズムを実行するようにプログラムできる。

【0053】

図７は、画像選択および画像結合モジュールを含むシステム７００に関する特定の実施形態のブロック図である。システム７００は画像センサデバイス７２２を含み、画像センサデバイス７２２はレンズ７６８に連結され、さらに携帯型マルチメディアデバイスのアプリケーションプロセッサチップセット７７０に連結される。画像センサデバイス７２２は、画像選択および画像結合モジュール７６４を含み、画像選択および画像結合モジュール７６４は、図１の画像選択モジュール１４０と画像結合モジュール１４２とを実行すること、図５〜６の実施形態のいずれかで動作すること、またはこれらの任意の組み合わせなどにより、互いに位置合わせされた複数の連続画像のサブセットを選択し、複数の連続画像のサブセットにおける各画像からのピクセル値を平均化して、結合画像を生成する。

【0054】

画像選択および画像結合モジュール７６４は、アナログ−デジタル変換器７２６などを介して画像アレイ７６６から画像データを受信するように連結され、アナログ・デジタル変換器７２６は、画像アレイ７６６の出力を受信するように連結され、さらに画像選択および画像結合モジュール７６４に画像データを提供するように連結される。

【0055】

画像センサデバイス７２２はまた、プロセッサ７１０を含むことができる。特定の一実施形態では、プロセッサ７１０は、画像選択および画像結合モジュール７６４を実施するように構成される。別の実施形態では、画像選択および画像結合モジュール７６４は画像処理回路として実施される。

【0056】

特定の一実施形態では、画像処理回路を含む集積回路が、複数の連続画像を処理するように構成される。画像処理回路は、互いに位置合わせされた複数の連続画像のサブセットを選択するように構成される。例えば、図２のフレーム２０２、２０４、２０６、２０８、および２１４が、互いに位置合わせされた複数の連続画像のサブセットとして選択され得る。画像処理回路は、複数の連続画像のサブセットにおける各画像からのピクセル値を平均化して結合画像を作成するようにさらに構成される。例えば、図２のフレーム２０２、２０４、２０６、２０８、および２１４の各々からのピクセル値を平均化して、結合画像を作成することができる。

【0057】

プロセッサ７１０は、画像処理システムによって実行される動作の１つまたは複数など、追加の画像処理動作を実行するようにさらに構成され得る。プロセッサ７１０は処理済み画像データを、さらなる処理、送信、記憶、表示またはこれらの任意の組み合わせのために、携帯型マルチメディアデバイスのアプリケーションプロセッサチップセット７７０に提供することができる。

【0058】

図８は、画像選択および画像結合モジュールと、結合画像を表示するディスプレイとを有するワイヤレス通信デバイス８００の一実施形態のブロック図である。ワイヤレス通信デバイス８００は、メモリ８３２に連結されたデジタル信号プロセッサ（ＤＳＰ）またはマイクロプロセッサのようなプロセッサ８１０を含む携帯型デバイスを含むことができる。メモリ８３２は、プロセッサ８１０によって実行されるときに、画像選択および画像結合に関する動作と、他の処理とをプロセッサ８１０に実行させるコンピュータコード８４２を記憶する読み取り可能な有形媒体である。プロセッサ８１０は、画像選択および画像結合モジュール８６２を含む。例示的な一実施形態では、画像選択および画像結合モジュール８６２は、図１の画像選択モジュール１４０と画像結合モジュール１４２とを実行すること、図５〜６の実施形態のいずれかで動作すること、またはこれらの任意の組み合わせなどにより、互いに位置合わせされた複数の連続画像のサブセットを選択し、複数の連続画像のサブセットにおける各画像からのピクセル値を平均化して、結合画像を作成する。画像選択および画像結合モジュール８６２は、プロセッサ８１０に存在してよく、またはハードウェア画像処理パイプラインに沿った別個のデバイスもしくは回路、もしくはこれらの組み合わせであってよい。

【0059】

画像選択および画像結合モジュール８６２の一実施態様では、メモリ８３２のようなコンピュータ可読媒体は、画像キャプチャデバイスによってキャプチャされた複数の連続画像を受信するためのコンピュータ実行可能コード８４２を含む。例えば、プロセッサ８１０はコンピュータ実行可能コード８４２を使用して、カメラ８７０のような画像キャプチャデバイスによってキャプチャされた複数の連続画像を受信する。カメラ８７０は、例えばデジタルスチルカメラであってよい。メモリ８３２のようなコンピュータ可読媒体はまた、互いに位置合わせされた複数の連続画像のサブセットを選択するためのコンピュータ実行可能コード８４２を含む。例えば、画像選択および画像結合モジュール８６２を有するプロセッサ８１０はコンピュータ実行可能コード８４２を使用して、互いに位置合わせされた複数の連続画像のサブセットを選択することができる。メモリ８３２のようなコンピュータ可読媒体は、複数の連続画像のサブセットにおける各画像からのピクセル値を平均化して結合画像を作成するためのコンピュータ実行可能コード８４２をさらに含む。例えば、画像選択および画像結合モジュール８６２を有するプロセッサ８１０はコンピュータ実行可能コード８４２を使用して、複数の連続画像のサブセットにおける各画像からのピクセル値を平均化して結合画像を作成することができる。

【0060】

カメラインターフェース８６８は、プロセッサ８１０に連結され、さらにカメラ８７０に連結されている。カメラ８７０は静止画像カメラであってよい。ディスプレイコントローラ８２６は、プロセッサ８１０と、ディスプレイデバイス８２８とに連結されている。特定の一実施形態では、複数の連続画像は、物理的オブジェクトを表すデータを含み、複数の連続画像のサブセットにおける各画像からのピクセル値を平均化することは、結合画像におけるノイズの量を減らすためにデータを変換する。変換済みデータは、ディスプレイデバイス８２８を介して表示され得る。また、音声コントローラ８３４はプロセッサ８１０に連結できる。スピーカー８３６およびマイクロフォン８３８は、音声コントローラ８３４に連結できる。ワイヤレスインターフェース８４０は、プロセッサ８１０とアンテナ８４２とに連結できる。さらに、システム８００への入力を受信し連結するための入力デバイス８３０は、入力コントローラ８３１によってシステム８００に連結できる。

【0061】

図８のシステムの動作中に、ユーザはカメラ８７０を使用して写真を撮ることができる。カメラ８７０によってキャプチャされた画像データは、カメラインターフェース８６８を介してプロセッサ８１０につながる。プロセッサ８１０内の画像選択および画像結合モジュール８６２は、メモリ８３２に記憶されたコンピュータコード８４２に従い、互いに位置合わせされた複数の連続画像のサブセットを選択することができ、複数の連続画像のサブセットにおける各画像からのピクセル値を平均化して結合画像を作成することができる。ディスプレイ８２８は結合画像を表示することができる。カメラ８７０によってキャプチャされた画像は、システム８００によって、ワイヤレスインターフェース８４０とアンテナ８４２とを介してワイヤレスに送信され得る。また、キャプチャされた画像はメモリ８３２に記憶できる。

【0062】

当業者はさらに、本明細書で開示した実施形態との関係で説明した様々な例示的な論理ブロック、構成、モジュール、回路およびアルゴリズムのステップが、電子ハードウェア、コンピュータソフトウェアまたは両方の組み合わせとして実施できることを理解しよう。ハードウェアおよびソフトウェアのこの互換性を明示するため、様々な例示的な構成要素、ブロック、構成、モジュール、回路およびステップについて、これらの機能面から全般的に上述してきた。こうした機能がハードウェアまたはソフトウェアとして実施されるか否かは、特定のアプリケーションと、システム全体に課せられる設計上の制約とに左右される。当業者は、各々の特定のアプリケーションについて様々な方法で前述の機能を実施することができるが、かかる実施の決定を、本開示の範囲から逸脱するものと解釈すべきではない。

【0063】

本明細書で開示する実施形態との関係で説明する方法またはアルゴリズムのステップは、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、またはこの２つの組み合わせで直接体現することができる。ソフトウェアモジュールは、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、読み取り専用メモリ（ＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、電気消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、レジスタ、ハードディスク、取り外し可能ディスク、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）または当技術分野で知られているその他の形式の記憶媒体に存在し得る。例示的な記憶媒体はプロセッサに連結され、それによりプロセッサは記憶媒体から情報を読み取ること、および記憶媒体に情報を書き込むことができる。代替として、記憶媒体はプロセッサに不可欠なこともある。プロセッサおよび記憶媒体は、特定用途向け集積回路（ＡＳＩＣ）に存在し得る。ＡＳＩＣはコンピューティングデバイスまたはユーザ端末に存在し得る。代替として、プロセッサおよび記憶媒体は、コンピューティングデバイスまたはユーザ端末に個別構成要素として存在することもある。

【0064】

開示された実施形態に関するこれまでの説明は、開示された実施形態を当業者が実施または利用できるようにするため提供されている。これらの実施形態の様々な修正形態が当業者には容易に理解されると思われ、本明細書に定める一般的原理を、本開示の趣旨または範囲から離れることなく他の実施形態に適用することができる。よって、本開示は、本明細書に示す実施形態に限定されることを意図しておらず、この原理および以下の請求項が定める新たな特徴と合致する最大の範囲を認めるものである。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］ 画像キャプチャデバイスによって取り込まれる複数の連続画像を受信することと、互いに位置合わせされた前記複数の連続画像のサブセットを選択することと、前記複数の連続画像の前記サブセットにおける各画像からのピクセル値を平均化して結合画像を作成することとを備える方法。
［２］ 前記複数の連続画像の前記サブセットは、少なくとも１つの定常の注目画像領域を有する画像を含む［１］に記載の方法。
［３］ 前記複数の連続画像は、物理的オブジェクトを表すデータを含み、前記複数の連続画像の前記サブセットにおける各画像からの前記ピクセル値を平均化することは、前記結合画像におけるノイズの量を減らすために前記データを変換する［１］に記載の方法であって、表示デバイスを介して前記変換済みデータを表示することをさらに備える方法。
［４］ 前記少なくとも１つの定常の注目画像領域を有する前記画像は、前記少なくとも１つの定常の注目画像領域におけるピクセルについて、少なくとも１つのチャネルにおけるそれぞれの画像間のピクセル値の絶対値差分和に少なくとも部分的に基づき選択される［２］に記載の方法。
［５］ 前記少なくとも１つの定常の注目画像領域を有する前記画像は、しきい値以下である前記絶対値差分和に少なくとも部分的に基づき選択される［４］に記載の方法。
［６］ 前記少なくとも１つの定常の注目画像領域を有する前記画像には、前記絶対値差分和に少なくとも部分的に基づき不透明値がそれぞれ割り当てられ、前記不透明値は、前記複数の連続画像の前記サブセットからの前記ピクセル値を平均化して前記結合画像を作成する際に使用される［４］に記載の方法。
［７］ 前記少なくとも１つの定常の注目画像領域を有する前記画像は、前記少なくとも１つの定常の注目画像領域におけるピクセルについて、少なくとも１つのチャネルにおけるそれぞれの画像間のピクセル値の平方差分和に少なくとも部分的に基づき選択される［２］に記載の方法。
［８］ 前記少なくとも１つの定常の注目画像領域を有する前記画像は、しきい値以下である前記平方差分和に少なくとも部分的に基づき選択される［７］に記載の方法。
［９］ 前記少なくとも１つの定常の注目画像領域を有する前記画像には、前記平方差分和に少なくとも部分的に基づき不透明値がそれぞれ割り当てられ、前記不透明値は、前記複数の連続画像の前記サブセットからの前記ピクセル値を平均化して前記結合画像を作成する際に使用される［７］に記載の方法。
［１０］ 前記複数の連続画像の前記サブセットにおける各画像からのピクセル値を平均化する前に、前記複数の連続画像の前記サブセットを鮮明化することをさらに備える［１］に記載の方法。
［１１］ 互いに位置合わせされた前記複数の連続画像の前記サブセットを選択することは、少なくとも１つの定常の注目画像領域を有する第１の画像セットをリアルタイムで検出することと、前記少なくとも１つの定常の注目画像領域を有さない第２の画像セットを除去することとを含む［１］に記載の方法。
［１２］ 互いに位置合わせされた前記複数の連続画像の前記サブセットを選択する前に、前記画像キャプチャデバイスによって取り込まれた最大６０個の連続画像が受信される［１１］に記載の方法。
［１３］ バーストでｎ個の連続画像をキャプチャすることと、前記ｎ個の連続画像の第１の画像における注目画像領域を決定することと、しきい値未満である前記注目画像領域の絶対値差分和をそれぞれ有するｍ個の連続画像を決定することと、前記第１の画像における前記注目画像領域に対する前記ｍ個の連続画像の各々における前記注目画像領域の前記絶対値差分和に基づき、前記ｍ個の連続画像の各々の不透明値を決定することと、前記ｍ個の連続画像の各々の前記不透明値を使用して前記ｍ個の連続画像をマージすることとをさらに備える［１］に記載の方法。
［１４］ 互いに位置合わせされた複数の連続画像のサブセットを選択し、前記複数の連続画像の前記サブセットにおける各画像からのピクセル値を平均化して結合画像を作成するように構成された画像処理システムを備える装置。
［１５］ 前記複数の連続画像を取り込むように構成された画像キャプチャデバイスをさらに備え、前記複数の連続画像は物理的オブジェクトを表すデータを含み、前記複数の連続画像の前記サブセットにおける各画像からの前記ピクセル値を平均化することで前記結合画像におけるノイズの量を減らすために前記データを変換し、前記変換済みデータを表示するように構成された表示デバイスをさらに備える［１４］に記載の装置。
［１６］ 互いに位置合わせされた前記複数の連続画像の前記サブセットを選択することは、少なくとも１つの定常の注目画像領域を有する第１の画像セットをリアルタイムで検出することと、前記少なくとも１つの定常の注目画像領域を有さない第２の画像セットを除去することとを含む［１４］に記載の装置。
［１７］ 複数の連続画像を処理して、互いに位置合わせされた前記複数の連続画像のサブセットを選択し、前記複数の連続画像の前記サブセットにおける各画像からのピクセル値を平均化して結合画像を作成するように構成された画像処理回路を備える集積回路。
［１８］ 互いに位置合わせされた前記複数の連続画像の前記サブセットは、少なくとも１つの定常の注目画像領域を有する画像を含む［１７］に記載の集積回路。
［１９］ 互いに位置合わせされた前記複数の連続画像の前記サブセットを選択することは、少なくとも１つの定常の注目画像領域を有する第１の画像セットをリアルタイムで検出することと、前記少なくとも１つの定常の注目画像領域を有さない第２の画像セットを除去することとを含む［１７］に記載の集積回路。
［２０］ 互いに位置合わせされた複数の連続画像のサブセットを選択するための手段と、前記複数の連続画像の前記サブセットにおける各画像からのピクセル値を平均化して結合画像を作成するための手段とを備える装置。
［２１］ 前記複数の連続画像を取り込むように構成された画像キャプチャデバイスをさらに備え、前記複数の連続画像は、物理的オブジェクトを表すデータを含み、前記複数の連続画像の前記サブセットにおける各画像からの前記ピクセル値を平均化することで前記結合画像におけるノイズの量を減らすために前記データを変換し、前記変換済みデータを表示するように構成された表示デバイスをさらに備える［２０］に記載の装置。
［２２］ 互いに位置合わせされた前記複数の連続画像の前記サブセットを選択することは、少なくとも１つの定常の注目画像領域を有する第１の画像セットをリアルタイムで検出することを含む［２０］に記載の装置。
［２３］ 画像キャプチャデバイスからの複数の連続画像を受信するためのコードと、互いに位置合わせされた前記複数の連続画像のサブセットを選択するためのコードと、前記複数の連続画像の前記サブセットにおける各画像からのピクセル値を平均化して結合画像を作成するためのコードとを備えるコンピュータ実行可能コードを記憶するコンピュータ可読媒体。
［２４］ 互いに位置合わせされた前記複数の連続画像の前記サブセットは、少なくとも１つの定常の注目画像領域を有する画像を含む［２３］に記載のコンピュータ可読媒体。
［２５］ 互いに位置合わせされた前記複数の連続画像の前記サブセットを選択することは、少なくとも１つの定常の注目画像領域を有する第１の画像セットをリアルタイムで検出することと、前記少なくとも１つの定常の注目画像領域を有さない第２の画像セットを除去することとを含む［２３］に記載のコンピュータ可読媒体。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】