【数1】

【数2】

【数3】

【数4】

【数5】

【数6】

【数7】

【数8】

【数9】

【数10】

【数11】

【数12】

【技術分野】

【0001】

【背景技術】

【0002】

【0003】

【発明の概要】

クレーム中には、さまざまな例示的実施形態が提示されている。

あるシーンの複数の画像のうちの、基準画像および１つ以上の残りの画像に基づいて、そのシーンと結びついた初期超解像画像を生成するステップであって、シーンが少なくとも１つの移動オブジェクトを含むステップと、アップ・サンプリングされた基準画像を生成するために基準画像をアップ・サンプリングするステップと、超解像画像およびアップ・サンプリングされた基準画像に基づいてモーション・マスク画像を生成するステップであって、モーション・マスク画像がシーンと結びついた少なくとも１つの移動オブジェクトのモーションを表しているステップと、モーション・マスク画像に基づいて、少なくとも１つの移動オブジェクトを描く少なくとも１つの部分を含むシーンの複合画像を生成するステップと、を含む方法が提供されている。

第２の実施形態では、少なくとも１つのプロセッサと、コンピュータ・プログラム・コードを備えた少なくとも１つのメモリと、を備えた装置であって、少なくとも１つのメモリとコンピュータ・プログラム・コードは、少なくとも１つのプロセッサを用いて、装置に少なくとも、あるシーンの複数の画像のうちの、基準画像および１つ以上の残りの画像に基づいて、そのシーンと結びついた初期超解像画像を生成させ、シーンが少なくとも１つの移動オブジェクトを含み、アップ・サンプリングされた基準画像を生成するために基準画像をアップ・サンプリングさせ、超解像画像およびアップ・サンプリングされた基準画像に基づいてモーション・マスク画像を生成させ、モーション・マスク画像がシーンと結びついた少なくとも１つの移動オブジェクトのモーションを表しており、モーション・マスク画像に基づいて、少なくとも１つの移動オブジェクトを描く少なくとも１つの部分を含むシーンの複合画像を生成させる、ように構成されている、装置が提供されている。

第３の実施形態では、少なくとも１つのコンピュータ可読記憶媒体を備えたコンピュータ・プログラム・プロダクトであって、該コンピュータ可読記憶媒体は、１つ以上のプロセッサにより実行された場合に装置に、少なくとも、あるシーンの複数の画像のうちの、基準画像および１つ以上の残りの画像に基づいて、そのシーンと結びついた初期超解像画像を生成させ、シーンが少なくとも１つの移動オブジェクトを含み、アップ・サンプリングされた基準画像を生成するために基準画像をアップ・サンプリングさせ、超解像画像およびアップ・サンプリングされた基準画像に基づいてモーション・マスク画像を生成させ、モーション・マスク画像がシーンと結びついた少なくとも１つの移動オブジェクトのモーションを表しており、モーション・マスク画像に基づいて、少なくとも１つの移動オブジェクトを描写する少なくとも１つの部分を含むシーンの複合画像を生成させる、コンピュータ・プログラム・プロダクトが提供されている。

第４の実施形態では、あるシーンの複数の画像のうちの、基準画像および１つ以上の残りの画像に基づいて、そのシーンと結びついた初期超解像画像を生成するための手段であって、シーンが少なくとも１つの移動オブジェクトを含む手段と、アップ・サンプリングされた基準画像を生成するために基準画像をアップ・サンプリングするための手段と、超解像画像およびアップ・サンプリングされた基準画像に基づいてモーション・マスク画像を生成するための手段であって、モーション・マスク画像がシーンと結びついた少なくとも１つの移動オブジェクトのモーションを表している手段と、モーション・マスク画像に基づいて、少なくとも１つの移動オブジェクトを描く少なくとも１つの部分を含むシーンの複合画像を生成するための手段と、を備えた装置が提供されている。

第５の実施形態では、装置によって実行された場合に、該装置に、あるシーンの複数の画像のうちの、基準画像および１つ以上の残りの画像に基づいて、そのシーンと結びついた初期超解像画像を生成させ、シーンが少なくとも１つの移動オブジェクトを含み、アップ・サンプリングされた基準画像を生成するために基準画像をアップ・サンプリングさせ、超解像画像およびアップ・サンプリングされた基準画像に基づいてモーション・マスク画像を生成させ、モーション・マスク画像がシーンと結びついた少なくとも１つの移動オブジェクトのモーションを表しており、モーション・マスク画像に基づいて、少なくとも１つの移動オブジェクトを描く少なくとも１つの部分を含むシーンの複合画像を生成させる、プログラム命令を含むコンピュータ・プログラムが提供されている。

添付図面の図中には、限定的なものとしてではなく一例として、さまざまな実施形態が示されている。

【図面の簡単な説明】

【0011】

【図1】一例示的デバイスを示す。

【図2】一例示的、超解像画像を生成するための装置を示す。

【図3A】一例示的、あるシーンに結びついた画像を超解像するための例示的ステップを表わす。

【図3B】一例示的、あるシーンに結びついた画像を超解像するための例示的ステップを表わす。

【図3C】一例示的、あるシーンに結びついた画像を超解像するための例示的ステップを表わす。

【図3D】一例示的、あるシーンに結びついた画像を超解像するための例示的ステップを表わす。

【図4】一例示的、超解像画像を生成するための例示的方法を描く流れ図である。

【図5】別の例示的、超解像画像を生成するための別の例示的方法を描く流れ図である。

【発明を実施するための形態】

例示的実施形態およびその潜在的効果は、図面の図１〜５を参照することによって理解される。

図１は、一例示的デバイス１００を示している。しかしながら、例示され以下で説明されているデバイス１００は、さまざまな実施形態の恩恵を受けることのできる１つのデバイスタイプの一例にすぎず、したがって実施形態の範囲を限定するものとみなされるべきではない、ということを理解すべきである。したがって、デバイス１００に関連して以下で記述する構成要素の少なくともいくつかは任意のものであることができ、したがって、一例示的実施形態において、図１の例示的実施形態に関連して説明されたものより多くの、またはより少ない、またはそれとは異なる構成要素を含むことができるということを認識すべきである。デバイス１００は、一定数のタイプの移動体電子デバイス、例えば携帯情報端末（ＰＤＡ）、ポケットベル、モバイル・テレビ、ゲーミング・デバイス、セルラーホン、あらゆるタイプのコンピュータ（例えばラップトップ型コンピュータ、モバイル・コンピュータ、またはデスクトップ型コンピュータ）、カメラ、オーディオ／ビデオ・プレーヤー、ラジオ、グローバル・ポジショニング・システム（ＧＰＳ）デバイス、メディア・プレーヤー、移動体情報端末または上述のおよび他のタイプの通信デバイスの任意の組合せのうちのいずれかであり得る。

デバイス１００は、送信機１０４および受信機１０６と作動的通信状態にあるアンテナ１０２（または多数のアンテナ）を含むことができる。デバイス１００はさらに、装置、例えばコントローラ１０８またはそれぞれ送信機１０４および受信機１０６に信号を提供しそれらから信号を受信する他の処理デバイスを含むことができる。信号は、適用可能なセルラー方式のエア・インターフェース規格にしたがったシグナリング情報を含むことができ、および／または同様に、ユーザーの音声、受信データおよび／またはユーザーが生成したデータも含むことができる。この点において、デバイス１００は、１つ以上のエア・インターフェース規格、通信プロトコル、変調タイプおよびアクセス・タイプで動作する能力を有することができる。実例として、デバイス１００は、一定数の第１、第２、第３および／または第４世代の通信プロトコルなどのいずれかにしたがって動作する能力を有することができる。例えば、デバイス１００は、第２世代（２Ｇ）無線通信プロトコルＩＳ−１３６（時分割多元接続（ＴＤＭＡ））、ＧＳＭ（登録商標）（グローバル・システム・フォー・モバイル・コミュニケーション）およびＩＳ−９５（符号分割多元接続（ＣＤＭＡ））、または第３世代（３Ｇ）無線通信プロトコル、例えばユニバーサル・モバイル・テレコミュニケーションズ・システム（ＵＭＴＳ）、ＣＤＭＡ１０００、広帯域ＣＤＭＡ（ＷＣＤＭＡ（登録商標））および時分割同期ＣＤＭＡ（ＴＤ−ＳＣＤＭＡ）、または３．９Ｇ無線通信プロトコル、例えば進化型ユニバーサル地上無線アクセス・ネットワーク（Ｅ−ＵＴＲＡＮ）、または第４世代（４Ｇ）無線通信プロトコルなど、にしたがって動作する能力を有することができる。一変形形態として（または付加的に）、デバイス１００は、非セル方式通信メカニズムにしたがって動作する能力を有することができる。例えば、コンピュータ・ネットワーク、例えばインターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワークなど、短距離無線通信ネットワーク例えばＢｌｕｅｔｏｏｔｈ（登録商標）ネットワーク、Ｚｉｇｂｅｅ（登録商標）ネットワーク、電気電子技術者協会（ＩＥＥＥ）８０２．１１ｘネットワークなど、有線電気通信ネットワーク、例えば公衆交換電話網（ＰＳＴＮ）など。

コントローラ１０８は、なかでもデバイス１００のオーディオおよび論理的機能を実装する回路を含むことができる。例えば、コントローラ１０８は、非限定的に、１つ以上のデジタル信号プロセッサ・デバイス、１つ以上のマイクロプロセッサ・デバイス、付随するデジタル信号プロセッサを伴う１つ以上のプロセッサ、付随するデジタル信号プロセッサ無しの１つ以上の専用コンピュータ・チップ、１つ以上のフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、１つ以上のコントローラ、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、１つ以上のコンピュータ、さまざまなアナログ−デジタル変換器、デジタル−アナログ変換器、および／または他のサポート回路を含むことができる。デバイス１００の制御および信号処理機能は、それぞれの能力に応じてこれらのデバイス間で割振られる。こうして、コントローラ１０８は、同様に、変調および伝送に先立ち、メッセージおよびデータを畳み込みエンコーディングしインターリーブする機能性も含むことができる。コントローラ１０８は、さらに、内部ボイス・コーダを含むことができ、内部データ・モデムを含むことができる。さらに、コントローラ１０８は、メモリ内に記憶され得る１つ以上のソフトウェアプログラムを動作させる機能性を含むことができる。例えば、コントローラ１０８は、従来のＷｅｂブラウザなどの接続性プログラムを動作させる能力を有することができる。接続性プログラムはこのとき、デバイス１００が、無線アプリケーション・プログラム（ＷＡＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）などにしたがって、ロケーション・ベースのコンテンツおよび／または他のウェブ・ページ・コンテンツを伝送し受信することができるようにすることができる。一例示的実施形態において、コントローラ１０８を、デュアルまたはクアド・コア・プロセッサーなどのマルチ・コア・プロセッサとして具体化することができる。しかしながら、コントローラ内には任意の数のプロセッサを含み入れることができる。

デバイス１００は、同様に、コントローラ１０８に結合できるリンガー１１０、イヤホンまたはスピーカー１１２、マイクロホン１１４、ディスプレー１１６などの出力デバイスおよびユーザー入力インターフェースを含めたユーザー・インターフェースを含むこともできる。デバイス１００がデータを受信できるようにするユーザー入力インターフェースは、デバイス１００がデータを受信することを可能にする一定数のデバイス、例えばキーパッド１１８、タッチ・ディスプレー、マイクロホンまたは他の入力デバイスのいずれかを含むことができる。キーパッドを含む実施形態において、キーパッド１１８は、テンキー（０〜９）および関連キー（＃、^＊）、およびデバイス１００を動作させるために使用される他のハードおよびソフト・キーを含むことができる。代替的または付加的には、キーパッド１１８は、従来のＱＷＥＲＴＹキーパッド配置を含むことができる。キーパッド１１８は同様に、結びついた機能を伴うさまざまなソフト・キーも含むことができる。さらに、または代替的に、デバイス１００は、ジョイスティックまたは他のユーザー入力インターフェースなどのインターフェース・デバイスを含むことができる。デバイス１００はさらに、デバイス１００を動作させるために使用されるさまざまな回路に動力供給するためならびに任意には検出可能な出力として機械的振動を提供するために、振動式バッテリ・パックなどのバッテリ２０を含む。

一例示的実施形態において、デバイス１００は、コントローラ１０８と通信状態にあるカメラ、ビデオおよび／またはオーディオ・モジュールなどのメディア捕捉要素を含む。媒体捕捉要素は、記憶、表示または伝送のために画像、映像および／または音声を捕捉するように構成された任意の手段であることができる。媒体捕捉要素がカメラ・モジュール１２２である例示的実施形態において、このカメラ・モジュール１２２は、捕捉画像からデジタル画像ファイルを形成する能力を有するデジタル・カメラを含むことができる。こうして、カメラ・モジュール１２２は、全てのハードウェア、例えばレンズまたは他の光学構成要素、および捕捉画像からデジタル画像・ファイルを作成するためのソフトウェアを含む。代替的には、カメラ・モジュール１２２は、画像を見るために必要とされるハードウェアを含むことができ、一方デバイス１００のメモリ・デバイスは、捕捉画像からデジタル画像を作成するためにソフトウェアの形でコントローラ１０８により実行されるための命令を記憶する。一例示的実施形態において、カメラ・モジュール１２２はさらに、画像を処理する上でコントローラ１０８を補助するコプロセッサなどの処理要素、および画像データを圧縮および／または解凍するためのエンコーダおよび／またはデコーダを含むことができる。エンコーダおよび／またはデコーダは、ＪＰＥＧ規格フォーマットまたは別の類似のフォーマットにしたがって、エンコーディングおよび／またはデコーディングすることができる。映像については、エンコーダおよび／またはデコーダは、例えばＨ．２６１、Ｈ．２６２／ＭＰＥＧ−２、Ｈ．２６３、Ｈ．２６４、Ｈ２６４／ＭＰＥＧ−４、ＭＰＥＧ−４などと結びついた規格などの複数の規格フォーマットのいずれかを利用することができる。いくつかのケースにおいて、カメラ・モジュール１２２は、ディスプレー１１６に対してライブ画像データを提供することができる。その上、一例示的実施形態において、ディスプレー１１６を、デバイス１００の一方の側に位置設定することができ、カメラ・モジュール１２２がデバイス１００の一方の側で画像を捕捉し、デバイス１００のもう一方の側に位置づけされたユーザーに対してこのような画像のヴューを提示するのを可能にするため、カメラ・モジュール１２２は、ディスプレー１１６との関係においてデバイス１００の反対側に位置づけされたレンズを含むことができる。

デバイス１００は、さらに、ユーザー・アイデンティティ・モジュール（ＵＩＭ）１２４を含むことができる。ＵＩＭ１２４は、プロセッサが組み込まれたメモリ・デバイスであることができる。ＵＩＭ１２４は、例えば、加入者アイデンティティ・モジュール（ＳＩＭ）、汎用集積回路カード（ＵＩＣＣ）、汎用加入者アイデンティティ・モジュール（ＵＳＩＭ）、着脱式ユーザー・アイデンティティ・モジュール（Ｒ−ＵＩＭ）または、他の任意のスマート・カードを含むことができる。ＵＩＭ１２４は典型的に、移動体加入者に関係する情報要素を記憶する。ＵＩＭ１２４に加えて、デバイス１００はメモリを備えることができる。例えば、デバイス１００は、データの一時記憶のためのキャッシュ・エリアを含む揮発性ランダム・アクセス・メモリ（ＲＡＭ）などの揮発性メモリ１２６を含むことができる。デバイス１００は同様に、埋込み型および／または着脱式であり得る他の不揮発性メモリ１２８も含むことができる。不揮発性メモリ１２８は、付加的にまたは代替的に、電気的消去可能なプログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ハード・ドライブなどを含むことができる。メモリは、デバイス１００の機能を実装するためにデバイス１００が使用する任意の数の情報およびデータを記憶することができる。

図２は、一例示的、シーンの超解像画像を生成するための装置２００を示す。装置２００を、例えば図１のデバイス１００内で利用することができる。しかしながら、装置２００を、移動および固定型の両方のさまざまな他のデバイス上で利用することもでき、したがって、図１のデバイス１００などのデバイスのアプリケーションに限定されるべきでないという点を指摘しておかなければならない。代替的には、例えば以上で列挙したものなどを含めたデバイスの組合せ上で利用することができる。したがって、全体として単一のデバイス（例えばデバイス１００）においてまたはデバイスの組合せの中で、さまざまな実施形態を具体化することができる。その上、以下で説明されたデバイスまたは要素は義務的なものではなく、したがって或る種の実施形態内ではいくつかを省略することができるということも指摘しておかなければならない。

装置２００は、少なくとも１つのプロセッサ２０２および少なくとも１つのメモリ２０４を含むか、またそうでなければ、これらのプロセッサおよびメモリと通信状態にある。少なくとも１つのメモリ２０４の例としては、揮発性および／または不揮発性メモリが含まれるが、これらに限定されない。揮発性メモリのいくつかの例には、ランダム・アクセス・メモリ、動的ランダム・アクセス・メモリ、静的ランダム・アクセス・メモリなどが含まれる。不揮発性メモリのいくつかの例としては、ハード・ディスク、磁気テープ、光ディスク、プログラマブル読取り専用メモリ、消去可能プログラマブル読取り専用メモリ、電気的消去可能プログラマブル読取り専用メモリ、フラッシュ・メモリなどが含まれるが、これらに限定されない。装置２００がさまざまな例示的実施形態にしたがってさまざまな機能を実施できるようにするための情報、データ、アプリケーション、命令などを記憶するように、メモリ２０４を構成することができる。例えば、メモリ２０４は、プロセッサ２０２による処理のためにメディア・コンテンツを含む入力データをバッファリングするように構成することができる。付加的にまたは代替的には、プロセッサ２０２による実行のための命令を記憶するように、メモリ２０４を構成することができる。

プロセッサ２０２の一例は、コントローラを含むことができる。プロセッサ２０２を、多くの異なる方法で具体化することができる。プロセッサ２０２を、マルチ・コア・プロセッサ、シングル・コア・プロセッサまたはマルチ・コア・プロセッサとシングル・コア・プロセッサの組合せとして具体化することができる。例えば、プロセッサ２０２を、さまざまな処理手段、例えばコプロセッサ、マイクロプロセッサ、コントローラ、デジタル信号プロセッサ（ＤＳＰ）、付随するＤＳＰを伴うまたは伴わない処理回路、または例えば特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、マイクロコントローラ・ユニット（ＭＣＵ）、ハードウェア・アクセラレータ、特殊用途コンピュータ・チップなどの集積回路を含むさまざまな他の処理デバイスのうちの１つ以上のものとして具体化することができる。一例示的実施形態において、マルチ・コア・プロセッサは、メモリ２０４内に記憶された、または他の形でプロセッサ２０２にとってアクセス可能である命令を実行するように構成可能である。代替的または付加的には、プロセッサ２０２を、ハード・コーデッド機能性を実行するように構成することができる。このようにして、ハードウェアまたはソフトウェア方法またはその組合せのいずれによって構成されているかに関わらず、プロセッサ２０２は、例えば、相応して構成されている一方でさまざまな実施形態にしたがってオペレーションを行なう能力を有する回路の形で物理的に具体化された１つのエンティティを表わすことができる。例えば、プロセッサ２０２がＡＳＩＣ、ＦＰＧＡなどの２つ以上として具体化された場合、プロセッサ２０２は、本明細書中に記載のオペレーションを行なうための特定的に構成されたハードウェアであることができる。代替的には、別の例として、プロセッサ２０２がソフトウェア命令を実行するものとして具体化されている場合、命令は、命令が実行されたときに本明細書中に記載のアルゴリズムおよび／またはオペレーションを行なうようにプロセッサ２０２を特定的に構成することができる。しかしながら、いくつかの場合において、プロセッサ２０２は、本明細書中に記載のアルゴリズムおよび／またはオペレーションを行なうため命令によりプロセッサ２０２をさらに構成することによって、実施形態を利用するように適応された移動体端末またはネットワーク・デバイスなどの特定的デバイスのプロセッサであることができる。プロセッサ２０２は、なかでも、プロセッサ２０２のオペレーションをサポートするように構成されたクロック、算術論理演算ユニット（ＡＬＵ）および論理ゲートを含むことができる。

ユーザー・インターフェース２０６はプロセッサ２０２と通信状態にあることができる。ユーザー・インターフェース２０６の例としては、入力インターフェースおよび／または出力ユーザー・インターフェースが含まれるが、これらに限定されない。入力インターフェースは、ユーザー入力の標示を受信するように構成される。出力ユーザー・インターフェースは、可聴、視覚、機械的または他の出力および／またはフィードバックをユーザーに提供する。入力インターフェースの例としては、キーボード、マウス、ジョイスティック、キーパッド、タッチ・スクリーン、ソフト・キーなどが含まれ得るが、これらに限定されない。出力インターフェースの例としては、発光ダイオード・ディスプレー、薄膜トランジスタ（ＴＦＴ）ディスプレー、液晶ディスプレー、アクティブ・マトリクス有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレーなどのディスプレー、マイクロホン、スピーカー、リンガー、バイブレーターなどが含まれ得るが、これらに限定されない。一例示的実施形態において、ユーザー・インターフェース２０６は、他のデバイスのなかでも、スピーカー、マイクロホン、ディスプレー、およびキーボード、タッチ・スクリーン、などのうちのいずれかまたは全てを含むことができる。この点において、例えば、プロセッサ２０２は、例えばスピーカー、リンガー、マイクロホン、ディスプレーなどのユーザー・インターフェース２０６の１つ以上の要素の少なくともいくつかの機能を制御するように構成されたインターフェース回路を含むことができる。プロセッサ２０２および／またはプロセッサ２０２を含むユーザー・インターフェース回路は、例えば、プロセッサ２０２にとってアクセス可能である少なくとも１つのメモリ２０４などのメモリ上に記憶されたソフトウェアおよび／またはファームウェアなど、コンピュータ・プログラム命令を通してユーザー・インターフェース２０６の１つ以上の要素の１つ以上の機能を制御するように構成され得る。

一例示的実施形態において、装置２００は、電子デバイスを含むことができる。電子デバイスのいくつかの例には、通信デバイス、通信能力を伴うメディア捕捉デバイス、計算デバイスなどを含む。電子デバイスのいくつかの例は、携帯電話、携帯情報端末（ＰＤＡ）などを含むことができる。計算デバイスのいくつかの例は、ラップトップ型コンピュータ、パーソナル・コンピュータなどを含むことができる。一例示的実施形態において、電子デバイスは、ユーザー・インターフェース、例えばユーザーが、ディスプレーの使用を通して電子デバイスの少なくとも１つの機能をユーザーが容易に制御できるようにするように構成され、さらにユーザーの入力に応答するように構成されたユーザー・インターフェースソフトウェアおよびユーザー・インターフェース回路を有するＵＩ２０６などを含むことができる。一例示的実施形態において、電子デバイスは、電子デバイスのユーザー・インターフェースの少なくとも一部分を表示するように構成されたディスプレー回路を含むことができる。ディスプレーおよびディスプレー回路を、電子デバイスの少なくとも１つの機能をユーザーが容易に制御できるように構成することができる。

一例示的実施形態において、電子デバイスを、送受信機を含むように具体化することができる。送受信機は、ソフトウェアにしたがって動作している、あるいはハードウェアの形でまたはハードウェアとソフトウェアの組合せの形で具体化された任意のデバイスまたは回路であることができる。例えば、ソフトウェアの制御下で動作するプロセッサ２０２、または本明細書中に記載のオペレーションを行なうように特定的に構成されたＡＳＩＣまたはＦＰＧＡとして具体化されたプロセッサ２０２またはそれらの組合せは、こうして、送受信機の機能を行なうように装置または回路を構成する。送受信機を、メディア・コンテンツを受信するように構成することができる。メディア・コンテンツの例は、オーディオ・コンテンツ、ビデオ・コンテンツ、データおよびそれらの組合せを含むことができる。

一例示的実施形態において、画像センサー２０８などの画像センサーを含むように電子デバイスを具体化することができる。画像センサー２０８は、プロセッサ２０２および／または装置２００の他の構成要素と通信状態にあることができる。画像センサー２０８は、他の撮像回路および／またはソフトウェアと通信状態にあることができ、デジタル画像を捕捉するかまたはビデオまたは他のグラフィック・メディア・ファイルを作成するように構成される。画像センサー２０８および他の回路は、組合わさって、デバイス１００のカメラ・モジュール１２２の一例となることができる。画像センサー２０８は、他の構成要素と共に、同様に、明視野像を捕捉するように構成されることもできる。

これらの構成要素（２０２〜２０８）は、超解像画像を生成するために集中回路システム２１０を介して互いに通信することができる。集中回路システム２１０は、なかでも、装置２００の構成要素（２０２〜２０８）間の通信を提供するかまたは可能にするように構成されたさまざまなデバイスであることができる。或る実施形態において、集中回路システム２１０は、マザーボード、メイン・ボード、システム・ボードまたはロジック・ボードなどの中央プリント回路基板（ＰＣＢ）であることができる。集中回路システム２１０は同様に、または代替的に、他のプリント回路アセンブリ（ＰＣＡ）または通信チャネル媒体を含むことができる。

一例示的実施形態において、プロセッサ２００は、メモリ２０４のコンテンツを用いておよび任意には本明細書中で説明された他の構成要素を用いて、装置に、例えば、あるシーンの画像Ｉ_１、Ｉ_２、Ｉ_３．．．．Ｉ_Ｎなどの複数の画像の受信を促進させるように構成されている。いくつかの例示的実施形態において、装置２００は、シーンの複数の画像Ｉ_１、Ｉ_２、Ｉ_３．．．．Ｉ_Ｎを捕捉させられる可能性がある。代替的には、いくつかの他の実施形態において、複数の画像Ｉ_１、Ｉ_２、Ｉ_３．．．．Ｉ_Ｎを予め記録し、装置２００内に記憶し、あるいは装置２００の外部のソースから受信することができる。このような例示的実施形態において、装置２００は、ＤＶＤ、コンパクト・ディスク（ＣＤ）、フラッシュ・ドライブ、メモリ・カードなどの外部記憶媒体由来の、またはインターネット、Ｂｌｕｅｔｏｏｔｈ（登録商標）などを通して外部記憶場所から受信された複数の画像を受信させられる。

一例示的実施形態において、メディア・コンテンツがビデオ・コンテンツを含む場合、複数の画像、Ｉ_１、Ｉ_２、Ｉ_３．．．．Ｉ_Ｎは、シーンに結びついたビデオ・コンテンツの複数のフレームを含むことができる。一例示的実施形態において、複数のフレームは、シーンのビデオ・コンテンツの連続的フレームであることができる。以下では、「画像」および「フレーム」なる用語は、さまざまな実施形態を説明するため、互換的に使用可能である。本明細書において、「シーン」なる用語は、画像および／または映像を捕捉できる１つ以上のオブジェクトの配置（自然の、人工的な、選別されたまたは種々雑多のもの）を意味することができる。一例示的実施形態において、シーンは、モーション中の少なくとも１つのオブジェクトを含むことができ、その一方でこのシーンの残りの部分は静止状態であることができる。別の例示的シナリオでは、シーン内で、背景部分が静止状態である一方で、前景内の１つのオブジェクトがモーション中であることができる。例えば、背景内に木々および空を伴う庭の中をジョギングするさまざまな人を描写するシーンは、静止背景部分とモーション中の前景部分を含むことができる。別の例示的シナリオにおいては、シーンの背景部分がモーションと結びつけられ、一方背景部分は静止状態であることができる。さらに別の例示的シナリオにおいては、背景および前景のいくつかの部分は静止状態であることができ、シーンの背景および前景の残りの部分は、モーション中であることができる。上述の例示的シナリオのいずれにも関わらず、シーンは、少なくとも１つの静止部分と少なくとも１つの移動部分を含むことができる。一例示的シナリオにおいて、複数の画像は、低解像度の入力画像であることができ、このような画像の解像度を、超解像プロセスによって増強することができる。

一例示的実施形態において、装置２００は、複数の画像のうちの１つ以上の残りの画像に基づいて、複数の画像の基準画像の初期超解像を行なわせられる。別の例示的実施形態において、装置２００は、基準画像および複数の画像のうちの１つ以上の残りの画像に基づいて、複数の画像の基準画像の初期超解像を行なわせられる。一例示的実施形態において、１つ以上の残りの画像は、基準画像を含まない。他の例示的実施形態において、１つ以上の残りの画像は、基準画像以外の画像である。一例示的実施形態において、基準画像は低解像度画像であることができる。ある例示的実施形態において、基準画像および低解像度画像は、互換的に使用可能である。一例示的実施形態において、超解像を行なうために、プロセッサ２００は、メモリ２０４のコンテンツを用いて、および任意には本明細書中に記載の他の構成要素を用いて、装置２００に、複数の画像のうちの１つの画像を基準画像または基本画像として選択させるように構成されている。例えば、画像Ｉ_１を基準画像として選択することができる。別の例示的実施形態において、基準画像Ｉ_１をユーザーが手作業で選択することができる。一例示的実施形態において、複数の画像のうちの１つ以上の残りの画像を、画像Ｉ_２、Ｉ_３．．．．Ｉ_Ｎの中から選択することができる。例えば、１つのシナリオでは、残りの画像は、画像Ｉ_２、Ｉ_３およびＩ_Ｎを含むことができる。別のシナリオでは、残りの画像は、画像Ｉ_２およびＩ_３を含むことができる。ここでは、さまざまな例示的実施形態において、画像Ｉ_１などの基準画像の初期超解像を、画像Ｉ_２、Ｉ_３．．．．Ｉ_Ｎなどの残りの画像のいくつかまたは全てに基づいて行なうことができる。一例示的実施形態において、処理手段を、複数の画像のうちの１つ以上の他の残りの画像に基づいて複数の画像の低解像度基準画像Ｉ_１の初期超解像を行なうように構成することができる。処理手段の一例は、コントローラ１０８の一例であり得るプロセッサ２０２を含むことができる。

一例示的実施形態において、プロセッサ２００は、メモリ２０４のコンテンツおよび任意には本明細書中に記載の他の構成要素を用いて、装置２００に、基準画像と共に複数の画像の残りの１つ以上の画像を重ね合せさせ、複数の画像と結びついたデータを共に融合させ、初期超解像画像を形成させるように構成されている。さまざまな実施形態の範囲を限定することなく、１つ以上の残りの画像を横断した重ね合せを、任意の公知のグローバル再構成型アルゴリズムによって行なうことができる、ということが指摘される。一例示的実施形態において、１つ以上の残りの画像を横断した重ね合せは、パラメトリック重ね合せ方法またはノン・パラメトリック重ね合せ方法に基づいて行なうことができる。パラメトリック重ね合せ方法は、パラメトリック・モデルの仮定に基づく。パラメトリック重ね合せアルゴリズムは、データにモデルをフィッティングし、モデルのパラメータを推定することで構成され得る。パラメトリック重ね合せアルゴリズムの例としては、ホモグラフィ、相似変換などが含まれる可能性がある。ノン・パラメトリック重ね合せアルゴリズムは、いかなるパラメトリック・モデルにも基づかない。したがって、ノン・パラメトリック・モデルは、（例えば複数の画像と結びついたデータの融合などの）問題のパラメータ化が利用できない問題について適用される。ノン・パラメトリック重ね合せアルゴリズムの例は、高密度オプティカル・フローを含むことができる。

一例示的実施形態において、複数の画像を横断する重ね合せは、マルチ・フレーム・アライメントまたはマルチ・フレーム画像超解像を行なって超解像画像を生成するのを容易にすることができる。本明細書において、「マルチ・フレーム画像超解像」なる用語は、異なる条件下で取得された同じシーンのいくつかの低解像度画像（例えば複数の画像）を取り、１つ以上の高画質の超解像度画像を合成するように複数の画像を共に処理することのできるプロセスを意味することができる。一例示的実施形態において、このように生成された高画質の超解像度画像は、複数の画像のいずれよりも高い空間周波数およびより低いノイズおよび画像ぶれと結びつけることができる。一例示的実施形態において、プロセッサ２００は、メモリ２０４のコンテンツを用いておよび任意には本明細書中に記載の他の構成要素を用いて、装置２００に、基準画像と１つ以上の残りの画像の重ね合せに基づいて超解像画像を生成させるように構成されている。一例示的実施形態において、処理手段は、複数の画像のうちの１つ以上の残りの画像を基準画像と重ね合せ、複数の画像に結びついたデータを共に融合させて初期超解像画像を形成するように構成され得る。処理手段の一例は、コントローラ１０８の一例であり得るプロセッサ２０２を含むことができる。

一例示的実施形態において、基準画像と１つ以上の残りの画像の重ね合せに基づいて生成されている初期超解像画像は、シーンの移動オブジェクト／部分に起因するアーチファクトを含む場合がある。一例示的実施形態において、アーチファクトは、シーンの移動オブジェクト／部分に起因する超解像画像内に出現し得るローカル・モーション・アーチファクトであることができる。一例示的実施形態において、超解像プロセス中、シーンのローカル・モーションは超解像画像の１つの画像／フレームへと凝縮され得ることから、超解像画像内に、ローカル・モーション・アーチファクトが出現することがある。超解像画像内のローカル・モーション・アーチファクトの一例が、図３Ｂを参照して例示され、説明される。

一例示的実施形態において、プロセッサ２００は、メモリ２０４のコンテンツおよび任意には本明細書中に記載の他の構成要素を用いて、装置２００に、アップ・サンプリングされた基準画像を生成するために基準画像のアップ・サンプリングを行なわせるように構成される。一例示的実施形態においては、好適な補間技術を用いて基準画像を補間することによって、アップ・サンプリングされた基準画像を生成することができる。一例示的実施形態においては、例えば三次補間法などの補間技術により、基準画像を補間することができる。補間技術のさまざまな例には、三次補間法、３Ｄ線形補間法、３Ｄ三次補間法、３Ｄエルミート補間法、三線補間技術、線形回帰、任意の点を通る曲線の当て嵌め、最近接重み付け補間などを含み入れることができる。一例示的実施形態においては、アップ・サンプリングされた基準画像を生成するために基準画像のアップ・サンプリングを行なうように、処理手段を構成することができる。処理手段の一例には、コントローラ１０８の一例であり得るプロセッサ２０２を含み入れることができる。

一例示的実施形態において、基準画像の補間を、三次補間アルゴリズムによって行なうことができる。三次補間技術は、関数ｆ（ｘ）およびその導関数の値がｘ＝０およびｘ＝１で知られている場合には、三次の多項式を用いて間隔［０，１］上でこの関数を補間することができる。一例示的実施形態において、三次補間法は、補間関数のための入力として、間隔の左側の２つの点と間隔の右側の２つの点を利用する。アップ・サンプリングされた基準フレームを生成するための基準フレームの補間の例が、図３Ａを参照してさらに例示され説明される。

一例示的実施形態において、超解像画像は、補間された基準画像よりも精細なシーンの細部を含む。一例示的実施形態において、超解像画像と補間された基準画像の差分は、シーンのより精細な細部ならびにシーンの少なくとも１つの移動オブジェクトのモーションの間の差分を提供することができる。一例示的実施形態において、シーンの少なくとも１つの移動オブジェクトのモーションは、シーンと結びついたモーション・マスク画像を計算することによって決定され得る。一例示的実施形態において、モーション・マスク画像は、シーンと結びついた少なくとも１つの移動オブジェクトのモーションを標示することができる。一例示的実施形態において、プロセッサ２００は、メモリ２０４のコンテンツおよび任意には本明細書中に記載の他の構成要素を用いて、装置２００に、超解像画像と補間された（またはアップ・サンプリングされた）基準画像との比較に基づいてモーション・マスク画像を生成させるように構成されている。一例示的実施形態においては、シーンと結びついたモーション・マスク画像は、画像の移動領域／オブジェクトを表わす黒色部分と、画像の静止領域を表わす白色領域／オブジェクトを含むことができる。モーション・マスク画像のサイズは、複数の画像のうちの１つの画像のサイズと同じであるかまたはほぼ同じであることができる。しかしながら、モーション・マスク画像は、シーンの２進画像であることもでき、これはモーション・マスク画像と結びついた画素の値が２進値を含むことができるということを意味している。一例示的実施形態において、値「０」を、少なくとも１つの移動オブジェクトと結びついた画素に割当てることができ、このような移動オブジェクトを、モーション・マスク画像内で黒色領域として表現することができる。同様に、値「１」を、静止部分／オブジェクトと結びついた画素に割当てることができ、このような静止部分／オブジェクトを、モーション・マスク内で白色領域として表現することができる。モーション・マスク画像の一例が、図３Ｄを参照して例示され説明される。

一例示的実施形態においては、モーション・マスク画像を生成するために、初期超解像画像および補間された基準画像に結びついたモーション情報の差分が決定される。一例示的実施形態においては、２つの画像、すなわち初期超解像画像および補間された基準画像のモーション情報の差分を決定するために、２つの画像間の差分を計算することができる。しかしながら、２つの画像間の差分には、２つの画像のモーション情報と同様、より精細な細部の差分も含まれる。２つの画像間のモーション画像の差分のみを捕捉する目的で、初期超解像画像と補間された基準画像の差分に基づいて、差分画像を生成することができる。差分画像を次に低帯域フィルタリング手段によってフィルタリングして、中間画像を生成することができる。一例示的実施形態において、中間画像を２進画像（またはモーション・マスク画像）に変換する目的で、中間画像の複数の領域を閾値と比較して、モーション・マスク画像を生成することができる。例えば、閾値以上のモーション・スコアの値を有する中間画像の領域／画素には、２進値「０」を、閾値より低いモーション・スコアの値を有する中間画像の領域／画素には、２進値「１」を割当てることができる。本明細書において、中間画像の画素／領域と結びついた「モーション・スコア」なる用語は、前記画素／領域と結びついたモーションの定量的査定を表わすことができる。一例示的実施形態において、少なくとも１つの移動オブジェクトのモーション全体を、メディア・コンテンツの捕捉の持続時間全体にわたりモーション・マスク画像内で捕捉し、こうして基準フレーム／基準画像と映像の各画像／フレームとの比較を排除することができる。一例示的実施形態において、モーション・マスク画像の計算は、シーンと結びついたモーションを計算効率良く決定することを容易にする。

一例示的実施形態において、プロセッサ２００は、メモリ２０４のコンテンツおよび任意には本明細書中に記載されている他の構成要素を用いて、装置２００に、モーション・マスク画像に基づいて、少なくとも１つの移動オブジェクトを描写する少なくとも１つの部分を含むシーンの複合画像を生成させるように構成されている。一例示的実施形態においては、装置に、少なくとも１つの移動オブジェクトを描写する複合画像の少なくとも一部分をアップ・サンプリングされた基準画像から検索させることができる。同様に、装置２００に、複合画像の少なくとも１つの残りの部分を初期超解像画像から検索させることもできる。一例示的実施形態において、少なくとも１つの残りの画像は、例えばシーンの静止部分、背景部分などを描写することができる。

一例示的実施形態においては、複合画像の少なくとも１つの部分および少なくとも１つの残りの部分を、モーション・マスク画像に基づいてそれぞれアップ・サンプリングされた基準画像および初期超解像画像から検索することができる。例えば、モーション・マスク画像は、黒色で少なくとも１つの部分を、白色で少なくとも１つの別の部分を示すことができる。一例示的実施形態においては、複合画像（Ｚ’）を生成するようにモーション・マスク画像に基づいて超解像画像と補間された基準画像とを融合することによって、複合画像を生成することができる。一例示的実施形態において、複合画像（Ｚ’）は、補間された基準画像から複製または検索されているシーンの移動部分に対応する少なくとも１つの部分と、超解像画像から複製または検索されているシーンの静止領域に対応する少なくとも１つの残りの部分とを含むことができる。例示的実施形態において、複合画像を、以下の等式に基づいて生成することができる。
ここで、Ｚ’は複合画像であり、
Ｚは初期超解像画像であり、
Ｚ_{ｃｕｂｉｃ}はアップ・サンプリングされた基準画像であり、
Ｍはモーション・マスク画像であり、静止領域の値が「１」、移動領域／オブジェクトの値が「０」である。

別の例示的実施形態において、複合画像を生成するために、プロセッサ２００は、メモリ２０４のコンテンツおよび任意には本明細書中に記載の他の構成要素を用いて、装置２００に、初期超解像画像から複合画像の少なくとも１つの別の部分を検索させるように構成されている。同様に、装置２００に、モーション補償型超解像画像から複合画像の少なくとも１つの部分を検索させることもできる。一例示的実施形態において、少なくとも１つの部分および少なくとも１つの別の部分を、モーション・マスク画像に基づいて検索することができる。本明細書において、モーション補償型超解像画像は、初期超解像画像内のモーション・アーチファクトを補償する目的で、シーンの複数の画像の画素対画素超解像を行なうことにより生成することのできるシーンの画像を意味することができる。

一例示的実施形態において、ひとたびモーション・マスク画像が計算されると、画像ぶれを補正し鮮明化するために、統合型正則化（ｉｎｔｅｇｒａｔｅｄ ｒｅｇｕｌａｒｉｚａｔｉｏｎ）が行なわれる。一例示的実施形態においては、少なくとも１つの移動オブジェクトに対応する複合画像の領域は、アップ・サンプリングされた基準フレームから選択／検索されることから、複合画像を安定化させるために正則化を利用することができる。一例示的実施形態において、モーション・マスク画像および複合画像の構築プロセスは、低解像度画像であり得る複数の画像の使用に起因して、本質的に不安定である場合があり、したがって、複数の画像内で観察されているエラーに対する感応性がより低くなるように複合画像を安定化させることができる。一例示的実施形態において、複合画像を安定化させるプロセス（再構築）を、「正則化」と呼ぶことができる。一例示的実施形態においては、処理手段を、複合画像の正則化に基づいてシーンの超解像画像を生成するように構成することができる。処理手段の一例には、コントローラ１０８の一例であり得るプロセッサ２０２を含み入れることができる。

一例示的実施形態において、プロセッサ２００は、メモリ２０４のコンテンツおよび任意には、モーション・マスク画像中に記載の他の構成要素を用いて、装置２００に、以下の等式に基づいて複合画像の正則化を行なわせるように構成される。
ここで、
は、中央値が後続する低解像度の複数の画像の重ね合せによって得られるぶれた高解像度画像（超解像画像）であり、
Ｈは、ぶれ行列であり、
Ｓ^ｌ_ｘ、Ｓ^ｍ_ｙは、それぞれｘおよびｙ方向のシフト行列であり、
ｘは、シーンの高解像度画像であり、
Ａは、超解像画像に対する各画素の貢献を決定する対角重み行列であり、決定に貢献した測定の数の平方根として計算され、
Ａ’は、モーションを伴う画素について、重みがｓｑｒｔ（Ｎ−１）であり、ここでＮがフレーム総数であるような修正された重み行列である。換言すると、最初に推定された値からの偏差が正則化プロセスの中で強く不利になるようにモーションを伴う画素に対し最大の重みを割当てることができる。一例示的実施形態において、Ａ’は、以下のように表わすことができる。

超解像画像の生成のいくつかの例示的実施形態について、さらに、図３Ａ〜５を参照しながら説明されるが、これらの図３Ａ〜５は、１つ以上の例示的実施形態を表わしているにすぎず、さまざまな例示的実施形態の範囲に対する限定とみなされるべきではない。

図３Ａ〜３Ｄは、一例示的、あるシーンと結びついた超解像画像を生成するための例示的ステップを表わす。一例示的実施形態においては、例えばシーンの映像などのメディア・コンテンツを、デバイス１００などのメディア捕捉デバイスによって捕捉することができる。このデバイス１００は、例えば装置２００（図２）などの装置を具体化することができる。一例示的実施形態において、デバイスはシーンの映像を捕捉することができる。

一例示的実施形態において、シーンは、スイミング・プールに飛び込みを行なう人物３１２を含むことができる。このシーンは、浜辺３１４、山３１６、および空３１８、飛び板３２０などを含むことができる。前景においては人物３１２がモーション状態にある（例えばスイミング・プールに飛び込む準備段階にある）一方で、浜辺３１４、山３１６および空３１８を含むシーンの背景部分は、静止状態であることができる。同様に、飛び込みの準備をしている人物は飛び板３２０上に立っているため、飛び板３２０も同様にモーション状態にあることができる。一例示的実施形態においては、メディア捕捉デバイスによって捕捉された映像コンテンツは複数のフレームを含むことができる。複数のフレームは、シーンと結びついた複数の画像であるものと仮定できる。一例示的実施形態においては、シーンのフレーム／画像の１つを基準画像として選択することができる。一例示的実施形態においては、好適な補間アルゴリズムにより基準画像をアップ・サンプリングして、アップ・サンプリングされた画像３１０を生成することができる。アップ・サンプリングされた画像３１０は、図３Ａ中に示されている。

一例示的実施形態において、初期超解像画像を生成するために、基準画像を、複数の画像のうちの１つ以上の他の残りの画像と共に処理することができる。一例示的実施形態において、マルチ・フレーム画像解像方法に基づいて初期超解像画像を生成することができる。基準画像およびシーンの複数の画像のうちの１つ以上の他の残りの画像に基づいて生成されている初期超解像画像の一例が、図３Ｂに示されている。図３Ｂに示されている通り、初期超解像画像３３０は、シーン内の移動オブジェクトに起因して画像内に出現する場合のあるモーション・アーチファクトを含んでいる。例えば、この実施例においては、飛び板３２０上に立っている人物３１２は飛び込みを行なっており、人物３１２と飛び板３２０はモーション状態にあり、作成中の超解像画像は、人物３１２および飛び板３２０のぶれた画像を含む。

一例示的実施形態において、アップ・サンプリングされた画像３１０（図３Ａ）の各部分は、超解像画像３３０（図３Ｂ）とは異なり、モーション・アーチファクトを有していない可能性がある。例えば、超解像画像３３０（図３Ｂ）内ではモーション・アーチファクトに起因してぶれて見えている人物３１２および飛び板３２０は、アップ・サンプリングされた画像３１０内ではこのようなアーチファクトを全く有していない状態で示されている。したがって、人物３１２および飛び板などの移動オブジェクト３１２を、アップ・サンプリングされた基準画像３１０から検索することができる。同様に、例えば空、山などの静止部分など、シーンと結びついた他の部分も、初期超解像画像３３０から検索することができる。一例示的実施形態においては、シーンの静止部分および移動部分／オブジェクトを標示し得る、シーンと結びついたモーション・マスク画像を生成することができる。一例示的実施形態において、アップ・サンプリングされた基準画像３１０および初期超解像画像３３０から検索すべき部分は、モーション・マスク画像に基づいて決定することができる。例示的なモーション・マスクが図３Ｃに示されている。

図３Ｃに示されている通り、モーション・マスク画像３５０は、一定の暗い（つまり黒色の）部分と一定の明るい（つまり白色の）部分を含むことができる。一例示的実施形態において、モーション・マスク画像３５０の黒色部分は、シーンの移動部分を標示することができ、一方白色部分は、シーンの不動／静止部分を標示することができる。例えば、図３Ｃに示されているように、人物３１２および飛び板３３０などの移動オブジェクトと結びついた部分は、モーション・マスク画像３５０内で黒色として現われ、一方静止領域すなわち画像中のその他の全ての領域は白色として現われる。一例示的実施形態において、シーンの移動領域および静止領域が分かっていれば、シーンの高解像度画像の生成を容易にすることができる。一例示的実施形態において、シーンの移動体および静止領域が分かっている場合、図３Ｄに示されているように、初期超解像画像３００（図３Ｂ）および補間／アップ・サンプリングされた基準画像３１０を組合せて、複合画像３７０を形成することができる。一例示的実施形態においては、（モーション・マスク画像３６０内に黒色として現われる）移動オブジェクトと結びついた画素を、アップ・サンプリングされた画像から検索することができ、一方で（モーション・マスク内に白色として現われる）静止領域と結びつけられる画素を超解像画像から検索して、複合画像３７０を生成することができる。一例示的実施形態においては、低域フィルタを通過させることによって複合画像３７０をフィルタリングして、複合画像３７０からノイズ成分を除去することができる。一例示的実施形態において、画像の画素と結びつけられるノイズ・レベルの既定の閾値に基づいて、複合画像３７０のフィルタリングを行なうことができる。

一例示的実施形態においては、複合画像を、ぶれおよび鮮明化について正則化することができる。一例示的実施形態においては、
となるように、下記式
に基づいて、複合画像の正規化を行なうことができる。
式中、
Ｚは、中央値が後続する低解像度の複数の画像の重ね合せによって得られるぶれた高解像度画像（超解像画像）であり、
Ｈは、ぶれ行列であり、
Ｓ^ｌ_ｘ、Ｓ^ｍ_ｙは、それぞれｘおよびｙ方向のシフト行列であり、
ｘは、シーンの高解像度画像であり、
Ａは、超解像画像に対する各画素の貢献を決定する対角重み行列であり、決定に貢献した測定の数の平方根として計算され、
Ａ’は、モーションを伴う画素について、重みがｓｑｒｔ（Ｎ−１）であり、ここでＮがフレーム総数であるような修正された重み行列である。換言すると、最初に推定された値からの偏差が正則化プロセスの中で強く不利になるようにモーションを伴う画素に対し最大の重みを割当てることができる。

図４は、一例示的、シーンと結びついた超解像画像を生成するための例示的方法４００を描写する流れ図である。この流れ図に描写された方法４００は、例えば、図２の装置２００によって実行可能である。

一例示的実施形態においては、シーンと結びついた複数の画像に基づいて、超解像画像を生成することができる。図２を参照して説明されたように、明視野カメラを有するメディア捕捉デバイスから、またはＤＶＤ、コンパクト・ディスク（ＣＤ）、フラッシュ・ドライブ、メモリ・カードなどの外部ソースから、あるいは、外部記憶場所からインターネット、Ｂｌｕｅｔｏｏｔｈ（登録商標）などを通して、複数の画像を受信することができる。一例示的実施形態において、シーンの複数の画像は、そのシーンと結びついた映像コンテンツの複数のフレームであることができる。一例示的実施形態においては、複数のフレームは連続的フレームであることができ、シーンのさまざまなオブジェクトのモーションを捕捉することができる。一例示的実施形態において、シーンは、少なくとも１つの移動オブジェクトを含むことができる。

４０２において、該方法４００は、基準画像およびシーンの複数の画像のうちの１つ以上の残りの画像に基づいて、シーンと結びついた初期超解像画像を生成するステップを含む。一例示的実施形態においては、複数の画像を、基準画像に基づいて重ね合せることができ、重ね合わされた画像を組合せて初期超解像画像を形成することができる。一例示的実施形態においては、グローバル重ね合せアルゴリズムによって、データの融合プロセスおよび複数の画像を横断した重ね合せ中のプロセスを行なうことができる。４０４において、好適な補間技術を用いて、基準フレームを補間することによりアップ・サンプリングされた基準画像を生成することができる。一例示的実施形態においては、例えば、三次補間法などの補間技術によって基準フレームを補間することができる。１つの例示的なアップ・サンプリングされた基準画像が、図３Ａを参照して例示され説明される。

４０６においては、超解像画像およびアップ・サンプリングされた基準画像に基づいて、モーション・マスク画像を生成することができる。モーション・マスク画像は、シーンと結びついた少なくとも１つの移動オブジェクトのモーションを表わすものであることができる。一例示的実施形態において、シーンに結びついたモーション・マスクは、画像の移動領域を表わす黒色部分と画像の静止領域を表わす白色領域とを含むことができる。１つの例示的モーション・マスクが、図３Ｃを参照して例示され説明されている。

４０８においては、モーション・マスク画像に基づいて、少なくとも１つの移動オブジェクトおよび少なくとも１つの残りの部分を描写する少なくとも１つの部分を有するシーンの複合画像を生成することができる。一例示的実施形態において、少なくとも１つの残りの部分は、例えば、シーンの静止部分、背景部分などを描写することができる。一例示的実施形態においては、モーション・マスク画像に基づいて初期超解像画像をアップ・サンプリングされた基準画像と融合することによって、シーンの複合画像を生成することができる。一例示的実施形態においては、初期超解像画像およびアップ・サンプリングされた基準画像の加重和に基づいて、アップ・サンプリングされた基準画像と初期超解像画像の融合を行なうことができる。例えば、下記等式に基づいて、融合を行なうことができる。
式中、Ｚ’は複合画像であり、
Ｚは初期超解像画像であり、
Ｚ_{ｃｕｂｉｃ}はアップ・サンプリングされた基準画像であり、
Ｍはモーション・マスク画像である。

一例示的実施形態において、複合画像は、移動オブジェクトおよび静止オブジェクトを有する部分を含み、ここで、移動オブジェクトを有する部分は、アップ・サンプリングされた基準画像から検索され、静止オブジェクトを有する部分は、初期超解像画像から検索される。一例示的実施形態においては、シーンの超解像画像を生成するために複合画像を正則化することができる。

別の例示的実施形態においては、初期超解像画像から複合画像の移動部分／オブジェクトと結びついた少なくとも１つの別の部分を検索し、そしてモーション補償された超解像画像から少なくとも１つの部分を検索することによって、複合画像を生成することができる。一例示的実施形態においては、少なくとも１つの部分および少なくとも１つの別の部分を、モーション・マスク画像に基づいて検索することができる。

図５は、別の例示的、超解像画像を生成するための例示的方法５００を描写した流れ図である。これらの流れ図に描写された方法は、例えば、図２の装置２００によって実行可能である。流れ図のオペレーションおよび流れ図中のオペレーションの組合せは、例えばハードウェア、ファームウェア、プロセッサ、回路および／または、１つ以上のコンピュータ・プログラム命令を含むソフトウェアの実行と結びつけられる他のデバイスなどのさまざまな手段により実装可能である。例えば、さまざまな実施形態中に記載されているプロシージャのうちの１つ以上をコンピュータ・プログラム命令によって具体化することができる。一例示的実施形態においては、さまざまな実施形態中に記載されたプロシージャを具体化するコンピュータ・プログラム命令を、装置の少なくとも１つのメモリ・デバイスにより記憶し、装置内の少なくとも１つのプロセッサにより実行することができる。いずれかのこのようなコンピュータ・プログラム命令をコンピュータまたは他のプログラミング可能な装置（例えばハードウェア）上にロードしてマシンを製造し、こうして結果として得られるコンピュータまたは他のプログラミング可能な装置が流れ図に規定された動作を実装するための手段を具体化するようにすることができる。これらのコンピュータ・プログラム命令は同様に、コンピュータまたは他のプログラミング可能な装置に特定の要領で機能するように指示することのできるコンピュータ可読記憶メモリ内に記憶されること（搬送波または電磁信号などの伝送媒体と異なる）もでき、こうしてコンピュータ可読メモリ内に記憶された命令は、実行されると流れ図中に規定されたオペレーションを実装することになる製品を製造する。コンピュータ・プログラム命令は同様に、コンピュータまたは他のプログラミング可能な装置上で一連の動作を行なわせるためにコンピュータまたは他のプログラミング可能な装置上にロードされてコンピュータ実装型プロセスを生成し、こうしてコンピュータまたは他のプログラミング可能な装置上で実行する命令が流れ図中のオペレーションを実装するためのオペレーションを提供するようにすることができる。方法のオペレーションは、装置２００を用いて説明される。ただし、任意の他の装置を使用することによって方法のオペレーションを説明および／または実践することができる。

ブロック５０２において、該方法５００は、シーンの複数の画像の受信を容易にするステップを含む。一例示的実施形態において、シーンは、少なくとも１つの移動オブジェクトを含むことができる。例えば、あるシーンの中で、背景部分は静止状態にあり、一方前景内の少なくとも１つのオブジェクトはモーション中であることができる。別の例示的シナリオにおいて、背景中の少なくとも１つのオブジェクトはモーション中であり、一方前景部分は静止状態にあることができる。さらに別の例示的実施形態において、背景および前景のいくつかの部分は静止状態であり、シーンの背景および前景の残りの部分はモーション中であることができる。上述の例示的シナリオのいずれにも関わらず、シーンは、少なくとも１つの静止部分と少なくとも１つの移動部分／オブジェクトを含むことができる。一例示的実施形態において、シーンの複数の画像は、そのシーンと結びついた映像コンテンツの複数のフレームであることができる。一例示的実施形態において、複数のフレームは、連続的フレームであることができ、シーンのさまざまなオブジェクトのモーションを捕捉することができる。

一例示的シナリオにおいて、複数の画像は、低解像度の入力画像であることができ、このような画像の解像度を、超解像プロセスによって増強することができる。超解像を行なうために、複数の画像のうちの１つの画像を基準画像として選択することができる。一例示的実施形態においては、５０６で、基準画像に基づいて複数の画像のうちの１つ以上の残りの画像を横断してワーピング（または重ね合せ）を行なうことができる。一例示的実施形態においては、複数のワーピングされた画像と結びついたデータを組合せて、初期超解像画像を形成することができる。一例示的実施形態において、複数の画像を横断してデータを融合するプロセスを、グローバル重ね合せアルゴリズムにより行なうことができる。１つ以上の残りの画像を横断した重ね合せは、さまざまな実施形態の範囲を限定することなく、任意の公知のグローバル重ね合せアルゴリズムによって行なうことができる、ということが指摘される。一例示的実施形態において、複数の画像を横断した重ね合せは、マルチ・フレーム・アライメントまたはマルチ・フレーム画像超解像を行なって初期超解像画像を生成することを容易にすることができる。

５０８において、基準画像のアップ・サンプリングを行なって、アップ・サンプリングされた基準画像を生成することができる。一例示的実施形態においては、好適な補間技術を用いて基準画像を補間することにより、アップ・サンプリングされた基準画像を生成することができる。一例示的実施形態においては、例えば三次補間法などの補間技術によって、基準画像を補間することができる。

５１０において、アップ・サンプリングされた基準画像および初期超解像画像に基づいて、モーション・マスク画像を計算することができる。一例示的実施形態において、シーンと結びついたモーション・マスクは、画像の移動領域を表わす黒色部分と、画像の静止領域を表わす白色領域を含むことができる。例示的モーション・マスク画像が、図３Ｃを参照して例示され説明される。

一例示的実施形態においては、差分画像を生成するために初期超解像画像と補間された基準画像とを比較することによりモーション・マスク画像を生成することができる。一例示的実施形態においては、中間画像を生成するために差分画像に対して低域フィルタリングを適用することができる。中間画像の複数の領域と閾値との比較に基づいて、モーション・マスク画像を生成することができる。５１２において、モーション・マスク画像に基づいて、アップ・サンプリングされた基準画像および超解像画像からの複合画像を生成することができる。一例示的実施形態において、複合画像（Ｚ’）は、補間された基準画像から複製されているシーンの移動部分／オブジェクトに対応する領域と、初期超解像画像から複製されているシーンの静止領域／オブジェクトに対応する領域とを含むことができる。５１４において、超解像画像を生成するために、複合画像の正則化が行なわれる。一例示的実施形態において、複合画像の正則化は、高解像度の超解像画像をモーション・アーチファクト無く生成するために、複合画像のぶれ修正および鮮明化を容易にする。

以下に示されるクレームの範囲、解釈または利用分野をいかなる形であれ限定すること無く、本明細書中で開示されている例示的実施形態の１つ以上が有する技術的効果は、映像コンテンツまたは一連の複数の画像から超解像画像を生成することにある。さまざまな実施形態が、シーンと結びついたモーション検出に基づいてシーンの超解像画像を生成するための方法を提供している。したがって、シーンと結びついた静止および移動オブジェクト／領域の両方をハンドリングするための統合型超解像方法を開示している。一例示的実施形態においては、シーンの複合画像を生成するため、複数の画像の中から１つの基準画像をアップ・サンプリングすることによって生成されているアップ・サンプリングされた基準画像と、複数の画像から生成されている初期超解像画像とが融合される画像正則化方法が開示されている。シーンの超解像画像を生成するように、複合画像を正則化することができる。超解像画像を生成する方法は、シーンの静止ならびに移動領域の両方をハンドリングする。その上、本明細書において、移動オブジェクトの検出は、低複雑度で行なわれる。同様に、画像正則化は、検出された移動領域を用いて行なわれ、こうして、モーション・アーチファクトの無い高画質の超解像画像が生成される。

上述のさまざまな実施形態を、ソフトウェア、ハードウェア、アプリケーション論理または、ソフトウェア、ハードウェアおよびアプリケーション論理の組合せの形で実装することができる。ソフトウェア、アプリケーション論理および／またはハードウェアは、少なくとも１つのメモリ、少なくとも１つのプロセッサ、装置またはコンピュータ・プログラム・プロダクト上に存在することができる。一例示的実施形態においては、アプリケーション論理、ソフトウェアまたは命令セットが、さまざまな従来のコンピュータ可読媒体のいずれか１つの上に維持される。本明細書に関連して、「コンピュータ可読媒体」は、コンピュータなどの命令実行システム、装置またはデバイスによってまたはそれらと関連して使用するための命令を格納、記憶、通信、伝播または移送できる任意の媒体または手段であることができ、装置の１つの例が図１および／または２つの中で説明され描かれている。非一時的コンピュータ可読媒体は、コンピュータなどの命令実行システム、装置またはデバイスによってまたはそれらと関連して使用するための命令を格納または記憶できる任意の媒体または手段であり得るコンピュータ可読記憶媒体を含むことができる。

所望される場合、本明細書中で論述された異なる機能は、異なる順序でおよび／または互いに同時に行なわれることができる。さらに、所望される場合、上述の機能の１つ以上を任意とするかまたは組み合わせることができる。

独立クレーム中にさまざまな実施形態が提示されているが、他のクレーム中に明示的に提示された組合せだけでなく、説明された実施形態および／または独立クレームからの特徴と独立クレームからの特徴との他の組合せを含む。

ここで、以上では本発明の例示的実施形態が説明されているものの、これらの説明は限定的な意味合いで考慮されるべきではない、ということも指摘される。むしろ、添付のクレーム内で定義されている本開示の範囲から逸脱することなく行なうことのできるいくつかの変形形態および修正が存在する。

【数1】

【数2】

【数3】

【数4】

【数5】

【数6】

【数7】

【数8】

【数9】

【数10】

【数11】

【数12】