特許 7490100 ユーザデバイスに適用される自然の手持ち式の動きを用いた超解像

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-16

(45)【発行日】2024-05-24

(54)【発明の名称】ユーザデバイスに適用される自然の手持ち式の動きを用いた超解像

(51)【国際特許分類】

   G06T 3/4069 20240101AFI20240517BHJP

【ＦＩ】

G06T3/4069

【請求項の数】 15

【外国語出願】

(21)【出願番号】P 2023015369

(22)【出願日】2023-02-03

(62)【分割の表示】P 2021506477の分割

【原出願日】2019-08-06

(65)【公開番号】P2023058558

(43)【公開日】2023-04-25

【審査請求日】2023-03-03

(31)【優先権主張番号】62/716,921

(32)【優先日】2018-08-09

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】チェン，イー・ホン

(72)【発明者】

【氏名】リアン，チア－カイ

(72)【発明者】

【氏名】ロンスキー，バルトゥオミ・マチェイ

(72)【発明者】

【氏名】ミランファー，ペイマン

(72)【発明者】

【氏名】ドラド，イグナシオ・ガルシア

【審査官】渡部 幸和

(56)【参考文献】

【文献】米国特許出願公開第２０１５／０１６９９９０（ＵＳ，Ａ１）

【文献】特開２０１５－０８８１９２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－５／９４

(57)【特許請求の範囲】

【請求項1】

シーンの超解像画像をレンダリングするために使用される方法であって、
シーンの複数のフレームを取得することを含み、前記複数のフレームは、それぞれの相対的なピクセルオフセットを有し、前記方法は、さらに、
前記複数のフレームを使用して超解像計算を実行することを含み、前記超解像計算は、
ロバスト性モデルを計算することを含み、前記ロバスト性モデルを計算することは、統計的近傍モデルを使用して色平均および空間標準偏差を求めることを含み、前記方法は、さらに、
前記超解像計算に基づいて、色平面を累積することと、
前記累積された色平面に基づいて、前記シーンの超解像画像を生成することと、
前記シーンの前記超解像画像を、表示のために提供することとを含む、方法。

【請求項2】

前記超解像計算を実行することは、前記シーンにおける前記複数のフレームの画素の前記色平面への寄与を決定する、請求項１に記載の方法。

【請求項3】

前記複数のフレームは、前記複数のフレームをキャプチャ中のユーザデバイスの動きによるそれぞれの相対的なピクセルオフセットを有し、前記ユーザデバイスの前記動きは、前記複数のフレームをキャプチャ中の前記ユーザデバイスのユーザによってなされる自然な手持ち式の動き、または前記ユーザデバイスと関連付けられる機構によってなされる機械的に適用される動きの少なくとも１つに対応する、請求項１に記載の方法。

【請求項4】

前記超解像計算を実行することは、ガウス半径基底関数カーネルの計算、または前記複数のフレームの各々からの画素信号のフィルタリングの少なくとも１つを実行して、色チャネルごとに色固有の画像平面を生成することを含む、請求項１～３のいずれか１項に記載の方法。

【請求項5】

前記超解像計算を実行することは、前記色固有の画像平面を参照フレームに位置合わせすることを含む、請求項４に記載の方法。

【請求項6】

各前記色チャネルは、赤色チャネル、青色チャネル、緑色チャネルに対応する、請求項４～５のいずれか１項に記載の方法。

【請求項7】

前記ガウス半径基底関数カーネルを計算することは、前記参照フレームに位置合わせされた前記色固有の画像平面の局所勾配構造テンソルを分析することに基づいてカーネル共分散行列を計算することを含む、請求項５に記載の方法。

【請求項8】

前記局所勾配構造テンソルは、前記参照フレームに含まれるコンテンツのエッジ、コーナー、またはテクスチャ領域に対応する、請求項７に記載の方法。

【請求項9】

前記ロバスト性モデルを計算することは、前記統計的近傍モデルを使用して空間的色標準偏差または平均差を計算する、請求項１～８のいずれか１項に記載の方法。

【請求項10】

バーストシーケンスにおいて、前記シーンの前記複数のフレームをキャプチャすることをさらに含み、前記キャプチャされたシーンの前記複数のフレームは、それぞれの相対的なピクセルオフセットを有する、請求項１に記載の方法。

【請求項11】

それぞれの相対的なピクセルオフセットを有する前記複数のフレームは、少なくともサブピクセルオフセットだけオフセットされる、請求項１に記載の方法。

【請求項12】

ユーザデバイスであって、前記ユーザデバイスは、
１つまたは複数のプロセッサと、
ディスプレイと、
超解像マネジャーアプリケーションの命令を含むコンピュータ可読媒体とを備え、前記命令は前記１つまたは複数のプロセッサによって実行されると、前記ユーザデバイスに、 シーンの複数のフレームを取得するように指示し、前記複数のフレームは、当該複数のフレームにわたるそれぞれの相対オフセットを有し、
前記１つまたは複数のプロセッサを使用して、前記シーンの前記複数のフレームを使用して超解像計算を実行するように指示し、前記超解像計算は、
ロバスト性モデルの計算を含み、前記ロバスト性モデルの計算は、統計的近傍モデルを使用して色平均および空間標準偏差を求めることを含み、
前記１つまたは複数のプロセッサを使用して、前記超解像計算に基づいて、色平面を累積するように指示し、
前記１つまたは複数のプロセッサを使用して、前記累積された色平面に基づいて、前記シーンの超解像画像を生成するように指示し、
前記ディスプレイに、前記シーンの前記超解像画像を提供するように指示する、ユーザデバイス。

【請求項13】

前記１つまたは複数のプロセッサは、複数の異なるプロセッサであり、中央処理ユニット、画像処理ユニット、デジタル信号プロセッサ、またはグラフィック処理ユニットを含む、請求項１２に記載のユーザデバイス。

【請求項14】

前記複数の異なるプロセッサである前記１つまたは複数のプロセッサは、パイプライン処理を使用して前記超解像計算を実行する、請求項１３に記載のユーザデバイス。

【請求項15】

コンピュータに、請求項１～１１のいずれか１項に記載の方法を実行させるためのプログラム。

【発明の詳細な説明】

【背景技術】

【0001】

背景
シーンをキャプチャすることに関連して、携帯電話などのユーザデバイスは、デジタル一眼レフ（ＤＳＬＲ）カメラなどの他のデバイスによってキャプチャされレンダリングされるシーンの画像よりも解像度が低いことが多いシーンの画像を作成する。これらのユーザデバイスによって取り込まれた画像はまた、これらのユーザデバイスによって許可される比較的小さい物理的センササイズが当該ユーザデバイスのカメラの空間分解能を制限するため、ノイズが高く、より低いダイナミックレンジを有し得る。当該ユーザデバイスの画像センサはまた、より小さいアパーチャを有し、ユーザデバイスのカメラの集光能力およびより小さいピクセルを制限し、スマートフォンがキャプチャされた画像を処理するために使用する信号対雑音比を減少させる。

【発明の概要】

【発明が解決しようとする課題】

【0002】

さらに、ユーザデバイスのカメラの画像センサは、多くの場合、カラーフィルタアレイ（ＣＦＡ）を含み、これは、従来、ユーザデバイスのデジタル画像処理ハードウェアが、シーンのキャプチャされた画像をレンダリングしながらデモザイク技術を使用することを必要とする。デモザイク技術は、一般に、超解像レンダリングに有害である。デモザイク技術の効果は、当該シーンのキャプチャされた画像を、低い解像度で望ましくないアーチファクトを伴うユーザデバイスのレンダリングをもたらす、有彩色エイリアシング、偽勾配、およびモアレパターンを含み得る。

【課題を解決するための手段】

【0003】

概要
本開示は、ユーザデバイスによってキャプチャされたシーンの超解像画像を生成するためのシステムおよび技術を説明する。自然な手持ち式の動きは、シーンの画像の複数のフレームにわたって、色平面を形成するために超解像コンピューティング技術の使用を可能にするサブピクセルオフセットを導入し、その色平面は、シーンの超解像画像を生成するために累積され、マージされる。これらのシステムおよび技法は、デモザイクに依存し、有彩色エイリアシング、偽勾配、およびモアレパターンなどの有害なアーチファクトなしにシーンの超解像画像を提供する他のシステムおよび技法よりも利点を提供する。

【0004】

いくつかの態様では、シーンの超解像画像をレンダリングするためにユーザデバイスによって実行される方法が説明される。本方法は、バーストシーケンスにおいて、シーンの画像の複数のフレームをキャプチャすることを含み、複数のフレームは、当該複数のフレームのキャプチャ中のユーザデバイスの動きに起因して、当該画像のそれぞれの相対的なサブピクセルオフセットを有する。この方法は、当該キャプチャされた複数のフレームを使用して、ガウスＲＢＦカーネルの計算およびロバスト性モデルの計算を含む超解像計算を実行することを含む。本方法は、超解像計算に基づいて、色平面を累積することと、当該累積された色平面を結合して当該シーンの超解像画像を生成することと、当該シーンの超解像画像をレンダリングすることとをさらに含む。

【0005】

他の態様では、色平面を装置に提供する方法が説明される。この方法は、ガウス半径基底関数カーネルを計算することを含み、当該ガウス半径基底関数カーネルを計算することは、（ｉ）参照フレームを計算することと、（ｉｉ）局所勾配構造テンソルを分析することに基づいてカーネル共分散行列を計算することとを含み、当該局所勾配構造テンソルは、当該参照フレームに含まれるコンテンツのエッジ、コーナー、またはテクスチャ領域に
対応する。

【0006】

本方法はまた、ロバスト性モデルを計算することを含み、当該ロバスト性モデルを計算することは、色平均および空間標準偏差を計算するために統計的近隣モデルを使用する。当該計算されたガウスＲＢＦカーネルおよび当該計算されたロバスト性モデルに基づいて、本方法は、当該色平面へのピクセルの寄与を決定することと、当該色平面を累積することとを含む。次いで、当該色平面は、装置に供給される。

【0007】

さらに他の態様では、ユーザデバイスが説明される。ユーザデバイスは、１つまたは複数のプロセッサと、１つまたは複数の画像センサと、ディスプレイとを含む。ユーザデバイスはまた、当該１つまたは複数のプロセッサによって実行されると、バーストシーケンスでシーンの画像の複数のフレームをキャプチャするように当該ユーザデバイスに指示する超解像マネジャーの命令を記憶するコンピュータ可読媒体を含み、当該複数のフレームは、当該画像のそれぞれの相対オフセットを有する。超解像マネジャーはまた、当該キャプチャされた複数のフレームを使用して超解像計算を実行し、当該超解像計算に基づいて平面を累積し、当該累積された平面を結合して当該シーンの超解像画像を生成し、当該シーンの超解像画像をレンダリングするようにユーザデバイスに指示する。

【0008】

１つまたは複数の実施形態の詳細は、添付の図面および以下の説明に記載される。他の特徴および利点は、説明および図面から、ならびに特許請求の範囲から明らかとなるであろう。この概要は、詳細な説明および図面においてさらに説明される主題を紹介するために提供される。したがって、読者は、本質的な特徴を説明するためにも、請求される主題の範囲を制限するためにも、この概要を考慮すべきではない。

【0009】

本開示は、ユーザデバイスによってキャプチャされたシーンの超解像画像を生成することに関連付けられる１つまたは複数の態様の詳細を説明する。

【図面の簡単な説明】

【0010】

【図1】ユーザデバイスに適用される自然な手持ち式の動きを使用する超解像の様々な態様が実行される動作環境の例を示す図である。

【図2】サブピクセルオフセットを有する複数のフレームの例示的な態様を示す図である。

【図3】計算を行い、色平面を累積し、色平面を組み合わせるために、サブピクセルオフセットを有する複数のフレームを使用する例示的な態様を示す図である。

【図4】サブピクセルオフセットを有する複数のフレームを参照フレームに位置合わせする例示的な態様を示す図である。

【図5】超解像画像をレンダリングするために使用される例示的な方法を示す図である。

【図6】超解像画像の色平面を累積するために使用される例示的な方法を示す図である。

【発明を実施するための形態】

【0011】

詳細な説明
本開示は、シーンの超解像画像を生成する技術およびシステムを説明する。ユーザデバイスに適用される自然な手持ち式の動きを使用する超解像のための当該説明されるシステムおよび方法の特徴および概念は、任意の数の異なる環境、システム、デバイス、および／または様々な構成において実施され得るが、態様は、以下の例示的なデバイス、システム、および構成の文脈において説明される。

【0012】

動作環境の例
図１は、ユーザデバイス１０２に適用される自然な手持ち式の動き１１０を使用する超解像の様々な態様が実行される動作環境例１００を示す。図示のように、ユーザデバイス１０２は、シーンの画像の複数のフレームに対応する当該シーンの画像の変化（１０４，１０６，および１０８）をキャプチャしている。スマートフォンとして図示されているが、ユーザデバイス１０２は、タブレットまたは専用のカメラなど、画像キャプチャ機能を有する別のタイプのデバイスであってもよい。

【0013】

ユーザデバイス１０２によってバーストシーケンスでキャプチャされたシーンの画像の変化１０４～１０８は、ユーザデバイス１０２がシーンの画像をキャプチャしている間にユーザデバイス１０２に適用される自然な手持ち式の動き１１０の結果であるサブピクセルオフセットを含む。自然な手持ち式の動き１１０は、例えば、ユーザデバイス１０２がシーンの画像の変化１０４～１０８をキャプチャしている間に、ユーザデバイス１０２に対して面内動き、面外動き、ピッチ、ヨー、またはロールを誘発するユーザデバイス１０２のユーザの手ぶれによって引き起こされ得る。

【0014】

ある例において、自然な手持ち式の動き１１０から生じるサブピクセルオフセットの代替として、サブピクセルオフセットは、ユーザデバイス１０２と接触する（または統合される）振動機構によって誘発される触覚運動、または、ユーザデバイス１０２が動作環境１００内で輸送される（例えば、ユーザデバイス１０２は、車両内で動いており、ユーザによって動かされている、等の）間に誘発される振動などの触覚運動のような、ユーザデバイス１０２に適用される別の動きから生じ得る。

【0015】

ユーザデバイス１０２は、画像をキャプチャするための１つまたは複数の画像センサ１１２の組み合わせを含む。画像センサ１１２は、相補型（ＣＭＯＳ）画像センサまたは電荷結合素子（ＣＣＤ）画像センサを含み得る。ある例において、画像センサ１１２は、画素を通して記録された光の色波長に関連付けられるような、画像センサ１１２の画素をオーバーレイし強度を制限するカラーフィルタアレイ（ＣＦＡ）を含み得る。そのようなＣＦＡの例は、赤色波長、青色波長、および緑色波長に従って光をフィルタリングするバイエルＣＦＡである。複数の画像センサ１１２の例（例えば、二重画像センサのような２つ以上の画像センサの組み合わせ）において、複数の画像センサ１１２は、異なる画像処理ニーズ（例えば、赤色緑色青色（ＲＧＢ）画像処理をサポートするためのバイエルＣＦＡの包含、単色画像処理をサポートするためのＣＦＡの排除）をサポートするための異なるＣＦＡ構成と同様に、ピクセル密度（例えば、４０メガピクセル（ＭＰ）、３２ＭＰ、１６ＭＰ、８ＭＰ）の組み合わせを含み得る。画像からの光は、バイエルＣＦＡを通してフィルタリングされると、バイエル画像またはバイエルフレームと称され得る画像を生成し得る。

【0016】

ユーザデバイス１０２はまた、画像をレンダリングするためのディスプレイ１１４を含む。ある例において、ディスプレイ１１４はタッチスクリーンディスプレイであり得る。ユーザデバイス１０２はまた、１つまたは複数のプロセッサ１１６の組み合わせを含む。プロセッサ１１６は、シリコン、ポリシリコン、高Ｋ誘電体、銅などの様々な材料で構成されたシングルコアプロセッサまたはマルチコアプロセッサであり得る。プロセッサ１１６の複数（例えば、２つ以上のプロセッサの組み合わせ）の例では、複数のプロセッサ１１６は、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、または画像処理ユニット（ＩＰＵ）を含み得る。さらに、そのような例では、複数のプロセッサ１１６は、パイプライン処理を使用して２つ以上のコンピューティング動作を実行することができる。

【0017】

ユーザデバイス１０２はまた、超解像マネジャー１２０の形で実行可能な命令を含むコンピュータ可読記憶媒体（ＣＲＭ）１１８を含む。本明細書で説明されるＣＲＭ１１８は
、伝搬信号を除外する。ＣＲＭ１１８は、ランダムアクセスメモリ（ＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、不揮発性ＲＡＭ（ＮＶＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、または超解像マネジャー１２０を記憶するために使用可能なフラッシュメモリなどの任意の適切なメモリまたは記憶装置を含み得る。

【0018】

超解像マネジャー１２０のコードまたは命令は、プロセッサ１１６を使用して実行されて、ユーザデバイス１０２に、シーンの超解像画像１２２の作成（およびレンダリング）に向けられた動作を実行させることができる。そのような動作は、画像センサ１１２を使用してシーンの画像の複数のフレーム（例えば、シーンの画像の変化（１０４，１０６，および１０８））をキャプチャすることを含み得る。当該動作は、さらに、ユーザデバイス１０２（たとえば、プロセッサ１１６）が、超解像計算を実行することと、色平面を累積することと、累積された色平面を結合してシーンの超解像画像１２２を作成することと、（たとえば、ディスプレイ１１４を通して）シーンの超解像画像１２２をレンダリングすることとを含み得る。シーンの超解像画像１２２は、一般に、当該シーンの画像の複数のフレームの別の解像度より高い解像度を有する。

【0019】

図２は、サブピクセルオフセットを有する複数のフレームの例示的な態様を示す。ある例において、サブピクセルオフセットを有する複数のフレームは、図１のユーザデバイス１０２に適用される動きによって導入され得る。ある例において、ユーザデバイス１０２の動きは、バーストシーケンス中にユーザデバイス１０２のユーザによってなされる自然な手持ち式の動き１１０に対応する。

【0020】

図２に示されるように、複数のフレーム２０２は、画像のそれぞれの相対的なサブピクセルオフセットを有し、かつ、フレーム２０４、フレーム２０６、およびフレーム２０８（フレーム２０４～２０８は、図１の変化１０４～１０８に対応する）を含む。複数のフレーム２０２は、超解像画像１２２を計算し形成するための基礎となる。ユーザデバイス１０２は、バーストシーケンスの間に、シーンの超解像画像１２２の別の解像度より低い解像度を使用して、複数のフレーム２０２をキャプチャすることができる。

【0021】

バーストシーケンスは、たとえば、１ミリ秒～３ミリ秒、１ミリ秒～５ミリ秒、または１／２ミリ秒～１０ミリ秒の範囲であり得る設定された時間間隔で、複数のフレーム２０２をキャプチャすることを含み得る。さらに、いくつかの例では、バーストシーケンスの時間間隔は、ユーザデバイスの動きに基づいて可変であり得る（例えば、オフセットを１画素未満に保つために、ユーザデバイス１０２の高速動作中の時間間隔は、ユーザデバイス１０２の低速動作中の別の時間間隔よりも「短く」てもよい）。

【0022】

図示されるように、フレーム２０６の画像は、フレーム２０４の画像に対して、水平に１／２画素、垂直に１／２画素、それぞれオフセットされる。さらに、図示されるように、フレーム２０８の画像は、フレーム２０４の画像に対して、水平に１／４画素オフセットされる。それぞれ、相対的なサブピクセルオフセットは、サブピクセルオフセットの異なる大きさ及び組み合わせを含むことができる（例えば、１つのフレームに関連付けられる１つのサブピクセルオフセットは、水平に１／４ピクセル、垂直に３／４ピクセルであり得、一方、別のフレームに関連付けられる別のサブピクセルオフセットは、水平に０ピクセル、垂直に１／２ピクセルであり得る）。一般に、本開示によって説明される技法およびシステムは、非線形であるサブピクセルオフセットを含む、フレーム２０４～２０８の図示および説明よりもランダムであるサブピクセルオフセットに適応することができる。

【0023】

図３は、１つまたは複数の態様に従って、計算を行い、色平面を累積し、色平面を組み合わせるためにサブピクセルオフセットを有する複数のフレームを使用する例示的態様３
００を示す。例示的態様３００は、図１および図２の要素を使用することができ、計算を実行し、色平面を累積し、色平面を組み合わせることは、図１のユーザデバイス１０２によって実行され、サブピクセルオフセットを有する複数のフレームは、図２の複数のフレーム２０２である。

【0024】

図３に示されるように、複数のフレーム２０２は、超解像計算３０２に入力される。超解像計算３０２は、（流体粒子レンダリングによって誘発される）ガウス半径基底関数（ＲＢＦ）カーネル計算およびロバスト性モデル計算を含む。超解像計算３０２をサポートするアルゴリズムは、ユーザデバイス１０２の超解像マネジャー１２０内に存在することができる。さらに、ユーザデバイス１０２（たとえば、複数のプロセッサ１１６）は、パイプライン処理を使用して超解像計算３０２の一部を実行することができる。ガウスＲＢＦカーネル計算（例えば、カーネル回帰技術）の組み合わせは、ロバスト性計算からの重み付けと共に、色平面への画素の寄与を決定する手段を提供する。

【0025】

ガウスＲＢＦカーネル計算のサポートにおいて、ユーザデバイス１０２は、色チャネルに対応するそれぞれの色固有の画像平面を生成するために、複数のフレーム２０２の各フレームからの画素信号をフィルタリングする。次いで、ユーザデバイス１０２は、それぞれの色固有の画像平面を参照フレームに位置合わせする。ある例において、参照フレームは、赤および青の値を直接取り、緑の値を一緒に平均化することによって、バイエルクワッドに対応する赤／緑／青（ＲＧＢ）画素を生成することによって形成され得る。

【0026】

次いで、ユーザデバイス１０２は共分散行列を計算する。共分散行列を計算することは、参照フレームの内容について局所勾配構造テンソルを分析することを含み得る（例えば、局所テンソルは、参照フレーム内に含まれるエッジ、コーナー、またはテクスチャ領域に対して局所的であり得る）。共分散行列を使用して、ユーザデバイス１０２はガウスＲＢＦカーネルを計算することができる。

【0027】

共分散行列を計算することは、以下の数学的関係に依存し得る：

【0028】

【数1】

【0029】

数学的関係（１）において、Ωはカーネル共分散行列を表し、ｅ_１およびｅ_２は直交方向ベクトルおよび関連付けられる２つの固有値λ_１およびλ_２を表し、ｋ_１およびｋ_２は所望のカーネル分散を制御する。

【0030】

局所勾配構造テンソルを計算することは、以下の数学的関係に依存し得る：

【0031】

【数2】

【0032】

数学的関係（２）において、Ｉ_ｘおよびＩ_ｙは、それぞれ水平方向および垂直方向の局所画像勾配を表す。

【0033】

前述のロバスト性モデル計算をサポートにおいて、ユーザデバイス１０２は、超解像画像に寄与する画素（例えば、シーンの超解像画像１２２に寄与する複数のフレーム２０２からの画素）の確率を作成するための統計的近傍モデルを使用し得る。当該統計的近傍モデルは、平均値、分散値、またはローカルクアッド緑チャネルバイエルパターンのような局所統計を解析して、視差を予測するモデル（例えば、サンプリングの後により低い周波数として現れるサンプリングレートの半分を超える周波数成分を有するピクセルシグナリング）を形成する。

【0034】

ロバスト性モデル計算は、ある例において、色差を補償するために雑音除去計算を含み得る。雑音除去計算は、ある例において、空間色標準偏差またはフレーム間の平均差に依存し得る。

【0035】

追加のまたは代替の技法もまた、超解像計算３０２に含まれ得る。例えば、超解像計算３０２は、ダウンスケーリング動作を分析して、正しく位置合わせできない画像の領域を見つけることを含み得る。別の例として、超解像計算３０２は、ミスアライメントアーチファクトを緩和するための特性パターンを検出することを含み得る。そのような例では、信号勾配パターン分析は、「チェッカーボード」アーチファクトのようなアーチファクトを検出することができる。

【0036】

超解像計算３０２は、複数のフレーム２０２の各々について（例えば、フレーム２０４，２０６，および２０８について）、それぞれの色平面、例えば、第１の色平面３０４（これは、赤色チャネルに関連付けられる赤色平面であり得る）、第２の色平面３０６（これは、青色チャネルに関連付けられる青色平面であり得る）、および第３の色平面３０８（これは、緑色チャネルに関連付けられる緑色平面であり得る）に関連付けられた色チャネルへの画素の寄与を推定するのに有効である。超解像計算３０２は、当該画素を別個の信号として扱い、同時に色平面を累積する。

【0037】

また、図３に示されるように、色平面累積動作３１０は、色平面３０４～３０８を累積する。色平面３０４～３０８の累積は、以下の数学的関係に依存する正規化計算を含み得る：

【0038】

【数3】

【0039】

図３はまた、シーンの超解像画像１２２を生成する合成動作３１２を示す。次いで、ユーザデバイス１０２は、シーンの超解像画像１２２を（図示のように）ユーザデバイス１０２のディスプレイ１１４上にレンダリングし、または代わりに、シーンの超解像画像１２２をユーザデバイス１０２のＣＲＭ１１８に記憶することができる。上述したように、超解像計算３０２の一部として、ユーザデバイス１０２は、複数のフレーム２０２の各フレームからの画素信号をフィルタリングして、色チャネルに対応する色固有の画像平面を生成する。各色固有の画像平面は、特定の色チャネル（例えば、赤色画像平面、青色画像
平面、および緑色画像平面）にフィルタリングされた、画像の表現とすることができる。次いで、ユーザデバイス１０２は、それぞれの色固有の画像平面を参照フレームに位置合わせする。

【0040】

図４は、サブピクセルオフセットを有する複数のフレームを参照フレームに位置合わせすることに関連付けられる例示的な態様４００を示す。図４に示されるように、複数のフレーム２０２（たとえば、フレーム２０４，２０６および２０８）の各々は、複数の画素（例えば、それぞれ、代表画素４０２、４０４および４０６）から構成される。各画素は、画像のコンテンツ４０８（例えば、画像のコンテンツのエッジ、コーナー、または、テクスチャ領域）に対応する。

【0041】

図４および４１０に関して、サブピクセルオフセットを有する複数のフレーム２０２を参照フレームに位置合わせすることは、複数のフレーム２０２の各画素の対応するコンテンツ４０８が当該参照フレームの画素４１２の対応するコンテンツに位置合わせするように、色固有の画像平面（例えば、赤色波長、青色波長、または緑色波長に従ってフィルタリングされる複数のフレーム２０２）を位置合わせすることを含む。（注：図４は、一定の縮尺で描かれておらず、説明の目的のために簡略化されており、実際には、ユーザデバイス１０２の解像度能力に依存して、対応するコンテンツ４０８は、画素全体を消費するか、または、ほぼ消費し得る）。各画素４０２～４０６について、コンテンツ４０８の色チャネルへの寄与は、テンソル分析によって定量化され得る（例えば、局所勾配構造テンソルの分析は、各画素４０２～４０６のコンテンツ４０８の各色チャネルへの寄与を定量化する）。

【0042】

図１～４によって説明される要素は、写真撮影の複数の態様に対処しながら、シーンの超解像画像を生成することをサポートする。前述のデモザイクの有害なアーチファクト（例えば、低画像分解能、色エイリアシング、偽勾配、及びモアレパターン）を伴わずにシーンの超解像画像を提供することに加えて、図１～４は、三脚または意図的な動きを伴わずに使用され得る単一のシャッタ押下（例えば、単一の画像キャプチャコマンド）と互換性があり、低遅延（例えば、最大数秒以内）で超解像画像を生成する要素を説明する。さらに、要素は、シーン内の動き、シーン変化、および低光条件に対してロバストである。

【0043】

例示的な方法
例示的な方法５００および６００は、ユーザデバイスによってキャプチャされたシーンの超解像画像を生成することに関連付けられる１つまたは複数の態様に従って、図５および図６を参照して説明される。一般に、本明細書で説明される構成要素、モジュール、方法、および動作はいずれも、ソフトウェア、ファームウェア、ハードウェア（例えば、固定論理回路）、手動処理、またはそれらの任意の組合せを使用して実施され得る。当該例示的な方法のいくつかの動作は、コンピュータ処理システムに対してローカルおよび／またはリモートであるコンピュータ可読記憶メモリに記憶された実行可能な命令の一般的な文脈で説明され得、実施形態は、ソフトウェアアプリケーション、プログラム、関数などを含み得る。代替的に又は追加的に、本明細書で説明される機能性のいずれかは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップシステム（ＳｏＣ）、または、ＣＰＬＤ（Complex Programmable Logic Device）のような、かつ、これらに限定されない
、１つまたは複数のハードウェア論理構成要素によって少なくとも部分的に実行され得る。

【0044】

図５は、シーンの超解像画像を作成することの一部として使用される方法５００の例示的な態様を示す。方法５００は、実行され得る動作を指定する一組のブロック５０２～５１０の形態で説明される。しかしながら、動作は、代替の順序で、完全にまたは部分的に
重複する方法で、または、繰り返しの態様で実施され得るため、当該動作は、必ずしも図５に示される、または本明細書で説明される順序に限定されない。さらに、方法５００によって表される動作は、図１のユーザデバイス１０２によって実行されているという文脈において説明されるが、当該動作（または当該動作の一部）は、超解像マネジャー１２０の命令（または命令の一部）を含むサーバまたはクラウドコンピューティングデバイスのような、計算能力を有する１つまたは複数の他のデバイスによって実行され得る。

【0045】

ブロック５０２において、ユーザデバイス１０２（例えば、画像センサ１１２）は、バーストシーケンスで、シーンの画像の複数のフレーム２０２をキャプチャし、複数のフレーム２０２は、当該複数のフレームのキャプチャ中の当該ユーザデバイスの動きによる画像のそれぞれの相対的なサブピクセルオフセットを有する。ある例において、ユーザデバイスの動きは、当該ユーザデバイスのユーザによってなされる自然な手持ち式の動き１１０に対応し得る。他の例において、ユーザデバイスの動きは、ユーザデバイス１０２と接触またはその一部にある振動機構によって誘発される変位に対応し得る。

【0046】

ブロック５０４において、ユーザデバイス（例えば、超解像マネジャー１２０の命令を実行するプロセッサ１１６）は、超解像計算３０２を実行する。超解像計算３０２を実行することは、キャプチャされた複数のフレームを使用して、ガウス半径基底関数カーネルを計算し、そして、ロバスト性モデルを計算する。ガウス半径基底関数カーネルを計算することは、複数のフレームの各々からの画素信号をフィルタリングして、それぞれの色チャネルのための色固有の画像平面を生成することと、当該色固有の画像平面を参照フレームに位置合わせすることとを含む、複数の態様を含み得る。赤、緑および青の色チャネルに対応することに加えて、当該色固有の画像平面は、有彩色チャネル（例えば、黒、白、及び灰色の陰影）、または、シアン、紫のような他の色チャネルにも対応し得る。

【0047】

ガウス半径基底関数カーネルを計算することはまた、当該色固有の画像平面を参照フレームに整列させることによって生成される局所勾配構造テンソル（たとえば、数学的関係（２））を分析することに基づいて、カーネル共分散行列（たとえば、数学的関係（１））を計算することを含み得る。そのような例では、当該局所勾配構造テンソルは、当該参照フレームに含まれるコンテンツのエッジ、コーナー、またはテクスチャ領域に対応し得る。さらに、ブロック５０４の一部としてもまた、ロバスト性を計算することは、統計的近傍モデルを使用して、各画素について、色平均および空間標準偏差を計算することを含み得る。

【0048】

ブロック５０６において、ユーザデバイス１０２（例えば、超解像マネジャー１２０の命令を実行するプロセッサ１１６）は、ブロック５０４の超解像計算３０２に基づいて、色平面を累積する。色平面を累積することは、当該ユーザデバイスが、各色チャネルについて、画素の寄与を正規化する（例えば、ブロック５０２で取り込まれた複数のフレームの各画素の、各色チャネルへの寄与を正規化する）計算（例えば、数学的関係（１））を実行することを含み得る。

【0049】

ブロック５０８で、ユーザデバイス１０２は、累積された色平面を結合して、当該シーンの超解像画像１２２を作成する。ブロック５１０において、ユーザデバイス１０２（例えば、ディスプレイ１１４）は、当該シーンの超解像画像１２２をレンダリングする。

【0050】

図５の例示的な方法５００は、図１のユーザデバイス１０２によって実行されているという文脈において説明されるが、例示的な方法５００内の動作（または当該動作の一部）は、超解像マネジャー１２０の命令（または命令の一部）を含むサーバまたはクラウドコンピューティングデバイスのような、計算能力を有する１つまたは複数の他のデバイスによって実行され得る。たとえば、ユーザデバイス１０２は、当該シーンの画像の複数のフ
レームをキャプチャし（たとえば、ブロック５０２）、そして、サーバまたはクラウドコンピューティングデバイスに複数のフレームを送信し、または、サーバまたはクラウドコンピューティングデバイスと共有することができる。そのようなサーバまたはクラウドコンピューティングデバイスは、超解像計算を行い（例えば、ブロック５０４および５０６）、色平面を累積し（例えば、ブロック５０８）、そして、当該シーンの超解像画像をユーザデバイス１０２に送り返すことができる。

【0051】

図６は、色平面を装置に提供することに向けられた方法６００の例示的な態様を示す。方法６００は、実行され得る動作を指定する一組のブロック６０２～６１０の形態で説明される。しかしながら、動作は、代替の順序で、完全にまたは部分的に重複する方法で、または、繰り返しの態様で実施され得るように、当該動作は必ずしも、図６に示される又は本明細書で説明される順序に、限定されない。さらに、方法６００の動作は、図１のユーザデバイス１０２によって実行され得る。

【0052】

ブロック６０２において、ユーザデバイス１０２（例えば、超解像マネジャー１２０の命令を実行するプロセッサ１１６）は、ガウス係数関数（ＲＢＦ）カーネルを計算する。ガウスＲＢＦカーネルを計算することは、参照フレームを選択すること、および、共分散行列を計算することを含む、いくつかの態様を含む。

【0053】

カーネル共分散行列（例えば、数学的関係（１））を計算することは、局所勾配構造テンソル（例えば、数学的関係（２））を分析することに基づき、当該局所勾配構造テンソルは、当該参照フレームに含まれるコンテンツのエッジ、コーナー、またはテクスチャ領域に対応する。

【0054】

ある例において、ブロック６０２において、シーン２０２の画像の複数のフレームは、複数のフレーム２０２のキャプチャ中の画像キャプチャデバイスの動きに起因して、当該複数のフレームにわたる画像のそれぞれの相対的なサブピクセルオフセットを有し得る。さらに、いくつかの例では、画像キャプチャデバイスの動きは、当該画像キャプチャデバイスのユーザによってなされる動きに対応し得る。いくつかの例では、当該動きは、自然な手持ち式の動きに対応し得る。

【0055】

ブロック６０４において、ユーザデバイス１０２は、ロバスト性モデルを計算する。当該ロバスト性モデルを計算することは、色平均および空間標準偏差に対して統計的近傍モデルを使用することを含む。

【0056】

ブロック６０６において、ユーザデバイス１０２は、色平面を決定する。ユーザデバイス１０２は、計算されたガウス半径基底関数カーネルおよび計算されたロバスト性モデルに当該決定の基礎を置き、当該色平面への各画素の寄与を決定することができる。

【0057】

ブロック６０８において、ユーザデバイス１０２は、色平面を累積する。色平面を累積することは、（例えば、数学的関係（１）を使用する）正規化計算を含み得る。

【0058】

ブロック６１０において、ユーザデバイス１０２は、色平面を装置に提供する。ある例において、色平面を装置に提供することは、色平面を記憶のための装置に提供すること（例えば、装置のコンピュータ可読媒体における記憶）を含む。他の例において、色平面を装置に提供することは、色平面を組み合わせて色平面をレンダリングするために、色平面を装置に提供することを含む。

【0059】

ユーザデバイスに適用される手持ち式の動きを使用する超解像のシステムおよび方法が、特徴および／または方法に特有の言語で説明されてきたが、添付の特許請求の範囲の主
題は、説明された特定の特徴または方法に必ずしも限定されないことを理解されたい。むしろ、当該特定の特徴および方法は、ユーザデバイスに適用される手持ち式の動きを使用する超解像が実施され得る例示的な方法として開示される。

【0060】

記載されるように、ユーザデバイスに適用される手持ち式の動きを使用する超解像のシステムおよび方法の変形例は、多い。第１の例示的な変形例として、超解像計算は、特定の色に関連付けられない奥行きマップまたは他の平面を生成（そして色固有の画像平面）してもよい。第２の例示的な変形例として、超解像計算は、ガウスＲＢＦサンプリングパターン以外のサンプリングパターンに依存し得る。第３の例示的な変形例として、超解像計算は、サブピクセルオフセットの代わりに変位フィールドに対応するオフセットに依存し得る。そして、第４の例示的な変形例として、超解像計算は、手持ち式の動きによって誘発されない動き（例えば、画像の小さな動きは、超解像計算を実行するために必要なサブピクセルオフセットまたは変位を生成し得る）に依存し得る。

【0061】

上記の説明に加えて、ユーザは、本明細書で説明されるシステム、プログラム、または特徴がユーザ情報（例えば、ユーザによってキャプチャされた画像、システムによって計算された超解像画像、ユーザのソーシャルネットワークに関する情報、社会運動または活動、職業、ユーザの嗜好、または、ユーザの現在位置）の収集を可能にし得る場合および時と、ユーザがサーバからコンテンツまたは通信を送信され得る場合と、の両方に関して、ユーザが選択することを可能にする制御を提供され得る。加えて、あるデータは、個人的に識別可能な情報が取り除かれるように、記憶または使用される前に１つまたは複数の方法で処理され得る。例えば、ユーザのアイデンティティは、ユーザのために個人的に識別可能な情報が決定されないように扱われてもよく、または、位置情報が得られるユーザの地理的位置は、ユーザの特定の位置が決定されないように、（例えば、市、郵便番号、または州のレベルに）一般化され得る。したがって、ユーザは、当該ユーザに関してどの情報が収集されるか、その情報がどのように使用されるか、および、どの情報が当該ユーザに提供されるかについて、制御できる。

【0062】

以下に、いくつかの例が説明される。
例１：シーンの超解像画像をレンダリングするために使用される方法であって、当該方法はユーザデバイスによって実行され、バーストシーケンスにおいて、シーンの画像の複数のフレームをキャプチャすることを含み、上記複数のフレームは、当該複数のフレームのキャプチャ中の当該ユーザデバイスの動きによる画像のそれぞれの相対的なサブピクセルオフセットを有し、上記方法はさらに、ガウス半径基底関数カーネルを計算すること、および、ロバスト性モデルを計算することを含む、キャプチャされた複数のフレームを使用して超解像計算を実行することと、当該超解像計算に基づいて色平面を累積することと、累積された色平面を結合して、当該シーンの超解像画像を生成することと、シーンの超解像画像をレンダリングすることとを含む。

【0063】

例２：例１に記載の方法であって、当該超解像計算を実行することは、当該色平面に対するシーンの画像における複数のフレームの画素の寄与を決定する。

【0064】

例３：例１または２に記載の方法であって、ユーザデバイスの動きは、バーストシーケンス中に、当該ユーザデバイスのユーザによってなされる自然な手持ち式の動きに対応する。

【0065】

例４：例１～３のいずれか１つに記載の方法であって、当該超解像計算を実行することは、当該複数のフレームの各々からの画素信号をフィルタリングして、それぞれの色チャネルのための色固有の画像平面を生成することを含む。

【0066】

例５：例４に記載の方法であって、当該超解像計算を実行することは、当該色固有の画像平面を参照フレームに位置合わせすることを含む。

【0067】

例６：例４～５のいずれか１つに記載の方法であって、それぞれの色チャネルは、赤色チャネル、青色チャネル、および緑色チャネルに対応する。

【0068】

例７：例５～６のいずれかに記載の方法であって、ガウス半径基底関数カーネルを計算することは、当該参照フレームに整列された色固有の画像平面の局所勾配構造テンソルを分析することに基づいて、カーネル共分散行列を計算することを含む。

【0069】

例８：例１～例７のいずれかに記載の方法であって、当該局所勾配構造テンソルは、当該参照フレームに含まれるコンテンツのエッジ、コーナー、またはテクスチャ領域に対応する。

【0070】

例９：例１～８のいずれかに記載の方法であって、当該ロバスト性モデルを計算することは、統計的近傍モデルを使用して、空間的色標準偏差または平均差を計算する。

【0071】

例１０：色平面を装置に提供する方法であって、当該方法は、ガウス半径基底関数カーネルを計算することを含み、当該ガウス半径基底関数カーネルを計算することは、参照フレームを選択することと、局所勾配構造テンソルに基づいてカーネル共分散行列を算出することとを含み、当該局所勾配構造テンソルは、当該参照フレームに含まれるコンテンツのエッジ、コーナー、またはテクスチャ領域に対応し、上記方法は、ロバスト性モデルを計算することをさらに含み、当該ロバスト性モデルを計算することは、色平均および空間標準偏差を計算するための統計的近傍モデルを使用して、当該計算されたガウス半径基底関数カーネルおよび当該計算されたロバスト性モデルに基づいて、色平面への画素の寄与を決定することと、色平面を累積することと、当該累積された色平面を装置に提供することとを含む。

【0072】

例１１：例１０に記載の方法であって、当該累積された色平面を提供することは、記憶するための装置に、当該累積された平面を提供することを含む。

【0073】

例１２：例１０または１１に記載の方法であって、当該累積された色平面を装置に提供することは、超解像画像を合成してレンダリングするために、当該累積された色平面を装置に提供することを含む。

【0074】

例１３：ユーザデバイスであって、当該ユーザデバイスは、１つまたは複数の画像センサと、１つまたは複数のプロセッサと、ディスプレイと、超解像マネジャーアプリケーションの命令を備えるコンピュータ可読媒体とを含み、当該超解像マネジャーアプリケーションは、当該１つまたは複数のプロセッサによって実行されると、当該ユーザデバイスに、当該１つまたは複数の画像センサを使用するバーストシーケンスにおいて、シーンの画像の複数のフレームをキャプチャするように指示し、複数のフレームは、当該複数のフレームにわたる画像のそれぞれの相対オフセットを有し、さらに、当該１つまたは複数のプロセッサを使用して、当該シーンの画像のキャプチャされた当該複数のフレームを使用する超解像計算を実行するように指示し、当該１つまたは複数のプロセッサを使用して、かつ、当該超解像計算に基づいて、平面を累積するように指示し、当該１つまたは複数のプロセッサを使用して、当該累積された平面を結合して当該シーンの超解像画像を生成するように指示し、当該ディスプレイを用いて当該シーンの超解像画像をレンダリングするように指示する。

【0075】

例１４：例１３に記載のユーザデバイスであって、当該１つまたは複数のプロセッサは
、複数の異なるプロセッサであり、中央処理ユニット、画像処理ユニット、デジタル信号プロセッサ、または、グラフィック処理ユニットを含む。

【0076】

例１５：例１３または１４に記載のユーザデバイスであって、複数の異なるプロセッサである１つまたは複数のプロセッサは、パイプライン処理を使用して当該超解像計算を実行する。

【0077】

例１６：例１～９に記載の方法のいずれかを実行するための手段を含むシステム。
例１７：実施例１０～１２に記載の方法のいずれかを実行するための手段を含むシステム。

【0078】

例１９：命令を含むコンピュータ可読記憶媒体であって、当該命令は、実行されると、例１～９のいずれかに記載の方法のいずれかを実行するようにプロセッサを構成する。

【0079】

例２０：命令を含むコンピュータ可読記憶媒体であって、当該命令は、実行されると、例１０～１２のいずれかに記載の方法のいずれかを実行するようにプロセッサを構成する。

【0080】

例２１：例１～９のいずれかに記載の方法を実行するように構成されたユーザデバイス。

【0081】

例２２：例１０～１２のいずれかに記載の方法を実行するように構成されたユーザデバイス。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】