特許 6887951 コヒーレントレンダリングのためのモーションブラーの高速適応推定

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6887951

(24)【登録日】2021年5月21日

(45)【発行日】2021年6月16日

(54)【発明の名称】コヒーレントレンダリングのためのモーションブラーの高速適応推定

(51)【国際特許分類】

   H04N 17/02 20060101AFI20210603BHJP

【ＦＩ】

   H04N17/02 Z

【請求項の数】15

【全頁数】24

(21)【出願番号】特願2017-545323(P2017-545323)

(86)(22)【出願日】2016年1月28日

(65)【公表番号】特表2018-513579(P2018-513579A)

(43)【公表日】2018年5月24日

(86)【国際出願番号】US2016015462

(87)【国際公開番号】WO2016137653

(87)【国際公開日】20160901

【審査請求日】2019年1月7日

(31)【優先権主張番号】14/633,737

(32)【優先日】2015年2月27日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】595020643

【氏名又は名称】クゥアルコム・インコーポレイテッド

【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100109830

【弁理士】

【氏名又は名称】福原 淑弘

(74)【代理人】

【識別番号】100158805

【弁理士】

【氏名又は名称】井関 守三

(74)【代理人】

【識別番号】100112807

【弁理士】

【氏名又は名称】岡田 貴志

(72)【発明者】

【氏名】メンデス・メンデス、エリック

(72)【発明者】

【氏名】キム、キユン

(72)【発明者】

【氏名】パク、ユンミン

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 特開２００４−２６６３２２（ＪＰ，Ａ）

【文献】 特開２０１２−１０３７４１（ＪＰ，Ａ）

【文献】 特開２００７−１８８４９３（ＪＰ，Ａ）

【文献】 特開２０１０−０９９１４６（ＪＰ，Ａ）

【文献】 特開２００９−２１７４９６（ＪＰ，Ａ）

【文献】 国際公開第２０１４／１５９７８９（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１１／０００１８８３（ＵＳ，Ａ１）

【文献】 特表２００９−５１３０６８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １７／０２

(57)【特許請求の範囲】

【請求項1】

イメージターゲットフレームに関連づけられたモーションブラーを推定するために１つまたは複数のモーションブラー推定方法を適応的に適用するためのものであり、前記イメージターゲットフレームはビデオフィードのうちの１つのフレームである、方法において、
前記モーションブラーを推定するために第１モーションブラー推定方法を適用することと、
前記第１モーションブラー推定方法を適用した後、第２モーションブラー推定方法に計算リソースが利用可能かどうかを決定することと、ここにおいて前記第２モーションブラー推定方法は前記第１モーションブラー推定方法よりも計算上集約的であって、前記第１モーションブラー推定方法よりも正確なブラー推定を提供するものである、
前記第２モーションブラー推定方法に計算リソースが利用可能であるという決定に応答して前記モーションブラーを推定するために前記第２モーションブラー推定方法を適用することと、
推定された前記モーションブラーをバーチャルオブジェクト上でシミュレートすることと、
前記バーチャルオブジェクトを前記イメージターゲットにスーパーインポーズすることと、
を備える方法。

【請求項2】

前記第１モーションブラー推定方法は、
問題となっているイメージターゲットフレームのポーズを測定し、問題となっている前記イメージターゲットフレームの前記ポーズをスクリーン空間に投影することにより第１投影ポーズを決定することと、
問題となっている前記イメージターゲットフレームの直前のイメージターゲットフレームのポーズを測定し、問題となっている前記イメージターゲットフレームの直前の前記イメージターゲットフレームの前記ポーズをスクリーン空間に投影することにより第２投影ポーズを決定することと、
前記第１投影ポーズから前記第２投影ポーズを減算することにより、問題となっている前記イメージターゲットフレームのモーションブラーベクトルを推定することと、
を備える、請求項１の方法。

【請求項3】

前記第２モーションブラー推定方法は、
複数のブラーベクトルを非ブラーイメージターゲットに適用することにより前記非ブラーイメージターゲットから複数の可能なモーションブラーイメージターゲットを生成することと、
問題となっているイメージターゲットフレームに最も近似する単一の可能なモーションブラーイメージターゲットを見つけるために、前記複数の可能なモーションブラーイメージターゲットに対して、問題となっている前記イメージターゲットフレームを比較することと、
問題となっている前記イメージターゲットフレームに最も近似する前記単一の可能なモーションブラーイメージターゲットに関連づけられた前記ブラーベクトルとして、問題となっている前記イメージターゲットフレームのモーションブラーベクトルを推定することと、
を備える、請求項１の方法。

【請求項4】

前記複数の可能なモーションブラーイメージターゲットに対して、問題となっている前記イメージターゲットフレームを比較することは、複数の正規化された相互相関（ＮＣＣ）値を計算することを備える、請求項３の方法。

【請求項5】

第３モーションブラー推定方法に計算リソースが利用可能かどうかを決定することと、
前記第３モーションブラー推定方法に計算リソースが利用可能であるという決定に応答して前記モーションブラーを推定するために前記第３モーションブラー推定方法を適用することと、
をさらに備えた、請求項１の方法。

【請求項6】

前記第３モーションブラー推定方法は、
サーチされるべき複数のブラー量を決定することと、
サーチされるべき各ブラー量に関する１つまたは複数のモーションブラーステップの数を決定することと、
問題となっているイメージターゲットフレームのポーズと、問題となっている前記イメージターゲットフレームの直前のイメージターゲットフレームのポーズとの間に１つまたは複数の中間ポーズを補間することと、ここにおいて、中間ポーズの数は前記モーションブラーステップの数に対応する、
複数の非ブラー仮想イメージターゲットフレームを構築することと、ここにおいて、１つの仮想イメージターゲットフレームが各中間ポーズならびに問題となっている前記イメージターゲットフレームの前記ポーズおよび問題となっている前記イメージターゲットフレームの直前の前記イメージターゲットフレームの前記ポーズに関して構築される、
各中間ポーズおよび問題となっている前記イメージターゲットフレームの直前の前記イメージターゲットフレームの前記ポーズに関して複数のブラーテンプレートを構築することと、ここにおいて、前記ブラーテンプレートが構築されるポーズは前記ブラーテンプレートのクリティカルポーズとされる、
問題となっている前記イメージターゲットフレームに最も近似する単一のブラーテンプレートを見つけるためにすべての前記ブラーテンプレートに対して、問題となっている前記イメージターゲットフレームを比較することと、
問題となっている前記イメージターゲットフレームに最も近似することが発見された前記単一のブラーテンプレートの前記クリティカルポーズと前記ブラー量の組み合わせとして、問題となっている前記イメージターゲットフレームのモーションブラーを推定することと、
を備える、請求項５の方法。

【請求項7】

すべての前記ブラーテンプレートに対して、問題となっている前記イメージターゲットフレームを比較することは、複数の正規化された相互相関（ＮＣＣ）値を計算することを備える、請求項６の方法。

【請求項8】

前記第１モーションブラー推定方法の結果は、前記第２モーションブラー推定方法の前記適用に使用される、請求項１の方法。

【請求項9】

イメージターゲットフレームに関連づけられたモーションブラーを推定するために１つまたは複数のモーションブラー推定方法を適応的に適用するための装置において、
前記モーションブラーを推定するために第１モーションブラー推定方法を適用する手段と、
前記第１モーションブラー推定方法を適用した後、第２モーションブラー推定方法に計算リソースが利用可能かどうかを決定する手段と、ここにおいて前記第２モーションブラー推定方法は前記第１モーションブラー推定方法よりも計算上集約的であって、前記第１モーションブラー推定方法よりも正確なブラー推定を提供するものである、
前記第２モーションブラー推定方法に計算リソースが利用可能であるという決定に応答して前記モーションブラーを推定するために前記第２モーションブラー推定方法を適用する手段と、
推定された前記モーションブラーをバーチャルオブジェクト上でシミュレートする手段と、
前記バーチャルオブジェクトを前記イメージターゲットにスーパーインポーズする手段と、
を備えた装置。

【請求項10】

前記第１モーションブラー推定方法を適用する前記手段は、さらに、
問題となっているイメージターゲットフレームのポーズを測定し、問題となっている前記イメージターゲットフレームの前記ポーズをスクリーン空間に投影することにより第１投影ポーズを決定する手段と、
問題となっている前記イメージターゲットフレームの直前のイメージターゲットフレームのポーズを測定し、問題となっている前記イメージターゲットフレームの直前の前記イメージターゲットフレームの前記ポーズをスクリーン空間に投影することにより第２投影ポーズを決定する手段と、
前記第１投影ポーズから前記第２投影ポーズを減算することにより、問題となっている前記イメージターゲットフレームのモーションブラーベクトルを推定する手段と、
を備えた請求項９の装置。

【請求項11】

前記第２モーションブラー推定方法を適用する前記手段は、さらに、
複数のブラーベクトルを非ブラーイメージターゲットに適用することにより前記非ブラーイメージターゲットから複数の可能なモーションブラーイメージターゲットを生成する手段と、
問題となっているイメージターゲットフレームに最も近似する単一の可能なモーションブラーイメージターゲットを見つけるために、前記複数の可能なモーションブラーイメージターゲットに対して、問題となっている前記イメージターゲットフレームを比較する手段と、
問題となっている前記イメージターゲットフレームに最も近似する前記単一の可能なモーションブラーイメージターゲットに関連づけられた前記ブラーベクトルとして、問題となっている前記イメージターゲットフレームのモーションブラーベクトルを推定する手段と、ここにおいて、
前記複数の可能なモーションブラーイメージターゲットに対して、問題となっている前記イメージターゲットフレームを比較する前記手段は、好ましくは、複数の正規化された相互相関（ＮＣＣ）値を計算する手段をさらに備える、
を備える、請求項９の装置。

【請求項12】

第３モーションブラー推定方法に計算リソースが利用可能かどうかを決定する手段と、
前記第３モーションブラー推定方法に計算リソースが利用可能であるという決定に応答して前記モーションブラーを推定するために前記第３モーションブラー推定方法を適用する手段と、
をさらに備えた、請求項９の装置。

【請求項13】

前記第３モーションブラー推定方法を適用する前記手段は、さらに、
サーチされるべき複数のブラー量を決定する手段と、
サーチされるべき各ブラー量に関する１つまたは複数のモーションブラーステップの数を決定する手段と、
問題となっているイメージターゲットフレームのポーズと、問題となっている前記イメージターゲットフレームの直前のイメージターゲットフレームのポーズとの間に１つまたは複数の中間ポーズを補間する手段と、ここにおいて、中間ポーズの数は前記モーションブラーステップの数に対応する、
複数の非ブラー仮想イメージターゲットフレームを構築する手段と、ここにおいて、１つの仮想イメージターゲットフレームが各中間ポーズならびに問題となっている前記イメージターゲットフレームの前記ポーズおよび問題となっている前記イメージターゲットフレームの直前の前記イメージターゲットフレームの前記ポーズに関して構築される、
各中間ポーズおよび問題となっている前記イメージターゲットフレームの直前の前記イメージターゲットフレームの前記ポーズに関して複数のブラーテンプレートを構築する手段と、ここにおいて、前記ブラーテンプレートが構築されるポーズは前記ブラーテンプレートのクリティカルポーズとされる、
問題となっている前記イメージターゲットフレームに最も近似する単一のブラーテンプレートを見つけるためにすべての前記ブラーテンプレートに対して、問題となっている前記イメージターゲットフレームを比較する手段と、
問題となっている前記イメージターゲットフレームに最も近似することが発見された前記単一のブラーテンプレートの前記クリティカルポーズと前記ブラー量の組み合わせとして、問題となっている前記イメージターゲットフレームのモーションブラーを推定する手段と、
を備える、請求項１２の装置。

【請求項14】

前記第１モーションブラー推定方法の結果は、前記第２モーションブラー推定方法の前記適用に使用される、請求項９の装置。

【請求項15】

データ処理デバイスまたはシステムによって実行されると、前記データ処理デバイスまたはシステムに、請求項１ないし８のいずれか一項に記載の方法を行わせる命令を備えたコンピュータプログラム。

【発明の詳細な説明】

【関連出願への相互参照】

【0001】

[0001]この出願は参照することによりここに組み込まれる「FAST ADAPTIVE ESTIMATION OF MOTION BLUR FOR COHERENT RENDERING」と題する２０１５年２月２７日に出願された米国特許出願番号第１４／６３３７３７号の優先権を主張する。

【技術分野】

【0002】

[0002]ここに開示される主題は電子デバイスに関し、特に電子デバイスによりインプリメントされるオーグメンテッドリアリティ(Augmented Reality)環境に使用する方法および装置に関する。

【背景技術】

【0003】

[0003]オーグメンテッドリアリティ技術を用いて、出力ビデオフィードにおいてバーチャルオブジェクトはリアルワールドシーンの一部であるように見えるようにリアルワールドシーンのビデオフィード上にスーパーインポーズされることができる。バーチャルオブジェクトをリアルワールドシーンの一部として写実的(realistically)に見せるために複数の周知技術が使用されることができる。例えば、バーチャルオブジェクトをリアルワールドシーンの一部として見せるためにバーチャルオブジェクトのポーズ(pose)がそれに応じて調整されることができるようにカメラポーズは周知技術を用いてビデオフィードの一方のフレームから他方へ追跡(track)されることができる。

【0004】

[0004]高速カメラ移動の結果としてリアルワールドシーンを描画するビデオフィードが不鮮明になる(becomes blurred)状況において、バーチャルオブジェクトが同様に不鮮明でない場合バーチャルオブジェクトのリアリズムは減退する可能性がある。それゆえ、バーチャルオブジェクトがスーパーインポーズされるリアルワールドシーンを描画するビデオフィードのモーションブラー(motion blur)を測定するための方法および対応するブラーをシミュレートするためにバーチャルオブジェクトを調整するための方法が有効である。

【発明の概要】

【0005】

[0005]ここに開示された実施形態は画像ターゲットフレームに関連づけられたモーションブラーを推定するために１つまたは複数のモーションブラー推定方法を適応的に適用するための方法において、モーションブラーを推定するために第１モーションブラー推定方法を適用することと、第２モーションブラー推定方法に関して計算リソースが利用可能かどうかを決定することと、および第２モーションブラー推定方法に計算リソースが利用可能であるという決定に応答してモーションブラーを推定するために第２モーションブラー推定方法を適用することを備える方法を含むことができる。

【0006】

[0006]ここに開示される他の実施形態はイメージターゲットフレームに関連づけられたモーションブラーを推定するための１つまたは複数のモーションブラー推定方法を適応的に適用するための装置をであって、メモリと、モーションブラーを推定するために第１モーションブラー推定方法を適用し、第２モーションブラー推定方法に計算リソースが利用可能かどうかを決定し、第２モーションブラー推定方法に計算リソースが利用可能であるという決定に応答してモーションブラーを推定するために第２モーションブラー推定方法を適用する、ように構成されたプロセッサを備えた装置を含むことができる。

【0007】

[0007]ここに開示されるさらなる実施形態はイメージターゲットフレームに関連づけられたモーションブラーを推定するために１つまたは複数のモーションブラー推定方法を適応的に適用するための装置であって、モーションブラーを推定するために第１モーションブラー推定方法を適用するための手段と、第２モーションブラー推定方法に計算リソースが利用可能かどうかを決定するための手段と、第２モーションブラー推定方法に計算リソースが利用可能であるという決定に応答してモーションブラーを推定するために第２モーションブラー推定方法を適用するための手段を備えた装置を含むことができる。

【0008】

[0008]プロセッサにより実行されると、プロセッサに、イメージターゲットフレームに関連づけられたモーションブラーを推定するために第１モーションブラー推定方法を適用することと、第２モーションブラー推定方法に計算リソースが利用可能かどうかを決定することと、および第２モーションブラー推定方法に計算リソースが利用可能であるという決定に応答してモーションブラーを推定するために第２モーションブラー推定方法を適用することを備えた方法を実行させるコードを含む非一時的コンピュータ可読媒体を含むことができる。

【図面の簡単な説明】

【0009】

【図1】[0009]図１はオーグメンテッドリアリティアプリケーションに適合されたデバイスの一実施形態を例示する。

【図2A】[0010]図２Ａは例示オーグメンテッドリアリティアプリケーションの出力を例示する。

【図2B】図２Ｂは例示オーグメンテッドリアリティアプリケーションの出力を例示する。

【図3】[0011]図３はイメージターゲットのモーションブラーを推定するための１つまたは複数の方法を適応的に適用するための例示方法を図示するフローチャートである。

【図4】[0012]図４はイメージターゲットのモーションブラーを推定するための例示である第１モーションブラー推定方法を例示するフローチャートである。

【図5】[0013]図５はイメージターゲットのモーションブラーを推定する例示である第２モーションブラー推定方法を例示するフローチャートである。

【図6】[0014]図６はイメージターゲットのモーションブラーを推定するための例示である第２モーションブラー推定方法の例示イラストレーションである。

【図7】[0015]図７はイメージターゲットのモーションブラーを推定する例示である第３モーションブラー推定方法を例示するフローチャートである。

【図8】[0016]図８はイメージターゲットのモーションブラーを推定する例示である第３モーションブラー推定方法の例示イラストレーションである。

【発明の詳細な説明】

【0010】

[0017]オーグメンテッドリアリティアプリケーションに適合された例示デバイス１００が図１に例示される。ここに使用されるデバイス（例えば、デバイス１００）は、モバイルデバイス、ワイヤレスデバイス、セルフォン、パーソナルデジタルアシスタント、モバイルコンピュータ、ウェアラブルデバイス（例えば、時計、頭部装着ディスプレイ、バーチャルリアリティメガネ等）、タブレット、パーソナルコンピュータ、ラップトップコンピュータ、または処理機能を有する任意のタイプのデバイスであり得る。ここで使用されるように、モバイルデバイスは、１つまたは複数のワイヤレス通信デバイスまたはネットワークから送信されたワイヤレス信号を獲得する、およびワイヤレス信号を送信するように構成された任意のポータブル、またはムーバブルデバイスまたはマシンであり得る。よって、限定ではなく例として、デバイス100は、無線デバイス、携帯電話デバイス、コンピューティングデバイス、パーソナル通信システムデバイス、または他の同様の移動可能なワイヤレス通信装着のデバイス、アプライアンス、または機械を含み得る。

【0011】

[0018]バス１０５を介して電気的に結合され得る（またはそうでなければ、適宜、通信状態にあり得る）ハードウェアエレメントを備えるデバイス１００が示される。ハードウェア要素は、（デジタル信号処理チップ、グラフィックス加速プロセッサ、および／または同様のもののような）１つまたは複数の汎用プロセッサおよび／または１つまたは複数の特殊用途プロセッサを限定なく含む１つまたは複数のプロセッサ１１０、カメラ１１６、マウス、キーボード、キーパッド、タッチスクリーン、マイクロフォン、および／または同様のものを限定なく含む１つまたは複数の入力デバイス１１５およびディスプレイデバイス１２１、スピーカ、プリンタおよび／または同様のものを限定なく含む１つまたは複数の出力デバイス120を含むことができる。

【0012】

[0019] デバイス100は、限定されないが、ローカルなおよび／またはネットワークアクセス可能な記憶装置を備え得る、および／または、限定されないが、ディスクドライブ、ドライブアレイ、光学記憶デバイス、プログラマブルでありフラッシュ更新可能であるランダムアクセスメモリ（「ＲＡＭ」）および／または読取専用メモリ（「ＲＯＭ」）のような固体記憶デバイス、および／または、同様のものを含み得る、１つ以上の非一時的ストレージデバイス125をさらに含み得る（および／または、それらと通信状態にある）。このような記憶デバイスは、限定されないが、様々なファイルシステム、データベースストラクチャ、および／または、同様のものを含む、任意の適切なデータ記憶をインプリメントするように構成され得る。

【0013】

[0020] デバイスはまた、モデム、ネットワークカード（ワイヤレスまたはワイヤード）、赤外線通信デバイス、ワイヤレス通信デバイスおよび／またはチップセット（例えば、Bluetooth（登録商標）デバイス、８０２．１１デバイス、Ｗｉ−Ｆｉデバイス、ＷｉＭａｘ（登録商標）デバイス、セルラ通信設備、等）、および／または同様のものを含み得るがそれらに限定されない通信サブシステム１３０を含み得る。通信サブシステム１３０は、ここに記載されるネットワーク、他のデバイスおよび／または任意の他のデバイスとデータを交換可能にすることができる。一実施形態において、デバイス１００は、上述されたような、ＲＡＭまたはＲＯＭデバイスを含み得るメモリ１３５をさらに備えることができる。デバイス１００はモバイルデバイスまたは非モバイルデバイスであり得、ワイヤレスおよび／またはワイヤード接続を有することができる。

【0014】

[0021] デバイス１００はまた、オペレーティングシステム１４０、デバイスドライバ、実行可能ライブラリ、および／または１つまたは複数のアプリケーションプログラム１４５などの他のコードを含む、ワーキングメモリ１３５内に現在位置するものとして示されている、ソフトウェア要素を備えることができ、それは、ここで記載されるように、複数の実施形態により提供される方法および／または構成システムを備えるかまたはインプリメントするように設計されることができる。単に例として、以下に記載される方法（１つ以上）に関して説明される１つまたは複数の手順は、デバイス１００（および／またはデバイス１００内のプロセッサ）により実行されるコードおよび／または命令としてインプリメントされることができる。したがって、１つの態様において、そのようなコードおよび／または命令は記載された方法に従って１つまたは複数の動作を実行するように汎用コンピュータ（または他のデバイス）を構成および／または適合させるために使用されることができる。

【0015】

[0022]これらの命令および／またはコードのセットは、上述された記憶デバイス（１つ以上）１２５のような、非一時的コンピュータ可読記憶媒体上に記憶され得る。いくつかの場合には、記憶媒体は、デバイス１００のようなデバイス内に組み込まれ得る。他の実施形態において記憶された命令／コードを用いて汎用コンピュータをプログラム、構成、および／または適合するために記憶媒体が使用されることができるように、記憶媒体はデバイスから分離されることができ、（例えば、コンパクトディスクのようなリムーバブル媒体）、および／またはインストレーションパッケージ内に提供されることができる。これらの命令は、コンピュータ化されたデバイス１００によって実行可能である実行可能なコードの形態をとり得るか、および／または、（例えば、様々な一般的に利用可能なコンパライラ、インストールプログラム、圧縮／解凍ユーティリティなどのいずれかを使用して）デバイス１００上での編集および／またはインストールの際に実行可能なコードの形態をとる、ソースおよび／またはインストール可能なコードの形態をとり得る。

【0016】

[0023]アプリケーションプログラム１４５は１つまたは複数のオーグメンテッドリアリティアプリケーションを含むことができる。例示オーグメンテッドリアリティアプリケーションはイメージターゲットをリアルタイムで認識し追跡することが可能である。一例示実施形態において、例示オーグメンテッドリアリティアプリケーションはイメージターゲット上の複数のキーポイントを用いてイメージターゲットを追跡する。ここに記載されるオーグメンテッドリアリティアプリケーションの機能性は、オペレーティングシステム（ＯＳ）、ファームウェア、コンピュータビジョンモジュールのような異なるレベルのソフトウエアでまたはハードウエアで代替的にインプリメントされることができる。

【0017】

[0024]一実施形態において、リアルワールドシーンを表すイメージターゲットはデバイス１００のカメラ１１６から受信されたライブビデオフィードのフレームである。ビデオフィードはバッファリングされることができる。他の実施形態において、ビデオフィードはあらかじめ記録されたビデオフィードであり得、記憶媒体から検索されることができる。オーグメンテッドリアリティアプリケーション１４５は１つまたは複数のバーチャルオブジェクトをイメージターゲットにスーパーインポーズすることができる。従って、１つまたは複数のバーチャルオブジェクトがスーパーインポーズされるイメージターゲットは、ディスプレイデバイス１２１上にフレーム毎に描画される。例示オーグメンテッドリアリティアプリケーションはイメージターゲットの位置と方位(orientation)を追跡しそれに従ってスーパーインポーズされた１つまたは複数のバーチャルオブジェクトの位置と方位を調節するので、１つまたは複数のバーチャルオブジェクト上におけるユーザのパースペクティブ(perspective)はイメージターゲット上のユーザのパースペクティブに対応し、その結果、ユーザには、１つまたは複数のバーチャルオブジェクトがリアルワールドシーンの一部であるように見える。また、一実施形態において、リアルワールドシーンを表すイメージターゲットはセーブされたビデオフィードのフレームであり得る。

【0018】

[0025]図２Ａおよび２Ｂを参照すると、例示オーグメンテッドリアリティアプリケーション１４５の出力２００および２０５が示される。図２Ａにおいて、イメージターゲット２１０は高速カメラ移動によりぼやけている(blurred)。しかしながら、バーチャルオブジェクト−バーチャルティーポット２１５−はそれに対応してぼやけていない。この結果、バーチャルティーポット２１５のリアリズムが損なわれ、バーチャルティーポット２１５はイメージターゲット２１０内に描画されたリアルワールドシーンの一部でないように見える（appears less to be part of）。対照的に、同じぼやけた(blurred)イメージターゲット２１０を示す図２Ｂにおいて、バーチャルティーポット２１５は同じモーションブラーを被ったように見えるように調節される。この結果、図２Ｂのバーチャルティーポット２１５はイメージターゲット２１０内に描画されたリアルワールドシーンの一部としてより写実的(realistically)に見える。

【0019】

[0026]バーチャルオブジェクト上のモーションブラーをシミュレートするためにイメージターゲットのモーションブラーに関連するある情報が必要となるかもしれない。例えば、イメージターゲットのモーションブラーは方向と大きさを備えるブラーベクトルにより表されることができる。代替的に、イメージターゲットのモーションブラーは問題になっているイメージターゲットのカメラポーズとモーションブラーが生じ始める直前のイメージターゲットフレームのカメラポーズとの間の中間カメラポーズとブラー量との組み合わせにより表されることができる。以下、上述した中間カメラポーズはクリティカルポーズと呼ばれることができる。言い換えれば、イメージターゲットのモーションブラーはクリティカルポーズとブラー量の組み合わせにより表されることが出来る。

【0020】

[0027]イメージターゲットのモーションブラーを推定する３つの方法が以下に記載される。３つの方法は、第１モーションブラー推定方法、第２モーションブラー推定方法、および第３モーションブラー推定方法と呼ばれることができる。代替的に、第１モーションブラー推定方法は高速２Ｄ推定、第２モーションブラー推定方法は粗い(coarse)３Ｄ推定、および第３モーションブラー推定方法は精細(refined)３Ｄ推定と呼ばれることができる。以下に詳細に説明されるように、第３モーションブラー推定方法（精細３Ｄ推定）は第２モーションブラー推定方法（粗い３Ｄ推定）よりも計算上より集約的であり(computationally more intensive)、それは次に第１モーションブラー推定方法（高速２Ｄ推定）よりも計算上より集約的である。

【0021】

[0028] 図３を参照すると、イメージターゲットのモーションブラーを推定するための１つまたは複数の方法を適応的に適用するための例示方法３００を例示するフローチャートが示される。ブロック３１０において、モーションブラーを推定するために第１方法モーションブラー推定方法が適用されることができる。第１モーションブラー推定方法は、以下に詳細に記載される図４の例示第１モーションブラー推定方法４００であり得る。ブロック３２０において、第２モーションブラー推定方法に計算リソースが利用可能であるかどうかの決定がなされることができる。計算リソースは例えば残りの見積もり時間(budgeted time)、または利用可能なメモリスペースを含むことができる。ブロック３２０において、第２モーションブラー推定方法に利用可能な十分な計算リソースが無いと決定された場合、方法３００は終了することができる。ブロック３２０において、第２モーションブラー推定方法に対して計算リソースが利用可能である場合、方法３００はブロック３３０に進み、そこで、計算リソースが第２モーションブラー推定方法に利用可能であるという決定に応答してモーションブラーを推定するために第２モーションブラー推定方法が適用されることができる。第２モーションブラー推定方法は、以下に詳細に記載される、図５の例示モーションブラー推定第２モーションブラー推定方法５００であり得る。次に、ブロック３４０において、第３モーションブラー推定方法に計算リソースが利用可能かどうかの決定がなされることができる。ブロック３４０において、第３モーションブラー推定方法に対して十分な計算リソースが利用可能でないと決定された場合、方法３００は終了することができる。ブロック３４０において、第３モーションブラー推定方法に対して計算リソースが利用可能であると決定された場合、方法３００はブロック３５０に進み、そこで、第３モーションブラー推定方法に対して計算リソースが利用可能であるとの決定に応答してモーションブラーを推定するために第３モーションブラー推定方法が適用されることができる。第３モーションブラー推定方法は、以下に詳細に記載されるように図７の例示第３モーションブラー推定方法７００であり得る。その後、方法３００は終了することができる。方法３００はイメージターゲットフレームに関して１つまたは複数のモーションブラー推定を生成するために各イメージターゲットフレームに関して実行されることができる。代替的に、方法３００はこのような背景の下、最も適切なモーションブラー推定方法を選択するために時々(from time to time)実行されることができ、モーションブラー推定方法は方法３００が次に実行されるまで複数のイメージターゲットフレームに使用されることができる。最も適切なモーションブラー推定方法はリソース制約を前提として最も正確なモーションブラー推定を提供する方法であり得る。

【0022】

[0029]代替実施形態において、初めに特定のモーションブラー推定方法を実行することなく各モーションブラー推定方法に必要な推定された計算リソースおよび利用可能な計算リソースに基づいて最も適切なモーションブラー推定方法を決定する方法が利用されることができる。

【0023】

[0030]もちろん、デバイスおよび環境に関して計算リソースプロファイルが周知であるいくつかの実施形態において、最も適切なモーションブラー推定方法は方法３００を利用することなしに選択されることができる。

【0024】

[0031]図４を参照すると、イメージターゲットのモーションブラーを推定するための例示第１モーションブラー推定方法４００を例示するフローチャートが示される。第１モーションブラー推定方法４００は代替的に高速２Ｄ推定と呼ばれることができる。ブロック４１０において、第１投影ポーズは問題となっているイメージターゲットフレームのポーズを測定し問題となっているイメージターゲットフレームのポーズをスクリーン空間に投影することにより決定されることができる。ブロック４２０において、第２投影ポーズは、問題となっているイメージターゲットフレームの直前のイメージターゲットフレームのポーズを測定し、問題となっているイメージターゲットフレームの直前のイメージターゲットフレームのポーズをスクリーン空間に投影することにより決定されることができる。その後、ブロック４３０において、第２投影ポーズと第１投影ポーズとの間の差分に少なくとも部分的に基づいて問題となっているイメージターゲットフレームのモーションブラーベクトルが決定されることができる。ブロック４３０において計算で使用される位置（複数）は中心位置のような単一の位置であってもよいし、あるいはイメージターゲットフレームのコーナー(corners)のような複数の位置であってもよい。現在のイメージターゲットフレームに関するモーションブラー推定の結果が連続するイメージターゲットフレームの複数の従前のペアに基づくことができるように、外挿された曲線上の現在のイメージターゲットフレームのモーションブラーベクトルを決定するために（スクリーン空間に投影される）連続するイメージターゲットフレームの従前のペア間の差分が使用されることができることが理解されるべきである。

【0025】

[0032]第１モーションブラー推定方法４００は１つまたは複数のイメージターゲットフレームのモーションブラーの高速２Ｄ推定に関するランタイムの期間に利用されることができる。さらに、第１モーションブラー推定方法４００は、サイマルテニアスローカライゼーションアンドマッピング(Simultaneous Localization and Mapping)（ＳＬＡＭ）、またはユーザ定義ターゲット(User-Defined Target)（ＵＤＴ）のような方法とともに使用されることができる。しかしながら、ブロック４３０において導出されたベクトルはカメラブラーを真に測定しない動きベクトルであることが理解されなければならない。ある環境の下では、高速カメラ移動は必ずしもブラーを導出せず、ブロック４３０において導出された動きベクトルをバーチャルオブジェクトを調整するためのブラーベクトルとして用いることは誤った結果を生じる可能性がある。

【0026】

[0033]図５を参照すると、イメージターゲットのモーションブラーを推定するための例示第２モーションブラー推定方法５００を例示するフローチャートが示される。第２モーションブラー推定方法５００は代替的に粗い３Ｄ推定と呼ばれることができる。ブロック５１０において、複数のブラーベクトルを非ブラーイメージターゲットに適用することにより非ブラーイメージターゲットから複数の可能なモーションブラーイメージターゲットが生成されることができる。複数のブラーベクトルがそれらの方向および大きさにおいて変化されることができる。例えば、一実施形態において、２４のブラーベクトルを用いて２４の可能なモーションブラーイメージターゲットが生成されることができ、ここで、２４ブラーベクトルは４つの方向と６つの大きさの組み合わせをカバーする。いくつかの実施形態において、計算上のインテンシティ(intensity)を低減するように可能なモーションブラーイメージターゲットを生成するために非ブラーイメージターゲットは使用される前に最初にスケールダウンされることができる。同じ理由で、いくつかの他の実施形態において、可能なモーションブラーイメージターゲットを生成するために非ブラーイメージターゲット上のキーポイント周辺で取得されたスモールパッチ(small patch)のみが使用されることができる。次に、ブロック５２０において、問題となっているイメージターゲットフレームは、問題となっているイメージターゲットフレームに最も近似する１つの可能なモーションブラーイメージターゲットを見つけるために複数の可能なモーションブラーイメージターゲットに対して比較されることができる。もちろん、可能なモーションブラーイメージターゲットを生成するために使用される非ブラーイメージターゲットのスケールダウンバージョンが使用される実施形態において、問題となっているイメージターゲットフレームは比較が行われる前に最初に同様にスケールダウンされることができる。可能なモーションブラーイメージターゲットを生成するために非ブラーイメージターゲット上のキーポイント周辺のスモールパッチのみが使用される実施形態において、問題となっているイメージターゲットフレーム上のキーポイント周辺のスモールパッチのみがその比較に使用される。問題となっているイメージターゲットフレームと、複数の可能なモーションブラーイメージターゲットのいずれか１つとの間の類似度が任意の周知の技術により決定されることができる。例えば、正規化された相互相関(Normalized Cross-Correlation)（ＮＣＣ）値はそのような技術の１つである。問題となっているイメージターゲットフレーム上で第１モーションブラー推定方法４００が実行された場合、計算リソースを節約するためにブロック５２０におけるサーチの順番を最適化するために第１モーションブラー推定方法４００のブロック４３０で導出されたモーションブラーベクトルが利用されることができる。その後、ブロック５３０において問題となっているイメージターゲットフレームのモーションブラーベクトルは問題となっているイメージターゲットフレームに最も近似するようにブロック５２０において発見された１つの可能なモーションブラーイメージターゲットに関連づけられたブラーベクトルとして推定されることができる。ビデオフィードからのイメージターゲットフレームが継続的に処理されるとき第２モーションブラー推定方法５００のための計算強度(computational intensity)を低減するための１つの方法は、より非類似である可能なモーションブラーイメージターゲットに移動する前に第２モーションブラー推定方法５００の従前の反復においてブロック５２０で発見したものよりも、より非類似の可能なモーションブラーイメージターゲットと問題になっているイメージターゲットをブロック５２０において比較することである。

【0027】

[0034]図６を参照すると、イメージターゲットのモーションブラーを推定するための例示第２モーションブラー推定方法５００の例示イラストレーションが示される。上述したように、粗い３Ｄ推定を用いて、複数の可能なモーションブラーイメージターゲット（例えば、イメージターゲット６３０Ａ−Ｄ）は、複数のブラーベクトルを非ブラーイメージターゲットに適用することにより非ブラーイメージターゲット６１０から生成されることができる。非ブラーイメージターゲット６１０は、計算強度を低減するように可能なモーションブラーイメージターゲット（例えば、イメージターゲット６３０Ａ−Ｄ）を生成するために、非ブラーイメージターゲット６１０は使用される前に最初にスケールダウンさされたイメージターゲット６２０にスケールダウンされることができる。次に、問題となっているイメージターゲットは問題となっているイメージターゲットに最も近似している１つの可能なモーションブラーイメージターゲットを見つけるために複数の可能なモーションブラーイメージターゲット（例えば、イメージターゲット６３０Ａ−Ｄ）に対して比較されることができる。その後、問題となっているイメージターゲットフレームのモーションブラーベクトルは問題となっているイメージターゲットフレームに最も近似するように発見された１つの可能なモーションブラーイメージターゲットに関連づけられたブラーベクトルとして推定されることができる。

【0028】

[0035]図７を参照すると、イメージターゲットのモーションブラーを推定するための例示第３モーションブラー推定方法７００を例示するフローチャートが示される。第３モーションブラー推定方法７００は代替的に精製３Ｄ推定と呼ばれることができる。ブロック７１０において、サーチされるべき複数のブラー量が決定されることができる。問題となっているイメージターゲットフレーム上で第２モーションブラー推定方法５００が実行された場合、方法５００のブロック５３０で導出されたモーションブラーベクトルはサーチされるべき複数のブラー量の数を制限するために使用されることができる。ブロック７２０においてサーチされるべき各ブラー量に関して、モーションブラーステップの数に対応する数が決定されることができる。この数は以後数Ｎと呼ばれることができる。数Ｎは１以上でありサーチされるべき対応するブラー量とポジティブに相関させることができる。次に、ブロック７３０において、問題となっているイメージターゲットフレームのポーズと直前のイメージターゲットフレームのポーズとの間に１つまたは複数の中間ポーズが補間されることができる。中間ポーズの数は数Ｎと同じである。中間ポーズは、問題となっているイメージターゲットフレームのポーズと直前のイメージターゲットフレームのポーズとの間で均等に離間されている。ブロック７４０において、複数の非ブラー仮想イメージターゲットフレームが構築されることができ、ここで、１つの仮想イメージターゲットフレームが、各中間ポーズに関して並びに問題となっているイメージターゲットフレームのポーズおよびその直前のイメージターゲットフレームのポーズに関して構築されることができる。ブロック７５０において、複数のブラーテンプレートは各中間ポーズおよび問題となっているイメージターゲットフレームの直前のイメージターゲットフレームのポーズに関して構築されることができる。ブラーテンプレートが構築されるポーズはブラーテンプレートのクリティカルポーズと呼ばれることができる。ブラーテンプレートは、クリティカルポーズに対応する非ブラー仮想イメージターゲットフレームおよび問題となっているイメージターゲットフレームのポーズおよびクリティカルポーズの後の全ての中間ポーズを含む、その後のすべてのポーズを結合することにより構築されることができる。いいかえれば、各ブラーテンプレートに関して、モーションブラーはそのクリティカルポーズにおいて生じし始めると仮定する。ブロック７２０および７５０はサーチされるべきすべてのブラー量に関してサーチされるべきすべてのブラーテンプレートを取得するために反復されることができる。それゆえ、ブロック７６０において、問題となっているイメージターゲットフレームは問題となっているイメージターゲットフレームに最も近似する単一のブラーテンプレートを見つけるためにすべてのブラーテンプレートに対して比較されることができる。第２モーションブラー推定方法５００と同様に、問題となっているイメージターゲットフレームとブラーテンプレートとの間の類似度を測定するためにＮＣＣが用いられることができる。ブロック７７０において、問題となっているイメージターゲットフレームのモーションブラーは問題となっているイメージターゲットフレームに最も近似するようにブロック７６０において発見されたブラーテンプレートのクリティカルポーズとブラー量の組み合わせとして推定されることができる。ブラー量は例えば０と１の間のスケールに正規化されることができる。第３モーションブラー推定方法７００により提供されるモーションブラー推定は、カメラ移動の６度の自由度（ＤＯＦ）を考慮するので、第２モーションブラー推定方法５００よりもさらに正確であることが理解される必要がある。現在のイメージターゲットフレームに関する精製３Ｄ推定の結果は従前のイメージターゲットフレームの結果を考慮するとともに外挿された曲線上の現在のイメージターゲットフレームに関するモーションブラーベクトルを決定することによりさらに精製されることができることが理解されなければならない。

【0029】

[0036]図８を参照すると、イメージターゲットのモーションブラーを推定するための例示第３モーションブラー推定方法７００の例示イラストレーション８００が示される。上述したように、精製３Ｄ推定を用いて、サーチされるべき複数のブラー量が決定されることができる。サーチされるべき各ブラー量に関して、モーションブラーステップの数に対応する数が決定されることができる。次に、問題となっているイメージターゲットフレームのポーズ（テンプレート８２０Ａで示されるポーズ）とその直前のイメージターゲットフレームのポーズ（テンプレート８２０Ｃで示されるポーズ）との間の１つまたは複数の中間ポーズ（例えば、テンプレート８２０Ｂで示されるポーズ）が補間されることができる。複数のブラーテンプレートは、各中間ポーズ（例えば、テンプレート８２０Ｂで示されるポーズ）および問題となっているイメージターゲットフレームの直前のイメージターゲットフレームのポーズ（テンプレート８２０Ｃで示されるポーズ）に関して構築されることができる。ゆがんでいない(un-warped)（例えば、正面像）イメージターゲット８１０はブラーテンプレートの構築に利用されることができる。サーチされるべきすべてのブラー量に関するサーチされるべきすべてのブラーテンプレートが生成されることができる。その後、問題となっているイメージターゲットフレームは、問題となっているイメージターゲットフレームに最も近似する単一のブラーテンプレートを見つけるためにすべてのブラーテンプレート（例えば、テンプレート８３０Ａ−Ｃ）に対して比較されることができる。

【0030】

[0037]それゆえ、第３モーションブラー推定方法７００（精製３Ｄ推定）は第２モーションブラー推定方法５００（粗い３Ｄ推定）よりも計算上集約的(intensive)であり、それは、つぎに第１モーションブラー推定方法４００（高速２Ｄ推定）より計算上集約的であることが理解されるべきである。他方、第３モーションブラー推定方法７００（精製３Ｄ推定）は第２モーションブラー推定方法５００（粗い３Ｄ推定）よりもさらに正確なブラー推定を提供し、それは次に第１モーションブラー推定方法４００（高速２Ｄ推定）よりもさらに正確なブラー推定を提供する。

【0031】

[0038]上述したように、モーションブラー（図４）を推定するために第１モーションブラー推定方法を適用し、第２モーションブラー推定方法に計算リソースが利用可能かどうかを決定し、第２モーションブラー推定方法に計算リソースが利用可能であるという決定に応答してモーションブラー（図５）を推定するために第２モーションブラー推定方法を適用し、第３モーションブラー推定方法に計算リソースが利用可能であるかどうかを決定し、および第３モーションブラー推定方法に計算リソースが利用可能であるという決定に応答してモーションブラー（図７）を推定するために第３モーションブラー推定方法を適用するための動作がデバイス１００により実行されることができる。より精度の低いブラー推定方法からの結果は計算リソースを節約するためにより精度の高いブラー推定方法の適用において使用または再使用されることができる。たとえば、第１モーションブラー推定方法からの結果は、第２モーションブラー推定方法の適用において使用されることができ、第１および第２モーションブラー推定からの結果は第３モーションブラー推定方法の適用に使用されることができる。３つのモーションブラー推定方法の種々のインプリメンテーションは従前に詳細に記載した。従前に記載した機能を実行することにより、プロセッサ１１０を有するデバイス１００は、仮想オブジェクトをイメージターゲット内に描画されるリアルワールドシーンの一部としてより現実的に見せるバーチャルオブジェクト（バーチャルティーポット２１５）上のモーションブラーをシミュレートするために使用されることができる、イメージターゲットフレームのモーションブラーを推定するために最も適切なモーションブラー推定方法を適応的に選択するためにオーグメンテッドリアリティアプリケーション１４５を動作させるための命令を実行することができる。

【0032】

[0039]従前に記載したように、モーションブラー推定を実行するためのオーグメンテッドリアリティアプリケーション１４５はソフトウェア、ファームウェア、ハードウェア、それらの組み合わせ等としてインプリメントされることができることが理解されるべきである。一実施形態において、従前に記載された機能は従前に望まれた機能（例えば、図３−８の方法動作）を実現するためにデバイス１００の１つまたは複数のプロセッサ（例えば、プロセッサ１１０）によりインプリメントされることができる。

【0033】

[0040] 本明細書での教示は、様々な装置（例えば、デバイス）に組み込まれ得る（例えば、それらの中でインプリメントされ得るか、またはそれらによって行われ得る）。例えば、本明細書に教示されている１つまたは複数の態様は、汎用デバイス、デスクトップコンピュータ、モバイルコンピュータ、モバイルデバイス、電話（例えば、セルラフォン）、パーソナルデジタルアシスタント、タブレット、ラップトップコンピュータ、タブレット、エンターテイメントデバイス（例えば、音楽またはビデオデバイス）、ヘッドセット（例えば、ヘッドフォン、イヤピース等）、メディカルデバイス（例えば、バイオメトリックセンサ、心拍数モニタ、歩数計、ＥＫＧデバイス等）、ユーザＩ／Ｏデバイス、コンピュータ、サーバー、ポイントオブセールデバイス、エンターテイメントデバイス、セットトップボックス、ウェアラブルデバイス（例えば、ウォッチ、ヘッドマウントディスプレ、バーチャルリアリティグラス等）、自動車内の電子デバイス、または任意の他の適切なデバイスに組み込まれることができる。

【0034】

[0041]いくつかの態様において、ワイヤレスデバイスは、通信システムに関するアクセスデバイス（例えば、Ｗｉ−Ｆｉアクセスポイント）を備えることができる。そのようなアクセスデバイスは、例えば、ワイヤードまたはワイヤレス通信リンクを介したトランシーバを介して他のネットワーク（例えば、インターネットまたはセルラネットワークのようなワイドエリアネットワーク）への接続性を提供することができる。したがって、アクセスデバイスは別のデバイス（例えば、Ｗｉ−Ｆｉステーション）が他のネットワークまたはいくつかの他の機能性にアクセスすることを可能にする。さらに、それらのデバイスの一方または両方はポータブルであり得、またはいくつかの場合には、相対的に非ポータブルであり得る。

【0035】

[0042]デバイスがモバイルまたはワイヤレスデバイスであるとき、それらは任意の適切なワイヤレス通信技術に基づいてそうでなければサポートするワイヤレスネットワークを介して１つまたは複数のワイヤレス通信リンクを介して通信することができることが理解されるべきである。例えば、いくつかの態様においてワイヤレスデバイスと他のデバイスはワイヤレスネットワークを含むネットワークと関連付けることができる。いくつかの態様において、ネットワークはボディエリアネットワーク(a body area network)またはパーソナルエリアネットワーク（例えば、ウルトラワイドバンドネットワーク）を備えることができる。いくつかの態様において、ネットワークはローカルエリアネットワークまたはワイドエリアネットワークを備えることができる。ワイヤレスデバイスは、種々のワイヤレス通信テクノロジー、プロトコルまたは例えば、３Ｇ、ＬＴＥ（登録商標）、アドバンストＬＴＥ、４Ｇ、ＣＤＭＡ、ＴＤＭＡ、ＯＦＤＭ、ＯＦＤＭＡ、ＷｉＭＡＸおよびＷｉ−Ｆｉのような規格の１つまたは複数をサポートしまたはそうでなければ使用することができる。同様に、ワイヤレスデバイスは種々の対応する変調または多重化スキームの１つまたは複数をサポートしそうでなければ使用することができる。したがって、ワイヤレスデバイスは、上述したまたは他のワイヤレス通信テクノロジーを用いる１つまたは複数のワイヤレス通信リンクを介して確立および通信するための適切なコンポーネント（例えば、エアーインターフェース）を含むことができる。例えば、デバイスは、ワイヤレス媒体を介した通信を容易にする種々のコンポーネント（例えば、シグナルジェネレータおよびシグナルプロセッサ）を含むことができる関連づけられた送信機および受信機コンポーネント（例えば、送信機および受信機）を有するワイヤレストランシーバを備えることができる。よく知られているように、モバイルデバイスはそれゆえ他のモバイルデバイス、セルフォン、他のワイヤードまたはワイヤレスコンポーネント、インターネットウェブサイト等とワイヤレスに通信することができる。

【0036】

[0043]当業者であれば、情報および信号は、さまざまな異なる技術および技法のうちの任意のものを用いて表され得ることを理解するであろう。例えば、上記説明の全体にわたって参照されうるデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場または磁性粒子、光場または光粒子、あるいはこれらの任意の組み合わせによって表され得る。

【0037】

[0044]当業者はまた、ここで開示された実施例に関連して記載された種々の例示的な論理ブロック、モジュール、エンジン、回路、およびアルゴリズムステップが、電子ハードウェア、コンピュータソフトウェアまたはそれらの組合せとしてインプリメントされ得ることを理解するだろう。このハードウェアおよびソフトウェアの互換性を明確に例示するために、様々な例示的なコンポーネント、ブロック、モジュール、エンジン、回路、およびステップが、それらの機能性の点から上で概して説明されている。そのような機能がハードウェアまたはソフトウェアとしてインプリメントされるかどうかは、特定のアプリケーションおよびシステム全体に課せられた設計制約に依存する。当業者は、各特定のアプリケーションのために、様々な方法で、説明された機能をインプリメントし得るが、そのようなインプリメンテーションの決定は、本発明の範囲から逸脱を引き起こしていると解釈されるべきでない。

【0038】

[0045]ここに開示された実施形態に関連して説明された様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）またはその他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタロジック、ディスクリートハードウェアコンポーネント、あるいはここに説明された機能を実行するように設計されるこれらの任意の組み合わせで、インプリメントまたは実行され得る。汎用プロセッサは、マイクロプロセッサであり得るが、代替では、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであり得る。プロセッサはまた、例えば、ＤＳＰとマイクロプロセッサ、複数のマイクロプロセッサ、ＤＳＰコアと連結した１つまたは複数のマイクロプロセッサ、または任意の他のそのような構成の組み合わせのような、コンピューティングデバイスの組み合わせとしてインプリメントされ得る。

【0039】

[0046]ここに開示された実施形態に関連して説明された方法またはアルゴリズムのステップは、直接ハードウェアにおいて、プロセッサによって実行されるソフトウェアモジュールにおいて、またはこれら２つの組合せにおいて、具現化（embodied）され得る。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭ（登録商標）メモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、または当該技術で周知の任意の他の形態の記憶媒体内に存在し得る。実例的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。代替として、記憶媒体は、プロセッサと一体化され得る。プロセッサおよび記憶媒体は、ＡＳＩＣ中に存在し得る。ＡＳＩＣは、ユーザ端末中に存在しうる。代替では、プロセッサおよび記憶媒体は、ユーザ端末中に離散コンポーネントとして存在し得る。１つ以上の例示的な実施形態において、記述された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらのあらゆる組み合わせに実現され得る。コンピュータプログラム製品としてソフトウェアにインプリメントされる場合、これら機能またはモジュールは、非一時的なコンピュータ可読媒体上に、１つまたは複数の命令またはコードとして記憶または送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体とコンピュータ記憶媒体の両方を含むことができる。記憶媒体は、コンピュータによってアクセスされることができる任意の入手可能な媒体であり得る。限定ではなく例として、そのような非一時的なコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭあるいは他の光ディスク記憶装置、磁気ディスク記憶装置あるいは他の磁気記憶デバイス、または、命令あるいはデータ構造の形態で所望のプログラムコードを記憶または搬送するために使用されることができ、およびコンピュータによってアクセスされることができる、任意の他の媒体を備えることができる。また、任意の接続は、厳密にはコンピュータ可読媒体と称される。例えば、ソフトウェアがウェブサイト、サーバ、または他の遠隔ソースから、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、あるいは赤外線、無線、およびマイクロ波のようなワイヤレス技術を使用して送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、あるいは赤外線、無線、およびマイクロ波のようなワイヤレス技術は媒体の定義に含まれる。ここで使用される場合、ディスク（disk）およびディスク（disc）は、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタル多目的ディスク（ＤＶＤ）、フロッピー（登録商標）ディスクおよびブルーレイ（登録商標）ディスクを含み、ここでディスク（disks）は、通常磁気的にデータを再生し、一方ディスク（discs）は、レーザーを用いて光学的にデータを再生する。上記の組み合わせは、また、非一時的なコンピュータ可読媒体の範囲内に含まれるべきである。

【0040】

[0048]開示された例証的な実施形態の先の説明は、いかなる当業者であっても、本発明の製造または使用を可能にするよう提供される。これらの例証的な実施形態に対する様々な修正は、当業者には容易に明らかとなり、本明細書において定義された包括的な原理は、本発明の精神または範囲から逸脱することなく他の実施形態に適用され得る。したがって、本発明は、ここに示された実施形態に限定されるようには意図されず、ここに開示される原理および新規な特徴と一致する最も広い範囲を与えられることとなる。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］ イメージターゲットフレームに関連づけられたモーションブラーを推定するために１つまたは複数のモーションブラーを適応的に適用するための方法において、
モーションブラーを推定するために第１モーションブラー推定方法を適用することと、 第２モーションブラー推定方法に計算リソースが利用可能かどうかを決定することと、および
前記第２モーションブラー推定方法に計算リソースが利用可能であるという決定に応答して前記モーションブラーを推定するために前記第２モーションブラー推定方法を適用することと、
を備える方法。
［Ｃ２］ 前記第１モーションブラー推定方法は、
問題となっているイメージターゲットフレームのポーズを測定し、問題となっている前記イメージターゲットフレームの前記ポーズをスクリーン空間に投影することにより第１投影ポーズを決定することと、
問題となっている前記イメージターゲットフレームの直前のイメージターゲットフレームのポーズを測定し、問題となっている前記イメージターゲットフレームの直前の前記イメージターゲットフレームの前記ポーズをスクリーン空間に投影することにより第２投影ポーズを決定することと、および
前記第１投影ポーズから前記第２投影ポーズを減算することにより問題となっている前記イメージターゲットフレームのモーションブラーベクトルを推定することと、
を備える、Ｃ１の方法。
［Ｃ３］ 前記第２モーションブラー推定方法は、
複数のブラーベクトルを非ブラーイメージターゲットに適用することにより前記非ブラーイメージターゲットから複数の可能なモーションブラーイメージターゲットを精製することと、
問題となっているイメージターゲットフレームに最も近似する単一の可能なモーションブラーイメージターゲットを見つけるために前記複数の可能なモーションブラーイメージターゲットに対して問題となっている前記イメージターゲットフレームを比較することと、および
問題となっているイメージターゲットフレームに最も近似する前記単一の可能なモーションブラーイメージターゲットに関連づけられた前記ブラーベクトルとして問題になっている前記イメージターゲットフレームのモーションブラーベクトルを推定することと、を備える、Ｃ１の方法。
［Ｃ４］ 前記複数の可能なモーションブラーイメージターゲットに対して問題となっている前記イメージターゲットフレームを比較することは、複数の正規化された相互相関（ＮＣＣ）値を計算することを備える、Ｃ３の方法。
［Ｃ５］ 第３モーションブラー推定方法に計算リソースが利用可能かどうかを決定することと、および
前記第３モーションブラー推定方法に計算リソースが利用可能であるという決定に応答して前記モーションブラーを推定するために前記第３モーションブラー推定方法を適用することをさらに備えた、Ｃ１の方法。
［Ｃ６］ 前記第３モーションブラー推定方法は、
サーチされるべき複数のブラー量を決定することと、
サーチされるべき各ブラー量に関する１つまたは複数のモーションブラーステップの数を決定することと、
問題となっているイメージターゲットフレームのポーズと、問題となっている前記イメージターゲットフレームの直前のイメージターゲットフレームのポーズとの間に１つまたは複数の中間ポーズを補間することと、ここにおいて、中間ポーズの数は前記モーションブラーステップの数に対応する、
複数の非ブラー仮想イメージターゲットフレームを構築することと、ここにおいて、各中間ポーズならびに問題となっている前記イメージターゲットフレームの前記ポーズ並びに問題となっている前記イメージターゲットフレームの直前の前記イメージターゲットフレームの前記ポーズに関して１つの仮想イメージターゲットフレームが構築される、
各中間ポーズおよび問題となっている前記イメージターゲットフレームの直前の前記イメージターゲットフレームの前記ポーズに関して複数のブラーテンプレートを構築することと、ここにおいて、各ブラーテンプレートは前記ブラーテンプレートが構築されるポーズであるクリティカルポーズに対応する、
問題となっている前記イメージターゲットフレームに最も近似する単一のブラーテンプレートを見つけるためにすべての前記ブラーテンプレートに対して問題となっている前記イメージターゲットフレームを比較することと、および
問題となっている前記イメージターゲットフレームに最も近似するように発見された前記単一のブラーテンプレートの前記クリティカルポーズと前記ブラー量の組み合わせとして問題となっている前記イメージターゲットフレームのモーションブラーを推定することと、
を備えるＣ５の方法。
［Ｃ７］ 前記すべてのブラーテンプレートに対して問題となっている前記イメージターゲットフレームを比較することは複数の正規化された相互相関値（ＮＣＣ）値を計算することを備える、Ｃ６の方法。
［Ｃ８］ 前記第１モーションブラー推定方法の結果は前記第２モーションブラー推定方法の適用に使用される、Ｃ１の方法。
［Ｃ９］ イメージターゲットフレームに関連づけられたモーションブラーを推定するために１つまたは複数のモーションブラー推定方法を適応的に適用するための装置において、
メモリと、
プロセッサと
を備え、前記プロセッサは、
前記モーションブラーを推定するために第１モーションブラー推定方法を適用し、
第２モーションブラー推定方法に計算リソースが適用可能かどうかを決定し、
前記第２モーションブラー推定方法に計算リソースが適用可能であるという決定に応答して前記モーションブラーを推定するために前記第２モーションブラー推定方法を適用する、ように構成される、装置。
［Ｃ１０］ 前記第１モーションブラー推定方法を適用するように構成された前記プロセッサは、 問題となっているイメージターゲットフレームのポーズを測定し問題となっている前記イメージターゲットフレームの前記ポーズをスクリーン空間に投影することにより第１投影ポーズを決定し、
問題となっている前記イメージターゲットフレームの直前のイメージターゲットフレームのポーズを測定し、問題となっている前記イメージターゲットフレームの直前の前記イメージターゲットフレームの前記ポーズをスクリーン空間に投影することにより第２投影ポーズを決定することと、および
前記第１投影ポーズから前記第２投影ポーズを減算することにより問題となっている前記イメージターゲットフレームのモーションブラーベクトルを推定する、
ように構成される、Ｃ９の装置。
［Ｃ１１］ 前記第２モーションブラー推定方法を適用するように構成された前記プロセッサは、 非ブラーイメージターゲットに複数のブラーベクトルを適用することにより非ブラーイメージターゲットから複数の可能なモーションブラーイメージターゲットを生成し、
問題になっている前記イメージターゲットフレームに最も近似する単一の可能なモーションブラーイメージターゲットを見つけるために前記複数の可能なモーションブラーイメージターゲットに対して前記イメージターゲットフレームを比較し、
問題になっているイメージターゲットフレームに最も近似する前記単一の可能なモーションブラーイメージターゲットに関連づけられた前記ブラーベクトルとして問題になっている前記イメージターゲットフレームのモーションブラーベクトルを推定する、
ように構成される、Ｃ９の装置。
［Ｃ１２］ 前記複数の可能なモーションブラーイメージターゲットに対して問題になっている前記イメージターゲットフレームを比較するように構成される前記プロセッサは、複数の正規化された相互相関(NCC)値を計算するように構成される、Ｃ１１の装置。
［Ｃ１３］ 前記プロセッサはさらに、
第３モーションブラー推定方法に計算リソースが利用可能かどうかを決定し、および 前記第３モーションブラー推定方法に計算リソースが利用可能であるという決定に応答して前記モーションブラーを推定するために前記第３モーションブラー推定方法を適用する、
ように構成される、Ｃ９の装置。
［Ｃ１４］ 前記第３モーションブラー推定方法を適用するように構成された前記プロセッサは、サーチされるべき複数のブラー量を決定し、
サーチされるべき各ブラー量に関する１つまたは複数のモーションブラーステップの数を決定し、
問題となっているイメージターゲットフレームのポーズと、問題となっている前記イメージターゲットフレームの直前のイメージターゲットフレームのポーズとの間に１つまたは複数の中間ポーズを補間し、ここにおいて中間ポーズの数はモーションブラーステップの前記数に対応する、
複数の非ブラー仮想イメージターゲットフレームを構築し、ここにおいて、各中間ポーズならびに問題となっている前記イメージターゲットフレームの前記ポーズおよび問題となっている前記イメージターゲットフレームの直前の前記イメージターゲットフレームの前記ポーズに関して１つの仮想イメージターゲットフレームが構築される、
問題となっている前記イメージターゲットフレームの直前の前記イメージターゲットフレームの前記ポーズおよび各中間ポーズに関する複数のブラーテンプレートを構築し、ここにおいて各ブラーテンプレートはクリティカルポーズに対応し、それは前記ブラーテンプレートが構築される前記ポーズである、
問題となっている前記イメージターゲットフレームに最も近似する単一ブラーテンプレートを見つけるためにすべての前記ブラーテンプレートに対して問題となっている前記イメージターゲットフレームを比較し、
問題となっている前記イメージターゲットフレームに最も近似するように発見された前記単一ブラーテンプレートの前記クリティカルポーズと前記ブラー量の組み合わせとして問題となっている前記イメージターゲットフレームのモーションブラーを推定する、
ように構成される、Ｃ１３の装置。
［Ｃ１５］ 前記ブラーテンプレートのすべてに対して問題となっている前記イメージターゲットフレームを比較するように構成された前記プロセッサは、複数の正規化された相互相関（ＮＣＣ）値を計算するように構成される、Ｃ１４の装置。
［Ｃ１６］ 前記第１モーションブラー推定方法の結果は前記第２モーションブラー推定方法の適用において使用される、Ｃ９の装置。
［Ｃ１７］ イメージターゲットフレームに関連したモーションブラーを推定するために１つまたは複数のモーションブラー推定方法を適応的に適用するための装置において、
前記モーションブラーを推定するために第１モーションブラー推定方法を適用する手段と、
第２モーションブラー推定方法に計算リソースが利用可能かどうかを決定する手段と、 前記第２モーションブラー推定方法に計算リソースが利用可能であるという決定に応答して前記モーションブラーを推定するために前記第２モーションブラー推定方法を適用する手段と、
を備えた装置。
［Ｃ１８］ 前記第１モーションブラー推定方法を適用する前記手段は、さらに、
問題となっているイメージターゲットフレームのポーズを測定し、問題となっている前記イメージターゲットフレームの前記ポーズをスクリーン空間に投影することにより第１投影ポーズを決定する手段と、
問題となっている前記イメージターゲットフレームの直前のイメージターゲットフレームのポーズを測定し、問題となっている前記イメージターゲットフレームの直前の前記イメージターゲットフレームの前記ポーズをスクリーン空間に投影することにより第２投影ポーズを決定する手段と、および
前記第１投影ポーズから前記第２投影ポーズを減算することにより問題となっている前記イメージターゲットフレームのモーションブラー値を推定する手段と、
を備えたＣ１７の装置。
［Ｃ１９］ 前記第２モーションブラー推定方法を適用する前記手段はさらに、
非ブラーイメージターゲットに複数のブラーベクトルを適用することにより前記非ブラーイメージターゲットから複数の可能なモーションブラーイメージターゲットを生成する手段と、
問題となっている前記イメージターゲットフレームに最も近似する単一の可能なモーションブラーイメージターゲットを見つけるために前記複数の可能なモーションブラーイメージターゲットに対して問題となっているイメージターゲットフレームを比較する手段と、
問題となっている前記イメージターゲットフレームに最も近似する前記単一の可能なモーションブラーイメージターゲットに関連した前記ブラーベクトルとして問題となっている前記イメージターゲットフレームのモーションブラーベクトルを推定する手段と、
を備える、Ｃ１７の装置。
［Ｃ２０］ 前記複数の可能なモーションブラーイメージターゲットに対して問題となっている前記イメージターゲットフレームを比較する前記手段はさらに複数の正規化された相互相関（ＮＣＣ）値を計算する手段をさらに備えた、Ｃ１９の装置。
［Ｃ２１］ 第３モーションブラー推定方法に対して計算リソースが利用可能かどうかを決定する手段と、および
前記第３モーションブラー推定方法に対して計算リソースが利用可能であるとの決定に応答して前記モーションブラーを推定するために前記第３モーションブラー推定方法を適用する手段と、
をさらに備えた、Ｃ１７の装置。
［Ｃ２２］ 前記第３モーションブラー推定方法を適用する前記手段は、さらに、
サーチされるべき複数のブラー量を決定する手段と、
サーチされるべき各ブラー量に対して１つまたは複数のモーションブラーステップの数を決定する手段と、
問題となっているイメージターゲットフレームのポーズと、問題となっている前記イメージターゲットフレームの直前のイメージターゲットフレームのポーズとの間に１つまたは複数の中間ポーズを補間する手段と、ここにおいて、中間ポーズの数は前記モーションブラーステップの数に対応する、
複数の非ブラー仮想イメージターゲットフレームを構築する手段と、ここにおいて、１つの仮想イメージターゲットフレームが各中間ポーズならびに問題となっている前記イメージターゲットフレームおよび問題となっている前記イメージターゲットフレームの直前の前記イメージターゲットフレームの前記ポーズに関して構築される、
各中間ポーズおよび問題となっている前記イメージターゲットフレームの直前の前記イメージターゲットフレームの前記ポーズを構築する手段と、ここにおいて、各ブラーテンプレートは、前記ブラーテンプレートが構築されるクリティカルポーズに対応する、
問題となっている前記イメージターゲットフレームに最も近似する単一ブラーテンプレートを見つけるために前記ブラーテンプレートのすべてに対して問題となっている前記イメージターゲットフレームを比較する手段と、および
問題となっている前記イメージターゲットフレームに最も近似するように発見された前記単一ブラーテンプレートの前記クリティカルポーズと前記ブラー量の組み合わせとして問題となっている前記イメージターゲットフレームのモーションブラーを推定する手段と、
を備える、Ｃ２１の装置。
［Ｃ２３］ 前記第１モーションブラー推定方法の結果は前記第２モーションブラー推定方法の前記適用に用いられる、Ｃ１７の装置。
［Ｃ２４］ プロセッサにより実行されると、前記プロセッサに、
イメージターゲットフレームに関連したモーションブラーを推定するために第１モーションブラー推定方法を適用させ、
第２モーションブラー推定方法に計算リソースが利用可能かどうかを決定させ、
前記第２モーションブラー推定方法に計算リソースが利用可能であるとの決定に応答して前記モーションブラーを推定するために前記第２モーションブラー推定方法を適用させる、
コードを含む非一時的コンピュータ可読媒体。
［Ｃ２５］ 前記第１モーションブラー推定方法を適用するための前記コードはさらに、
問題となっているイメージターゲットフレームのポーズを測定し、問題となっている前記イメージターゲットフレームの前記ポーズをスクリーン空間に投影することにより第１投影ポーズを決定し、
問題となっている前記イメージターゲットフレームの直前のイメージターゲットフレームのポーズを測定し、問題となっている前記イメージターゲットフレームの直前の前記イメージターゲットフレームの前記ポーズをスクリーン空間に投影することにより第２投影ポーズを決定し、および
前記第１投影ポーズから前記第２投影ポーズを減算することにより問題となっている前記イメージターゲットフレームのモーションブラーベクトルを推定する、
ためのコードをさらに備えた、Ｃ２４の非一時的コンピュータ可読媒体。
［Ｃ２６］ 前記第２モーションブラー推定方法を適用するための前記コードは、
複数のブラーベクトルを非ブラーイメージターゲットに適用することにより非ブラーイメージターゲットから複数の可能なモーションブラーイメージターゲットを生成し、
問題となっている前記イメージターゲットフレームに最も近似する単一の可能なモーションブラーイメージターゲットを見つけるために複数の可能なモーションブラーイメージターゲットに対して問題となっているイメージターゲットを比較し、および
問題となっている前記イメージターゲットフレームに最も近似する前記単一の可能なモーションブラーイメージターゲットに関連した前記ブラーベクトルとして問題となっている前記イメージターゲットフレームのモーションブラーベクトルを推定する、
ためのコードをさらに備える、Ｃ２４の非一時的コンピュータ可読媒体。
［Ｃ２７］ 前記複数の可能なモーションブラーイメージターゲットに対して問題となっている前記イメージターゲットフレームを比較する前記コードは、さらに、複数の正規化された相互相関（ＮＣＣ）値を計算するためのコードさらに備えた、Ｃ２６の非一時的コンピュータ可読媒体。
［Ｃ２８］ 第３モーションブラー推定方法に対して計算リソースが利用可能かどうかを決定し、前記第３モーションブラー推定方法に対して計算リソースが利用可能であるとの決定に応答して前記モーションブラーを推定するために前記第３モーションブラー推定方法を適用する、
ためのコードをさらに備えた、Ｃ２４の非一時的コンピュータ可読媒体。
［Ｃ２９］ 前記第３モーションブラー推定方法を適用するための前記コードはさらに、
サーチされるべき複数のブラー量を決定し、
サーチされるべき各ブラー量に関する１つまたは複数のモーションブラーステップの数を決定し、
問題となっているイメージターゲットフレームのポーズと、問題となっている前記イメージターゲットフレームの直前のイメージターゲットフレームのポーズとの間に１つまたは複数の中間ポーズを補間し、ここにおいて中間ポーズの数は前記モーションブラーステップの数に対応する、
複数の非一時的仮想イメージターゲットフレームを構築し、ここにおいて、１つの仮想イメージターゲットフレームは、各中間ポーズならびに問題となっている前記イメージターゲットフレームの前記ポーズおよび問題となっている前記イメージターゲットフレームの直前の前記イメージターゲットフレームの前記ポーズに関して構築される、
各中間ポーズおよび問題となっている前記イメージターゲットフレームの直前の前記イメージターゲットフレームの前記ポーズに関して複数のブラーテンプレートを構築し、ここにおいて各ブラーテンプレートは、前記ブラーテンプレートが構築される前記ポーズであるクリティカルポーズに対応する、
問題となっている前記イメージターゲットフレームに最も近似する単一ブラーテンプレートを見つけるために前記ブラーテンプレートのすべてに対して問題となっている前記イメージターゲットフレームを比較し、
問題となっている前記イメージターゲットフレームに最も近似するように発見された前記単一ブラーテンプレートの前記クリティカルポーズと前記ブラー量の組み合わせとして問題となっている前記イメージターゲットフレームのモーションブラーを推定する、
ためのコードをさらに備えた、Ｃ２８の非一時的コンピュータ可読媒体。
［Ｃ３０］ 前記第１モーションブラー推定方法の結果は前記第２モーションブラー推定方法の適用に使用される、Ｃ２４の非一時的コンピュータ可読媒体。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】