特許 7591662 飛翔光をシミュレートするためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-20

(45)【発行日】2024-11-28

(54)【発明の名称】飛翔光をシミュレートするためのシステムおよび方法

(51)【国際特許分類】

   G06T 13/60 20110101AFI20241121BHJP

【ＦＩ】

G06T13/60

【請求項の数】 22

(21)【出願番号】P 2023542998

(86)(22)【出願日】2021-01-15

(65)【公表番号】

(43)【公表日】2024-01-30

(86)【国際出願番号】 US2021013645

(87)【国際公開番号】W WO2022154803

(87)【国際公開日】2022-07-21

【審査請求日】2024-01-15

(73)【特許権者】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】シン，ドンギク

(72)【発明者】

【氏名】ゴールドバーグ，スティーブン・ベンジャミン

【審査官】益戸 宏

(56)【参考文献】

【文献】特表２００２－５２６８４３（ＪＰ，Ａ）

【文献】江藤剛治 他３名，光の飛翔を捉えた超高速イメージセンサと今後の展開，映像情報メディア学会誌，Vol.74, No.6，2020年，pp.936-941

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １３／６０

Ｇ０６Ｔ １１／００

(57)【特許請求の範囲】

【請求項1】

光学画像に対応する深度マップに基づいて、シミュレートされた波面のための光散乱効果をシミュレートする光学シミュレーション出力を生成するステップと、
前記光学シミュレーション出力に基づいて、および、規定されたタイムスタンプに対応する時間での前記シミュレートされた波面の位置に基づいて、前記光学画像の画素の部分集合の輝度を調節することによって、飛翔光画像を生成するステップとを含む、方法。

【請求項2】

前記光学シミュレーション出力を生成するステップは、
前記深度マップに基づいて３次元データ構造を生成するステップと、
フィルタリングされた３次元データ構造を生成するために、畳み込み演算子を用いて前記３次元データ構造を畳み込むステップとを含む、請求項１に記載の方法。

【請求項3】

前記３次元データ構造を生成するステップは、
前記深度マップの所与の画素について、前記深度マップにおける前記所与の画素の２次元座標に基づいて、および、前記所与の画素に関連付けられた深度値に基づいて、前記所与の画素を前記３次元データ構造のそれぞれの位置にマッピングするステップを含む、請求項２に記載の方法。

【請求項4】

前記畳み込み演算子は、ガウス球を規定する、請求項２または３に記載の方法。

【請求項5】

前記規定されたタイムスタンプに対応する前記時間での前記シミュレートされた波面の前記位置に対応する波面深度を中心とする、前記フィルタリングされた３次元データ構造のボクセルの部分集合を含むスライスを識別するステップをさらに含む、請求項２～４のいずれか１項に記載の方法。

【請求項6】

前記光学シミュレーション出力に基づいて前記光学画像の画素の前記部分集合の前記輝度を調節することは、
識別された前記スライスを用いて前記光学画像のアフィン変換を行なうことを含む、請求項５に記載の方法。

【請求項7】

光の速度に基づいて、および、前記規定されたタイムスタンプに対応する前記時間に基づいて、前記波面深度を決定するステップをさらに含み、
前記波面深度は、前記規定されたタイムスタンプに対応する前記時間での前記光学画像におけるシミュレートされた波面の前記位置を示す、請求項５または６に記載の方法。

【請求項8】

モバイルデバイスであって、
光学画像を取り込むように構成された光学カメラと、
前記光学画像に対応する深度マップを取り込むように構成された深度カメラと、
少なくとも１つのプロセッサとを含み、前記少なくとも１つのプロセッサは、
前記深度マップに基づいて、シミュレートされた波面のための光散乱効果をシミュレートする光学シミュレーション出力を生成し、
飛翔光画像を生成するために、前記光学シミュレーション出力に基づいて、および、規定されたタイムスタンプに対応する時間での前記シミュレートされた波面の位置に基づいて、前記光学画像の画素の部分集合の輝度を調節するように構成される、モバイルデバイス。

【請求項9】

前記光学シミュレーション出力を生成するために、前記プロセッサはさらに、
前記深度マップに基づいて３次元データ構造を生成し、
フィルタリングされた３次元データ構造を生成するために、畳み込み演算子を用いて前記３次元データ構造を畳み込むように構成され、
前記光学シミュレーション出力は、前記フィルタリングされた３次元データ構造を含む、請求項８に記載のモバイルデバイス。

【請求項10】

前記３次元データ構造を生成するために、前記プロセッサは、
前記深度マップの所与の画素について、前記深度マップにおける前記所与の画素の２次元座標に基づいて、および、前記所与の画素に関連付けられた深度値に基づいて、前記所与の画素を前記３次元データ構造のそれぞれの位置にマッピングするように構成される、請求項９に記載のモバイルデバイス。

【請求項11】

前記畳み込み演算子は、ガウス球を規定する、請求項９または１０に記載のモバイルデバイス。

【請求項12】

前記プロセッサは、
前記規定されたタイムスタンプに対応する前記時間での前記シミュレートされた波面の前記位置に対応する波面深度を中心とする、前記フィルタリングされた３次元データ構造のボクセルの部分集合を含むスライスを識別するように構成される、請求項９～１１のいずれか１項に記載のモバイルデバイス。

【請求項13】

前記光学シミュレーション出力に基づいて前記光学画像の画素の前記部分集合の前記輝度を調節するために、前記プロセッサは、
前記飛翔光画像を生成するために、識別された前記スライスを用いて前記光学画像をアフィン変換するように構成される、請求項１２に記載のモバイルデバイス。

【請求項14】

前記プロセッサはさらに、
光の速度に基づいて、および、前記規定されたタイムスタンプに対応する前記時間に基づいて、前記波面深度を決定するように構成され、
前記波面深度は、前記規定されたタイムスタンプに対応する前記時間での前記光学画像における前記シミュレートされた波面の前記位置を示す、請求項１２または１３に記載のモバイルデバイス。

【請求項15】

光学画像と、前記光学画像に対応する深度マップと、１つ以上のタイミングパラメータとに基づいて、複数の飛翔光画像フレームを生成するステップと、
前記複数の飛翔光画像フレームを、飛翔光映像になるよう組み立てるステップとを含み、
前記飛翔光映像は、前記光学画像に表わされたシーンを横切る光パルスの波面の伝播をシミュレートする、方法。

【請求項16】

前記複数の飛翔光画像フレームのうちの飛翔光画像フレームを生成するステップは、
前記深度マップに基づいて３次元データ構造を生成するステップと、
フィルタリングされた３次元データ構造を生成するために、畳み込み演算子を用いて前記３次元データ構造を畳み込むステップと、
前記飛翔光画像フレームを生成するために、光学シミュレーション出力に基づいて前記光学画像の画素の部分集合の輝度を調節するステップとを含み、
前記光学シミュレーション出力は、前記フィルタリングされた３次元データ構造を含む、請求項１５に記載の方法。

【請求項17】

前記３次元データ構造を生成するステップは、
前記深度マップの所与の画素について、前記深度マップにおける前記所与の画素の２次元座標に基づいて、および、前記所与の画素に関連付けられた深度値に基づいて、前記所与の画素を前記３次元データ構造のそれぞれの位置にマッピングするステップを含む、請求項１６に記載の方法。

【請求項18】

前記畳み込み演算子は、ガウス球を規定する、請求項１６または１７に記載の方法。

【請求項19】

前記複数の飛翔光画像フレームのうちの前記飛翔光画像フレームを生成するステップは、
規定されたタイムスタンプに対応する時間での前記光学画像に表わされた前記シーンにおける前記波面の位置に対応する波面深度を中心とする、前記フィルタリングされた３次元データ構造のボクセルの部分集合を含むスライスを識別するステップをさらに含む、請求項１６～１８のいずれか１項に記載の方法。

【請求項20】

前記光学シミュレーション出力に基づいて前記光学画像の画素の前記部分集合の前記輝度を調節するステップは、
前記飛翔光画像フレームを生成するために、前記光学シミュレーション出力を用いて、識別された前記スライスをアフィン変換するステップを含む、請求項１９に記載の方法。

【請求項21】

前記複数の飛翔光画像フレームのうちの前記飛翔光画像フレームを生成するステップは、
光の速度に基づいて、および、前記規定されたタイムスタンプに対応する時間に基づいて、前記波面深度を決定するステップをさらに含み、
前記波面深度は、前記規定されたタイムスタンプに対応する前記時間での前記光学画像に表わされた前記シーンにおける前記波面の前記位置を示す、請求項１９または２０に記載の方法。

【請求項22】

命令が格納された、コンピュータプログラムであって、前記命令は、プロセッサによって実行されると、前記プロセッサに、請求項１～７および１５～２１のいずれか１項に記載の方法のステップを行なわせる、コンピュータプログラム。

【発明の詳細な説明】

【背景技術】

【0001】

背景
従来の手頃なカメラシステムは、シーンの静止光学画像しか取り込むことができない。そのような従来のシステムは、光パケットが空間を通って進み、所与のシーンにおけるオブジェクトに当たって跳ね返る際の複雑な経路を取り込むことができず、したがって、そのようなシーンを横切って動くそのような光パケットを表わす画像または映像を取り込むことができない。光パケットがシーンにおけるオブジェクトを横切って動く際に通る経路の画像を取り込むという概念は、「飛翔光」（light-in-flight）画像化と呼ばれることがある。従来のカメラシステムが飛翔光画像化を行なうには、システムは、比較的高価である高感度の時間タグ付けハードウェアを必要とし、さらに、１兆フレーム／秒で動作する超高感度カメラを必要とするであろう。したがって、飛翔光画像化のために必要とされるハードウェアは、これらのコストおよび機器複雑性に起因して、容易に商品化されることができない。

【発明の概要】

【課題を解決するための手段】

【0002】

概要
一例では、方法は、
光学画像に対応する深度マップに基づいて、シミュレートされた波面のための光散乱効果をシミュレートする光学シミュレーション出力を生成するステップと、
光学シミュレーション出力に基づいて、および、規定されたタイムスタンプに対応する時間でのシミュレートされた波面の位置に基づいて、光学画像の画素の部分集合の輝度を調節することによって、飛翔光画像を生成するステップとを含む。

【0003】

さらなる例によれば、方法は、以下の特徴（またはそれらの任意の組合せ）のうちの１つ以上（たとえばすべて）を含み得る。

【0004】

光学シミュレーション出力を生成するステップは、
深度マップに基づいて３次元データ構造を生成するステップと、
フィルタリングされた３次元データ構造を生成するために、畳み込み演算子を用いて３次元データ構造を畳み込むステップとを含み得る。

【0005】

３次元データ構造を生成するステップは、
深度マップの所与の画素について、深度マップにおける所与の画素の２次元座標に基づいて、および、所与の画素に関連付けられた深度値に基づいて、所与の画素を３次元データ構造のそれぞれの位置にマッピングするステップを含み得る。

【0006】

畳み込み演算子は、ガウス球を規定し得る。
方法はさらに、
規定されたタイムスタンプに対応する時間でのシミュレートされた波面の位置に対応する波面深度を中心とする、フィルタリングされた３次元データ構造のボクセルの部分集合を含むスライスを識別するステップを含み得る。

【0007】

光学シミュレーション出力に基づいて光学画像の画素の部分集合の輝度を調節することは、
識別されたスライスを用いて光学画像のアフィン変換を行なうことを含み得る。

【0008】

方法はさらに、
光の速度に基づいて、および、規定されたタイムスタンプに対応する時間に基づいて、波面深度を決定するステップを含み得る。波面深度は、規定されたタイムスタンプに対応する時間での光学画像におけるシミュレートされた波面の位置を示す。

【0009】

別の例では、モバイルデバイスは、
光学画像を取り込むように構成された光学カメラと、
光学画像に対応する深度マップを取り込むように構成された深度カメラと、
少なくとも１つのプロセッサとを含み、少なくとも１つのプロセッサは、
深度マップに基づいて、シミュレートされた波面のための光散乱効果をシミュレートする光学シミュレーション出力を生成し、
飛翔光画像を生成するために、光学シミュレーション出力に基づいて、および、規定されたタイムスタンプに対応する時間でのシミュレートされた波面の位置に基づいて、光学画像の画素の部分集合の輝度を調節するように構成される。

【0010】

さらなる例によれば、モバイルデバイスは、以下の特徴（またはそれらの任意の組合せ）のうちの１つ以上（たとえばすべて）を含み得る。モバイルデバイス、および／または、モバイルデバイス内に含まれる構成要素は、以下の特徴を行なうように適合され得る。

【0011】

光学シミュレーション出力を生成するために、プロセッサはさらに、
深度マップに基づいて３次元データ構造を生成し、
フィルタリングされた３次元データ構造を生成するために、畳み込み演算子を用いて３次元データ構造を畳み込むように構成され得る。光学シミュレーション出力は、フィルタリングされた３次元データ構造を含む。

【0012】

３次元データ構造を生成するために、プロセッサは、
深度マップの所与の画素について、深度マップにおける所与の画素の２次元座標に基づいて、および、所与の画素に関連付けられた深度値に基づいて、所与の画素を３次元データ構造のそれぞれの位置にマッピングするように構成され得る。

【0013】

畳み込み演算子は、ガウス球を規定し得る。
プロセッサは、
規定されたタイムスタンプに対応する時間でのシミュレートされた波面の位置に対応する波面深度を中心とする、フィルタリングされた３次元データ構造のボクセルの部分集合を含むスライスを識別するように構成され得る。

【0014】

光学シミュレーション出力に基づいて光学画像の画素の部分集合の輝度を調節するために、プロセッサは、
飛翔光画像を生成するために、識別されたスライスを用いて光学画像をアフィン変換するように構成され得る。

【0015】

プロセッサはさらに、
光の速度に基づいて、および、規定されたタイムスタンプに対応する時間に基づいて、波面深度を決定するように構成され得る。波面深度は、規定されたタイムスタンプに対応する時間での光学画像におけるシミュレートされた波面の位置を示す。

【0016】

別の例では、方法は、
光学画像と、光学画像に対応する深度マップと、１つ以上のタイミングパラメータとに基づいて、複数の飛翔光画像フレームを生成するステップと、
複数の飛翔光画像フレームを、飛翔光映像になるよう組み立てるステップとを含み、
飛翔光映像は、光学画像に表わされたシーンを横切る光パルスの波面の伝播をシミュレートする。

【0017】

さらなる例によれば、方法は、以下の特徴（またはそれらの任意の組合せ）のうちの１つ以上（たとえばすべて）を含み得る。

【0018】

複数の飛翔光画像フレームのうちの飛翔光画像フレームを生成するステップは、
深度マップに基づいて３次元データ構造を生成するステップと、
フィルタリングされた３次元データ構造を生成するために、畳み込み演算子を用いて３次元データ構造を畳み込むステップと、
飛翔光画像フレームを生成するために、光学シミュレーション出力に基づいて光学画像の画素の部分集合の輝度を調節するステップとを含み得る。光学シミュレーション出力は、フィルタリングされた３次元データ構造を含む。

【0019】

３次元データ構造を生成するステップは、
深度マップの所与の画素について、深度マップにおける所与の画素の２次元座標に基づいて、および、所与の画素に関連付けられた深度値に基づいて、所与の画素を３次元データ構造のそれぞれの位置にマッピングするステップを含み得る。

【0020】

畳み込み演算子は、ガウス球を規定し得る。
複数の飛翔光画像フレームのうちの飛翔光画像フレームを生成するステップは、
規定されたタイムスタンプに対応する時間での光学画像に表わされたシーンにおける波面の位置に対応する波面深度を中心とする、フィルタリングされた３次元データ構造のボクセルの部分集合を含むスライスを識別するステップをさらに含み得る。

【0021】

光学シミュレーション出力に基づいて光学画像の画素の部分集合の輝度を調節するステップは、
飛翔光画像フレームを生成するために、光学シミュレーション出力を用いて、識別されたスライスをアフィン変換するステップを含み得る。

【0022】

複数の飛翔光画像フレームのうちの飛翔光画像フレームを生成するステップは、
光の速度に基づいて、および、規定されたタイムスタンプに対応する時間に基づいて、波面深度を決定するステップをさらに含み得る。波面深度は、規定されたタイムスタンプに対応する時間での光学画像に表わされたシーンにおける波面の位置を示す。

【0023】

別の例では、コンピュータプログラム製品は、そこに格納された命令を有し得る。命令は、プロセッサによって実行されると、プロセッサに、本明細書に記載されるような方法のステップを行なわせ得る。

【0024】

図面の簡単な説明
添付図面を参照することにより、本開示はよりよく理解され、その多くの特徴および利点が当業者には明らかとなり得る。異なる図面における同じ参照符号の使用は、同様または同一の項目を示す。

【図面の簡単な説明】

【0025】

【図1】いくつかの実施形態に従った、飛翔光エンジンを実行するモバイルデバイスのブロック図である。

【図2】いくつかの実施形態に従った、深度画像に表わされたシーンを横切って波面が進む際の、異なるタイムスタンプに対応する波面画素の位置を表わす深度画像のシーケンスである。

【図3】ビームがレーザーから遠ざかって進む際に生じるビーム拡幅効果を示す、短パルスを介してレーザーによって出力されたビームの図である。

【図4】図２のビームがオブジェクトに入射する際に形成されるガウススポットを表わす図である。

【図5】いくつかの実施形態に従った、２次元深度マップの３次元リフトドメインへの変換を示す図である。

【図6】いくつかの実施形態に従った、短パルス散乱、ビーム拡張、および光分散の効果を表現する畳み込み演算子を用いた、リフトドメインにおける２次元深度マップの畳み込みを示す図である。

【図7】いくつかの実施形態に従った、飛翔光映像を生成する方法のフロー図である。

【図8】いくつかの実施形態に従った、飛翔光画像を生成する方法のフロー図である。

【発明を実施するための形態】

【0026】

詳細な説明
本開示の実施形態は、スマートフォンまたは他のデバイスのカメラシステムを使用して飛翔光画像化がシミュレートされ得るシステムおよび方法を提供する。たとえば、飛翔光効果は、赤緑青（red-green-blue：ＲＧＢ）画像（本明細書では「光学画像」と呼ばれることがある）と深度画像（本明細書では「深度マップ」と呼ばれることがある）とのペアを入力として採用する飛翔光画像を使用してシミュレートされ得る。それらの画像は、スマートフォン、タブレット、スマート眼鏡などのデバイス、または（以下のカメラを含む）別の適用可能なデバイスのＲＧＢカメラ（本明細書では「光学カメラ」と呼ばれることがある）と深度カメラとを使用してそれぞれ取り込まれ得る。

【0027】

いくつかの実施形態では、デバイスは、デバイスからの、または拡張現実（augmented reality：ＡＲ）シーンにおけるオブジェクト（たとえば光源）からの光パルスのシミュレートされた放出に対応する波面の飛翔光画像化をシミュレートし得る。たとえば、取り込まれたＲＧＢ画像に基づいて飛翔光画像フレームを生成する場合、飛翔光エンジンは、そのＲＧＢ画像に対応する深度マップから導き出された深度情報に基づいて、および、シーンに対する波面の動きのタイミングを規定するタイミングパラメータ（たとえば、波面がシーンを横切って進むべき速度、および／または、波面がシーンを横切って進むべき期間）に基づいて、特定の時間にＲＧＢ画像に表わされたシーンにおいて波面がどこに位置するかを計算する。いくつかの実施形態では、波面の知覚可能性を向上させるために、および、波面の光パケットがどのようにシーンのオブジェクトに当たって跳ね返るかをよりよくシミュレートするために、飛翔光エンジンは、畳み込み演算子を対応する深度マップの波面画素に適用することなどによって波面の光学シミュレーションを生成し、次に、飛翔光画像フレームを生成するために光学シミュレーションの出力を用いて元のＲＧＢ画像をアフィン変換することにより、ＲＧＢ画像を変換し得る。光学シミュレーションの出力を用いて元のＲＧＢ画像をアフィン変換することは、波面画素だけでなく、３次元空間における波面画素の影響領域内の画素の輝度も修正し、このため、波面画素の知覚可能性を向上させる。

【0028】

いくつかの実施形態では、光学シミュレーションは、飛翔光映像効果を生成するために生成され、複数の連続するタイムスタンプにわたって元のＲＧＢ画像に適用され得る。たとえば、波面は時間とともに所与のシーンを横切って動くため、飛翔光エンジンは、複数のタイムスタンプのための飛翔光画像フレームのシーケンスを、当該飛翔光画像フレームのシーケンスが元のＲＧＢ画像のシーンを横切る波面の動きを表わすように、生成し得る。飛翔光エンジンは次に、飛翔光画像フレームのシーケンスを組み立てて、たとえば飛翔光映像またはアニメ化されたグラフィックス交換フォーマット（graphics interchange format：ＧＩＦ）ファイルを生成し得る。それは、飛翔光エンジンを実行する実行するデバイスに含まれるかまたは結合されたストレージデバイス（たとえば、ソリッドステートドライブ、ハードディスクドライブ、フラッシュドライブ、メモリなど）上に格納され得る。

【0029】

このように飛翔光画像化をシミュレートすることは、さまざまなアプリケーションを可能にする。たとえば、飛翔光エンジンは、一意的な写真フィルタを取り込まれた画像に適用するために使用されてもよく、写真家がシミュレートされた新規の照明を取り込まれたシーンに導入することを可能にする。別の例として、飛翔光エンジンはＡＲシーンで、そのようなＡＲシーンにおける選択された光源からの光パケットの動きをシミュレートするために適用されてもよく、それは、その審美的な視覚効果にとって望ましい場合があり、または、それは、光路の力学について学生に教えるために使用され得る。

【0030】

図１は、飛翔光画像化をシミュレートするように構成されたモバイルデバイス１００を示すブロック図である。図示されるように、モバイルデバイス１００は、１つ以上のＲＧＢカメラ１０２（本明細書では「光学カメラ１０２」と呼ばれることがある）と、１つ以上の深度カメラ１０４と、１つ以上のプロセッサ１０６と、ディスプレイ１０８と、１つ以上のストレージデバイス１１０とを含む。構成要素１０２、１０４、１０６、１０８、および１１０の各々は、通信チャネル１２０を介して（物理的に、通信可能に、および／または動作可能に）結合される。いくつかの例では、通信チャネル１２０は、システムバス、ネットワーク接続、プロセス間通信データ構造、または、データを通信するための任意の他の方法を含み得る。

【0031】

プロセッサ１０６は、機能性を実現し、および／または、実行のための命令を処理するように構成され得る。たとえば、プロセッサ１０６は、ストレージデバイス１１０上に格納された命令を処理することが可能であり得る。プロセッサ１０６は、マイクロプロセッサ、コントローラ、デジタル信号プロセッサ（digital signal processor：ＤＳＰ）、特定用途向け集積回路（application specific integrated circuit：ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（field-programmable gate array：ＦＰＧＡ）、または同等の論理回路のうちのいずれかまたは各々を含み得る。

【0032】

ストレージデバイス１１０は、動作中にモバイルデバイス１００内の情報を格納するように構成され得る。たとえば、いくつかの実施形態では、ストレージデバイス１１０は、１つ以上のコンピュータ読取可能記憶媒体、コンピュータ読取可能ストレージデバイス、一時的メモリデバイス、および／または揮発性メモリ、たとえばランダムアクセスメモリ（random access memory：ＲＡＭ）、スタティックランダムアクセスメモリ（static random access memory：ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（dynamic random access memory：ＤＲＡＭ）、または他の適用可能な揮発性メモリを含む。いくつかの例では、ストレージデバイスは、プロセッサ１０６による実行のためのプログラム命令を格納するために使用される。いくつかの例では、ストレージデバイスはさらに、１つ以上の不揮発性記憶素子、たとえば、磁気ハードディスク、光ディスク、フロッピー（登録商標）ディスク、フラッシュメモリ、もしくは、電気的プログラマブルメモリ（electrically programmable memory：ＥＰＲＯＭ）または電気的消去可能プログラマブルメモリ（electrically erasable and programmable memory：ＥＥＰＲＯＭ）の形を含み得る。いくつかの実施形態では、ストレージデバイス１１０は、プログラム実行中に情報を一時的に格納するために、モバイルデバイス１００上で実行されるソフトウェアまたはアプリケーション（たとえば飛翔光エンジン１１２）によって使用される。

【0033】

ＲＧＢカメラ１０２は、人およびオブジェクトのシーンの視覚画像（たとえばカラー画像）を取得する標準的な画像センサを含む１つ以上のカメラを含み得る。ＲＧＢカメラ１０２によって取り込まれた光学画像は、ストレージデバイス１１０に格納され得る。本明細書では、ＲＧＢカメラ１０２などのＲＧＢカメラによって取り込まれた光学画像は、「ＲＧＢ画像」と呼ばれることがあり得る。

【0034】

深度カメラ１０４は、モバイルデバイス１００とシーンにおけるオブジェクトのいくつかまたはすべてとの間の距離を規定する、シーンの深度マップを取り込み得る。いくつかの実施形態では、ＲＧＢカメラ１０２によって取り込まれた各ＲＧＢ画像について、深度カメラ１０４は、対応する深度マップを取り込み得る。いくつかの実施形態では、深度カメラ１０４（「範囲カメラ」と呼ばれることがある）は、１つ以上の飛翔時間（Time-of-Flight：ＴｏＦ）深度カメラを含み得る。それらは、パルス光または連続波振幅変調を使用して、赤外光でシーンを照らし、赤外光のＴｏＦを測定する。ＴｏＦは、深度カメラの赤外光源から赤外光が放出された時間から、赤外光がシーンにおけるオブジェクトから反射された後で深度カメラの赤外光センサに戻ってくる時間までの期間として特徴付けられ得る。それに加えて、またはそれに代えて、さまざまな実施形態によれば、ステレオ三角測量カメラおよび符号化開口カメラなどの他のタイプの深度カメラが深度カメラ１０４に含まれ得るということが理解されるべきである。

【0035】

モバイルデバイス１００は、雑然さを減らすために図１に図示されない追加の構成要素を含み得る。たとえば、モバイルデバイス１００は、モバイルデバイス１００の構成要素に電力を提供するためのバッテリを含み得る。

【0036】

図１の例では、ストレージデバイス１１０は、ＲＧＢカメラ１０２によって取り込まれたＲＧＢ画像１１４と、深度カメラ１０４によって取り込まれた深度マップ１１６とを格納し得る。ストレージデバイス１１０は、１つ以上のプロセッサ１０６を用いて飛翔光エンジン１１２を実行するための命令を含み得る。飛翔光エンジン１１２は、ＲＧＢ画像１１４および対応する深度マップ１１６を受信し、ＲＧＢ画像１１４および深度マップ１１６に基づいて飛翔光画像１１８を生成する。たとえば、ＲＧＢ画像１１４の各々について、飛翔光エンジン１１２は、そのＲＧＢ画像のシーンを横切って動く波面を表わす飛翔光画像１１８のシーケンスを生成する。本明細書では、「波面」または「シミュレートされた波面」という用語は一般に、短い光パルスのシミュレートされた放出に対応する。いくつかの実施形態では、飛翔光エンジン１１２は、深度カメラ１０４またはＲＧＢカメラ１０２に位置する源からのそのような短い光パルスの放出をシミュレートし得る。いくつかの実施形態では、飛翔光エンジン１１２は、ＲＧＢ画像に表わされたシーン内の位置またはシーン外部の位置に配置された源からのそのような短い光パルスの放出をシミュレートし得る。いくつかの実施形態では、飛翔光エンジン１１２は、ある環境におけるある位置にある源からのそのような短い光パルスの放出をシミュレートし得る。その源は、その環境における物理オブジェクトに対応していてもよく、もしくは、拡張現実シーンまたは仮想現実シーンの一部としてその位置に関連付けられた仮想オブジェクトに対応していてもよい。

【0037】

所与の期間にわたってＲＧＢ画像１１４のうちの１つのシーンを横切って動く光パルスの波面の飛翔光画像化をシミュレートする場合、飛翔光エンジン１１２は、ＲＧＢ画像１１４のどの画素が、および、対応する深度マップ１１６のどの画素が、対応する光パルスの放出に続く所与の時間での波面の深度に対応するかを、深度マップ１１６において規定された画素深度情報に基づいて判定することができる。たとえば、ＲＧＢ画像と同様に、深度マップは、それぞれの画素値を各々有する画素のアレイを含む。しかしながら、深度マップの各画素は、カラー値を表現するのではなく、深度マップを取り込んだ深度カメラと、その画素が対応するシーンの部分（すなわち「オブジェクトパッチ」）との間の距離に対応するそれぞれの深度値を表現する。

【0038】

深度マップの各深度値は、光が深度カメラに到達するためにかかる時間に光の速度を乗算した関数である（たとえばｄ＝ｃ^＊ｔであり、式中、ｄは距離、ｃは光の速度、ｔは時間である）。これは、波面がシーン内の特定の深度に対応する位置へ進むためにかかるであろう時間の量を、飛翔光エンジンが光の速度に基づいて決定できるということを意味する。したがって、ＲＧＢ画像のシーンを横切って進む波面をシミュレートする場合、飛翔光エンジン１１２は、シーンの対応する深度マップを使用して、波面のシミュレートされた放出に続く所与の時間でのシーンにおける波面の位置を決定する。すなわち、波面のシーンのシミュレートされた横断中の所与の時間での波面の位置に対応するＲＧＢ画像の画素は、ＲＧＢ画像１１４に関連付けられた深度マップ１１６の対応する画素の深度値に基づいて、飛翔光エンジン１１２によって識別され得る。

【0039】

いくつかの実施形態では、飛翔光エンジン１１２は、ストレージデバイス１１０に格納された規定されたタイミングパラメータに基づいて、所与のＲＧＢ画像におけるシーンを横切る波面の横断がシミュレートされるべきである期間を決定し得る。いくつかの実施形態では、飛翔光エンジン１１２は、決定された期間内に生じる個別の時間に対応するタイムスタンプを生成し、各タイムスタンプについて、またはタイムスタンプの部分集合について、それぞれの飛翔光画像を生成し得る。本明細書では、「タイムスタンプ」とは、シーンを横切る波面の伝播がシミュレートされるかまたはシミュレートされるべきである期間中に生じる個別の時間の記録を指す。いくつかの実施形態では、飛翔光エンジン１１２は、生成された飛翔光画像のシーケンス（たとえば、時間的に連続する飛翔光画像）を組み立てることによって、飛翔光映像を生成し得る。

【0040】

それに代えて、いくつかの実施形態では、飛翔光エンジン１１２は、タイミングパラメータにおいて、または、モバイルデバイス１００のユーザによって提供されたユーザ入力を介して規定され得る、決定された期間内の単一のタイムスタンプに対応する単一の飛翔光画像を生成し得る。たとえば、いくつかの写真アプリケーションにおける規定されたタイムスタンプでのＲＧＢ画像から飛翔光画像を１つだけ生成することが望ましい場合がある。いくつかの実施形態では、ＲＧＢ画像および対応する深度マップを取り込んだモバイルデバイス以外のコンピューティングデバイスが、ＲＧＢ画像および深度マップを受信した後で飛翔光エンジン１１２を実行し得るということが理解されるべきである。したがって、本明細書に記載されている飛翔光エンジンの実施形態は、モバイルデバイス、または、具体的には、飛翔光エンジンによって処理中の画像を取り込んだモバイルデバイスによる実行に限定されない。

【0041】

波面放出に続く所与の時間での波面の位置を視覚化するために、飛翔光エンジン１１２は、所望の効果に依存して、識別された画素（本明細書では「波面画素」と呼ばれることがある）の各々の輝度を、ＲＧＢ画像の残りの画素（本明細書では「非波面画素」と呼ばれることがある）に対して増加させてもよく、または、ＲＧＢ画像の非波面画素の各々の輝度を、波面画素の各々の輝度に対して減少させてもよい。

【0042】

図２は、シーンを横切る波面のシミュレートされた横断の３つの異なるタイムスタンプに対応する３つの異なる深度画像のシーケンス２００を表わし、各深度画像は、対応する時間でのシミュレートされた波面の位置（たとえば深度）に対応するシーン内の画素を示す。本例では、飛翔光エンジン１１２は波面を、それがあたかも、画像および対応する深度マップを取り込んだモバイルデバイスから放出された短パルスであるかのように、シミュレートする。シーケンス２００は、第１の時間に対応し、第１の組の波面画素２０４を含む第１の深度画像２０２と、第２の時間に対応し、第２の組の波面画素２０８を含む第２の深度画像２０６と、第３の時間に対応し、第３の組の波面画素２１２を含む第３の深度画像２１０とを含む。第１の時間は第２の時間の前に生じ、第２の時間は第３の時間の前に生じ、第１、第２および第３の時間は各々、深度画像２０２、２０６および２１０、ならびに対応するＲＧＢ画像に表わされたシーンを波面が横断するようにシミュレートされる期間中に生じる。いくつかの実施形態では、より低い画素値を有する深度画像２０２、２０６および２１０の画素は、モバイルデバイスにより近いオブジェクトに対応し、一方、より高い画素値を有する画素は、モバイルデバイスからより遠くのオブジェクトに対応する。すなわち、所与の深度マップ２０２、２０６、２１０の各画素の値は、深度マップに表わされたシーン内のその画素の深度と、対応するＲＧＢ画像における対応する画素のそれとに対応する。したがって、本明細書では、深度マップの画素の画素値は「深度値」と呼ばれ得る。同じ画素値を有する深度マップの画素は、モバイルデバイスからほぼ同じ距離離れている。波面画素２０４、２０８、および２１２は、それらの可視性を向上させるために暗くされたものであり、したがって、波面画素２０４、２０８、および２１２の深度は、図２の図に示されるそれらの色または輝度によって示されないということが理解されるべきである。

【0043】

深度マップのどの画素が所与の時間での波面画素であるかを識別するために、飛翔光エンジン１１２は、その時間に対応する深度値を識別し、識別された深度値を有する深度マップにおけるすべての画素を波面画素であるとして識別する。本例では、時間とともに波面がモバイルデバイスからさらに離れることが示されるように、波面画素２０４は波面画素２０８よりもモバイルデバイスの近くに配置され、波面画素２０８は波面画素２１２よりもモバイルデバイスの近くに配置される。

【0044】

図１の例に戻って、いくつかの実施形態では、飛翔光エンジン１１２は各飛翔光画像における識別された波面画素のみを明るくし得るが、この明るくすることは、元のＲＧＢ画像に表わされたシーンに依存して、知覚することが難しいかもしれない。加えて、識別された波面画素のみを明るくすることは、波面がシーン内のさまざまなオブジェクトに当たる際に生じ得る光散乱、波面がシーンを横切って伝播する際に生じるビーム拡幅、および、波面がシーンを横切って伝播する際に生じる光分散を勘案していない。したがって、いくつかの実施形態では、波面の光パケットがどのようにシーンのオブジェクトから反射または散乱されるか（すなわち、光散乱）をシミュレートし、畳み込み演算子を波面画素に適用することによってビーム拡幅および光分散の効果をシミュレートすることにより、シミュレートされた波面の知覚可能性およびシミュレーションの精度が向上され得る。たとえば、飛翔光エンジン１１２は、波面の光学シミュレーションを生成し、光学シミュレーションの出力を用いて元のＲＧＢ画像をアフィン変換することにより、所与のタイムスタンプでのパルス波面をシミュレートする、ＲＧＢ画像のための飛翔光画像を生成し得る。光学シミュレーションを生成する場合、飛翔光エンジン１１２は、シーンを横切る波面の伝播の非理想性を近似するシミュレーション出力を生成するために、畳み込み演算子を深度マップの画素の３次元変換に適用し得る。次に、飛翔光画像フレームを生成するために、所与のタイムスタンプについての波面深度を中心とするシミュレーション出力のスライスが、元のＲＧＢ画像を用いてアフィン変換され得る。たとえば、畳み込み演算子は、空間における短い光パルス散乱、ビーム拡幅、および光分散の効果を近似し得る。

【0045】

たとえば、図３は、レーザー３０２によって出力された光３０４の短パルスが時間とともにどのように伝播するかを示す。図示されるように、光３０４の断面積３０６は、時間とともにｘ軸およびｙ軸に沿って外向きに拡張し得る。光３０４がレーザー３０２から遠ざかって進むにつれて、それは、散乱、ビーム拡幅、および分散などのさまざまな非理想性を経験し得る。ｘ方向、ｙ方向、およびｔ方向における光３０４の振幅に対するそのような非理想性の影響は、それぞれのガウス関数として規定され得る。ここで、ｘ軸およびｙ軸は、放出光３０４の伝播のベクトルを横断する平面を規定する。ｔ軸は、横断面に直交し、光３０４の伝播のベクトルと平行であり、光３０４が進む時間および距離の双方を表現する。

【0046】

たとえば、時間とともに光３０４の振幅を規定する、ここでベクトルｖ_Ｔとして表わされるパルス関数は、ガウス関数によって近似され得る。なぜなら、それは時間が正確に局所化されないためである。加えて、その横断面に沿った所与の点で、光３０４はガウススポット３０８を規定し得る。図４は、横断面におけるガウススポット３０８のビーム振幅を示すチャート４００を表わす。図示されるように、光３０４の振幅は、ｘ方向およびｙ方向に沿ってそれぞれのガウス関数によって近似され得る。ｘ方向における光３０４の振幅は、ここでベクトルｖ_ｘとして表わされ、ｙ方向における光３０４の振幅は、ここでｖ_ｙとして表わされる。したがって、３次元空間にわたる光３０４の振幅は、式１～４に従って近似され得る：

【0047】

【数1】

【0048】

式中、Ｇ（ｔ）、Ｇ（ｘ）、およびＧ（ｙ）はそれぞれ、ｔ軸、ｘ軸、およびｙ軸でのガウス関数であり、Ｈはベクトルｖ_ｘ、ｖ_ｙ、およびｖ_ｔの外積であり、Ｈが３次元マトリックスを表現するようになっている。図１の例に戻って、飛翔光エンジン１１２は、光学シミュレーション出力を生成するために、畳み込み演算子としての式４からのＨを、元のＲＧＢ画像に関連付けられた深度マップの画素に適用することによって、シミュレートされたパルス波面の量子の（たとえば、図３の光３０４について実証されたような）散乱、ビーム拡幅、および分散などの非理想性をシミュレートし得る。

【0049】

所与のＲＧＢ画像のための光学シミュレーション出力を生成する場合、飛翔光エンジン１１２は、ＲＧＢ画像の対応する深度マップを、立方体データ構造などの３次元データ構造に変換し得る。それは、本明細書では「リフトドメイン」への変換と呼ばれ、そこでは、画素が、深度マップにおける元の画素の位置と元の画素の深度値とによって疎にポピュレートされた（sparsely populated）立方体に対して規定される空間内の位置を有するボクセルに変換される。図５は、２次元ドメインから３次元リフトドメインへの深度マップの変換の一例を示す。図示されるように、２次元深度マップ５１２は当初、それぞれの深度値Ｄ_ｉ、ｊを各々規定する画素のアレイを含み、式中、ｉおよびｊは、アレイにおける所与の画素の座標を規定する。本例では、飛翔光エンジン１１２は深度マップ５１２をリフトドメインに変換し、そこでは、以前は２次元であった深度マップ５１２が３次元の立方体データ構造５２０として表現される。立方体データ構造５２０は、３次元画素（すなわちボクセル）５２４を用いて疎にポピュレートされる。所与のタイムスタンプでの波面の深度に対応するボクセル５２４の部分集合は、本明細書では「波面ボクセル」と呼ばれ得る。リフトドメインに変換されると、ｘ軸およびｙ軸に対する所与のボクセルの位置は維持され、一方、ｔ軸すなわち「時間」軸という新たな第３の軸に沿ったボクセルの位置は、対応する深度マップ画素によって規定された深度値に基づいて決定される。たとえば、光の速度によって除算された所与の画素の深度値は、ｔ軸に沿った対応するボクセルの位置を規定する。なぜなら、上で確立されたように、ｄ＝ｃ^＊ｔであるためである。いくつかの実施形態では、第３の軸は、時間ではなく深度を明示的に規定し得る。

【0050】

深度マップをリフトドメインに変換した後で、飛翔光エンジン１１２は、畳み込み演算子を、結果として生じる立方体データ構造のボクセルに適用する。図６は、立方体データ構造６２０のボクセル６２４への畳み込み演算子６１０の適用を示す。立方体データ構造６２０は、ＲＧＢ画像／深度マップのペアに対応する２次元深度マップのリフトドメイン変換に対応し得る。立方体データ構造６２０では、各ボクセル６２４の位置は、たとえば、波面ボクセル６２４に１の値またはゼロでない別の値を割り当て、立方体データ構造６２０の他のすべてのボクセルにゼロの値を割り当てることによって規定され得る。畳み込み演算子６１０は、たとえば式４の畳み込み演算子Ｈに対応するガウス球６１２を規定し、したがって、ｘ軸、ｙ軸、およびｔ軸に沿ってそれぞれのガウス関数によって規定され得る。飛翔光エンジン１１２は、ボクセル６２４のそれぞれの位置を各々中心とするガウス球６３４を含むフィルタリングされた立方体データ構造６３０を生成するために、立方体データ構造６２０を用いて畳み込み演算子６１０を畳み込む。たとえば、立方体データ構造６３０の各ガウス球６３４のサイズおよび振幅プロファイルは、同じであり得る。いくつかの実施形態では、ｘ軸、ｙ軸、およびｔ軸に沿ったガウス球６３４の寸法は、波面をシミュレートする際に異なる視覚効果を達成するために、ユーザによってカスタマイズ可能である。立方体データ構造６２０のボクセル６２４を用いて畳み込み演算子６１０を畳み込むことにより、各ボクセル６２４の周囲のボクセルの値は、ガウス球６３４によって規定された分布に従って増加される。たとえば、所与の非波面ボクセルの振幅が増加される量は、Ｈによって規定されたガウス球の分布に従って、ボクセル６２４のうちの１つ以上へのその近接性に依存しており、影響されたボクセルは、それらがボクセル６２４に近いほど、より大きい振幅を有する。本明細書では、フィルタリングされた立方体データ構造６３０は、シミュレーション出力と考えられる。

【0051】

飛翔光映像を生成する場合、飛翔光エンジン１１２は、フィルタリングされた立方体データ構造６３０を複数のスライスへと論理的に分割し得る。スライスは各々、それぞれのタイムスタンプに関連付けられた異なる波面深度を中心とし（たとえば、各波面深度は、関連付けられたタイムスタンプの波面の位置に対応する）、また、各々、ｔ次元におけるＨの直径に対応する（すなわちｔ軸に沿った）幅を有する。いくつかの実施形態では、スライスはｔ軸に沿って互いに重複し得るということが理解されるべきである。飛翔光エンジン１１２は次に、飛翔光画像フレームのシーケンスを生成するために、元のＲＧＢ画像を用いて、フィルタリングされた立方体データ構造６３０の各スライスのアフィン変換を行ない得る。飛翔光エンジン１１２は次に、飛翔光映像を生成するために飛翔光画像フレームを組み立て得る。

【0052】

たとえば、図１に戻って、光学シミュレーション出力を生成すると、飛翔光エンジン１１２は、飛翔光画像を生成するために、光学シミュレーション出力のスライスを用いて元のＲＧＢ画像のアフィン変換を行ない得る。式５は、飛翔光画像のシーケンスを生成するために飛翔光エンジン１１２によって行なわれ得るアフィン変換の一例を示す：

【0053】

【数2】

【0054】

式中、Ｓ（Ｉ）は、元のＲＧＢ画像Ｉについて飛翔光エンジン１１２によって出力された１組の飛翔光画像であり、Ｄは元のＲＧＢ画像に対応する深度マップであり、Ｙは光学シミュレーション出力であり、Ｈは畳み込み演算子であり、Ｘは深度マップに対応する立方体データ構造であり、Ｆ（Ｄ）は、立方体データ構造Ｘを生成するために深度マップをリフトドメインに変換するために使用される関数であり、αは、シミュレーション出力に割り当てられた重み（たとえば、元のＲＧＢ画像の影響された画素の輝度が増加される量）を決定する定数であり、ｋは、飛翔光画像のシーケンスの添え字であり、Ｎは、シーケンスにおける飛翔光画像の数である。たとえば、飛翔光エンジン１１２によって行なわれた元のＲＧＢ画像の各アフィン変換は、波面からの光は直接入射し（すなわち、波面画素）、波面からの散乱光は所与のタイムスタンプについて入射した（すなわち、光学シミュレーション出力を生成するために使用された畳み込み演算子によって近似された）であろう元のＲＧＢ画像における画素の輝度を効果的に調節する。式５は飛翔光画像のシーケンスの生成を示すものの、式５は単一の飛翔光画像を生成するためにも使用され得るということが理解されるべきである。

【0055】

飛翔光エンジン１１２は、元のＲＧＢ画像に表わされたシーンを横切る波面の動きをシミュレートする（たとえば式５に関連して提供されたような）飛翔光フレームのシーケンスを生成することによって、飛翔光映像を生成するように構成され得る。そのような飛翔光映像において波面がシーンを横切って動くように表わされる速度（すなわち「波面速度」）は、予め規定されてもよく、飛翔光画像を実行するデバイス（たとえばモバイルデバイス１００）のユーザによって規定されてもよく、または、規定された期間（たとえば、飛翔光映像について予め規定されたかまたはユーザによって規定された期間）に基づいて自動的に規定されてもよい。飛翔光エンジン１１２は、飛翔光映像の飛翔光画像フレームを生成する際に使用されるべきタイムスタンプのシーケンスを、予め規定されたかまたはユーザによって規定された１つ以上のタイミングパラメータに基づいて決定し得る。タイミングパラメータは、波面速度、所望の飛翔光映像の長さ、および／または、予め規定されたサンプリングレートを含み得る。いくつかの実施形態では、飛翔光エンジン１１２は、生成されるべき飛翔光フレームの数を、ＲＧＢ画像に表わされたシーンの深度とタイミングパラメータのうちの１つ以上とに基づいて決定し得る。飛翔光映像に関しては、光の速度でシーンを横切る波面の個別の動きは概して人の目には見えず、または、従来のディスプレイ上で再現可能ではないため、飛翔光エンジン１１２は、見る人が波面の個別の動きを知覚できるようにするために、実際の光波面が動く速度の何分の１かで、または延長された期間にわたって、シーンを横切る波面の動きをシミュレートするように、飛翔光映像を生成し得るということが理解されるべきである。飛翔光映像の再生のために飛翔光エンジン１１２が波面の速度を修正するかまたは波面がシーンを横断する期間を延長する量は、予め設定され得るかまたはユーザによって規定され得る１つ以上の規定されたタイミングパラメータ（それらはたとえばストレージデバイス１１０に格納され得る）に基づいて選択され得る。たとえば、タイミングパラメータは、飛翔光映像において波面が動くべき速度を規定する波面速度、飛翔光映像におけるシーンを波面が横断するべき期間であって、かつ、生成されるべき飛翔光映像の長さとして規定され得る期間を規定する波面期間、または、飛翔光映像の所与の期間にわたって生成されるべき飛翔光画像フレームの数を規定するフレームレート、のうちの１つ以上を含み得る。

【0056】

図７は、飛翔光映像を生成する方法７００のためのプロセスフローを示す。たとえば、方法７００は、ＲＧＢカメラと深度カメラとを有するモバイルデバイスによって行なわれ得る。本例では、方法７００は、図１のモバイルデバイス１００のコンテキストで説明される。

【0057】

ブロック７０２で、モバイルデバイス１００のＲＧＢカメラ１０２および深度カメラ１０４は、ＲＧＢ画像および対応する深度マップを取り込む。ＲＧＢ画像および深度マップは、その後の処理のためにモバイルデバイス１００のストレージデバイス１１０に格納され得る。

【0058】

ブロック７０４で、飛翔光エンジン１１２は、光学シミュレーション出力（たとえば、フィルタリングされた立方体データ構造）を生成するために、深度マップ画素を３次元ドメイン（たとえば立方体データ構造）に変換し、次に、畳み込み演算子Ｈを立方体データ構造の非ゼロボクセルに適用することによって、ＲＧＢ画像および深度マップのための光学シミュレーション出力を生成する。

【0059】

ブロック７０６で、飛翔光エンジン１１２は、生成されるべき飛翔光画像フレームの数Ｎを決定する。いくつかの実施形態では、飛翔光エンジン１１２は、波面速度、波面期間、フレームレート、および／または別の適用可能なタイミングパラメータのうちの１つ以上を含み得る１つ以上のタイミングパラメータに基づいて、生成されるべき飛翔光画像フレームの数を決定する。

【0060】

ブロック７０８で、飛翔光エンジン１１２は、生成されるべき各飛翔光画像フレームについてのそれぞれのタイムスタンプを含むタイムスタンプのシーケンスを決定する。ここで、所与の飛翔光画像フレームについてのタイムスタンプは、所与の飛翔光画像フレームにおいて波面がシミュレートされるべきである位置／深度を決定する。いくつかの実施形態では、シーケンスにおける隣り合うタイムスタンプは、等間隔であってもよい。

【0061】

ブロック７１０で、飛翔光エンジン１１２は、変数ｋを１に等しくなるように設定する。ここで、ｋは、生成されるべき次の飛翔光画像フレームの、フレームのシーケンスに対する添え字を表現する。

【0062】

ブロック７１２で、飛翔光エンジン１１２は、タイムスタンプのシーケンスのｋ番目のタイムスタンプに対応する、シーケンスのｋ番目の飛翔光画像フレームを生成する。たとえば、飛翔光エンジン１１２は、図８の方法８００のブロック８０８および８１０に従って、各画像フレームを生成し得る。

【0063】

ブロック７１４で、飛翔光エンジン１１２は、ｋ＝Ｎ－１であるかどうかを判定することによって、直近に生成された飛翔光画像フレームが飛翔光画像フレームのシーケンスにおける最後の画像フレームであるかどうかを判定する。飛翔光エンジン１１２がｋ＝Ｎ－１であると判定した場合、方法７００はブロック７１８へ進む。そうではなく、飛翔光エンジン１１２がｋ＜Ｎ－１であると判定した場合、方法７００はブロック７１６へ進む。

【0064】

ブロック７１６で、飛翔光エンジン１１２は、ｋの値を１だけインクリメントする。方法７００は次に、ブロック７１２に戻り、そこで、飛翔光エンジン１１２は、シーケンスにおける次の飛翔光画像フレームを生成する。

【0065】

ブロック７１８で、飛翔光エンジン１１２は、飛翔光画像フレームのシーケンスを、ＲＧＢ画像のシーンを横切って進むシミュレートされた波面を表わす飛翔光映像になるよう組み立てる。

【0066】

ブロック７２０で、飛翔光エンジン１１２は、飛翔光映像をストレージデバイス１１０上に格納させる。

【0067】

図８は、飛翔光画像を生成する方法８００のためのプロセスフローを示す。たとえば、方法８００のステップのうちのいくつかまたはすべては、図７のブロック７０４および７１２で、光学シミュレーション出力および飛翔光画像のための飛翔光画像フレームを生成する際に行なわれ得る。別の例として、方法８００は、単一のスタンドアロンの飛翔光画像を生成するために行なわれ得る。たとえば、方法８００は、ＲＧＢカメラと深度カメラとを有するモバイルデバイスによって行なわれ得る。本例では、方法８００は、図１のモバイルデバイス１００のコンテキストで説明される。

【0068】

ステップ８０２で、飛翔光エンジン１１２は、ＲＧＢ画像と、ＲＧＢ画像に対応する深度マップと、タイムスタンプと、予め規定された、またはユーザに規定された１つ以上のタイミングパラメータとを受信する。タイムスタンプは、飛翔光画像が生成されるべきＲＧＢ画像に表わされたシーンを横切る波面の横断中の時間を規定し、その時間での波面の位置は、タイムスタンプから導き出され得る。タイミングパラメータは、波面速度、波面期間、フレームレート、および／または別の適用可能なタイミングパラメータのうちの１つ以上を含み得る。

【0069】

ステップ８０４で、飛翔光エンジン１１２は、深度マップを３次元ドメインに変換する。いくつかの実施形態では、飛翔光エンジン１１２は、本例では立方体データ構造（たとえば、図５の立方体データ構造５２０）と呼ばれる３次元構造を生成するために、深度マップをリフトドメインに変換する。立方体データ構造における所与のボクセルの座標は、元の深度マップの対応する画素の座標と、対応する画素の深度値とに基づいて選択され得る。

【0070】

ステップ８０６で、飛翔光エンジン１１２は、フィルタリングされた立方体データ構造を生成するために、畳み込み演算子（たとえば、式４の畳み込み演算子Ｈ）を立方体データ構造に適用する。たとえば、フィルタリングされた立方体データ構造は、立方体データ構造の非ゼロボクセルを各々中心とする１つ以上のガウス球を含み得る。

【0071】

ステップ８０８で、飛翔光エンジン１１２は、飛翔光画像フレームが生成中である現在のタイムスタンプに対応する光学シミュレーション出力のフィルタリングされた立方体データ構造のスライスを識別する。たとえば、フィルタリングされた立方体データ構造の識別されたスライスは、フィルタリングされた立方体データ構造の部分集合であるマトリックスであり得る。マトリックスは、現在のタイムスタンプに対応する（すなわち、タイムスタンプによって表現される時間での波面の位置に対応する）深度を中心とする深度範囲（すなわち、ｔ軸に沿った値の範囲）内のフィルタリングされた立方体データ構造のすべてのボクセルから構成され得る。ここで、深度範囲のサイズは、ｔ方向における畳み込み演算子Ｈの直径に対応する。ステップ８１２で、飛翔光エンジン１１２は、飛翔光画像フレームを生成するために、光学シミュレーション出力の識別されたスライスを用いて、元のＲＧＢ画像のアフィン変換を行なう。たとえば、アフィン変換は、タイムスタンプの時間に波面が入射するようにシミュレートされた表面に対応するＲＧＢ画像における画素の輝度を増加させ、タイムスタンプの時間に波面からの散乱光が入射するようにシミュレートされた表面に対応する画素の輝度を増加させ得る。

【0072】

いくつかの実施形態では、上述の手法のある局面は、ソフトウェアを実行する処理システムの１つ以上のプロセッサによって実現され得る。ソフトウェアは、非一時的コンピュータ読取可能記憶媒体上に格納されたかまたは他の態様で有形に具現化された１組以上の実行可能命令を含む。ソフトウェアは、１つ以上のプロセッサによって実行されると上述の手法の１つ以上の局面を行なうように１つ以上のプロセッサを操作する命令およびあるデータを含み得る。非一時的コンピュータ読取可能記憶媒体は、たとえば、磁気または光学ディスクストレージデバイス、ソリッドステートストレージデバイス、たとえばフラッシュメモリ、キャッシュ、ランダムアクセスメモリ（ＲＡＭ）、または他の非揮発性メモリデバイス（複数可）などを含み得る。非一時的コンピュータ読取可能記憶媒体上に格納された実行可能命令は、１つ以上のプロセッサによって解釈されるかまたは他の態様で実行可能であるソースコード、アセンブリ言語コード、オブジェクトコード、または他の命令フォーマットであってもよい。

【0073】

コンピュータ読取可能記憶媒体は、使用中に命令および／またはデータをコンピュータシステムに提供するためにコンピュータシステムによってアクセス可能である任意の記憶媒体、または記憶媒体の組合せを含み得る。そのような記憶媒体は、光媒体（たとえば、コンパクトディスク（compact disc：ＣＤ）、デジタル多用途ディスク（digital versatile disc：ＤＶＤ）、ブルーレイディスク）、磁気媒体（たとえば、フロッピー（登録商標）ディスク、磁気テープ、または磁気ハードドライブ）、揮発性メモリ（たとえば、ランダムアクセスメモリ（ＲＡＭ）、またはキャッシュ）、不揮発性メモリ（たとえば、読出専用メモリ（read-only memory：ＲＯＭ）、またはフラッシュメモリ）、もしくは、微小電気機械システム（microelectromechanical system：ＭＥＭＳ）ベースの記憶媒体を含み得るものの、それらに限定されない。コンピュータ読取可能記憶媒体は、コンピューティングシステムに埋め込まれてもよく（たとえば、システムＲＡＭまたはＲＯＭ）、コンピューティングシステムに固定して取り付けられてもよく（たとえば磁気ハードドライブ）、コンピューティングシステムに取り外し可能に取り付けられてもよく（たとえば、光ディスクまたはユニバーサルシリアルバス（Universal Serial Bus：ＵＳＢ）ベースのフラッシュメモリ）、もしくは、有線または無線ネットワークを介してコンピュータシステムに結合されてもよい（たとえば、ネットワークアクセス可能ストレージ（network accessible storage：ＮＡＳ））。

【0074】

なお、一般的な説明において上述された活動または要素のすべてが必要とされるとは限らないこと、特定の活動またはデバイスの一部は必要とされないかもしれないこと、および、説明されたものに加えて、１つ以上のさらなる活動が行なわれ、または要素が含まれ得ることに留意されたい。さらに、活動が列挙される順序は必ずしも、それらが行なわれる順序ではない。また、特定の実施形態を参照して概念が説明されてきた。しかしながら、当業者であれば、請求項に記載されたような本開示の範囲から逸脱することなく、さまざまな修正および変更を行なうことができるということを理解するであろう。したがって、明細書および図面は、限定的ではなく例示的な意味であるとみなされるべきであり、そのような修正はすべて、本開示の範囲内に含まれるよう意図される。

【0075】

特定の実施形態に関して、利益、他の利点、および問題の解決策が上述されてきた。しかしながら、これらの利益、他の利点、問題の解決策、および、任意の利益、他の利点、または解決策が生じるかまたはより顕著になるようにし得る任意の特徴は、請求項のいずれかまたはすべての重大な、必要とされる、または本質的な特徴として解釈されるべきではない。さらに、上に開示された特定の実施形態は単なる例示である。なぜなら、開示された主題は、本明細書での教示の利益を有する当業者には明らかな、異なるものの同等の態様で、修正され実践され得るためである。請求項での記載以外、本明細書に示された構築または設計の詳細への限定は意図されない。したがって、上に開示された特定の実施形態が変更または修正され得ること、および、そのような変更がすべて、開示された主題の範囲内で考慮されることは明らかである。したがって、本明細書で求められる保護は、請求項で述べられる通りである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】