特表 2022-541669 ２－Ｄ画像のリアルタイム体積視覚化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-09-26

(54)【発明の名称】２－Ｄ画像のリアルタイム体積視覚化

(51)【国際特許分類】

   G06T 19/00 20110101AFI20220915BHJP

   G06T 15/20 20110101ALI20220915BHJP

   H04N 7/18 20060101ALN20220915BHJP

【ＦＩ】

G06T19/00 A

G06T15/20 500

H04N7/18 U

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022505465

(86)(22)【出願日】2020-12-10

(85)【翻訳文提出日】2022-01-26

(86)【国際出願番号】 US2020064272

(87)【国際公開番号】W WO2021119285

(87)【国際公開日】2021-06-17

(31)【優先権主張番号】62/947,732

(32)【優先日】2019-12-13

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/883,449

(32)【優先日】2020-05-26

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(71)【出願人】

【識別番号】596102126

【氏名又は名称】ソニー ピクチャーズ エンターテインメント インコーポレイテッド

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(72)【発明者】

【氏名】アンダーバーグ トビアス

【テーマコード（参考）】

5B050

5B080

5C054

【Ｆターム（参考）】

5B050BA09

5B050DA07

5B050EA07

5B050EA27

5B080BA04

5B080GA22

5C054CA04

5C054CA05

5C054CC02

5C054FC15

5C054FD02

5C054HA05

(57)【要約】

複数のカメラを使用してビデオデータを取り込むステップと、取り込まれたビデオデータを第１のシェーダに送信するステップと、第１のシェーダにおいて、取り込まれたビデオデータを使用して深度情報を計算するステップと、深度情報を使用して３次元（３－Ｄ）点群を生成するステップと、３－Ｄ点群を使用して視覚化画像をレンダリングするステップとを含む、ビデオを取り込んで視覚化する方法。
【選択図】 図１Ａ

【特許請求の範囲】

【請求項1】

ビデオを取り込んで視覚化する方法であって、
複数のカメラを使用してビデオデータを取り込むステップと、
前記取り込まれたビデオデータを第１のシェーダに送信するステップと、
前記第１のシェーダにおいて、前記取り込まれたビデオデータを使用して深度情報を計算するステップと、
前記深度情報を使用して３次元（３－Ｄ）点群を生成するステップと、
前記３－Ｄ点群を使用して視覚化画像をレンダリングするステップと、
を含むことを特徴とする方法。

【請求項2】

前記視覚化画像をレンダリングするステップは、前記視覚化画像を３－Ｄ環境において提示するステップを含む、
請求項１に記載の方法。

【請求項3】

前記深度情報を計算するステップは、前記複数のカメラのうちの２つのカメラ間の距離を使用するステップを含む、
請求項１に記載の方法。

【請求項4】

レンズ歪みを考慮するようにカメラレンズを計算するステップをさらに含む、
請求項１に記載の方法。

【請求項5】

前記第１のシェーダはコンピュートシェーダである、
請求項１に記載の方法。

【請求項6】

前記３－Ｄ点群に色情報を適用するステップをさらに含む、
請求項１に記載の方法。

【請求項7】

前記複数のカメラは、少なくとも１つのＩＲカメラと少なくとも１つのカラーカメラとを含む、
請求項１に記載の方法。

【請求項8】

前記取り込まれたビデオデータは複数のＩＲ画像を含む、
請求項１に記載の方法。

【請求項9】

前記深度情報及び前記少なくとも１つのカラー画像を第２のシェーダに入力するステップをさらに含む、
請求項８に記載の方法。

【請求項10】

前記第２のシェーダが、前記少なくとも１つのカラー画像からの色情報を前記３－Ｄ点群内の関連する点に非同期的に適用することをさらに含む、
請求項９に記載の方法。

【請求項11】

ビデオを取り込んで視覚化するためのシステムであって、
ビデオデータを取り込む複数の２－Ｄカメラと、
前記ビデオデータを受け取り、該受け取ったビデオデータを使用して深度情報を計算し、該深度情報を使用して２－Ｄ深度バッファを生成する第１のコンピュートシェーダと、
前記２－Ｄ深度バッファを使用して、３－Ｄ点群の視覚化画像をレンダリングするレンダラーと、
を備えることを特徴とするシステム。

【請求項12】

前記視覚化画像を３－Ｄ環境において提示するディスプレイをさらに備える、
請求項１１に記載のシステム。

【請求項13】

前記３－Ｄ点群に色を適用するカラーシェーダをさらに備える、
請求項１１に記載のシステム。

【請求項14】

前記複数の２－Ｄカメラは、少なくとも１つのＩＲカメラと少なくとも１つのカラーカメラとを含む、
請求項１１に記載のシステム。

【請求項15】

前記取り込まれたビデオデータは複数のＩＲ画像を含む、
請求項１１に記載のシステム。

【請求項16】

前記生成された２－Ｄ深度バッファ及び前記少なくとも１つのカラー画像を受け取り、前記２－Ｄ深度バッファから前記３－Ｄ点群を生成し、前記少なくとも１つのカラー画像からの色を前記３－Ｄ点群内の関連する点に非同期的に適用する第２のコンピュートシェーダをさらに備える、
請求項１５に記載のシステム。

【請求項17】

ビデオを取り込んで視覚化するためのコンピュータプログラムを記憶した非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラムは、
複数のカメラを使用してビデオデータを取り込み、
前記取り込まれたビデオデータを第１のシェーダに送信し、
前記第１のシェーダにおいて、前記取り込まれたビデオデータを使用して深度情報を計算し、
前記深度情報を使用して３－Ｄ点群を生成し、
前記３－Ｄ点群を使用して視覚化画像をレンダリングする、
ことをコンピュータに行わせる実行可能命令を含む、ことを特徴とする非一時的コンピュータ可読記憶媒体。

【請求項18】

前記視覚化画像をレンダリングすることを前記コンピュータに行わせる前記実行可能命令は、前記視覚化画像を３Ｄ環境において提示することを前記コンピュータに行わせる実行可能命令を含む、
請求項１７に記載の非一時的コンピュータ可読記憶媒体。

【請求項19】

前記深度情報を計算することを前記コンピュータに行わせる前記実行可能命令は、前記複数のカメラのうちの２つのカメラ間の距離を使用することを前記コンピュータに行わせる実行可能命令を含む、
請求項１７に記載の非一時的コンピュータ可読記憶媒体。

【請求項20】

前記３－Ｄ点群に色情報を適用することを前記コンピュータに行わせる実行可能命令をさらに含む、
請求項１７に記載の非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

〔関連出願との相互参照〕
本出願は、２０１９年１２月１３日に出願された「２－Ｄ画像のリアルタイム体積視覚化（Ｒｅａｌ－Ｔｉｍｅ Ｖｏｌｕｍｅｔｒｉｃ Ｖｉｓｕａｌｉｚａｔｉｏｎ ｏｆ Ｍｕｌｔｉｓｐｅｃｔｒａｌ ２－Ｄ Ｉｍａｇｅｓ）」という名称の同時係属中である米国仮特許出願第６２／９４７，７３２号の米国特許法第１１９条に基づく優先権の利益を主張するものであり、上記出願の開示は引用により本明細書に組み入れられる。

【0002】

本開示は、ビデオデータの処理に関し、具体的には、被写体及び環境のビデオデータを取り込み、データが取り込まれている間に取り込まれたビデオデータの視覚化を提示することに関する。

【背景技術】

【0003】

ビデオシステムは、マルチスペクトルイメージング（例えば、２－Ｄ赤外線カメラとカラーカメラとの組み合わせ）を使用して、取り込まれた２－Ｄデータから物体の３－Ｄ体積データセットを再構成することができる。従来、このような再構成プロセスは「オフライン」で行われ、システムは、再構成プロセスが終了するまで最終結果を見るため又は確認するために画像又は視覚化を提示せず、これは非常に時間の掛かるタスクとなり得る。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、ビデオデータを取り込み、データが取り込まれている間に取り込まれたデータの視覚化を提示することを可能にする。

【課題を解決するための手段】

【0005】

１つの実装では、ビデオを取り込んで視覚化する方法を開示する。この方法は、複数のカメラを使用してビデオデータを取り込むステップと、取り込まれたビデオデータを第１のシェーダに送信するステップと、第１のシェーダにおいて、取り込まれたビデオデータを使用して深度情報を計算するステップと、深度情報を使用して３次元（３－Ｄ）点群を生成するステップと、３－Ｄ点群を使用して視覚化画像をレンダリングするステップとを含む。

【0006】

１つの実装では、視覚化画像をレンダリングするステップが、視覚化画像を３－Ｄ環境において提示するステップを含む。１つの実装では、深度情報を計算するステップが、複数のカメラのうちの２つのカメラ間の距離を使用するステップを含む。１つの実装では、方法が、レンズ歪みを考慮するようにカメラレンズを計算するステップをさらに含む。１つの実装では、第１のシェーダがコンピュートシェーダである。１つの実装では、方法が、３－Ｄ点群に色情報を適用するステップをさらに含む。１つの実装では、複数のカメラが、少なくとも１つのＩＲカメラと少なくとも１つのカラーカメラとを含む。１つの実装では、取り込まれたビデオデータが複数のＩＲ画像を含む。１つの実装では、方法が、深度情報及び少なくとも１つのカラー画像を第２のシェーダに入力するステップをさらに含む。１つの実装では、方法が、第２のシェーダが少なくとも１つのカラー画像からの色情報を３－Ｄ点群内の関連する点に非同期的に適用することをさらに含む。

【0007】

別の実装では、ビデオを取り込んで視覚化するためのシステムを開示する。システムは、ビデオデータを取り込む複数の２－Ｄカメラと、ビデオデータを受け取り、受け取ったビデオデータを使用して深度情報を計算し、深度情報を使用して２－Ｄ深度バッファを生成する第１のコンピュートシェーダと、２－Ｄ深度バッファを使用して、３－Ｄ点群の視覚化画像をレンダリングするレンダラーとを含む。

【0008】

１つの実装では、システムが、視覚化画像を３－Ｄ環境において提示するディスプレイをさらに含む。１つの実装では、システムが、３－Ｄ点群に色を適用するカラーシェーダをさらに含む。１つの実装では、複数の２－Ｄカメラが、少なくとも１つのＩＲカメラと少なくとも１つのカラーカメラとを含む。１つの実装では、取り込まれたビデオデータが複数のＩＲ画像を含む。１つの実装では、システムが、生成された２－Ｄ深度バッファ及び少なくとも１つのカラー画像を受け取り、２－Ｄ深度バッファから３－Ｄ点群を生成し、少なくとも１つのカラー画像からの色を３－Ｄ点群内の関連する点に非同期的に適用する第２のコンピュートシェーダをさらに含む。

【0009】

別の実施形態では、ビデオを取り込んで視覚化するためのコンピュータプログラムを記憶した非一時的コンピュータ可読記憶媒体を開示する。コンピュータプログラムは、複数のカメラを使用してビデオデータを取り込み、取り込まれたビデオデータを第１のシェーダに送信し、第１のシェーダにおいて、取り込まれたビデオデータを使用して深度情報を計算し、深度情報を使用して３－Ｄ点群を生成し、３－Ｄ点群を使用して視覚化画像をレンダリングする、ことをコンピュータに行わせる実行可能命令を含む。

【0010】

１つの実装では、視覚化画像をレンダリングすることをコンピュータに行わせる実行可能命令が、視覚化画像を３Ｄ環境において提示することをコンピュータに行わせる実行可能命令を含む。１つの実装では、深度情報を計算することをコンピュータに行わせる実行可能命令が、複数のカメラのうちの２つのカメラ間の距離を使用することをコンピュータに行わせる実行可能命令を含む。１つの実装では、プログラムが、３－Ｄ点群に色情報を適用することをコンピュータに行わせる実行可能命令をさらに含む。

【0011】

本開示の態様を一例として示す本明細書からは、他の特徴及び利点も明らかになるはずである。

【0012】

同じ部分を同じ参照数字によって示す添付図面を検討することにより、本開示の詳細をその構造及び動作の両方に関して部分的に入手することができる。

【図面の簡単な説明】

【0013】

【図1A】本開示の１つの実装によるビデオ取り込み及び視覚化のための方法のフロー図である。

【図1B】複数の２－Ｄカメラから深度情報を計算するプロセスを示すグラフである。

【図1C】２つのＩＲカメラからの２－Ｄ画像を組み合わせて３－Ｄ画像を生成するプロセスを示す図である。

【図1D】３－Ｄ画像とカラー画像とを組み合わせて３－Ｄカラー画像を生成する処理を示す図である。

【図2】本開示の１つの実装によるビデオ取り込み及び視覚化のためのシステム２００のブロック図である。

【図3A】本開示の１つの実装によるコンピュータシステム及びユーザの表現である。

【図3B】本開示の１つの実装による、ビデオ取り込み及び視覚化アプリケーションをホストするコンピュータシステムを示す機能ブロック図である。

【発明を実施するための形態】

【0014】

上述したように、マルチスペクトル画像装置を使用して、取り込まれた２－Ｄデータから物体の３－Ｄデータを再構成するオフライン再構成プロセスは、非常に時間の掛かるタスクとなり得る。さらに、このオフラインプロセスでは、再構成プロセスが終了するまで最終結果を見るため又は確認するために画像又は視覚化が提示されない。

【0015】

本開示のいくつかの実装は、結果として得られた取り込まれようとしているデータをより良く理解できるように、再構成結果又は結果のバージョンをリアルタイム又は近リアルタイムで提示する技術を実装するシステム及び方法を提供する。この技術は、結果として得られたデータができる限り良好なものであることを確実にするために取り込み前に最終調整を行えるようにするものである。

【0016】

以下の説明を読んだ後には、様々な実装及び用途における本開示の実装方法が明らかになるであろう。本明細書では本開示の様々な実装について説明するが、これらの実装はほんの一例として提示するものであり、限定ではないと理解されたい。従って、様々な実装の詳細な説明は、本開示の範囲又は外延を限定するものとして解釈すべきではない。

【0017】

１つの実装では、ビデオシステムが、グラフィカルプロセッシングユニット（ＧＰＵ）の「コンピュートシェーダ」を使用して、画像ストリームを設定間隔でサンプリングする。これにより、システムは、取り込まれた２－Ｄ画像の３次元（３－Ｄ）体積点群を点群に色が適用された状態で構成することができる。システムは、これらの点群を３Ｄ環境で提示する。１つの実装では、３Ｄ環境が仮想カメラを使用して、視覚化されたデータセットをナビゲートする。１つの実装では、ビデオシステムが、ビデオ制作環境又はスタジオ環境で使用され、画像取り込みのための１又は２以上のカメラと、カメラデータを処理するための１又は２以上のコンピュータとを含む。

【0018】

他の実装では、システムが、（１）構成データの検証を容易にするために仮想カメラで３Ｄシーンを提示し、（２）（例えば、ＩＲカメラ及びカラーカメラを含む複数のカメラを使用して）複数の２－Ｄ画像から深度マップを生成し、（３）生成された深度マップから３－Ｄ点群を構成し、（４）３－Ｄ点群にカラーカメラからの色を適用するように構成される。

【0019】

図１Ａは、本開示の１つの実装によるビデオ取り込み及び視覚化のための方法１００のフロー図である。図１Ａの例示的な実装では、ステップ１１０において、複数のカメラ（例えば、２－Ｄカメラ）を使用してビデオデータを取り込み、ステップ１２０において、取り込まれたビデオデータをシェーダに送信する。次に、ステップ１３０において、シェーダが取り込まれたビデオデータを使用して深度情報を計算する。

【0020】

１つの実装では、図１Ｂに示すように、方法１００が、図１Ｂに示すベースラインと呼ばれるライン上で互いの光学的中心から一定距離（ｙ）にある２－Ｄカメラ（例えば、２つのＩＲカメラＡ及びＣ）を校正することによって、２－Ｄ画像から（例えば、２又は３以上の画像から、又はたった１つの画像から）深度情報を計算する。他の実装では、２つのカラーカメラを使用することができる。１つの実装では、レンズ歪みを考慮するようにカメラレンズも計算される。方法１００は、深度を計算するための空間内の点も決定する。この点は、２つのカメラにとって２－Ｄで「見える」ものである（例えば、カメラＡにとっては点ｘ、カメラｂにとっては点ｘ’）。各カメラは、校正された焦点距離（ｆ）も有する。

【0021】

１つの実装では、方法１００が、最初に

のように深度（ｄ）を計算し、ここで、ｔは２つのカメラＡ及びＣ間の距離を表し、ｆは焦点距離を表し、Ｚはベースラインから物体１７０の焦点（ｑ）までの距離を表す。従って、深度は、点ｘ及びｘ’間の距離として計算され、ｔとｆの積に正比例し、距離Ｚに反比例する。

【0022】

１つの実装では、上述の方法１００が高速計算のために非同期コンピュートシェーダ（ａｓｙｎｃｈｒｏｎｏｕｓ ｃｏｍｐｕｔｅ ｓｈａｄｅｒ）において使用される。従って、図１Ｃに示すこの実装では、方法１００が、（例えば、一方がＩＲカメラＡからのものであり、もう一方がＩＲカメラＣからのものである）２つの画像１８０、１８４を入力として非同期コンピュートシェーダ（すなわち、第１のコンピュートシェーダ）に提供する。すると、第１のコンピュートシェーダは深度バッファを計算し、この結果を２－Ｄの深度バッファとして出力する。ステップ１３０において深度情報が２－Ｄ深度バッファの形で計算されると、ステップ１４０において、この深度情報を使用して３－Ｄ点群１８６を生成する。

【0023】

１つの実装では、３－Ｄ点群の生成が、深度バッファを使用して点群（３－Ｄ点群）の３つの軸（ｘ、ｙ、ｚ）を計算することを含む。ｚ位置は、ｚ＝（ｔ＊ｆ）／（ｄ＊ｐ）として計算され、
ここで、
ｄ＝深度であり、
ｔ＝２つのカメラＡ及びＣ間の距離であり、
ｆ＝焦点距離であり、
ｐ＝ｚ成分を計算するための点である。

【0024】

ｘ位置及びｙ位置の計算は、カメラの焦点距離（水平視野（Ｈ）及び垂直視野（Ｖ））、解像度（解像度幅（Ｒ_x）及び解像度高さ（Ｒ_y））、並びに計算されたｚに依存する。従って、ｘ位置及びｙ位置は以下のように計算され、
ｘ＝ｚ／ｔａｎ（ｘ₂）、ここで、
ｘ₂＝ｘ₁＋ｐ_x＊（Ｈ／Ｒ_x）、
ｘ₁＝（π－Ｈ）／２であり、
ｙ＝ｚ＊ｔａｎ（ｙ₂）＊－１、ここで、
ｙ₂＝ｙ₁＋ｐ_y＊（Ｖ／Ｒ_y）、
ｙ₁＝２＊π－（Ｖ／２）である。

【0025】

次に、ステップ１５０において、３－Ｄ点群を使用して視覚化画像をレンダリングし、ステップ１６０においてこれを３－Ｄ環境で提示する。１つの実装では、図１Ｄに示すように、カラーカメラＢによって取り込まれたカラー画像１８２を使用して３－Ｄ点群１８６に色を適用してカラー３－Ｄ画像１９０を生成する。３－Ｄ環境で視覚化画像を提示することにより、ユーザは、仮想カメラを使用して、結果として得られた体積データをナビゲートしてシーン及びデータをより厳密に検査することができる。

【0026】

別の実装では、以下の変形形態が可能である。例えば、計算された深度バッファは、さらなる視覚化及び検証のためにグレースケール画像などの２－Ｄビューで提示される。別の例では、オフライン高出力クラウド処理を使用して「近リアルタイム」で深度構成を実行する。このような例では、カメラから画像が取り込まれ、データが処理のためにクラウドシステムに送信され、結果として得られた点群がレンダリングのためにクラウドシステムによってホストマシンに返送される。

【0027】

図２は、本開示の１つの実装によるビデオ取り込み及び視覚化のためのシステム２００のブロック図である。図２の例示的な実装では、システム２００が、ＩＲカメラ２１０、２１２及びカラーカメラ２１４を含む複数の２－Ｄカメラ２１０、２１２、２１４と、第１のシェーダ２２０と、第２のシェーダ２２２と、レンダラー２４０とを含む。

【0028】

１つの実装では、複数の２－Ｄ ＩＲカメラ２１０、２１２がビデオデータ（すなわち、２－Ｄ画像）を取り込んで第１のシェーダ２２０に送信する。すると、第１のシェーダ２２０は、受け取ったビデオデータを使用して深度情報を計算する。従って、この実装では、第１のシェーダ２２０が、（例えば、一方がＩＲカメラ２１０からのものであり、もう一方がＩＲカメラ２１２からのものである）２つの画像を入力として受け取る。

【0029】

１つの実装では、第１のシェーダ２２０が、２－Ｄ ＩＲカメラ２１０、２１２を（図１Ｂに示すベースライン上で）互いの光学的中心から一定の距離（ｙ）で校正することによって、２－Ｄ画像から（例えば、２又は３以上の画像から、又はたった１つの画像から）深度情報を計算する。他の実装では、２つのカラーカメラを使用することができる。１つの実装では、レンズ歪みを考慮するようにカメラレンズも計算される。第１のシェーダ２２０は、深度を計算するための空間内の点も決定する。この点は、２つのカメラ２１０、２１２にとって２－Ｄで「見える」ものである。各カメラは、校正された焦点距離（ｆ）も有する。１つの実装では、第１のシェーダ２２０が、高速計算のために非同期コンピュートシェーダとして構成される。

【0030】

１つの実装では、第１のシェーダ２２０が、最初に

のように深度（ｄ）を計算し、ここで、ｔは２つのカメラ２１０及び２１２間の距離を表し、ｆは焦点距離を表し、Ｚはベースラインから物体１７０の焦点（ｑ）までの距離を表す。その後、第１のシェーダ２２０は深度バッファを計算し、この結果を２－Ｄ深度バッファとして出力して第２のシェーダに送信する。

【0031】

１つの実装では、第１のシェーダ２２０によって出力された２－Ｄ深度バッファとカラーカメラ２１４からのカラー画像とが第２のシェーダ２２２に入力される。第２のシェーダ２２２は、カラー画像内の色を、深度バッファから計算された関連する点に非同期的に適用する。第２のシェーダ２２２の出力は、カラーデータを含む３－Ｄ点群である視覚化画像である。

【0032】

１つの実装では、次にレンダラー２４０が、視覚化画像を３Ｄ環境でディスプレイ２５０上にレンダリングする。３－Ｄ環境で視覚化画像をレンダリングすることにより、ユーザは、仮想カメラを使用して、結果として得られた体積データをナビゲートしてシーン及びデータをより厳密に検査することができる。従って、１つの実装では、ディスプレイ２５０が、視覚化画像を処理して仮想カメラの実行に必要なプロセスを実行するプロセッサを含むコンピュータ装置に結合される。

【0033】

別の実装では、カメラが画像を取り込んで処理のためにクラウドシステムに送信し、結果として得られた点群がクラウドシステムによってレンダリングのためにシステム２００に返送される。

【0034】

図３Ａは、本開示の１つの実装によるコンピュータシステム３００及びユーザ３０２の表現である。ユーザ３０２は、コンピュータシステム３００を使用して、図１及び図２の方法１００及びシステム２００に関して図示し説明したようなビデオ取り込み及び視覚化のためのビデオ取り込み及び視覚化アプリケーション３９０を実行する。

【0035】

コンピュータシステム３００は、図３Ｂのビデオ取り込み及び視覚化アプリケーション３９０を記憶して実行する。また、コンピュータシステム３００は、ソフトウェアプログラム３０４と通信することもできる。ソフトウェアプログラム３０４は、ビデオ取り込み及び視覚化アプリケーション３９０のためのソフトウェアコードを含むことができる。以下でさらに説明するように、ソフトウェアプログラム３０４は、ＣＤ、ＤＶＤ又はストレージドライブなどの外部媒体にロードすることができる。

【0036】

さらに、コンピュータシステム３００は、ネットワーク３８０に接続することもできる。ネットワーク３８０は、例えばクライアント－サーバアーキテクチャ、ピアツーピアネットワークアーキテクチャ又は他のタイプのアーキテクチャなどの様々な異なるアーキテクチャで接続することができる。例えば、ネットワーク３８０は、ビデオ取り込み及び視覚化アプリケーション３９０内で使用されるエンジンとデータとを協調させるサーバ３８５と通信することができる。また、ネットワークは、異なるタイプのネットワークとすることもできる。例えば、ネットワーク３８０は、インターネット、ローカルエリアネットワーク又はローカルエリアネットワークのいずれかの変形形態、ワイドエリアネットワーク、メトロポリタンエリアネットワーク、イントラネット又はエクストラネット、或いは無線ネットワークとすることができる。

【0037】

図３Ｂは、本開示の実装による、ビデオ取り込み及び視覚化アプリケーション３９０をホストするコンピュータシステム３００を示す機能ブロック図である。コントローラ３１０はプログラマブルプロセッサであり、コンピュータシステム３００及びそのコンポーネントの動作を制御する。コントローラ３１０は、メモリ３２０又は埋め込みコントローラメモリ（図示せず）から（例えば、コンピュータプログラムの形態の）命令をロードし、これらの命令を実行して、例えばデータ処理を行って深度を確立し、データをレンダリングして視覚化を提示するようにシステムを制御する。コントローラ３１０は、その実行において、ビデオ取り込み及び視覚化アプリケーション３９０に、タスク待ち行列を使用して装置群の作成と装置設定データの送信とを同時に可能にするようなソフトウェアシステムを提供する。或いは、このサービスは、コントローラ３１０又はコンピュータシステム３００内の別のハードウェアコンポーネントとして実装することもできる。

【0038】

メモリ３２０は、コンピュータシステム３００の他のコンポーネントによって使用されるデータを一時的に記憶する。１つの実装では、メモリ３２０がＲＡＭとして実装される。１つの実装では、メモリ３２０が、フラッシュメモリ及び／又はＲＯＭなどの長期又は固定メモリも含む。

【0039】

ストレージ３３０は、コンピュータシステム３００の他のコンポーネントによって使用されるデータを一時的に又は長期にわたって記憶する。例えば、ストレージ３３０は、ビデオ取り込み及び視覚化アプリケーション３９０によって使用されるデータを記憶する。１つの実装では、ストレージ３３０がハードディスクドライブである。

【0040】

媒体装置３４０は、取り外し可能媒体を受け取り、挿入された媒体に対してデータの読み取り及び／又は書き込みを行う。１つの実装では、例えば、媒体装置３４０が光ディスクドライブである。

【0041】

ユーザインターフェイス３５０は、コンピュータシステム３００のユーザからのユーザ入力を受け入れてユーザ３０２に情報を提示するコンポーネントを含む。１つの実装では、ユーザインターフェイス３５０が、キーボード、マウス、オーディオスピーカ及びディスプレイを含む。コントローラ３１０は、ユーザ３０２からの入力を使用してコンピュータシステム３００の動作を調整する。

【0042】

Ｉ／Ｏインターフェイス３６０は、外部記憶装置又は補助装置（例えば、プリンタ又はＰＤＡ）などの対応するＩ／Ｏ装置に接続するための１又は２以上のＩ／Ｏポートを含む。１つの実装では、Ｉ／Ｏインターフェイス３６０のポートが、ＵＳＢポート、ＰＣＭＣＩＡポート、シリアルポート及び／又はパラレルポートなどのポートを含む。別の実装では、Ｉ／Ｏインターフェイス３６０が、外部装置と無線で通信するための無線インターフェイスを含む。

【0043】

ネットワークインターフェイス３７０は、イーサネット接続をサポートするＲＪ－４５又は（限定するわけではないが８０２.１１を含む）「Ｗｉ－Ｆｉ」インターフェイスなどの有線及び／又は無線ネットワーク接続を含む。

【0044】

コンピュータシステム３００は、コンピュータシステムに特有のさらなるハードウェア及びソフトウェア（例えば、電源、冷却、オペレーティングシステム）を含むが、これらのコンポーネントは、単純にするために図３Ｂには具体的に示していない。他の実装では、コンピュータシステムの異なる構成（例えば、異なるバス又はストレージ構成、又はマルチプロセッサ構成）を使用することもできる。

【0045】

本明細書に開示した実装の説明は、本発明をいずれかの当業者が実施又は利用できるように行ったものである。当業者には、これらの実装の数多くの修正が容易に明らかになると思われ、また本明細書で定める原理は、本発明の趣旨又は範囲から逸脱することなく他の実装にも適用することができる。例えば、システム及び方法の実装は、映画又はテレビのためのビデオ制作に加えて、バーチャルプロダクション（例えば、仮想現実環境）又は医療画像などの他の用途に適用して適合させることもできる。従って、本開示は、本明細書に示す実装に限定されることを意図するものではなく、本明細書に開示する原理及び新規の特徴と一致する最も広い範囲を許容すべきものである。

【0046】

本開示の特定の実装では、必ずしも上述した各実施例の全ての特徴が必要なわけではない。さらに、本明細書に示す説明及び図面は、本発明によって幅広く検討される主題を表すものであると理解されたい。さらに、本開示の範囲は、当業者に明らかになると考えられる他の実装を完全に含み、従って添付の特許請求の範囲以外のものによって限定されるものではないと理解されたい。

【符号の説明】

【0047】

１００ 方法
１１０ ２又は３以上のカメラを使用してビデオデータを取り込む
１２０ 取り込まれたビデオデータをシェーダに送信
１３０ シェーダにおいて、取り込まれたビデオデータを使用して深度情報を計算
１４０ 深度情報を使用して３－Ｄ点群を生成
１５０ ３－Ｄ点群を使用して視覚化画像をレンダリング
１６０ 視覚化画像を３－Ｄ環境で提示

【図1A】

【図1B】

【図1C】

【図1D】

【図2】

【図3A】

【図3B】

【国際調査報告】