(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-09-26
(54)【発明の名称】体積画像の位置合わせ及びカラー化のためのトランススペクトル特徴検出
(51)【国際特許分類】
G06T 7/33 20170101AFI20220915BHJP
H04N 5/232 20060101ALI20220915BHJP
【FI】
G06T7/33
H04N5/232 290
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022505466
(86)(22)【出願日】2020-12-10
(85)【翻訳文提出日】2022-01-26
(86)【国際出願番号】 US2020064268
(87)【国際公開番号】W WO2021119283
(87)【国際公開日】2021-06-17
(32)【優先日】2019-12-13
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2020-05-26
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(71)【出願人】
【識別番号】596102126
【氏名又は名称】ソニー ピクチャーズ エンターテインメント インコーポレイテッド
(74)【代理人】
【識別番号】100092093
【氏名又は名称】辻居 幸一
(74)【代理人】
【識別番号】100109070
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100109335
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【氏名又は名称】近藤 直樹
(72)【発明者】
【氏名】アンダーバーグ トビアス
(72)【発明者】
【氏名】メッツガー スコット
【テーマコード(参考)】
5C122
5L096
【Fターム(参考)】
5C122EA21
5C122EA42
5C122FH02
5C122FH18
5C122GA01
5C122GA23
5C122HA13
5C122HA35
5C122HB01
5L096AA02
5L096AA06
5L096AA09
5L096CA02
5L096DA02
5L096FA69
5L096JA11
(57)【要約】
体積画像を位置合わせして着色することが、少なくとも1つのスキャナを使用して強度データを取り込むことと、強度データを使用して、シーン内のサンプル特徴を含む少なくとも1つの特徴を含む強度画像を生成することと、少なくとも1つのカメラを使用して、色情報を含む画像データを取り込むことと、画像データを使用して、サンプル特徴を含むカメラ画像を生成することと、強度画像内のサンプル特徴をカメラ画像内のサンプル特徴とマッチングして強度画像とカメラ画像とを位置合わせすることと、位置合わせされた強度画像に色情報を適用することによってカラー画像を生成することと、を含む。
【選択図】
図1A
【特許請求の範囲】
【請求項1】
画像位置合わせ及びカラー化のための方法であって、
少なくとも1つのスキャナを使用して強度データを取り込むステップと、
前記強度データを使用して、シーン内のサンプル特徴を含む少なくとも1つの特徴を含む強度画像を生成するステップと、
少なくとも1つのカメラを使用して、色情報を含む画像データを取り込むステップと、
前記画像データを使用して、前記サンプル特徴を含むカメラ画像を生成するステップと、
前記強度画像内の前記サンプル特徴を前記カメラ画像内の前記サンプル特徴とマッチングして前記強度画像と前記カメラ画像とを位置合わせするステップと、
前記位置合わせされた強度画像に前記色情報を適用することによってカラー画像を生成するステップと、
を含むことを特徴とする方法。
【請求項2】
前記少なくとも1つのスキャナは、少なくとも1つのLIDARスキャナを含む、
請求項1に記載の方法。
【請求項3】
前記少なくとも1つのLIDARスキャナによって取り込まれる強度データは3-D強度画像である、
請求項2に記載の方法。
【請求項4】
前記3-D強度画像に前記色情報を適用するステップをさらに含む、
請求項3に記載の方法。
【請求項5】
前記3-D強度画像から2-D強度画像を生成するステップをさらに含む、
請求項3に記載の方法。
【請求項6】
前記少なくとも1つのカメラは少なくとも1つのHDRカメラを含む、
請求項1に記載の方法。
【請求項7】
前記少なくとも1つのHDRカメラによって取り込まれる前記カメラデータは2-Dカラー写真である、
請求項6に記載の方法。
【請求項8】
前記画像データを使用して前記カメラ画像を生成するステップは、前記画像データに対して露光スタッキング及び色補正を行って前記カメラ画像を生成するステップを含む、
請求項1に記載の方法。
【請求項9】
前記強度画像内に1又は2以上の制御点を生成するステップと、
前記強度画像と前記カメラ画像との前記位置合わせの調整を受け取るステップと、
をさらに含む、請求項1に記載の方法。
【請求項10】
前記カメラ画像内のいずれかのレンズ歪みの補正を実行するステップと、
前記強度画像と前記カメラ画像との前記位置合わせの調整を受け取るステップと、
をさらに含む、請求項1に記載の方法。
【請求項11】
体積画像を位置合わせしてカラー化するシステムであって、
強度データを取り込む少なくとも1つのスキャナと、
色情報を含む画像データを取り込む少なくとも1つのカメラと、
前記取り込まれた強度データを使用して、シーン内のサンプル特徴を含む少なくとも1つの特徴を含む強度画像を生成し、
前記画像データを使用して、前記サンプル特徴を含む。カメラ画像を生成し、
前記強度画像内の前記サンプル特徴を前記カメラ画像内の前記サンプル特徴とマッチングして前記強度画像と前記カメラ画像とを位置合わせし、
前記位置合わせされた強度画像に前記色情報を適用することによってカラー画像を生成する、
プロセッサと、
を備えることを特徴とするシステム。
【請求項12】
前記少なくとも1つのスキャナは、少なくとも1つのLIDARスキャナを含む、
請求項11に記載のシステム。
【請求項13】
前記少なくとも1つのLIDARスキャナによって取り込まれる強度データは3-D強度画像である、
請求項12に記載のシステム。
【請求項14】
前記少なくとも1つのカメラは少なくとも1つのHDRカメラを含む、
請求項11に記載のシステム。
【請求項15】
前記プロセッサから前記強度画像及び前記カメラ画像を受け取り、前記マッチング及び前記位置合わせを実行して前記プロセッサに結果を返送するクラウドクラスタをさらに備える、
請求項11に記載のシステム。
【請求項16】
体積画像を位置合わせしてカラー化するコンピュータプログラムを記憶した非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラムは、
強度データを取得し、
前記強度データを使用して、シーン内のサンプル特徴を含む少なくとも1つの特徴を含む強度画像を生成し、
色情報を含む画像データを取り込み、
前記画像データを使用して、前記サンプル特徴を含むカメラ画像を生成し、
前記強度画像内の前記サンプル特徴を前記カメラ画像内の前記サンプル特徴とマッチングして前記強度画像と前記カメラ画像とを位置合わせし、
前記位置合わせされた強度画像に前記色情報を適用することによってカラー画像を生成する、
ことをコンピュータに行わせる実行可能命令を含む、ことを特徴とする非一時的コンピュータ可読記憶媒体。
【請求項17】
前記取り込まれる強度データは3-D強度画像である、
請求項16に記載の非一時的コンピュータ可読記憶媒体。
【請求項18】
前記3-D強度画像から2-D強度画像を生成することを前記コンピュータに行わせる実行可能命令を含む、
請求項17に記載の非一時的コンピュータ可読記憶媒体。
【請求項19】
前記画像データを使用して前記カメラ画像を生成することを前記コンピュータに行わせる前記実行可能命令は、前記画像データに対して露光スタッキング及び色補正を実行して前記カメラ画像を生成することを前記コンピュータに行わせる実行可能命令を含む、
請求項16に記載の非一時的コンピュータ可読記憶媒体。
【請求項20】
前記強度画像内に1又は2以上の制御点を生成し、
前記強度画像と前記カメラ画像との前記位置合わせの調整を受け取る、
ことを前記コンピュータに行わせる実行可能命令をさらに含む、請求項1に記載の非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
〔関連出願との相互参照〕
本出願は、2019年12月13日に出願された「体積画像の位置合わせ及びカラー化のためのトランススペクトル特徴検出(Trans-Spectral Feature Detection for Volumetric Image Alignment and Colorization)」という名称の同時係属中である米国仮特許出願第62/947,747号の米国特許法第119条に基づく優先権の利益を主張するものである。上記出願の開示は引用により本明細書に組み入れられる。
【0002】
本開示は、画像の位置合わせ及びカラー化に関し、具体的には、体積画像の位置合わせ及びカラー化のためのトランススペクトル特徴検出に関する。
【背景技術】
【0003】
ビデオ制作、スタジオ環境又はバーチャルプロダクションにおいて使用されるビデオシステムは、レーザースキャナとカラー撮影との組み合わせを使用してシーンを再現することができる。この再現動作は、画像位置合わせプログラムを手動で使用して、カラー写真とレーザースキャンから生成された強度画像との間で点をマッチングすることを含むことができる。しかしながら、2つの画像内の対応する点を定めてマッチングする手動操作は、処理が煩雑で長い時間が掛かる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示は、体積画像の位置合わせ及びカラー化を可能にする。
【課題を解決するための手段】
【0005】
1つの実装では、画像の位置合わせ及びカラー化のための方法を開示する。この方法は、少なくとも1つのスキャナを使用して強度データを取り込むステップと、強度データを使用して、シーン内のサンプル特徴を含む少なくとも1つの特徴を含む強度画像を生成するステップと、少なくとも1つのカメラを使用して、色情報を含む画像データを取り込むステップと、画像データを使用して、サンプル特徴を含むカメラ画像を生成するステップと、強度画像内のサンプル特徴をカメラ画像内のサンプル特徴とマッチングして強度画像とカメラ画像とを位置合わせするステップと、位置合わせされた強度画像に色情報を適用することによってカラー画像を生成するステップとを含む。
【0006】
1つの実装では、少なくとも1つのスキャナが少なくとも1つのLIDARスキャナを含む。1つの実装では、少なくとも1つのLIDARスキャナによって取り込まれる強度データが3-D強度画像である。1つの実装では、方法が、3-D強度画像に色情報を適用するステップをさらに含む。1つの実装では、方法が、3-D強度画像から2-D強度画像を生成するステップをさらに含む。1つの実装では、少なくとも1つのカメラが少なくとも1つのHDRカメラを含む。1つの実装では、少なくとも1つのHDRカメラによって取り込まれるカメラデータが2-Dカラー写真である。1つの実装では、画像データを使用してカメラ画像を生成するステップが、画像データに対して露光スタッキング及び色補正を行ってカメラ画像を生成するステップを含む。1つの実装では、方法が、強度画像内に1又は2以上の制御点を生成するステップと、強度画像とカメラ画像との位置合わせの調整を受け取るステップとをさらに含む。1つの実装では、方法が、カメラ画像内のいずれかのレンズ歪みの補正を実行するステップと、強度画像とカメラ画像との位置合わせの調整を受け取るステップとをさらに含む。
【0007】
別の実装では、体積画像を位置合わせしてカラー化するシステムを開示する。このシステムは、強度データを取り込む少なくとも1つのスキャナと、色情報を含む画像データを取り込む少なくとも1つのカメラと、取り込まれた強度データを使用して、シーン内のサンプル特徴を含む少なくとも1つの特徴を含む強度画像を生成し、画像データを使用して、サンプル特徴を含む。カメラ画像を生成し、強度画像内のサンプル特徴をカメラ画像内のサンプル特徴とマッチングして強度画像とカメラ画像とを位置合わせし、位置合わせされた強度画像に色情報を適用することによってカラー画像を生成する、プロセッサとを含む。
【0008】
1つの実装では、少なくとも1つのスキャナが少なくとも1つのLIDARスキャナを含む。1つの実装では、少なくとも1つのLIDARスキャナによって取り込まれる強度データが3-D強度画像である。1つの実装では、少なくとも1つのカメラが少なくとも1つのHDRカメラを含む。1つの実装では、システムが、プロセッサから強度画像及びカメラ画像を受け取り、マッチング及び位置合わせを実行してプロセッサに結果を返送するクラウドクラスタをさらに含む。
【0009】
別の実装では、体積画像を位置合わせしてカラー化するコンピュータプログラムを記憶した非一時的コンピュータ可読記憶媒体を開示する。コンピュータプログラムは、強度データを取得し、強度データを使用して、シーン内のサンプル特徴を含む少なくとも1つの特徴を含む強度画像を生成し、色情報を含む画像データを取り込み、画像データを使用して、サンプル特徴を含むカメラ画像を生成し、強度画像内のサンプル特徴をカメラ画像内のサンプル特徴とマッチングして強度画像とカメラ画像とを位置合わせし、位置合わせされた強度画像に色情報を適用することによってカラー画像を生成する、ことをコンピュータに行わせる実行可能命令を含む。
【0010】
1つの実装では、取り込まれる強度データが3-D強度画像である。1つの実装では、コンピュータ可読記憶媒体が、3-D強度画像から2-D強度画像を生成することをコンピュータに行わせる実行可能命令を含む。1つの実装では、画像データを使用してカメラ画像を生成することをコンピュータに行わせる実行可能命令が、画像データに対して露光スタッキング及び色補正を実行してカメラ画像を生成することをコンピュータに行わせる実行可能命令を含む。1つの実装では、コンピュータ可読記憶媒体が、強度画像内に1又は2以上の制御点を生成し、強度画像とカメラ画像との位置合わせの調整を受け取る、ことをコンピュータに行わせる実行可能命令をさらに含む。
【0011】
本開示の態様を一例として示す本明細書からは、他の特徴及び利点も明らかになるはずである。
【0012】
同じ部分を同じ参照数字によって示す添付図面を検討することにより、本開示の詳細をその構造及び動作の両方に関して部分的に入手することができる。
【図面の簡単な説明】
【0013】
【
図1A】本開示の1つの実装による体積画像の位置合わせ及びカラー化のための方法のフロー図である。
【
図1B】本開示の別の実装による体積画像の位置合わせ及びカラー化のための方法のフロー図である。
【
図2】本開示の1つの実装による体積画像の位置合わせ及びカラー化のためのシステムのブロック図である。
【
図3A】本開示の1つの実装によるコンピュータシステム及びユーザの表現である。
【
図3B】本開示の1つの実装による、位置合わせ及びカラー化アプリケーションをホストするコンピュータシステムを示す機能ブロック図である。
【発明を実施するための形態】
【0014】
上述したように、ビデオ制作、スタジオ環境又はバーチャルプロダクションにおいて使用されるビデオシステムは、レーザースキャナとカラー撮影との組み合わせを使用してシーンを再現することができ、この動作は、画像位置合わせプログラムを手動で使用して、カラー写真とレーザースキャンから生成された強度画像との間で点をマッチングすることを伴うことができる。しかしながら、2つの画像内の対応する点を定めてマッチングする手動操作は、処理が煩雑で長い時間が掛かる。
【0015】
本開示のいくつかの実装は、ビデオデータ処理技術を実装するシステム及び方法を提供する。1つの実装では、ビデオシステムが、被写体及び環境のビデオデータを取り込み、点を色付けした体積データセットを作成する。1つの実装では、システムが、点に対する色の割り当てを自動化する。
【0016】
以下の説明を読んだ後には、様々な実装及び用途における本開示の実装方法が明らかになるであろう。本明細書では本開示の様々な実装について説明するが、これらの実装はほんの一例として提示するものであり、限定ではないと理解されたい。従って、様々な実装の詳細な説明は、本開示の範囲又は外延を限定するものとして解釈すべきではない。
【0017】
新たなシステムの1つの実装では、光検知及び測距(LIDAR)スキャナ(例えば、レーザースキャナ)を使用して、色を含まない強度データによって表される体積点群(3-D)を生成する。一方で、LIDARスキャナでスキャンした現実世界の環境を再現するために、環境の高ダイナミックレンジ(HDR)写真(カラー画像)を撮影して、LIDARスキャンした強度データの2-D画像表現にマッピングする。
【0018】
1つの実装では、新たなシステムが、1又は2以上のLIDARスキャナで強度情報を取り込み、1又は2以上のカメラで画像及びカラー情報を取り込む。新たなシステムは、カラー撮影及び強度画像の両方において画像特徴検出を使用して、2つのトランススペクトル画像(例えば、強度画像及びカラー画像)を共にマッピングし、位置合わせし、及び/又はマッチングすることができる(まとめて「位置合わせ」と呼ぶ)。システムは、位置合わせを改善するために検出点の微調整を可能にすることもできる。
【0019】
1つの実装では、画像特徴検出法が、カラー写真内の特徴を自動的に検出し、現実世界のLIDARスキャンからの強度画像内の特徴とマッチングして位置合わせするステップを含む。画像特徴検出法は、位置合わせプロセス中にレンズ歪みを補正するステップも含む。方法は、手動微調整、位置合わせの調整、並びにグラフィックスプロセッシングユニット(GPU)の非同期コンピュートシェーダ(asynchronous compute shaders)を利用して計算及びカラー化を行うことをさらに含む。
【0020】
図1Aは、本開示の1つの実装による体積画像の位置合わせ及びカラー化のための方法100のフロー図である。1つの実装では、方法が、LIDARスキャナ及びHDR撮影を使用してシーンを再現することを含む。従って、このシーンの再現は、(シーンの3-D強度データを生成するために)複数の場所からLIDARスキャナで環境をスキャンし、(シーンの2-Dカラー画像データを生成するために)HDRカメラを使用して複数の場所から多重露光でシーンを撮影することを含む。
【0021】
1つの実装では、シーンの3-D強度データから2-D強度画像が生成される。2-Dカラー画像データに対して露光スタッキング及び色補正を実行して、LIDARスキャナによってスキャンされたシーンの特定のビューの強度画像に対応するHDR画像を生成する。次に、HDR画像の特徴を2-Dの強度画像の特徴とマッチングする。特徴検出法は、数ある中でもとりわけ、ヒストグラム特徴検出、エッジベースの特徴検出、スペクトル特徴検出及び共起特徴検出(co-occurrence feature detection)を含む。
【0022】
図1Aの例示的な実装では、ステップ110において、スキャナを使用して取り込まれた強度データから強度画像を生成する。1つの実装では、強度画像がシーン内の少なくとも1つの特徴を含み、少なくとも1つの特徴がサンプル特徴を含む。ステップ112において、HDRカメラを使用して、色情報を含む画像データを取り込む。ステップ114において、画像データを使用して、シーンのサンプル特徴を含むカメラ画像を生成する。ステップ116において、強度画像のサンプル特徴とカメラ画像のサンプル特徴とをマッチングし、強度画像とカメラ画像とを位置合わせする。ステップ118において、位置合わせされた強度画像に色情報を適用することによってカラー強度画像を生成する。
【0023】
さらなる実装では、位置合わせプロセス中及びその完了後にいずれかのレンズ歪みを補正し、GPUを使用して、位置合わせを微調整するために使用できる制御点を提示する。別の実装では、LIDAR3-D強度データに直接色が適用される。
【0024】
体積画像の位置合わせ及びカラー化のための方法の別の実装では、マッチング及び位置合わせ動作が、ユーザが2-D LIDAR強度画像をHDR写真と共にアップロードできる高出力クラウドクラスタ上で「オフライン」で行われる。その後、クラウドクラスタが上記プロセスを実行してユーザに最終結果を提示する。
【0025】
図1Bは、本開示の別の実装による体積画像の位置合わせ及びカラー化のための方法120のフロー図である。
図1Cには、
図1Bで説明するステップのプロセス図を示す。
【0026】
図1B及び
図1Cの例示的な実装では、ステップ130において、2-Dカラー画像160及び2-D強度画像162という2つの画像を受け取る。次に、ステップ132において、2-Dカラー画像160を2-Dグレースケール画像164に変換する(
図1Cのプロセス170を参照)。ステップ134において、2-Dグレースケール画像164及び2-D強度画像162の両方に対して初回通過形状検出(first pass shape detection)を実行する(
図1Cのプロセス172を参照)。ステップ136において、検出された形状を使用して初回通過特徴検出を実行して、両画像のマッチする「形状点」を発見する。
図1Cの例では、カラー画像が強度画像と直接「マッチ」していない(すなわち、カラー画像(P座標)が強度画像(Q座標)に対してわずかに回転している)。従って、次にステップ138において、画像間の位相相関を計算していずれかのオフセットを得る(
図1Cのプロセス174を参照)。ステップ140において、位相相関データを使用して画像変換を計算し、ステップ142において、画像変換を使用して、変換後の2-Dカラー画像166が2-D強度画像と同じ向きを有するように2-Dカラー画像を変換する。
【0027】
1つの実装では、方法120が、ステップ144において初期画像位置合わせを実行し、ステップ146においてさらに細かな特徴検出を実行することをさらに含む。例えば、初期画像位置合わせは、エッジの前処理を含むことができ、さらに細かな特徴検出は、前処理の結果をハフアルゴリズム(Hough Algorithms)又はその他の線/特徴検出に供給することを含むことができる。ステップ148において、「シャープコーナーマッチ(sharp corner match)」又はその他の特徴マッチングなどの何らかの発見的特徴(heuristic characteristics)に基づいて、重なり合うマッチした特徴からマッチする特徴点を抽出する。ステップ150において、ステップ136で発見された形状点、ステップ148で抽出された特徴点、及びステップ138で計算された位相相関を使用して、最終画像変換を計算する。最後に、ステップ152において、最終画像変換を使用して2-Dカラー画像(ソース画像)を2-D強度画像(ターゲット画像)に位置合わせする(
図1Cのプロセス176を参照)。
【0028】
図2は、本開示の1つの実装による、体積画像の位置合わせ及びカラー化のためのシステム200のブロック図である。
図2の例示的な実装では、システム200が、ビデオ制作、スタジオ環境又はバーチャルプロダクションにおいてシーンを再現するために使用され、画像取り込みのためのカメラ210と、スキャナ及び/又はセンサ220と、カメラ及びセンサデータを処理するプロセッサ230とを含む。1つの実装では、カメラ210がHDRカメラを含み、スキャナ/センサ220がLIDARスキャナを含む。従って、1つの特定の実装では、このシーンの再現が、シーンの3-D強度データを生成するためにLIDARスキャナ220でシーンをスキャンし、シーンの2-Dカラー画像データを生成するためにHDRカメラを使用してシーンを撮影することを含む。図示の実装では1つのカメラ及び1つのスキャナしか示していないが、1又は2以上のさらなるカメラ及び/又は1又は2以上のさらなるスキャナを使用することもできる。
【0029】
1つの実装では、プロセッサ230が、LIDARスキャナ220によって取り込まれた強度データを受け取って強度画像を生成する。1つの実装では、強度画像がシーンの(サンプル特徴を含む)特徴を含む。プロセッサ230は、HDRカメラ210によって取り込まれた(色情報を含む)画像データを受け取って(サンプル特徴を含む)カメラ画像も生成する。プロセッサ230は、強度画像内のサンプル特徴とカメラ画像内のサンプル特徴とをマッチングして強度画像とカメラ画像とを位置合わせする。プロセッサ230は、位置合わせされた強度画像に色情報を適用してカラー強度画像を生成する。
【0030】
さらなる実装では、プロセッサ230が、いずれかのレンズ歪みの補正も実行し、位置合わせを微調整するために使用できる点を制御する。1つの実装では、プロセッサ230がGPUとして構成される。別の実装では、プロセッサ230が、2-D LIDAR強度画像をHDR写真と共に高出力クラウドクラスタにアップロードすることによってマッチング及び位置合わせ動作を外部委託する。その後、クラウドクラスタは、上記のプロセスを実行してプロセッサ230に最終結果を返送する。
【0031】
図3Aは、本開示の1つの実装によるコンピュータシステム300及びユーザ302の表現である。ユーザ302は、コンピュータシステム300を使用して、
図1A及び
図1Bの方法100、120及び
図2のシステム200に関して図示し説明したような体積画像の位置合わせ及びカラー化のための位置合わせ及びカラー化アプリケーション390を実行する。
【0032】
コンピュータシステム300は、
図3Bの位置合わせ及びカラー化アプリケーション390を記憶して実行する。また、コンピュータシステム300は、ソフトウェアプログラム304と通信することもできる。ソフトウェアプログラム304は、位置合わせ及びカラー化アプリケーション390のためのソフトウェアコードを含むことができる。以下でさらに説明するように、ソフトウェアプログラム304は、CD、DVD又はストレージドライブなどの外部媒体にロードすることができる。
【0033】
さらに、コンピュータシステム300は、ネットワーク380に接続することもできる。ネットワーク380は、例えばクライアント-サーバアーキテクチャ、ピアツーピアネットワークアーキテクチャ又は他のタイプのアーキテクチャなどの様々な異なるアーキテクチャで接続することができる。例えば、ネットワーク380は、位置合わせ及びカラー化アプリケーション390内で使用されるエンジンとデータとを協調させるサーバ385と通信することができる。また、ネットワークは、異なるタイプのネットワークとすることもできる。例えば、ネットワーク380は、インターネット、ローカルエリアネットワーク又はローカルエリアネットワークのいずれかの変形形態、ワイドエリアネットワーク、メトロポリタンエリアネットワーク、イントラネット又はエクストラネット、或いは無線ネットワークとすることができる。
【0034】
図3Bは、本開示の実装による、位置合わせ及びカラー化アプリケーション390をホストするコンピュータシステム300を示す機能ブロック図である。コントローラ310はプログラマブルプロセッサであり、コンピュータシステム300及びそのコンポーネントの動作を制御する。コントローラ310は、メモリ320又は埋め込みコントローラメモリ(図示せず)から(例えば、コンピュータプログラムの形態の)命令をロードし、これらの命令を実行して、例えばデータ処理を行って深度を確立し、データをレンダリングして視覚化を提示するようにシステムを制御する。コントローラ310は、その実行において、位置合わせ及びカラー化アプリケーション390に、タスク待ち行列を使用して装置群の作成と装置設定データの送信とを同時に可能にするようなソフトウェアシステムを提供する。或いは、このサービスは、コントローラ310又はコンピュータシステム300内の別のハードウェアコンポーネントとして実装することもできる。
【0035】
メモリ320は、コンピュータシステム300の他のコンポーネントによって使用されるデータを一時的に記憶する。1つの実装では、メモリ320がRAMとして実装される。1つの実装では、メモリ320が、フラッシュメモリ及び/又はROMなどの長期又は固定メモリも含む。
【0036】
ストレージ330は、コンピュータシステム300の他のコンポーネントによって使用されるデータを一時的に又は長期にわたって記憶する。例えば、ストレージ330は、位置合わせ及びカラー化アプリケーション390によって使用されるデータを記憶する。1つの実装では、ストレージ330がハードディスクドライブである。
【0037】
媒体装置340は、取り外し可能媒体を受け取り、挿入された媒体に対してデータの読み取り及び/又は書き込みを行う。1つの実装では、例えば、媒体装置340が光ディスクドライブである。
【0038】
ユーザインターフェイス350は、コンピュータシステム300のユーザからのユーザ入力を受け入れてユーザ302に情報を提示するコンポーネントを含む。1つの実装では、ユーザインターフェイス350が、キーボード、マウス、オーディオスピーカ及びディスプレイを含む。コントローラ310は、ユーザ302からの入力を使用してコンピュータシステム300の動作を調整する。
【0039】
I/Oインターフェイス360は、外部記憶装置又は補助装置(例えば、プリンタ又はPDA)などの対応するI/O装置に接続するための1又は2以上のI/Oポートを含む。1つの実装では、I/Oインターフェイス360のポートが、USBポート、PCMCIAポート、シリアルポート及び/又はパラレルポートなどのポートを含む。別の実装では、I/Oインターフェイス360が、外部装置と無線で通信するための無線インターフェイスを含む。
【0040】
ネットワークインターフェイス370は、イーサネット接続をサポートするRJ-45又は(限定するわけではないが802.11を含む)「Wi-Fi」インターフェイスなどの有線及び/又は無線ネットワーク接続を含む。
【0041】
コンピュータシステム300は、コンピュータシステムに特有のさらなるハードウェア及びソフトウェア(例えば、電源、冷却、オペレーティングシステム)を含むが、これらのコンポーネントは、単純にするために
図3Bには具体的に示していない。他の実装では、コンピュータシステムの異なる構成(例えば、異なるバス又はストレージ構成、又はマルチプロセッサ構成)を使用することもできる。
【0042】
本明細書に開示した実装の説明は、本発明をいずれかの当業者が実施又は利用できるように行ったものである。当業者には、これらの実装の数多くの修正が容易に明らかになると思われ、また本明細書で定める原理は、本発明の趣旨又は範囲から逸脱することなく他の実装にも適用することができる。例えば、システム及び方法の実装は、映画又はテレビのためのビデオ制作に加えて、バーチャルプロダクション(例えば、仮想現実環境)又はその他のLIDAR又は3-D点空間カラー化用途などの他の用途に適用して適合させることもできる。従って、本開示は、本明細書に示す実装に限定されることを意図するものではなく、本明細書に開示する原理及び新規の特徴と一致する最も広い範囲を許容すべきものである。
【0043】
本開示の特定の実装では、必ずしも上述した各実施例の全ての特徴が必要なわけではない。さらに、本明細書に示す説明及び図面は、本発明によって幅広く検討される主題を表すものであると理解されたい。さらに、本開示の範囲は、当業者に明らかになると考えられる他の実装を完全に含み、従って添付の特許請求の範囲以外のものによって限定されるものではないと理解されたい。
【符号の説明】
【0044】
110 スキャナを使用して取り込まれた強度データから強度画像を生成
112 HDRカメラを使用して画像データを取り込む
114 画像データを使用して、シーンのサンプル特徴を含むカメラ画像を生成
116 強度画像のサンプル特徴とカメラ画像のサンプル特徴とをマッチング
118 位置合わせされた強度画像に色情報を適用することによってカラー強度画像を生成
【国際調査報告】