知財求人 - 知財ポータルサイト「IP Force」
▶ コモンウェルス サイエンティフィック アンド インダストリアル リサーチ オーガナイゼーションの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-04
(45)【発行日】2024-03-12
(54)【発明の名称】ポイントクラウドの着色において使用される方法及びシステム
(51)【国際特許分類】
G06T 19/20 20110101AFI20240305BHJP
G06T 7/80 20170101ALI20240305BHJP
【ＦＩ】
G06T19/20
G06T7/80
【請求項の数】
22
(21)【出願番号】P 2020561061
(86)(22)【出願日】2019-04-30
(65)【公表番号】
(43)【公表日】2021-08-30
(86)【国際出願番号】 AU2019050393
(87)【国際公開番号】W WO2019210360
(87)【国際公開日】2019-11-07
【審査請求日】2022-02-14
(31)【優先権主張番号】2018901452
(32)【優先日】2018-05-01
(33)【優先権主張国・地域又は機関】AU
(73)【特許権者】
【識別番号】590003283
【氏名又は名称】コモンウェルス サイエンティフィック アンド インダストリアル リサーチ オーガナイゼーション
(74)【代理人】
【識別番号】100169904
【弁理士】
【氏名又は名称】村井 康司
(74)【代理人】
【識別番号】100216150
【弁理士】
【氏名又は名称】香山 良樹
(72)【発明者】
【氏名】パヴェル ヴェチョルスキー
(72)【発明者】
【氏名】マーク コックス
(72)【発明者】
【氏名】パウロ ボルジェス
(72)【発明者】
【氏名】トーマス ロウ
(72)【発明者】
【氏名】マイケル ボッセ
【審査官】▲高▼橋 真之
(56)【参考文献】
【文献】特開２０１３－０６９２３５（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／００９６５２５（ＵＳ，Ａ１）
【文献】特開２０１５－１７６４１２（ＪＰ，Ａ）
【文献】特開２００２－０３１５２８（ＪＰ，Ａ）
【文献】Sagi Katz, Ayellet Tal, Ronen Basri，Direct Visibility of Point Sets，ACM Transactions on Graphics，米国，2007年07月31日，Vol. 26, No. 3, Article 24
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １９／２０
Ｇ０６Ｔ ７／８０
(57)【特許請求の範囲】
【請求項1】
環境の３次元（３Ｄ）ポイントクラウドの着色において使用される方法であって、１つ又は複数の電子処理装置内において、ａ）マッピング装置によってキャプチャされた幾何学的データを使用して、
ｉ）前記環境の３Ｄポイントクラウドを決定し、及び
ｉｉ）マッピング装置軌跡を決定する、
ステップと、
ｂ）カメラ軌跡に沿って移動するカメラによってキャプチャされた前記環境のビデオ記録を示すビデオデータを取得するステップであって、前記ビデオデータは、いくつかのフレームを含む、ステップと、
を含み、
ｃ）複数のフレームのそれぞれについて、
ｉ）前記カメラのすぐ近傍におけるシーンをキャプチャするローカルポイントクラウドを決定することによって、前記フレーム内の前記ポイントクラウドの少なくともいくつかの３Ｄポイントを識別し、可視性チェックは、特定のフレームの前記カメラの視点から見える前記ローカルポイントクラウド内のポイントを決定するために前記ローカルポイントクラウドに対して実行される、ステップと、及び
ｉｉ）前記ビデオデータから抽出された前記フレーム内の対応するピクセルの色を使用して、少なくともいくつかの前記３Ｄポイントに対する候補色を決定するステップと、
を含み、
ｄ）候補色を使用して、前記３Ｄポイントクラウドの１つ又は複数のポイントに色を割り当て、少なくとも１つのポイントは、複数のフレームから取得された候補色を使用して色を割り当てられる、ステップと、
を含む、方法。
【請求項2】
前記ローカルポイントクラウドを決定するステップは、ａ）カメラポーズの前方軸を決定し、
ｂ）前記前方軸に沿って第１のポイントを所定の距離に投影し、
ｃ）
ｉ）前記ローカルポイントクラウドに含めるための前記第１のポイントの前記所定の距離内にあるすべてのポイント、及び
ｉｉ）前記ローカルポイントクラウドに含めるための前記第１のポイントの前記所定の距離内にあるビン内に含まれるすべてのポイントであって、低解像度のビンにセグメント化されているポイント、
の１つを選択する、
ことにより、前記カメラの近傍ポイントを抽出するステップを含む、
請求項１に記載の方法。
【請求項3】
前記可視性チェックは、ａ）前記ローカルポイントクラウドを、原点に前記カメラがある座標系に変換するステップと、
ｂ）前記カメラに最も近いポイントが、前記カメラから最も遠いポイントに反射されるように、球面反射カーネルを前記ローカルポイントクラウド内の少なくともいくつかの前記ポイントに適用するステップと、
ｃ）その反射が、前記反射されたポイントクラウドの凸包のメンバである場合に、ポイントを可視として分類するステップと、
を含む、
請求項１又は２に記載の方法。
【請求項4】
ａ）前記ローカルポイントクラウドは、前記可視性チェックを実行する前にダウンサンプリングされる、及び、ｂ）前記ローカルポイントクラウドは、前記ローカルポイントクラウドをビンにセグメント化することによって、前記可視性チェックを実行する前にダウンサンプリングされ、それぞれのビンからの少なくとも１つのポイントは、前記可視性チェックで使用される、
の内の少なくとも一方である、
請求項１から３のいずれか一項に記載の方法。
【請求項5】
それぞれのフレームに対応する可視３Ｄポイントは、前記３Ｄポイントを２Ｄ画像座標に変換することによって前記フレーム内に投影され、前記フレーム内のそれぞれの２Ｄ画像座標について、
ａ）前記２Ｄ画像座標で前記３Ｄポイントの前記候補色を抽出するステップと、
ｂ）前記候補色を、平均色を前記３Ｄポイントに割り当てるために使用される累積色選択アルゴリズムに提供するステップと、
を含む、
請求項１から４のいずれか一項に記載の方法。
【請求項6】
ａ）前記累積色選択アルゴリズムの出力は、色割当において使用されるロバスト移動平均である、及び、ｂ）前記累積色選択アルゴリズムは、ガウス重み付け関数を使用して反復的に再重み付けされた最小二乗ロバスト平均の１回の反復の累積近似である、
の内の少なくとも一方である、
請求項５に記載の方法。
【請求項7】
前記累積色選択アルゴリズムが、ガウス重み付け関数を使用して反復的に再重み付けされた最小二乗ロバスト平均の１回の反復の累積近似であるとき、ａ）３Ｄポイントの第１の候補色について、
ｉ）前記第１の候補色で移動平均を初期化するステップと、
ｉｉ）初期共分散行列で移動共分散を初期化するステップと、
ｉｉｉ）移動重みを初期化するステップと、
を含み、
ｂ）前記３Ｄポイントのそれぞれの後続の候補色について、
ｉ）現在の平均を決定するステップと、
ｉｉ）現在の共分散を決定するステップと、
ｉｉｉ）前記現在の平均及び現在の共分散を使用して、前記後続の色候補の尤度を決定するステップと、
ｉｖ）前記尤度によって前記後続の候補色を乗算し、且つ結果を前記移動平均に加算するステップと、
ｖ）前記後続の候補色と前記現在の平均との差を決定するステップと、
ｖｉ）前記尤度によって前記差の外積を乗算し、且つ結果を前記移動共分散に加算するステップと、
ｖｉｉ）前記尤度を前記移動重みに加算するステップと、
ｖｉｉｉ）前記移動重みによって前記移動平均を除算することにより、推定平均を決定するステップと、
を含む、
請求項６に記載の方法。
【請求項8】
いくつかのフレームについて、前記フレーム内の可視３Ｄポイントのサブセットのみが着色され、いくつかのポイントは、以前に処理されたフレームにおけるそれらの可観測性の品質に少なくとも部分的に基づいて除去される、請求項４から７のいずれか一項に記載の方法。
【請求項9】
３Ｄポイントのそれぞれの候補色は、現在の視点に対する前記ポイントの深度に反比例する重みによってスケーリングされ、それぞれのポイントの累積重みは、前記ポイントが、後続のフレームで着色されるポイントを取得するために使用される空間ルックアップテーブルから除去されるべきであるかどうかを決定する際に使用される、
請求項８に記載の方法。
【請求項10】
複数のフレームから取得された候補色を使用して、前記色を前記３Ｄポイントクラウドの１つ又は複数のポイントに割り当てるステップは、それぞれの３Ｄポイントが位置する表面に対する視点の間の角度を決定し、且つ前記角度が９０°に最も近い前記３Ｄポイントに対応する色を使用して色を割り当てるステップを含む、請求項１から９のいずれか一項に記載の方法。
【請求項11】
前記フレーム内の前記ポイントクラウドの少なくともいくつかの３Ｄポイントは、前記カメラの位置に少なくとも部分的に基づくものである、請求項１から１０のいずれか一項に記載の方法。
【請求項12】
フレームに対する前記カメラの前記位置は、前記フレームのキャプチャの時点を示すタイミング情報に基づいて決定される、請求項１１に記載の方法。
【請求項13】
前記タイミング情報は、キャプチャされたビデオデータと、前記マッピング装置軌跡との時間的同期に基づくものである、
請求項１２に記載の方法。
【請求項14】
フレームに対する前記カメラの前記位置は、マッピング装置座標系での３Ｄポイントをカメラ座標系に変換する変換を示すカメラ外部パラメータに基づくものである、
の内の少なくとも一方である、
請求項１２に記載の方法。
【請求項15】
ａ）マッピング装置座標系での３Ｄポイントをカメラ座標系に変換する変換を示すカメラ外部パラメータを決定するステップ、を含み、
ｂ）複数のフレームのそれぞれについて、
ｉ）前記フレームのキャプチャの時点を示すタイミング情報を決定するステップと、
ｉｉ）前記マッピング装置軌跡、前記タイミング情報及び前記カメラ外部パラメータを使用して、前記カメラ軌跡に沿って前記カメラの位置を決定するステップと、
を含み、
ｃ）前記カメラの前記位置に少なくとも部分的に基づいて、前記フレーム内の前記ポイントクラウドの少なくともいくつかの３Ｄポイントを識別するステップ、
を含む、
請求項１から１４のいずれか一項に記載の方法。
【請求項16】
タイミング情報を決定するステップは、キャプチャされたビデオデータを前記マッピング装置軌跡と時間的に同期させるステップを含む、請求項１５に記載の方法。
【請求項17】
ａ）前記キャプチャされたビデオデータは、前記ビデオデータ及びマッピング装置から取得されたヨー速度を相関させることにより、前記マッピング装置軌跡と時間的に同期される、及び、ｂ）前記キャプチャされたビデオデータは、前記ビデオデータから前記ヨー速度を取得するステップによって前記ビデオデータ及びマッピング装置から取得されたヨー速度を相関させることにより、前記マッピング装置軌跡と時間的に同期され、前記ビデオデータから前記ヨー速度を取得するステップは、連続的なフレームのペアについて、
ｉ）ピクセルの移動を追跡するためにオプティカルフローを使用するステップと、
ｉｉ）前記オプティカルフローから前記カメラのポーズの変化を判定するステップと、
ｉｉｉ）前記ポーズの変化から前記ヨー速度を決定するステップと、
を含む、
の内の少なくとも一方である、
請求項１６に記載の方法。
【請求項18】
ａ）前記ヨー速度を決定するステップ前に、前記カメラの前記ポーズは、前記カメラ外部パラメータを使用して前記マッピング装置座標系に変換される、及び、ｂ）
ｉ）滑らかに変化する関数を、前記ビデオデータから取得された前記ヨー速度に適用するステップと、
ｉｉ）前記マッピング装置によって記録された前記幾何学的データから前記ヨー速度を抽出するステップと、
ｉｉｉ）前記マッピング装置によって記録された前記幾何学的データの前記ヨー速度のサンプリング周波数で、前記ビデオデータから取得された前記ヨー速度をリサンプリングするステップと、
ｉｖ）前記ビデオデータから取得された前記リサンプリングされたヨー速度を前記幾何学的データからの前記ヨー速度と相関させるステップと、
をさらに含む、
の内の少なくとも一方である、
請求項１７に記載の方法。
【請求項19】
ａ）前記マッピング装置から取得された前記ヨー速度は、慣性計測ユニット（ＩＭＵ）の計測値から決定される、及び、ｂ）前記複数のフレームのそれぞれについて、前記カメラの前記位置を決定するステップは、
ｉ）前記フレームに対して前記マッピング装置の補間されたポーズを提供するために、前記タイミング情報を使用して前記フレームのタイムスタンプで前記マッピング装置軌跡を補間するステップと、
ｉｉ）前記フレームに対応するカメラポーズを決定するために、前記マッピング装置の前記補間されたポーズに前記カメラ外部パラメータを適用するステップと、
を含む、
の内の少なくとも一方である、
請求項１７又は１８に記載の方法。
【請求項20】
環境の３次元（３Ｄ）ポイントクラウドの着色において使用されるシステムであって、ａ）マッピング装置によってキャプチャされた幾何学的データを使用して、
ｉ）前記環境の３Ｄポイントクラウドを決定し、及び
ｉｉ）マッピング装置軌跡を決定し、
ｂ）カメラ軌跡に沿って移動するカメラによってキャプチャされた前記環境のビデオ記録を示すビデオデータを取得し、前記ビデオデータは、複数のフレームを含む、
ように構成された１つ又は複数の電子処理装置を含み、
ｃ）複数のフレームのそれぞれについて、前記１つ又は複数の電子処理装置は、
ｉ）前記カメラのすぐ近傍におけるシーンをキャプチャするローカルポイントクラウドを決定することによって、前記フレーム内の前記ポイントクラウドの少なくともいくつかの３Ｄポイントを識別し、可視性チェックは、特定のフレームの前記カメラの視点から見える前記ローカルポイントクラウド内のポイントを決定するために前記ローカルポイントクラウドに対して実行され、及び
ｉｉ）前記ビデオデータから抽出された前記フレーム内の対応するピクセルの色を使用して、少なくともいくつかの前記３Ｄポイントに対する候補色を決定する、
ように構成され、
ｄ）候補色を使用して、前記３Ｄポイントクラウドの１つ又は複数のポイントに色を割り当て、少なくとも１つのポイントは、複数のフレームから取得された候補色を使用して色を割り当てられる、
ように構成された前記１つ又は複数の電子処理装置を含む、システム。
【請求項21】
ａ）前記幾何学的データをキャプチャするように構成されたマッピング装置、ｂ）光撮像、検出及び測距（ＬｉＤＡＲ）センサを使用するマッピング装置、及び
ｃ）
ｉ）携帯されるか、
ｉｉ）空中プラットフォームに取り付けられるか、及び
ｉｉｉ）地上プラットフォームに取り付けられるか、
の内の１つであるマッピング装置、
の内の少なくとも１つを含む、
請求項２０に記載のシステム。
【請求項22】
前記環境のビデオ記録を取得するように構成されたカメラ、を含む、
請求項２０又は２１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ポイントクラウドの着色において使用される方法及びシステムに関し、且つ一例では、３Ｄマッピング装置及びカメラなどの撮像装置を使用して取得されたデータを融合することにより、ポイントクラウドを着色する方法及びシステムに関する。
【背景技術】
【0002】
任意の以前の刊行物（若しくはそれから導出された情報）又は既知の任意の事項に対する本明細書における参照は、その以前の刊行物（若しくはそれから導出された情報）又は既知の事項が、本明細書が関係する研究の分野における常識の一部を形成することの承認若しくは是認又は何らかの形態の示唆として解釈されず且つ解釈されるべきでない。
【0003】
過去十年間において、環境の３Ｄ幾何学的表現が高精度で生成されるモバイルマッピングシステムの開発が劇的な進展を遂げている。この分野では、光撮像、検出及び測距（ｌｉｄａｒ）に基づくシステムは、非常に一般的であり、産業の中でもロボット工学（車両ナビゲーション）、ゲーム（仮想現実）、測量において用途を見出している。その主要な競争相手（カメラ）に対するｌｉｄａｒ検知の主な利点は、照明状態に対する不変性及び高精度の距離情報であり、ｌｉｄａｒを３Ｄマッピングのための優れた且つ証明された代替肢としている。一方、カメラと比較したｌｉｄａｒの基本的な欠点は、豊富な視覚的外観情報を提供しないことである。用途に応じて、このタイプの情報は、人間（及び多くの場合に機械）による解釈とって大きい利益を有する。
【0004】
色などの視覚的文脈情報を実現するためにｌｉｄａｒとカメラデータとを融合すること、即ち距離を色情報と組み合わせることが知られている。この融合を実行するためのいくつかの方式が存在し、いくつかは、特定の装置及びセンサセットアップに厳格に依存し、これは、常に望ましいわけではない。
【0005】
カメラを任意の既存のｌｉｄａｒの３Ｄマッピング装置に単純に追加することにより、既存のカメラレスプラットフォームに適用され得る、ポイントクラウド着色において使用される一般的な方法を提供することが有利であろう。従って、プラットフォームから独立しており、且つ取付けセットアップに関する難しい制約をもたらさない方法が望ましい。例えば、方法は、携帯されるか、空中プラットフォーム上に取り付けられるか又は地上プラットフォーム上に取り付けられるかの任意の１つであるマッピング装置に追加されるカメラと関連して使用可能であることを要する。
【0006】
一般に、着色されたポイントクラウドを実現するための基本的なプロセスは、色（又は熱若しくはハイパースペクトルデータなどの他の情報）がそれぞれの３Ｄポイントに割り当てられるように、マッピング装置によって取得されたポイントクラウドの３Ｄポイント上に２Ｄカメラ画像を投影することである。
【0007】
ｌｉｄａｒ及びカメラが結合されていない（即ち接続又は同期されていない）システムでは、ポイントクラウドの着色に関連するいくつかの課題が存在する。これらの課題は、（ｉ）ｌｉｄａｒとカメラとの間のクロックの同期化、（ｉｉ）ポイントの可視性の判定、及び（ｉｉｉ）色割当のインテリジェントな判定を含む。
【0008】
ｌｉｄａｒ及びカメラが結合されていないことに伴い、これらは、共通のクロックを共有しておらず、従って、それぞれの方式から収集されたデータは、データ処理が発生し得る前に同期させなければならない異なるタイムスタンプを有することになる。ポイントの可視性は、カメラとｌｉｄａｒとが相互に遠く離れて取り付けられ、それにより装置ごとに異なる「視点」をもたらし得るため、重要である。ポイントの可視性に関係する他の問題は、特定の視点からどの３Ｄポイントに着色するかを定義することにあります。これが発生する理由は、ポイントクラウド内のポイントの体積がゼロであるために、空間内の特定の位置から、固体物の背後の３Ｄポイントが見えてしまい（実際には見えないはずなのに）、誤った色割当につながるからである。
【0009】
色割当の観点では、色候補のセットから３Ｄポイントに色を割り当てる方法に課題が存在する。モバイルマッピング（即ち移動するプラットフォームからのもの）の場合、再構築されたポイント３Ｄポイントがデータ収集時に複数のフレームで観測される可能性が高く、そのポイントの外観が観測角度に応じて取得プロセスの全体を通して変化するという事実において問題が存在する。この問題は、従来の静的な「トライポッド」システムにおけるよりも連続的なモバイルマッピングで格段に深刻である。
【発明の概要】
【課題を解決するための手段】
【0010】
本発明は、このような背景並びにそれに関連する課題及び問題に照らして開発された。
【0011】
広範な一形態では、本発明の一態様は、環境の３次元（３Ｄ）ポイントクラウドの着色において使用される方法を提供することを追求し、方法は、１つ又は複数の電子処理装置内において、マッピング装置によってキャプチャされた幾何学的データを使用して、環境の３Ｄポイントクラウドを決定し、及びマッピング装置の軌跡を決定するステップと、カメラ軌跡に沿って移動するカメラによってキャプチャされた環境のビデオ記録を示すビデオデータを取得するステップであって、ビデオデータは、いくつかのフレームを含む、ステップと、マッピング装置座標系での３Ｄポイントをカメラ座標系に変換する変換を示すカメラ外部パラメータを決定するステップと、を含み、複数のフレームのそれぞれについて、方法は、フレームのキャプチャの時点を示すタイミング情報を決定するステップと、マッピング装置の軌跡、タイミング情報及びカメラ外部パラメータを使用して、カメラ軌跡に沿ってカメラの位置を決定するステップと、カメラの位置に少なくとも部分的に基づいて、フレーム内のポイントクラウドの少なくともいくつかの３Ｄポイントを識別し、且つカメラのすぐ近傍におけるシーンをキャプチャするローカルポイントクラウドを決定し、可視性チェックは、特定のフレームのカメラの視点から見えるローカルポイントクラウド内のポイントを決定するためにローカルポイントクラウドに対して実行される、ステップと、及びビデオデータから抽出されたフレーム内の対応するピクセルの色を使用して、少なくともいくつかの３Ｄポイントに対する候補色を決定するステップと、を含み、複数のフレームから取得された候補色を使用して、３Ｄポイントクラウドの１つ又は複数のポイントに色を割り当てるステップ、を含む。
【0012】
一実施形態では、タイミング情報を決定するステップは、キャプチャされたビデオデータを装置軌跡と時間的に同期させるステップを含む。
【0013】
一実施形態では、キャプチャされたビデオデータは、ビデオデータ及びマッピング装置から取得されたヨー速度を相関させることにより、装置軌跡と時間的に同期される。
【0014】
一実施形態では、ビデオデータからヨー速度を取得するステップは、連続的なフレームのペアについて、ピクセルの移動を追跡するためにオプティカルフローを使用するステップと、オプティカルフローからカメラのポーズの変化を判定するステップと、ポーズの変化からヨー速度を決定するステップと、を含む。
【0015】
一実施形態では、ヨー速度を決定するステップの前に、カメラのポーズは、カメラ外部パラメータを使用してマッピング装置座標系に変換される。
【0016】
一実施形態では、方法は、滑らかに変化する関数を、ビデオデータから取得されたヨー速度に適用するステップと、マッピング装置によって記録された幾何学的データからヨー速度を抽出するステップと、マッピング装置によって記録された幾何学的データのヨー速度のサンプリング周波数で、ビデオデータから取得されたヨー速度をリサンプリングするステップと、ビデオデータから取得されたリサンプリングされたヨー速度を幾何学的データからのヨー速度と相関させるステップと、を更に含む。
【0017】
一実施形態では、相関は、ビデオデータのタイムスタンプと装置軌跡のタイムスタンプとの間のマッピングを実行するアファイン関数を推定するために使用される。
【0018】
一実施形態では、アファイン関数は、時間シフトを示すオフセットパラメータと、レート調整を示すスケールパラメータとを有する。
【0019】
一実施形態では、マッピング装置から取得されたヨー速度は、慣性計測ユニット（ＩＭＵ）の計測値から決定される。
【0020】
一実施形態では、複数のフレームのそれぞれについて、カメラの位置を決定するステップは、フレームに対してマッピング装置の補間されたポーズを提供するために、タイミング情報を使用してフレームのタイムスタンプでマッピング装置の軌跡を補間するステップと、フレームに対応するカメラポーズを決定するために、マッピング装置の補間されたポーズにカメラ外部パラメータを適用するステップと、を含む。
【0021】
一実施形態では、ローカルポイントクラウドを決定するステップは、カメラポーズの前方軸を決定し、前方軸に沿って第１のポイントを所定の距離に投影し、ローカルポイントクラウドに含めるための第１のポイントの所定の距離内にあるすべてのポイント、及びローカルポイントクラウドに含めるための第１のポイントの所定の距離内にあるビン内に含まれるすべてのポイントであって、低解像度のビンにセグメント化されているポイント、の１つを選択する、ことにより、カメラの近傍ポイントを抽出するステップを含む。
【0022】
一実施形態では、可視性チェックは、ローカルポイントクラウドを、原点にカメラがある座標系に変換するステップと、カメラに最も近いポイントが、カメラから最も遠いポイントに反射されるように、球面反射カーネルをローカルポイントクラウド内の少なくともいくつかのポイントに適用するステップと、その反射が、反射されたポイントクラウドの凸包のメンバである場合に、ポイントを可視として分類するステップと、を含む。
【0023】
一実施形態では、カーネルは、指数反転カーネルである。
【0024】
一実施形態では、ローカルポイントクラウドは、可視性チェックを実行する前にダウンサンプリングされる。
【0025】
一実施形態では、ローカルポイントクラウドは、ビンにセグメント化され、及びそれぞれのビンからの少なくとも１つのポイントは、可視性チェックで使用される。
【0026】
一実施形態では、特定のビン内のポイントが可視として分類される場合、ビン内のすべてのポイントは、それぞれのフレームのカメラから見えるポイントを含む可視ローカルポイントクラウドを再構築するために使用される。
【0027】
一実施形態では、それぞれのフレームに対応する可視３Ｄポイントは、３Ｄポイントを２Ｄ画像座標に変換することによってフレーム内に投影される。
【0028】
一実施形態では、フレーム内のそれぞれの２Ｄ画像座標について、方法は、２Ｄ画像座標で３Ｄポイントの候補色を抽出するステップと、候補色を、平均色を３Ｄポイントに割り当てるために使用される累積色選択アルゴリズムに提供するステップと、を含む。
【0029】
一実施形態では、色選択アルゴリズムの出力は、色割当において使用されるロバスト移動平均である。
【0030】
一実施形態では、色選択アルゴリズムは、ガウス重み付け関数を使用して反復的に再重み付けされた最小二乗ロバスト平均の１回の反復の累積近似である。
【0031】
一実施形態では、３Ｄポイントの第１の候補色について、方法は、第１の候補色で移動平均を初期化するステップと、初期共分散行列で移動共分散を初期化するステップと、移動重みを初期化するステップとを含む。
【0032】
一実施形態では、３Ｄポイントのそれぞれの後続の候補色について、方法は、現在の平均を決定するステップと、現在の共分散を決定するステップと、現在の平均及び現在の共分散を使用して、後続の色候補の尤度を決定するステップと、尤度によって後続の候補色を乗算し、且つ結果を移動平均に加算するステップと、後続の候補色と現在の平均との差を決定するステップと、尤度によって差の外積を乗算し、且つ結果を移動共分散に加算するステップと、尤度を移動重みに加算するステップと、移動重みによって移動平均を除算することにより、推定平均を決定するステップと、を含む。
【0033】
一実施形態では、推定平均は、３Ｄポイントの代表色を示す。
【0034】
一実施形態では、いくつかのフレームについて、フレーム内の可視３Ｄポイントのサブセットのみが着色され、いくつのポイントは、以前に処理されたフレームにおけるそれらの可観測性の品質に少なくとも部分的に基づいて除去される。
【0035】
一実施形態では、３Ｄポイントのそれぞれの候補色は、現在の視点に対するポイントの深度に反比例する重みによってスケーリングされる。
【0036】
一実施形態では、それぞれのポイントの累積重みは、ポイントが、後続のフレームで着色されるポイントを取得するために使用される空間ルックアップテーブルから除去されるべきであるかどうかを決定する際に使用される。
【0037】
一実施形態では、複数のフレームから取得された座標色を使用して、色を３Ｄポイントクラウドの１つ又は複数のポイントに割り当てるステップは、それぞれの３Ｄポイントが位置する表面に対する視点の間の角度を決定し、且つ角度が９０度に最も近い３Ｄポイントに対応する色を使用して色を割り当てるステップを含む。
【0038】
一実施形態では、３Ｄマッピング装置は、光撮像、検出及び測距（ＬｉＤＡＲ）センサを使用する。
【0039】
一実施形態では、３Ｄマッピング装置は、携帯されるか、空中プラットフォームに取り付けられるか、及び地上プラットフォームに取り付けられるか、の１つである。
【0040】
一実施形態では、プラットフォームは、移動可能である。
【0041】
広範な一形態では、本発明の一態様は、環境の３次元（３Ｄ）ポイントクラウドの着色において使用されるシステムを提供することを追求し、システムは、マッピング装置によってキャプチャされた幾何学的データを使用して、環境の３Ｄポイントクラウドを決定し、及びマッピング装置の軌跡を決定し、カメラ軌跡に沿って移動するカメラによってキャプチャされた環境のビデオ記録を示すビデオデータを取得し、ビデオデータは、複数のフレームを含み、マッピング装置座標系での３Ｄポイントをカメラ座標系に変換する変換を示すカメラ外部パラメータを決定する、ように構成された１つ又は複数の電子処理装置を含み、複数のフレームのそれぞれについて、１つ又は複数の電子処理装置は、フレームのキャプチャの時点を示すタイミング情報を決定し、マッピング装置の軌跡、タイミング情報及びカメラ外部パラメータを使用して、カメラ軌跡に沿ってカメラの位置を決定し、カメラの位置に少なくとも部分的に基づいて、フレーム内のポイントクラウドの少なくともいくつかの３Ｄポイントを識別し、且つカメラのすぐ近傍におけるシーンをキャプチャするローカルポイントクラウドを決定し、可視性チェックは、特定のフレームのカメラの視点から見えるローカルポイントクラウド内のポイントを決定するためにローカルポイントクラウドに対して実行され、及びビデオデータから抽出されたフレーム内の対応するピクセルの色を使用して、少なくともいくつかの３Ｄポイントに対する候補色を決定する、ように構成され、複数のフレームから取得された候補色を使用して、３Ｄポイントクラウドの１つ又は複数のポイントに色を割り当てる、ように構成された１つ又は複数の電子処理装置を含む。
【0042】
一実施形態では、システムは、幾何学的データをキャプチャするように構成されたマッピング装置を含む。
【0043】
一実施形態では、マッピング装置は、光撮像、検出及び測距（ＬｉＤＡＲ）センサを使用する。
【0044】
一実施形態では、３Ｄマッピング装置は、携帯されるか、空中プラットフォームに取り付けられるか、及び地上プラットフォームに取り付けられるか、の１つである。
【0045】
一実施形態では、プラットフォームは、移動可能である。
【0046】
一実施形態では、システムは、環境のビデオ記録を取得するように構成されたカメラを含む。
【0047】
広範な一形態では、本発明の一態様は、環境の３次元（３Ｄ）ポイントクラウドの着色において使用される方法を提供することを追及し、方法は、１つ又は複数の電子処理装置内において、マッピング装置によってキャプチャされた幾何学的データを使用して、環境の３Ｄポイントクラウドを決定し、及びマッピング装置の軌跡を決定する、ステップと、カメラ軌跡に沿って移動するカメラによってキャプチャされた環境のビデオ記録を示すビデオデータを取得するステップであって、ビデオデータは、いくつかのフレームを含む、ステップと、マッピング装置座標系での３Ｄポイントをカメラ座標系に変換する変換を示すカメラ外部パラメータを決定するステップと、を含み、複数のフレームのそれぞれについて、方法は、フレームのキャプチャの時点を示すタイミング情報を決定するステップと、マッピング装置の軌跡、タイミング情報及びカメラ外部パラメータを使用して、カメラ軌跡に沿ってカメラの位置を決定するステップと、カメラの位置に少なくとも部分的に基づいて、フレーム内のポイントクラウドの少なくともいくつかの３Ｄポイントを識別するステップと、を含み、ビデオデータから抽出されたフレーム内の対応するピクセルの色を使用して、少なくともいくつかの３Ｄポイントに対する候補色を決定するステップと、複数のフレームから取得された候補色を使用して、３Ｄポイントクラウドの１つ又は複数のポイントに色を割り当てるステップ、を含む。
【0048】
広範な一形態では、本発明の一態様は、環境の３次元（３Ｄ）ポイントクラウドの着色において使用されるシステムを提供することを追及し、システムは、マッピング装置によってキャプチャされた幾何学的データを使用して、環境の３Ｄポイントクラウドを決定し、及びマッピング装置の軌跡を決定し、カメラ軌跡に沿って移動するカメラによってキャプチャされた環境のビデオ記録を示すビデオデータを取得し、ビデオデータは、複数のフレームを含み、マッピング装置座標系での３Ｄポイントをカメラ座標系に変換する変換を示すカメラ外部パラメータを決定する、ように構成された１つ又は複数の電子処理装置を含み、複数のフレームのそれぞれについて、１つ又は複数の電子処理装置は、フレームのキャプチャの時点を示すタイミング情報を決定し、マッピング装置の軌跡、タイミング情報及びカメラ外部パラメータを使用して、カメラ軌跡に沿ってカメラの位置を決定し、カメラの位置に少なくとも部分的に基づいて、フレーム内のポイントクラウドの少なくともいくつかの３Ｄポイントを識別し、及びビデオデータから抽出されたフレーム内の対応するピクセルの色を使用して、少なくともいくつかの３Ｄポイントに対する候補色を決定する、ように構成され、複数のフレームから取得された候補色を使用して、３Ｄポイントクラウドの１つ又は複数のポイントに色を割り当てる、ように構成された１つ又は複数の電子処理装置を含む。
【0049】
本発明の広範な形態及びその個々の特徴は、合わせて、相互交換可能に且つ／又は独立して使用され、及び別個の広範な形態に対する参照は、限定を意図したものではないことを理解されたい。
【0050】
以下では、次の添付図面を参照して本発明の非限定的な例について説明する。
【図面の簡単な説明】
【0051】
【図1】環境の３Ｄポイントクラウドの着色において使用される方法の一例のフローチャートである。
【図2】環境の３Ｄポイントクラウドの着色において使用されるシステムの一例の概略図の例である。
【図4A-4C】３Ｄポイントクラウドの着色において使用される、それぞれ携帯された、空中プラットフォームに取り付けられた及び地上プラットフォームに取り付けられたセンサの例を示す。
【図5A-5C】キャプチャされたビデオデータをマッピング装置の軌跡と時間的に同期させる特定のプロセスの一例のフローチャートを提供する。
【図6A】カメラ及びマッピング装置のヨーレートの相互相関出力のグラフである。
【図6B-6C】カメラとマッピング装置との間での失敗した及び成功した時間的同期化のグラフプロットを示す。
【図7】カメラ軌跡を決定する特定のプロセスの一例のフローチャートを提供する。
【図8A-8C】それぞれマッピング装置の軌跡を示し、マッピング装置の軌跡は、画像タイムスタンプで補間され、及びカメラポーズは、カメラ外部変換を適用することにより取得される。
【図9A-9B】特定のビデオフレームの３Ｄポイントの可視性を判定するための特定のプロセスの一例のフローチャートを提供する。
【図10A-10G】特定のビデオフレームの可視３Ｄポイントの選択を示す連続的な一連の図を提供する。
【図11A-11C】閉塞されたポイントを除去する球面変換で使用されるカーネル関数のスケール不変性を評価するために使用される合成シーンと、線形カーネル及び指数カーネルを使用した可視ポイントの対応する投影とをそれぞれ示す。
【図11D】可変深度の類似のシーンにおける、γ、カーネル設計パラメータ及びカーネルタイプの関数としての可視性分析の品質のグラフである。
【図11E】線形及び指数反転間の比較を示すグラフである。
【図12A-12B】ポイントクラウド内の３Ｄポイントを着色するための特定のプロセスの一例のフローチャートを提供する。
【図13A-13F】それぞれ携帯、地上プラットフォーム及び空中プラットフォームで得られた、結果としての着色されたポイントクラウド及び対応するカメラフレームの例を示す。
【図14A】球面フリッピング反転を示す。
【図14B】凸包の逆投影を示す。
【発明を実施するための形態】
【0052】
以下では、図１を参照して、環境の３次元（３Ｄ）ポイントクラウドの着色において使用される方法の一例について説明する。
【0053】
説明のため、方法は、少なくとも、（光撮像、検出及び測距（ＬｉＤＡＲ）センサなどの）マッピング装置及びそれに取り付けられた（カメラなどの）撮像装置を有する３Ｄマッピングプラットフォームと関連する１つ又は複数の処理システムの一部を形成する１つ又は複数の電子処理装置を少なくとも部分的に使用して実行されると仮定する。１つ又は複数の電子処理装置は、マッピング装置から幾何学的データを、カメラからビデオデータを、受け取るように構成される。３Ｄマッピングプラットフォームから取得された収集されたデータは、処理時間が取得時間未満となるようにオフライン又はリアルタイムで処理することができる。
【0054】
この例では、ステップ１００において、方法は、１つ又は複数の電子処理装置において、マッピング装置によってキャプチャされた幾何学的データを使用して、環境の３Ｄポイントクラウドを決定するステップを含む。３Ｄポイントクラウドを決定することを目的として、任意の適切な同時位置特定及びマッピング（ＳＬＡＭ）アルゴリズムを使用することができる。回転型ｌｉｄａｒなどのマッピング装置は、携帯されるか又は代わりに環境を通して移動する空中若しくは地上プラットフォームに取り付けられたモバイルプラットフォームの一部であり得る。
【0055】
また、幾何学的データは、ステップ１１０において、データが収集されるのに伴って移動したセンサの経路を示すマッピング装置の軌跡を決定するために使用される。
【0056】
ステップ１２０では、方法は、カメラ軌跡に沿って移動するカメラによってキャプチャされた環境のビデオ記録を示すビデオデータを取得するステップを含み、ビデオデータは、いくつかのフレームを含む。一例では、可視スペクトル内で色情報を収集するためにカメラが使用されるが、代わりに、ハイパースペクトル及び熱を含む他のスペクトル情報が取得され得る。結果的な着色されたポイントクラウドは、視覚的に表されるスペクトルを示すＲＧＢベクトルを使用することができる。
【0057】
従って、着色が非可視スペクトルに基づいて実行され得ることから、本開示は、可視色におけるポイントクラウドの着色に限定されない。
【0058】
ステップ１３０では、方法は、マッピング装置座標系での３Ｄポイントをカメラ座標系に変換する変換を示すカメラ外部パラメータを決定するステップを含む。更に詳細に後述するように、カメラ軌跡は、プラットフォームに対するそれぞれの装置の相対的な位置決めに起因して装置軌跡と異なることを理解されたい。マッピング装置からカメラへのユークリッド変換は、マッピング装置座標系での３Ｄポイントをカメラ座標系に変換する。これは、本明細書ではカメラ外部パラメータと呼称される。
【0059】
カメラによってキャプチャされた複数のフレームのそれぞれについて、方法は、ステップ１４０において、フレームのキャプチャの時点を示すタイミング情報を決定するステップを含む。タイミング情報は、ビデオフレームのタイミングがマッピング装置の時間座標で推定されるように、ビデオデータ内のタイムスタンプと装置軌跡内のタイムスタンプとの間の対応性を正確に判定する。
【0060】
ステップ１５０では、方法は、マッピング装置の軌跡、タイミング情報及びカメラ外部パラメータを使用して、カメラ軌跡に沿ってカメラの位置を決定するステップを含む。これは、カメラの視点がフレームごとに判明するようにカメラの３Ｄポーズがフレームごとに決定されることを可能にする。タイミング情報及びマッピング装置の軌跡により、ビデオの特定のフレームがキャプチャされた際にマッピング装置の位置を決定することができる。この結果、カメラの外部パラメータを使用して、マッピング装置の特定のポーズに対するカメラのポーズを決定することができる。
【0061】
ステップ１６０では、方法は、カメラの位置に少なくとも部分的に基づいて、フレーム内のポイントクラウドの少なくともいくつかの３Ｄポイントを識別するステップを含む。通常、少なくともいくつかの３Ｄポイントは、特定のフレームがキャプチャされた際、カメラによって可視であるか又は観測可能であると考えられるポイントである。これらは、特定のフレームに対して着色されるポイントである。
【0062】
これに応じて、ステップ１７０では、方法は、ビデオデータから抽出されたフレーム内の対応するピクセルの色を使用して、少なくともいくつかの３Ｄポイントに対する候補色を決定するステップを含む。これを実行するには、３Ｄポイントをフレームの２Ｄ画像内に投影しなければならず、これは、カメラ座標系での３Ｄポイントを２Ｄビデオフレーム座標に変換する関数に対するパラメータを使用して実現される。これは、本明細書ではカメラ内部パラメータと呼称される。それぞれのフレームが処理されるのに伴い、候補色は、複数のフレーム内の３Ｄポイントについて観測される。従って、それぞれの３Ｄポイントは、通常、色をそれぞれのポイントに割り当てるために使用される候補色観測の対応するセットを有する。
【0063】
最後に、ステップ１８０では、方法は、複数のフレームから取得された候補色を使用して、３Ｄポイントクラウドの１つ又は複数のポイントに色を割り当てるステップを含む。色割当は、更に詳細に後述するように、未加工の観測された値（例えば、ＲＧＢ値）の重み付けされた合計に基づいて代表色を選択する。
【0064】
上述の方法は、いくつかの利点を提供する。
【0065】
まず、この方法は、特にカメラとマッピング装置との関連性が薄い多くの異なるプラットフォームによって生成されたポイントクラウドに、色が追加されることを可能にする。従って、この着色アルゴリズムは、第三者によって製造された３Ｄマッピングシステムに適用することができる。
【0066】
更なる利点は、（ｉ）既存のカメラレス装置にカメラを取り付けることができるという経済的な魅力、（ｉｉ）カメラタイプ又は形式（ＲＧＢ、ハイパースペクトル、熱）に関する制限がないこと、（ｉｉｉ）着色されるポイントの数が格段に大きいこと、（ｉｖ）最新のマッピング装置はモバイル用に設計されており、ポイントごとに複数の候補色から色精度を高めることができること、及び（ｖ）ポータビリティ及びプラットフォームの独立性、にある。
【0067】
以下では、いくつかの更なる特徴について説明する。
【0068】
通常、タイミング情報を決定するステップは、それぞれのフレームが装置軌跡のどのポイントに対応するかがわかるように、キャプチャされたビデオデータを装置軌跡と時間的に同期させるステップを含む。上述のように、幾何学的データ及びビデオデータにあるタイムスタンプは、異なるクロックからサンプリングされる可能性が高いことから、この情報は、一般的に知られていない。従って、ビデオデータのタイムスタンプと装置軌跡のタイムスタンプとの間の正確な対応を計算しなければならない。
【0069】
時間的同期を実行するために、マッピング装置（又はそれと関連する慣性計測ユニット（ＩＭＵ）は、装置のヨーレート（即ちヨー速度）を記録すると仮定される。この結果、ビデオデータ及びマッピング装置から得られたヨー速度を相関させることにより、キャプチャされたビデオデータを装置軌跡と時間的に同期させることができる。
【0070】
ビデオデータからヨー速度を取得するステップは、連続的なフレームのペアについて、ピクセルの移動を追跡するためにオプティカルフローを使用するステップと、オプティカルフローからカメラのポーズの変化を判定するステップと、このカメラポーズをマッピング装置座標系に変換するステップと、ポーズの変化からヨー速度を決定するステップとを含む。オプティカルフローを使用して、画像シーケンスからピクセルを追跡するために使用される技法については、Ｊｅａｎ－Ｙｖｅｓ Ｂｏｕｇｕｅｔ，“Ｐｙｒａｍｉｄａｌ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ｔｈｅ ａｆｆｉｎｅ ｌｕｃａｓ ｋａｎａｄｅ ｆｅａｔｕｒｅ ｔｒａｃｋｅｒ ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ ｔｈｅ ａｌｇｏｒｉｔｈｍ”，Ｉｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎ，５，２００１に記述されている。
【0071】
カメラのポーズの変化は、カメラ内部パラメータを使用して、オプティカルフローから決定され得ることを理解されたい。次いで、カメラポーズをロール、ピッチ、ヨー及び平行移動に分解し、ヨー成分を抽出することができる。次いで、単位を、ヨーレート、即ちヨー角／フレームから、ヨー角／秒に正規化することができる。但し、ヨー成分を抽出する前に、カメラ外部パラメータを使用してカメラポーズをマッピング装置座標系に変換しなければならないことを理解されたい。
【0072】
次いで、方法は、通常、滑らかに変化する関数を、ビデオデータから取得されたヨー速度に適用するステップと、マッピング装置によって記録された幾何学的データのヨー速度のサンプリング周波数で、ビデオデータから取得されたヨー速度をリサンプリングするステップとを含む。幾何学的データのヨー速度のサンプリング周波数がビデオデータの周波数未満である場合、幾何学的データのヨー速度がリサンプリングされる。
【0073】
次いで、マッピング装置によって記録された幾何学的データからヨー速度が抽出され、且つビデオデータから取得されたリサンプリングされたヨー速度が幾何学的データからのヨー速度と相関される。通常、正規化された相互相関は、ビデオデータのタイムスタンプと装置軌跡のタイムスタンプとの間のマッピングを実行するアファイン関数を推定するために使用される。アファイン関数は、時間シフトを示すオフセットパラメータと、レート調整を示すスケールパラメータとを有する。
【0074】
一例では、複数のフレームのそれぞれについて、カメラの位置を決定するステップは、フレームに対してマッピング装置の補間されたポーズを提供するために、タイミング情報を使用してフレームのタイムスタンプでマッピング装置の軌跡を補間するステップと、フレームに対応するカメラポーズを決定するために、マッピング装置の補間されたポーズに変換（即ちカメラ外部）を適用するステップとを含む。この結果、方法は、３Ｄポイントクラウド内のどのポイントがカメラの視点から見えるかを決定する際に使用するために、複数のフレームのそれぞれに対して、カメラの視点を決定する。
【0075】
複数のフレームのそれぞれにおいてポイントクラウドの少なくともいくつかの３Ｄポイントを識別するステップは、カメラのすぐ近傍におけるシーンをキャプチャするローカルポイントクラウドを決定するステップを含む。ローカルポイントクラウドを決定するステップは、カメラポーズの前方軸を決定することと、前方軸に沿って第１のポイントを所定の距離に投影することと、ローカルポイントクラウドに含めるための第１のポイントの所定の距離内にあるすべてのポイント、及び、ローカルポイントクラウドに含めるための第１のポイントの所定の距離内にあるビン内に含まれるすべてのポイントであって、低解像度のビンにセグメント化されているポイント、の１つを選択することとにより、カメラの近傍ポイントを抽出するステップを含む。
【0076】
所定の距離パラメータの選択は、マッピング装置の有効範囲及びシーンの特性に依存する。より短い有効範囲は、例えば、屋内シーンのために使用することができる。投影されたポイントからすべてのポイントまでの距離をチェックする代わりに、ポイントを低解像度のビンにバケット化し、且つビンまでの距離をチェックすることにより、大幅なスピードアップを実現することができる。次いで、ビンが十分に近いと考えられる場合、ビンに含まれるすべてのポイントがさらに処理される。
【0077】
次いで、通常、方法は、特定のフレームのカメラの視点から見えるローカルポイントクラウド内のポイントを決定するために、ローカルポイントクラウドに対して可視性チェックを実行するステップを含む。可視性チェックは、ローカルポイントクラウドを、原点にカメラがある座標系に変換するステップと、カメラに最も近いポイントが、カメラから最も離れたポイントに反射されるように、球面反射カーネルをローカルポイントクラウド内の少なくともいくつかのポイントに適用するステップと、その反射が、反射されたポイントクラウドの凸包のメンバである場合に、ポイントを可視として分類するステップとを含む。
【0078】
可視性チェックは、Ｓ．Ｋａｔｚ，Ａ．Ｔａｌ，ａｎｄ Ｒ．Ｂａｓｒｉ，“Ｄｉｒｅｃｔ ｖｉｓｉｂｉｌｉｔｙ ｏｆ ｐｏｉｎｔ ｓｅｔｓ，”ｉｎ ＡＣＭ ＳＩＧＧＲＡＰＨ ２００７ Ｐａｐｅｒｓ，ｓｅｒ．ＳＩＧＧＲＡＰＨ’０７．Ｎｅｗ Ｙｏｒｋ，ＮＹ，ＵＳＡ：ＡＣＭ，２００７ ａｎｄ，Ｓ．Ｋａｔｚ ａｎｄ Ａ．Ｔａｌ，“Ｏｎ ｔｈｅ ｖｉｓｉｂｉｌｉｔｙ ｏｆ ｐｏｉｎｔ ｃｌｏｕｄｓ，”ｉｎ ２０１５ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＩＣＣＶ），Ｄｅｃ ２０１５，ｐｐ．１３５０－１３５８で提案されている技法を利用する。この分析は、画像では見えないかもしれない表面への色の「にじみ」や、結果の歪みを防ぐのに役立つため、結果として得られる着色されたポイントクラウドの品質にとって重要である。
【0079】
更に詳細に後述するように、使用されるカーネルは、（線形カーネルと比較して）スケール不変であることが示されている指数反転カーネルである。換言すれば、入力ポイントクラウドがスケーリングされる場合、Ｋａｔｚらによって提案されたポイント可視性チェックは、指数反転カーネルの使用による影響を受けない。逆に、Ｋａｔｚらによるポイント可視性チェックの出力は、線形カーネルを使用する際、入力ポイントクラウドのスケールによって異なる。可視性の計算が物体のスケールの影響を受けるという事実は、明らかに望ましくない特性である。特に、大きな凹型構造は、Ｋａｔｚらのポイント可視性アルゴリズムで線形カーネルを使用すると、悪影響を受ける可能性がある。
【0080】
従って、スケール不変の特性と、凹型構造に対する特定の適合性により、指数反転カーネルは、モバイルマッピング装置を使用する際と同様に、膨大な数の物体を含むポイントクラウド内のポイントの可視性を決定するのに魅力的である。
【0081】
隠れたポイントを除去するための可視性チェックアルゴリズムは、Ｏ（ＮｌｏｇＮ）の操作であり、Ｎはポイントクラウド内のポイントの数であるため、特にポイントクラウドが密集している場合又はローカルポイントクラウドの範囲が大きな屋外シーンのために高く設定されている場合、着色パイプラインのランタイムにかなりのオーバーヘッドが追加され得る。相互に近接したポイントは、類似の可観測性を有する、という基本的な仮定により、近くのポイントの抽出と類似の方法で、３Ｄポイントをバケット化することによって、高速化を実現することができる。これを実現するには、ビンは、より細かい潜在的な閉塞を保持するために、十分に高い解像度でなければならない。この解像度の値は、ランタイムの高速化と可視性評価の品質との間のトレードオフをもたらす設計パラメータである。
【0082】
従って、可視性チェックを実行する前にそれぞれのビンから少なくとも１つのポイントを選択することにより、ローカルポイントクラウドをダウンサンプリングすることができる。一例では、ローカルポイントクラウドを効果的に均一にダウンサンプリングするために、それぞれのビンから１つのポイントのみが取得される。結果として間引きされたポイントクラウドに対して可視性チェックを実行すると、可視ポイントが由来するビンへの参照が維持され、これらは、完全に密な可視ポイントクラウドを迅速に回復するために使用される。
【0083】
換言すれば、特定のビン内のポイントが可視として分類される場合、そのビン内のすべてのポイントは、それぞれのフレームのカメラから見える（即ち観測可能）であると考えられるポイントを含む可視ローカルポイントクラウドを再構築するために使用される。
【0084】
それぞれのフレームのカメラの観点から見えるポイントクラウド内の３Ｄポイントが決定された後、方法は、カメラ外部及び内部パラメータを使用して、３Ｄポイントを２Ｄ画像座標に変換することにより、可視３Ｄポイントをフレームに投影するステップを含む。
【0085】
一例では、フレーム内のそれぞれの２Ｄ画像座標について、方法は、２Ｄ画像座標で３Ｄポイントの候補色を抽出するステップと、候補色を、平均色を３Ｄポイントに割り当てるために使用される累積色選択アルゴリズムに提供するステップとを含む。一例では、色選択アルゴリズムの出力は、色割当において使用されるロバスト移動平均である。この使用される平均は、ポイントクラウド、装置軌跡、ヨー速度及び／又は外部に埋め込まれたエラーから生じる外れ値に対してロバストである。
【0086】
一例では、色選択アルゴリズムは、ガウス重み付け関数を使用して、反復的に再重み付けされた最小二乗ロバスト平均の１回の反復の累積近似である。
【0087】
３Ｄポイントの第１の候補色について、方法は、移動平均を第１の候補色で初期化するステップと、移動共分散を初期共分散行列で初期化するステップと、移動重みを初期化するステップとを含む。３Ｄポイントのそれぞれの後続の候補色について、方法は、現在の平均を決定するステップと、現在の共分散を決定するステップと、現在の平均及び現在の共分散を使用して後続の色候補の尤度を決定するステップと、尤度によって後続の候補色を乗算し、且つ結果を移動平均に加算するステップと、後続の候補色と現在の平均との差を決定するステップと、尤度によって差の外積を乗算し、且つ結果を移動共分散に加算するステップと、尤度を移動重みに加算するステップと、移動重みによって移動平均を除算することにより、推定平均を決定するステップと、を含む。
【0088】
この点に関して、重み付けされたガウス分布の推定平均は、３Ｄポイントの代表色を示すことを理解されたい。
【0089】
計算効率を更に改善するために、いくつかのフレームについてフレーム内の可視３Ｄポイントのサブセットのみが着色され、いくつかのポイントは、以前に処理されたフレームにおけるそれらの可観測性の品質に少なくとも部分的に基づいて除去される。この点で、３Ｄポイントのそれぞれの候補色は、現在の視点に対するポイントの深度に反比例する重みによってスケーリングされる。それぞれのポイントの累積重みは、ポイントが、後続のフレームで着色されるポイントを取得するために使用される空間ルックアップテーブルから除去されるべきであるかどうかを決定する際に使用される。
【0090】
別の広範な形態では、本発明は、環境の３次元（３Ｄ）ポイントクラウドの着色において使用されるシステムを提供し、システムは、マッピング装置によってキャプチャされた幾何学的データを使用して、環境の３Ｄポイントクラウドを決定し、及びマッピング装置の軌跡を決定するように構成された１つ又は複数の電子処理装置を含む。１つ又は複数の処理装置は、カメラ軌跡に沿って移動するカメラによってキャプチャされた環境のビデオ記録を示すビデオデータを更に取得し、ビデオデータは、複数のフレームを含む。複数のフレームのそれぞれについて、１つ又は複数の電子処理装置は、フレームのキャプチャの時点を示すタイミング情報を決定し、マッピング装置の軌跡及びタイミング情報を使用して、カメラ軌跡に沿ってカメラの位置を決定し、カメラの位置に少なくとも部分的に基づいて、フレーム内のポイントクラウドの少なくともいくつかの３Ｄポイントを識別し、及びビデオデータから抽出されたフレーム内の対応するピクセルの色を使用して、少なくともいくつかの３Ｄポイントに対する候補色を決定するように構成される。１つ又は複数の電子処理装置は、複数のフレームから取得された候補色を使用して、３Ｄポイントクラウドの１つ又は複数のポイントに色を割り当てるように更に構成される。
【0091】
通常、システムは、幾何学的データをキャプチャするように構成されたマッピング装置を含み、且つ一例では、マッピング装置は、光撮像、検出及び測距（ＬｉＤＡＲ）センサを使用する。
【0092】
３Ｄマッピング装置は、携帯されるか、空中プラットフォームに取り付けられるか、及び自動運転車などの地上プラットフォームに取り付けられるか、の１つであり得る。通常、プラットフォームは、移動可能である。
【0093】
システムは、環境のビデオ記録を取得するように構成されたカメラを更に含む。カメラは、データの視覚的表現をユーザーに提供するために着色するアプリケーションに応じて、（ＲＧＢ色などの）視覚データ又はハイパースペクトル若しくは熱データを記録することができる。
【0094】
次に、図２を参照して、環境の３次元（３Ｄ）ポイントクラウドの着色において使用されるシステムの一例について説明する。
【0095】
この例では、システム２００は、地上車両２０５などのモバイルプラットフォームに搭載された少なくとも１つの電子処理装置２１０を含む。電子処理装置２１０は、データストア２４０に結合され、データストア２４０は、マッピング装置２２０からの幾何学的データ、カメラ２３０からのビデオデータ、マッピング装置の軌跡、環境の３Ｄポイントクラウドなどを格納する。他の構成では、プロセッサは、車両から離れていてもよく、センサと無線通信してもよい。あるいは、センサによって収集されたすべてのデータをダウンロードし、取得後にオフラインで処理してもよい。
【0096】
マッピング装置２２０は、地上車両２０５に搭載されており、且つ環境の３Ｄマップ（即ちポイントクラウド）を構築するために、車両の周りの環境のスキャンを実行するように構成される。一例では、マッピング装置は、Ｖｅｌｏｄｙｎｅによって製造されたＶＬＰ－１６ ３Ｄ ＬｉＤＡＲなどの３Ｄ ＬｉＤＡＲセンサである。また、カメラ２３０は、プラットフォームの移動中の環境を適切に観測するために、任意の都合の良い位置で車両に搭載されている。一例では、カメラは、ＧｏＰｒｏ４ Ｓｅｓｓｉｏｎ又はＲｉｃｏｈ Ｔｈｅｔａ Ｓ ３６０°ビデオカメラでもよい。
【0097】
図４Ａ～図４Ｃでは、使用され得る複数のプラットフォームを参照することにより、システムの容易な適用性及び「プラグアンドプレイ」ポータビリティが示されている。図４Ａでは、様々な携帯型システムが示されており、マッピング装置４２０Ａ及びカメラ４３０Ａは、任意の望ましい方法によってセットアップすることができる。図４Ｂでは、空中（即ちドローン）プラットフォームが示されており、マッピング装置４２０Ｂは、カメラ４３０Ｂの下方に配置される。図４Ｃでは、図２に描かれているような地上プラットフォームが示されており、マッピング装置４２０Ｃは、車両の中央の支柱の上部に位置し、且つカメラ４３０Ｃは、車両の前部に取り付けられる。
【0098】
図３には、電子処理装置２１０の一例が示されている。この例では、処理装置２１０は、図示のように、バス３０４を介して相互接続された、少なくとも１つのマイクロプロセッサ３００、メモリ３０１、キーボード及び／又はディスプレイなどの任意の入出力装置３０２並びに外部インターフェイス３０３を含む。この例では、外部インターフェイス３０３は、処理装置２１０を、通信ネットワーク、データストア２４０、他のストレージ装置などの周辺装置に接続するために利用することができる。１つの外部インターフェイス３０３が示されているが、これは、例示を目的としたものに過ぎず、実際には様々な方法を使用する複数のインターフェイス（例えば、Ｅｔｈｅｒｎｅｔ、シリアル、ＵＳＢ、無線など）を提供することができる。
【0099】
使用中、マイクロプロセッサ３００は、マッピング装置２２０及びビデオカメラ２３０からのセンサデータを受信するステップと、３Ｄポイントクラウド及び装置軌跡を計算するステップと、タイミング情報を決定するステップと、可視性チェックを実行するステップと、色を３Ｄポイントに割り当てるステップと、可視性データ及び候補色情報を格納する様々なルックアップテーブルからデータを取得するためにデータストア２４０と通信するステップとを含む、必要な処理が実行できるように、メモリ３０１内に格納されるアプリケーションソフトウェアの形態で命令を実行する。アプリケーションソフトウェアは、１つ又は複数のソフトウェアモジュールを含むことができ、且つオペレーティングシステム環境などの適切な実行環境で実行することができる。
【0100】
従って、電子処理装置２１０は、適切にプログラムされたコンピュータシステム、ＰＣ、ラップトップ若しくはスマートフォン、タブレットなどの携帯型ＰＣなど、任意の適切な処理システムから形成され得ることを理解されたい。特定の一例では、電子処理装置２１０は、Ｉｎｔｅｌアーキテクチャに基づく処理システムなどの標準的な処理システムであり、これは、不揮発性（例えば、ハードディスク）ストレージに格納されたソフトウェアアプリケーションを実行するが、これは、必須ではない。しかしながら、処理システムは、マイクロプロセッサ、マイクロチッププロセッサ、論理ゲート構成、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）などの実装ロジックと任意に関連付けられたファームウェア又は任意の他の電子装置、システム若しくは構成などの任意の電子処理装置であり得ることを理解されたい。
【0101】
【0102】
ステップ５００では、ビデオカメラ２３０のサンプリング周波数が決定され、且つステップ５０５では、マッピング装置２２０によって幾何学的データに記録されたヨー速度のサンプリング周波数が決定される。これらのパラメータは、いずれも定数である。
【0103】
ステップ５１０では、記録からの連続するビデオフレームのペアが処理のために取得され、且つステップ５１５では、オプティカルフローが、連続するビデオフレームのそれぞれのペアのピクセルの動きを追跡するために使用される。この点で、連続するフレーム間の一致する特徴のペアが生成され、且つそれらの相対的な動きが追跡される。
【0104】
ステップ５２０では、カメラ内部パラメータが取得され、且つオプティカルフローからカメラのポーズの変化（即ちピクセルの相対的な動き）を決定するためにステップ５２５で使用される。ステップ５３０では、カメラ外部パラメータが取得され、且つマッピング装置座標系におけるカメラポーズを決定するためにステップ５３５で使用される。次いで、ステップ５４０では、カメラポーズがロール、ピッチ、ヨー及び平行移動に分解される。ステップ５４５では、ヨー成分が抽出され、且つヨー角／フレームからヨー角／秒に正規化される。
【0105】
次いで、ステップ５５０では、滑らかに変化する関数がデータに適用され、且つステップ５５５では、方法は、ビデオデータのサンプリング周波数が幾何学的データのヨー速度のサンプリング周波数未満であるかどうかを決定するステップを含む。ステップ５６０では、ビデオデータ内のサンプリング周波数が幾何学的データ内のサンプリング周波数未満である場合、ビデオデータからのヨー速度が幾何学的データ内のヨー速度のサンプリング周波数でリサンプリングされる。そうでなければ、幾何学的データ内のヨー速度のサンプリング周波数がビデオデータ内の周波数未満である場合、ステップ５６５では、幾何学的データ内のヨー速度がビデオデータの周波数でリサンプリングされる。
【0106】
ステップ５７０では、リサンプリングされた測定値が取得され、且つステップ５７５では、幾何学的データからのヨー速度が抽出される。ステップ５８０では、ビデオデータから決定されたリサンプリングされたヨー速度測定値を、幾何学的データに記録された測定値に登録する（又はリサンプリングされたデータに応じて逆も当てはまる）アファイン関数についての解を得るために、正規化された相互相関が使用される。
【0107】
最後に、ステップ５８５では、ビデオフレームのタイミングと、装置軌跡との間のマッピングを示すアファイン関数が２つのパラメータ（スケール及びオフセット）によって決定される。
【0108】
図６Ｂ及び図６Ｃには、不十分な時間同期及び成功した時間同期の例がそれぞれ示されている。２つの信号間のヨー速度の絶対的な大きさは、常に一致するとは限らないが、ピークの相対的な重なりは、時間の良好な位置合わせを意味することに留意されたい。
【0109】
不十分な同期は、（ｉ）ビデオの開始時間とＩＭＵデータ記録との間の不一致が大きすぎるか、又は（ｉｉ）ＩＭＵ／カメラの特徴的な動きがなく（例えば、空の特徴のない廊下）、最適化のための統計的に有意な情報がない、ために起こり得る。幸い、ビデオ及びＩＭＵ記録の開始時間は、制御可能である。また、ほとんどの実際の環境は、適切な追跡及び同期のための十分な特徴を含む。従って、図６Ｂに示される誤った状況は、実際には回避することができる。
【0110】
装置のヨーレートが、ゼロ平均であり、連続するサンプル間の相関が一般的に低く、高周波数である信号によって一般的に表されることを考えると、カメラのヨーレートと装置軌跡とを相互相関させることにより、図６Ａに示されるように、非常に高い明瞭なピークが得られる。この明瞭さは、時間的同期に高いロバスト性をもたらす。
【0111】
自動トリガがない場合、カメラ及びＩＭＵデータ記録は、同時に開始されない。この結果、時間同期が実行されたときに、ＩＭＵ、ひいてはｌｉｄａｒ軌跡の時間の境界から外れたタイムスタンプを有する画像が存在し得る。このようなタイムスタンプのカメラポーズは、依然として連続した軌跡から推定できるが、実際には、誤ったポーズになる可能性がある。従って、測定データの時間境界から外れた画像タイムスタンプは破棄され、代わりに、ビデオとカメラポーズの間で、フレーム数で測定された時間オフセットの較正が実行される。
【0112】
次に、図７を参照して、カメラ軌跡を決定する特定のプロセスについて説明する。
【0113】
この例では、ステップ７００において、（図８Ａに描かれているように）マッピング装置の軌跡がそれぞれのフレームのタイムスタンプで補間される。次いで、ステップ７１０では、（図８Ｂに示されるように）それぞれのフレームのマッピング装置のポーズが取得される。次いで、ステップ７２０では、カメラ外部パラメータが取得され、最終的にステップ７３０では、（図８Ｃに示されるように）それぞれのフレームのカメラのポーズがカメラ外部を使用して決定される。
【0114】
【0115】
それぞれのフレームに対応するカメラポーズが決定された後、方法は、ポイントクラウド内のどの３Ｄポイントが、それぞれのフレームに表示されるかを選択する。
【0116】
処理されるそれぞれの視点において、カメラは、ポイントクラウド全体でキャプチャされたシーンのサブセットのみを観測することができる。３Ｄポイントのセットは、カメラの視野内にあり、特定のフレームで色を割り当てることができるポイントに絞り込まなければならない。
【0117】
任意選択で、方法は、ステップ９００において、３Ｄポイントクラウドのポイントを低解像度ビンにバケット化するステップを含む。このステップは、３Ｄポイントクラウドがマッピング装置の幾何学的スキャンデータから決定された後、いつでも３Ｄポイントクラウド上で実行することができる。
【0118】
特定のビデオフレームに表示されるポイントを選択する際の第１の段階は、カメラに近接しているポイントを抽出することである。ステップ９０５では、フレームのカメラポーズが取得され、ステップ９１０では、カメラポーズの前方軸が決定される。カメラのポーズの前方軸を使用することにより、ステップ９１５において、ポイントがカメラの前に所定の距離で投影され、次いで、任意選択で、このポイントの同一の距離内のすべてのポイントが更なる処理のために取得される。これは、例えば、図１０Ｂに示されており、近傍ポイント抽出は、図１０Ａのキャプチャされた画像に対応するカメラポーズに対して実行される。
【0119】
所定の距離パラメータの選択は、ｌｉｄａｒセンサの有効範囲及びシーンの特性に依存する。例えば、屋内シーンでは、より短い有効範囲を使用することができる。
【0120】
投影されたポイントからすべてのポイントまでの距離をチェックする代わりに、上述のポイントを低解像度のビンにバケット化し、ビンまでの距離をチェックすることで、大幅なスピード化を実現することが可能であり、これは、図示の例ではステップ９２０で実行されるステップである。次いで、ビンが十分に近いと考えられる場合、決定されたビン内のポイントは、ステップ９２５において抽出され、ローカルポイントクラウドを形成するために取得される。
【0121】
（図１０Ｃに示されるように）カメラのすぐ近くのシーンをキャプチャするローカルポイントクラウドを決定したら、次のステップは、閉塞されたポイントを除去することである。これが発生する理由は、ポイントクラウド内のポイントの体積がゼロであるために、空間内の特定の位置からは、固体物の背後の３Ｄポイントが見えてしまう（実際には見えないはずの３Ｄポイントが見えてしまう）ためである。ローカルポイントクラウドに閉塞されたポイントを含めることは、これらのポイントがカメラに表示されず、誤った色割当につながるため、望ましくない。例えば、図１０Ａに示される画像では、カメラは、２つのビンの背後を見ることができないが、それにも関わらず、図１０Ｃで抽出されたローカルポイントクラウドには、閉塞されたビンの背後のポイントが含まれている。
【0122】
相互に近接したポイントは、類似の可観測性を有するという基本的な仮定により、近くのポイントのルックアップと類似の方法で、ステップ９３０で３Ｄポイントをバケット化することより、高速化を実現することができる。これを実現するには、ビンは、図１０Ｄに示されるように、より細かい潜在的な閉塞を保持するために、十分に高い解像度でなければならない。この解像度の値は、ランタイムの高速化と可視性評価の品質との間のトレードオフをもたらす設計パラメータである。次いで、ステップ９３５では、ローカルポイントクラウドを効果的に均一にダウンサンプリングするために１つのポイントがそれぞれのビンから取得される（図１０Ｅを参照されたい）。
【0123】
ステップ９４０では、ダウンサンプリングされたローカルポイントクラウド内のポイントの可視性を判定する可視性チェックが実行される。可視性チェックは、上述のように、Ｓ．Ｋａｔｚ，Ａ．Ｔａｌ，ａｎｄ Ｒ．Ｂａｓｒｉ，“Ｄｉｒｅｃｔ ｖｉｓｉｂｉｌｉｔｙ ｏｆ ｐｏｉｎｔ ｓｅｔｓ，”ｉｎ ＡＣＭ ＳＩＧＧＲＡＰＨ ２００７ Ｐａｐｅｒｓ，ｓｅｒ．ＳＩＧＧＲＡＰＨ’０７．Ｎｅｗ Ｙｏｒｋ，ＮＹ，ＵＳＡ：ＡＣＭ，２００７及びＳ．Ｋａｔｚ ａｎｄ Ａ．Ｔａｌ，“Ｏｎ ｔｈｅ ｖｉｓｉｂｉｌｉｔｙ ｏｆ ｐｏｉｎｔ ｃｌｏｕｄｓ，”ｉｎ ２０１５ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＩＣＣＶ），Ｄｅｃ ２０１５，ｐｐ．１３５０－１３５８で提案されている技法を利用する。この分析は、画像では見えないかもしれない表面への色の「にじみ」や、結果の歪みを防ぐのに役立つため、結果として得られる着色されたポイントクラウドの品質にとって重要である。２つの刊行物の全体の内容は、参照により本明細書に援用される。
【0124】
この技術は、ローカルポイントクラウドを、原点に視点、即ちカメラを有する新しい座標系に変換するステップを含む。図１４Ａは、視点を中心とする球体を使用した球面フリッピング反転を示す。反転ステップにおいて、ローカルポイントクラウド内のポイントは、現実世界でカメラに近いポイントが遠くなるように、球体に対して放射状に反射される。次いで、凸包は、新たに変換されたポイントのセットについて計算され、凸包上に存在するこれらのポイントは、可視であるとみなされる。図１４Ｂは、可視であるとみなされる凸包上のポイントの逆投影を示す。
【0125】
結果として得られる間引きされたポイントクラウド（図１０Ｆ）に対して可視性チェックを実行すると、可視ポイントが由来するビンへの参照が維持され、これらは、図１０Ｇに示される完全に密な可視ポイントクラウドを迅速に回復するために使用される。このようにして、ステップ９４５では、可視ポイントを有するビン内のすべてのポイントが取得され、ステップ９５０では、可視ローカルポイントクラウドを決定するために使用される。
【0126】
隠れたポイントを除去するためのアルゴリズムは、Ｏ（ＮｌｏｇＮ）の操作であることから、特にポイントクラウドが密集している場合又はローカルポイントクラウドの範囲が大きな屋外シーンのために高く設定されている場合、着色パイプラインのランタイムにかなりのオーバーヘッドが追加され得る。そのため、ポイントをバケット化し、間引きされたローカルポイントクラウドに対して分析を実行することにより、大幅な計算効率が達成される。
【0127】
従って、上述の最適化は、可視ポイントの計算における計算の複雑さを軽減するのに有用である。上述のように、第１の最適化には、カメラポーズに従って位置決め及び方向付けされた固定円セクタ内にあるポイントを見つけるステップを含む。
【0128】
第２の最適化は、近くのポイントが同一の可視性値を有することを仮定している。
【0129】
どちらの最適化も、完成した３Ｄポイントクラウドの領域を表すために模範的な３Ｄポイントが使用される、データ構造を利用する。領域（即ちボクセル）は、３Ｄポイントクラウドを、重なり合わない矩形領域の固定セットに分割することにより形成される。このデータ構造は、階層の第１の層が３Ｄポイントクラウドの最も粗い分割を示す、階層形式を可能にする。後続の層は、その模範的な３Ｄポイントによってカプセル化された領域のサイズを縮小し、その結果、より多くの模範的なポイントを含む。
【0130】
上述の第１の最適化は、円セクタ内の領域を見つけるために、階層データ構造の第１の層の模範ポイントを使用する。次いで、可視性を計算するために、選択された粗い領域と重なるより細かい領域の模範的なポイントが使用される。次いで、模範ポイントに割り当てられた結果の可視性値は、その関連する領域内のすべてのポイントに伝播される。
【0131】
両方の最適化の重要な特性は、それぞれのステップの計算の複雑さがボクセルの数によって制限されることである。
【0132】
隠れポイント除去処理で使用されるラジアル（即ち球面）変換は、以下の式１：
によって定義され、ここで、ポイントクラウドＱ＝［ｑ１，．．．，ｑｎ］内のそれぞれの３Ｄポイントｑｉは、新しい３Ｄポイントｐｉ＝Ｆ（ｑｉ）にマッピングされ、関数ｆ：Ｒ＋＋→Ｒ＋＋は、球面反射を実行する単調減少カーネル関数である。
【数1】
【0133】
式２及び式３によって定義されるように、線形カーネル及び指数反転カーネルを含むカーネル関数の選択には、多くの可能性がある。
ここで、ｄは、原点からのポイントの距離であり、γは、設計パラメータである。
【数2】
【数3】
【0134】
上述のカーネル関数のスケール不変性をテストするために、図１１Ａに示される合成データセットが生成される。ここで、２つのブロック及びその背後の壁は、異なるサイズを有し、観測者から異なる距離に位置するが、観測者がいる位置に配置されたカメラの画像に投影された時に、同一の正確な外観を有するように生成される。図１１Ｂ及び図１１Ｃは、この投影が、問題の２つのカーネルについてどのように見えるかを示している。
【0135】
可視ポイントの投影で観測される壁のギャップは、前景のボックスと背景の壁の縁の周りの鋭い不連続性に起因する。しかしながら、このギャップの大きさは、可視性分析が、線形カーネルではなく、指数反転カーネルによって実行されたときに、異なる深度（画像の左側と右側）に位置するシーン間でより一貫性を有するように見えることに留意されたい。より定量的な比較を提供するために、これが合成シーンであり、且つ形状が十分に単純であることを考慮して、それぞれの壁の可視ポイントの実際の予測数が計算される。次いで、それぞれのカーネルタイプのγ値の範囲で可視性分析が実行され、可視とみなされたそれぞれの壁からのポイントの数がカウントされる（図１１Ｄ）。指数反転カーネルの精度は、すべてのγ値にわたって異なる深度のシーン間で一貫しているが、線形カーネルは、異なる深度での可視性分析の品質に不一致を示す。図１１Ｅには、線形及び指数反転カーネル間の更なる比較が示されている。
【0136】
シーケンス内のビデオフレームは互いに独立して処理されるため、それぞれの視点から着色される３Ｄポイントの空間ルックアップは、連続する画像によって処理されるポイントに冗長性をもたらす。これは、特に処理された画像間の時間間隔が小さい場合又は２つの連続する視点間のカメラポーズの変化がわずかである場合に当てはまる。色のよりロバストな推定値を得るためには、いくつかの冗長な観測が望まれるが、十分に観測されたとみなされるポイントを空間ルックアップから除去し、後続の視点で処理されるポイントの数を減らすことで、処理時間の大幅な高速化を達成することができる。
【0137】
ポイントがどれだけよく観測されたかを測定する単純な方法は、観測の数をカウントし、その数が特定の閾値に到達したらポイントを除去することである。但し、本明細書に記載されたアプローチでは、観測されたそれぞれの色は、現在の視点に対するポイントの深度に反比例する重みによってスケーリングされる（式４）。従って、それぞれのポイントについてのこの蓄積された重みの使用は、空間ルックアップから除去するポイントをマーキングするためのメトリックとして提案される。
ここで、ｚは、次式によって与えられる。
ここで、ｍａｘ＿ｒａｎｇｅは、ユーザーによって定義されるパラメータである。
【数4】
【数5】
【0138】
この重み付けの必要性は、ポイントクラウドの密度と画像の解像度によっては、同一のピクセルに投影された複数の３Ｄポイントが存在し得るという事実から生じる。カメラからの距離が長くなるにつれて、実際には多少の局所的なばらつきが見られても、空間内のより多くの隣接するポイントが同じ色にマッピングされる可能性が高くなる。従って、このスケーリングは、特定の深度レベルでのすべてのポイントにわたって、１つの色の寄与を正規化することを試みる。
【0139】
観測の数とは対照的に、累積重みを使用することにより、現在制限されている観測は、値が空間ルックアップからの除去するための閾値に近づくと、少なくともいくつかの高品質なものを含む可能性が高くなる。この閾値の選択は、その後、アプリケーションの要件及び制約に依存する。
【0140】
可視性分析アルゴリズムが有意な結果を生成するには、すべての３Ｄポイント、従って潜在的な閉塞の知識が、すべての視点について維持されなければならないことに留意することが重要である。しかし、上述の空間ハッシュ選択の使用は、特定の視点が処理される時点までに、空間ルックアップによって返されるポイントクラウドが間引きされている可能性があり、それによりポイント可視性の誤った評価につながることを意味する。従って、可視性分析と空間ハッシュ選択が両方使用される場合、それぞれの視点における可視性は、ポイントクラウド全体で予め計算され、新しいルックアップテーブルに格納されなければならず、次いで実際の色割当フェーズの間に参照され、それに応じて選択されることができる。
【0141】
色割当フェーズのタスクは、その交差する色のセットに基づいてそれぞれの３Ｄポイントの平均色を計算することである。算術平均を使用すると、過度に不鮮明な結果を与えるが、モードを使用すると、その感度に起因して過度にノイズの多い結果を与える。従って、中間のロバストな平均が必要とされる。課題は、中央値など、外れ値に対してロバストな平均は、同時に色サンプルのフルセットを必要とすることである。これは、ポイントごとに色のリストを維持する必要があり、メモリのコストがかかる。従って、算術平均のように累積的な方法で計算できるが、中央値や他のロバストな平均のように外れ値の重みを小さくする平均が必要とされる。
【0142】
例示的な色選択アルゴリズムを以下に提示する。これは、問題をチャネルごとに取り扱い、サンプル内の平均及び分散の現在の推定値の周りのガウス関数に基づいて、それぞれの新しいサンプルを重み付けする。行６では、平均及び分散の推定値が更新されるのに伴い、移動ロバスト平均を再重み付けします。これは、サンプルの数が２０未満など小さい場合に精度が向上します。
【0143】
【表1】
【0144】
ここで、Ｎ（ｃ，ｄ，ｎ）は、ガウス関数ｆ（ｘ；μ，σ２）への入力として、平均及び分散ｃ／ｎ，ｄ／ｎ－（ｃ／ｎ）２を与える。
【0145】
この方法は、ガウス重み付け関数を使用することによる、反復的に再重み付けされた最小二乗ロバスト平均の１回の反復の累積近似である。累積近似の欠点は、結果として得られる平均が何らかの順序依存性を有することである。但し、サンプル順序に伴うロバスト平均の標準偏差は、サンプルの標準偏差の１０パーセント未満であり、サンプル数がゼロ及び無限数の場合に、偏差がゼロになる傾向がある。この小さな順序依存性は、ポイント間の可視ノイズを引き起こす可能性があるが、アルゴリズムは、同一の時間的順序でそれぞれのポイントを処理するため、空間ノイズは回避される。
【0146】
次に、推定された重み付けされたガウス分布の平均を用いて、最終的な色を３Ｄポイントに割り当てる具体的な例について説明する。
【0147】
以下の対数尤度関数を使用して、重み付けされたガウス分布の平均及び共分散を推定する問題を考える。
ここで、Ｎは、多変量ガウス密度関数であり、ｘｉは、候補色であり、且つｗｉ≧０は、色ｘｉに割り当てられた重みである。μ及びΣについての解は、以下の通りである。
ここで、Ｓｉ＝（ｘｉ－μ）（ｘｉ－μ）Ｔである。
【数6】
【数7】
【数8】
【0148】
式７及び式８から、以前のＮ－１個の色候補の寄与は、３つの量を使用して表せることが明らかである。
【数9】
【0149】
従って、ポイントクラウド内のそれぞれのポイントは、処理中に３つの状態変数を必要とする。上述の技術は、カメラによって記録されたビデオが順次処理されることを可能にすることを理解されたい。
【0150】
一例では、重みｗｉは、以下の形式の重み付けされていないガウス分布を使用して計算される。
この重み付け関数の選択は、観測値が到着する順序に対してロバストでありながら、誤った候補色に対すて一定レベルのロバスト性を提供する。それぞれの候補色の重みを計算するための重み付けされていないガウス分布の使用は、１ポイント当たり２つの状態変数が余分に必要になるが、状態変数に必要なメモリは、すべての色候補を格納するために必要なメモリよりも格段に小さい。
【数10】
【0151】
【0152】
この例では、ステップ１２００において、まず、カメラ外部及び内部パラメータが取得される。次いで、ステップ１２０５では、処理されるフレームの可視ローカルポイントクラウドがルックアップから取得される。次いで、ステップ１２１０では、２Ｄ画像座標に可視３Ｄポイントを変換するために、カメラ外部及び内部パラメータが使用される。このようにして、可視３Ｄポイントがフレーム内の画像上に投影される。ステップ１２１５では、２Ｄ画像座標におけるピクセルの色に対応して、３Ｄポイントの候補色（即ちＲＧＢベクトル）が抽出される。
【0153】
ステップ１２２０では、候補色が上述の累積色選択アルゴリズムに提供される。次いで、ステップ１２２５では、３Ｄポイントに対して色の移動ロバスト平均が更新される。
【0154】
ステップ１２３０では、方法は、例えば、上述の空間ハッシュ選択を使用することにより、３Ｄポイントの色のコンフィデンスに到達したかどうかをチェックする。３Ｄポイントの色のコンフィデンスに到達している場合、ステップ１２３５において、３Ｄポイントが空間ルックアップから除去され、それにより、任意の後続のフレームで処理されないことが保証される。到達しない場合、ステップ１２４０において、３Ｄポイントが空間ルックアップ内に残り、それにより後のフレームでの更なる色観測を可能にする。
【0155】
ステップ１２４５では、方法は、着色される任意のフレームが残っているかどうかを判定する。残っている場合、方法は、ステップ１２０５に戻り、次のフレームのための可視ローカルポイントクラウドがルックアップから取得される。着色されるべきすべてのフレームがされた場合、ステップ１２５０において、それぞれの３Ｄポイントの移動ロバスト平均が取得され、ステップ１２５５において、対応するロバスト移動平均を使用して、色がそれぞれの３Ｄポイントに割り当てられる。従って、このようにして、ポイントクラウドの全体を着色することができる。
【0156】
別の実施形態では、処理されるべきすべてのフレームがされたとき、それぞれの３Ｄポイントが位置する表面に対する視点の間の角度が決定され、且つ角度が９０°に最も近い３Ｄポイントに対応する色を使用することにより、色が３Ｄポイントに割り当てられる。この表面は、球面フリッピング及び凸包構築を含む上述の技術により定義することができる。
【0157】
実験
すべての実験において、既存のカメラレスｌｉｄａｒ走査装置が使用され、且つこれらにカメラが追加された。
すべての実験において、既存のカメラレスｌｉｄａｒ走査装置が使用され、且つこれらにカメラが追加された。
【0158】
実行された実験では、システムは、８つのコアのＩｎｔｅｌ Ｃｏｒｅ ｉ７－６９２０ＨＱ ＣＰＵ＠２．９０ＧＨｚと、８ＧＢのメモリとを有する標準的なラップトップ上で稼働する。テストでは、ＧｏＰｒｏ ４ Ｓｅｓｓｉｏｎ及びＲｉｃｏｈ Ｔｈｅｔａ Ｓ ３６０°カメラの２つのタイプの消費者用カメラを使用した。テストには、携帯型装置（ＣＳＩＲＯ Ｒｅｖｏユニット）、無人航空機ＤＪＩ Ｍａｔｒｉｃｅ ６００及び電動全地形型のＪｏｈｎ Ｄｅｅｒｅ ＴＥ Ｇａｔｏｒ自律型地上車両の３つのタイプのプラットフォームを使用した。システムの容易な適用性及びポータビリティを示すために、（図４Ａ～図４Ｃの異なるセットアップで示されるように）複数のプラットフォームでテストを実行した。
【0159】
カメラがプラットフォームに取り付けられた後、ｌｉｄａｒのベース参照フレームとカメラとの間の外部変換を決定するために外部較正を実行した。実施されたテストでは、ユーザーがカメラ画像上のポイントクラウドの視点を手動で調整できるように視覚ツールを実装した。外部を較正するために、ユーザーは、必要とされる程度の精度が得られるまで変換のすべての成分（平行移動、回転及びスケール）をチューニングする。較正の品質は、カメラによって可視化された３Ｄポイントを画像平面に透視投影し、両方のモダリティで十分に特徴的な特徴間の位置合わせの品質を観測することにより評価される。
【0160】
表１を参照すると、着色の品質及び処理時間に影響を及ぼすいくつかの主要なパラメータが提供されている。「値」列は、ポイントの密度及び必要な処理時間に応じて使用することができる典型的な値を示す。
【0161】
【表2】
【0162】
ここで、上述のプラットフォームを使用したいくつかの例示的なテスト結果について簡潔に説明する。携帯型マッピング装置は、３０ｍの有効範囲を有するＨｏｋｕｙｕ ＵＴＭ－３０ＬＸ走査型レーザー距離計を搭載した。テストは、屋内オフィス、廊下及び工業環境などの複数のエリアで実施され、歩行速度でデータを記録した。オフィス環境の着色されたポイントクラウドのスナップショットと、それに対応するカメラビューは、それぞれ図１３Ａ及び図１３Ｂに示される。このタイプの環境では、上述の可視性分析は、空間のより雑然とした性質のために、大幅な視覚的改善をもたらした。
【0163】
地上車両が工業団地内で約２ｍ／ｓで運転され、結果として得られた着色されたポイントクラウドのスナップショットが図１３Ｃ及び図１３Ｄに示される。図４Ｃに示されるように、ｌｉｄａｒからカメラへの大きな移動があり、それにより可視性分析を使用する必要がある。結果として得られたポイントクラウドは、ｌｉｄａｒ取付けポストの大きな振動にも関わらず、適切に着色されている。地上車両プラットフォームは、１００ｍの有効範囲をもつ、Ｖｅｌｏｄｙｎｅ ＶＬＰ－１６ ｌｉｄａｒを使用した。この場合、利用可能な１６個のビームのうちの４個のみがテストで使用され、リアルタイム処理よりも高速になった。
【0164】
同様に、空中プラットフォームでは、Ｖｅｌｏｄｙｎｅ ＶＬＰ－１６ ｌｉｄａｒを使用した。カメラの取付けは、この場合にも（図４Ｂに示されるように）異なり、クワッドコプターのサイズと限られたペイロード容量を考えると、余分なケーブル配線や処理の必要性がない、小型カメラを追加するのが便利である。結果として得られた着色されたポイントクラウドのスナップショットが、図１３Ｅ及び図１３Ｆに示される。
【0165】
表２を参照すると、（図１３～図１３Ｆに示される）上述のプラットフォームで収集されたデータセットのパラメータ及び処理時間が提供される。すべての場合において、「カーネルタイプ」は、γ＝０．００１の指数関数型であった。
【0166】
【表3】
【0167】
従って、少なくとも１つの例では、空間的にも又は時間的にもマッピング装置とカメラの緊密な結合を必要としない、移動走査プラットフォームによって取得されたポイントクラウドの着色に使用される方法が提示される。これを目的として、オプティカルフロー情報を使用してマッピング装置のデータとカメラのデータとを同期させる新規な方法が示される。着色パイプラインは、改善されたポイントクラウド可視性分析アルゴリズムを統合する。上述のパイプラインによって採用された色の蓄積及び割当スキームは、メモリ効率が高く、照明条件の変動やマッピング装置とカメラとの間の局所的な位置ずれの結果として生じる外れ値に対してロバストである。最後に、提案される着色パイプラインは、携帯、自律型地上車両又は空中車両など、様々な異なる走査プラットフォームに適用することができる。
【0168】
本明細書及び添付の請求項の全体を通して、文脈がそうではない旨を必要としない限り、「含む（ｃｏｍｐｒｉｓｅ）」という用語及び「含む（ｃｏｍｐｒｉｓｅｓ）」又は「含んでいる」などの変形は、任意の他の完全体又は完全体の群の排除ではなく、記述される完全体若しくは完全体の群又はステップの包含を意味するものと理解されたい。
【0169】
当業者は、多数の変更形態及び変形形態が明らかとなることを理解するであろう。当業者に明らかとなるすべてのこのような変更形態及び変形形態は、以上で広範に記述された本発明の趣旨及び範囲に含まれるものと見なされるべきである。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図5C】
【図6A】
【図6B】
【図6C】
【図7】
【図8A】
【図8B】
【図8C】
【図9A】
【図9B】
【図10A-10G】
【図11A-11C】
【図11D】
【図11E】
【図12A】
【図12B】
【図13A-13F】
【図14A】
【図14B】