ホーム > 特許ランキング > トヨタ モーター ヨーロッパ
知財求人 - 知財ポータルサイト「IP Force」
▶ トヨタ モーター ヨーロッパ ナームロゼ フェンノートシャップ／ソシエテ アノニムの特許一覧 ▶ テクニッシェ ウニベルシタット ミュンヘンの特許一覧
特表2017-532695ＲＧＢ−Ｄセンサを使用して物体を走査する方法とシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】特表2017-532695(P2017-532695A)
(43)【公表日】2017年11月2日
(54)【発明の名称】ＲＧＢ−Ｄセンサを使用して物体を走査する方法とシステム
(51)【国際特許分類】
G06T 1/00 20060101AFI20171006BHJP
G06T 7/55 20170101ALI20171006BHJP
G01B 11/24 20060101ALI20171006BHJP
【ＦＩ】
G06T1/00 315
G06T7/55
G01B11/24 K
【審査請求】有
【予備審査請求】有
【全頁数】19
(21)【出願番号】特願2017-530405(P2017-530405)
(86)(22)【出願日】2014年8月29日
(85)【翻訳文提出日】2017年4月27日
(86)【国際出願番号】EP2014068430
(87)【国際公開番号】WO2016029970
(87)【国際公開日】20160303
(81)【指定国】
AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LT,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG
(71)【出願人】
【識別番号】511312997
【氏名又は名称】トヨタ モーター ヨーロッパ
(71)【出願人】
【識別番号】517068553
【氏名又は名称】テクニッシェ ウニベルシタット ミュンヘン
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100160716
【弁理士】
【氏名又は名称】遠藤 力
(74)【代理人】
【識別番号】100180806
【弁理士】
【氏名又は名称】三浦 剛
(74)【代理人】
【識別番号】100205969
【弁理士】
【氏名又は名称】氷室 詩乃
(72)【発明者】
【氏名】ズビグネフ ワシク
(72)【発明者】
【氏名】バディム ケール
(72)【発明者】
【氏名】ナシアー ナバブ
【テーマコード（参考）】
2F065
5B057
5L096
【Ｆターム（参考）】
2F065AA04
2F065AA06
2F065AA09
2F065AA20
2F065AA37
2F065AA53
2F065BB05
2F065DD02
2F065DD03
2F065DD06
2F065EE00
2F065FF01
2F065FF04
2F065FF05
2F065MM04
2F065MM09
2F065PP13
2F065PP25
2F065QQ18
2F065QQ21
2F065QQ29
2F065QQ37
2F065QQ45
5B057CA01
5B057CA08
5B057CA13
5B057CA16
5B057CB01
5B057CB08
5B057CB13
5B057CB16
5B057CE08
5B057CH11
5B057DA07
5B057DB03
5B057DB06
5B057DB09
5B057DC08
5B057DC32
5L096AA02
5L096AA06
5L096AA09
5L096CA02
5L096FA66
5L096FA67
5L096FA69
(57)【要約】
【課題】物体を走査する方法であって、物体に対するセンサの姿勢と関連付けられている複数のキーフレームを提供する（Ｓ０２）各基本走査と、物体の位置と関連付けられている各基本走査とからなる、ＲＧＢ−Ｄセンサとビジュアルオドメトリを使用する前記物体の複数の基本走査（ＳＣ０１、ＳＣ０２）と、各基本走査に対して、複数のキーフレームと走査の姿勢を使用して、物体の３次元モデルを精緻化する（Ｓ０６）ことと、各３次元モデルを物体の統合３次元モデルに統合する（Ｓ０７）ことと、を備えている。物体を走査するシステムもまた提案される。【選択図】図１
【特許請求の範囲】
【請求項1】
物体を走査する方法であって、
ＲＧＢ−Ｄセンサとビジュアルオドメトリを使用する物体の複数の基本走査（ＳＣ０１、ＳＣ０２）であって、各基本走査は前記物体に対するセンサの姿勢と関連付けられている複数のキーフレームを提供し（Ｓ０２）、且つ、各基本走査は前記物体の位置と関連付けられている、前記複数の基本走査と、
各基本走査に対して、前記複数のキーフレームと前記走査の姿勢を使用して、前記物体の３次元モデルを精緻化する（Ｓ０６）ことと、
各３次元モデルを前記物体の統合３次元モデルに統合すること（Ｓ０７）と、を含むことを特徴とする方法。
ＲＧＢ−Ｄセンサとビジュアルオドメトリを使用する物体の複数の基本走査（ＳＣ０１、ＳＣ０２）であって、各基本走査は前記物体に対するセンサの姿勢と関連付けられている複数のキーフレームを提供し（Ｓ０２）、且つ、各基本走査は前記物体の位置と関連付けられている、前記複数の基本走査と、
各基本走査に対して、前記複数のキーフレームと前記走査の姿勢を使用して、前記物体の３次元モデルを精緻化する（Ｓ０６）ことと、
各３次元モデルを前記物体の統合３次元モデルに統合すること（Ｓ０７）と、を含むことを特徴とする方法。
【請求項2】
各基本走査に対して、前記物体の回転（Ｓ０３）又は前記物体の周りの前記センサの回転を含み、前記物体は前記基本走査と関連付けられている前記位置にある、請求項１に記載の方法。
【請求項3】
ループ閉鎖は、前記物体の回転または前記物体の周りの前記センサの回転の後に検出される（Ｓ０４）、請求項２に記載の方法。
【請求項4】
ポーズグラフ最適化（Ｓ０５）が、ループ閉鎖を検出した後に、各基本走査の前記姿勢に対して行われる、請求項３に記載の方法。
【請求項5】
各基本走査に対する前記３次元モデルの前記精緻化は、カラー符号付距離場と近似Ｌ1最小化を使用する変分法を使用して行われる、請求項１から４のいずれか１項に記載の方法。
【請求項6】
前記物体の前記統合３次元モデルの前記精緻化は、各３次元モデルを初期３次元モデルに変換する変換の決定を含み、前記変換の決定は、近似Ｌ1ノルムを使用して、各３次元モデルを前記初期３次元モデルに整列することを含む、請求項１から５のいずれか１項に記載の方法。
【請求項7】
前記物体の３次元メッシュを得るために、前記物体の前記統合３次元モデルに対してマーチングキューブアルゴリズムを使用することを含む、請求項１から６のいずれか１項に記載の方法。
【請求項8】
少なくとも２つの基本走査中の前記物体の前記位置は異なり、前記センサに対し前記物体の異なる部分を表示する、請求項１から７のいずれか１項に記載の方法。
【請求項9】
前記キーフレーム上の背景から前記物体を分離するために、各キーフレームの分割を含む、請求項１から８のいずれか１項に記載の方法。
【請求項10】
物体に向けられるように意図されているＲＧＢ−Ｄセンサを備える、前記物体を走査するシステムであって、
前記ＲＧＢ−Ｄセンサとビジュアルオドメトリを使用して、ある位置の前記物体を走査して、前記物体に対する前記センサの姿勢と関連付けられている複数のキーフレームを提供する手段と、
複数のキーフレームと前記物体の走査の姿勢を使用して、前記物体の３次元モデルを精緻化する手段と、
複数の３次元モデルを前記物体の統合３次元モデルに統合する手段と、を備えることを特徴とするシステム。
前記ＲＧＢ−Ｄセンサとビジュアルオドメトリを使用して、ある位置の前記物体を走査して、前記物体に対する前記センサの姿勢と関連付けられている複数のキーフレームを提供する手段と、
複数のキーフレームと前記物体の走査の姿勢を使用して、前記物体の３次元モデルを精緻化する手段と、
複数の３次元モデルを前記物体の統合３次元モデルに統合する手段と、を備えることを特徴とするシステム。
【請求項11】
前記物体を回転または前記物体の周りで前記センサを回転する手段を備える、請求項１０に記載のシステム。
【請求項12】
前記物体の回転または前記物体の周りの前記センサの回転の後に、ループ閉鎖を検出する手段を備える、請求項１１に記載のシステム。
【請求項13】
ループ閉鎖を検出した後に、各基本走査の前記姿勢に対してポーズグラフ最適化を行う手段を備えることを特徴とする請求項１２に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、物体の走査に関し、より正確には、ＲＧＢ−Ｄセンサを使用して、物体の３次元モデルを得ることに関する。
【背景技術】
【0002】
走査された物体の３次元モデルを得ることは、３次元再構築とも呼ばれ、過去数十年の間、コンピュータビジョンおよびロボット工学の分野において主要な焦点であった。深度情報を伴う画像をキャプチャする低コストのＲＧＢ−Ｄ（Ｒｅｄ−Ｇｅｅｎ−Ｂｌｕｅ ａｎｄ Ｄｅｐｔｈ）センサの開発は、３次元再構築における関心を高めた。ＲＧＢ−Ｄセンサは、色（カラー）付きの、計量的に正確な再構築を提供する方法の開発を可能にする。これらのＲＧＢ−Ｄセンサは、製造の検証、ゲーム、ロボット工学、物体認識、および物体操作のような多くの異なる分野に対してますます重要になってきた。
【0003】
３次元モデルを再構築する方法はインハンドの方法を含み、この方法においては、カメラに面している物体を手により支える。この方法は、物体を背景から分離するために複雑な背景分割を必要とする。この問題を、物体を運ぶユーザの手にはめた色付グローブの使用により解決することが提案されている。インハンドセットアップは、明瞭な外観と、フレーム間の動きが少ない物体に対しては信頼性があることが証明されている。しかし、インハンドセットアップは、フレーム間の変換の決定に信頼性がないので、幾何学的および質感的特徴が少ない物体の処理にしばしば失敗する。
【0004】
このため、物体を支え、アームの姿勢を登録して、フレームを他のフレームに変換するビジュアル変換を得るためのロボットアームの使用が提案されている。
【0005】
代替的に、静的なセットアップもまた提案されており、走査または再構築される物体は、回転サポート表面上に置かれる。これらのセットアップは、サポート表面上のマーカーを使用でき、または、質感を十分に与えられたサポート表面の使用に基づいて構築できる。マーカーを有するサポート表面の使用は、分割を容易にし、物体に対する外観の制約なしに、任意の物体に対して静的なセットアップを使用することを可能にする。
【0006】
モデル再構築の既知の方法の１つは、マイクロソフト（Ｍｉｃｒｏｓｏｆｔ）のキネクトフュージョン（Ｋｉｎｅｃｔｆｕｓｉｏｎ）である。この方法は、ＲＧＢ−Ｄセンサと、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔの略）で当業者には知られている方法を採用する。キネクトフュージョンは、種々の物体のモデルの再構築にしばしば失敗する。より正確には、対称の特徴または不明瞭な幾何学形状を有する物体は、キネクトフュージョンによりうまく再構築されない。キネクトフュージョンはまた、ユーザに容積間の境界を指定すること、および後処理工程を行うことを要求する。
【0007】
良好なレベルの自動化を提供し、ユーザによる徹底的な管理を要求せずに物体のモデルを再構築するシステムへの傾向があることに留意すべきである。
【発明の概要】
【発明が解決しようとする課題】
【0008】
開示の主な目的は、現在利用可能なシステムおよび方法の欠点を克服する方法およびシステムを提供することである。
【課題を解決するための手段】
【0009】
本開示は、物体を走査する方法を提案することにより、従来技術の１つまたはそれ以上の欠点を克服する。
【0010】
本開示の実施形態によれば、方法は、ＲＧＢ−Ｄセンサとビジュアルオドメトリを使用する物体の複数の基本走査であって、前記各基本走査は前記物体に対するセンサの姿勢と関連付けられている複数のキーフレームを提供し、且つ、前記各基本走査は前記物体の位置と関連付けられている、前記複数の基本走査と、
各基本走査に対して、複数のキーフレームと走査の姿勢を使用して、物体の３次元モデルを精緻化することと、
各３次元モデルを物体の統合３次元モデルに統合することと、を含む。
【0011】
ビジュアルオドメトリは、センサにより観測される動作に対応するワープ（ｗａｒｐ）を推定するために、色および深度の両方の情報を使用する技術である。この技術は、動きのより良好な推定を提供するので、ＩＣＰよりも良好な結果を示す。この技術は、文書「Ｒｅａｌ−ｔｉｍｅ ｖｉｓｕａｌ ｏｄｏｍｅｔｒｙ ｆｒｏｍ ｄｅｎｓｅ ＲＧＢ−Ｄ ｉｍａｇｅｓ」（Ｆｒａｎｋ Ｓｔｅｉｎｂｒｕｃｋｅｒ、Ｊｕｒｇｅｎ Ｓｔｕｒｍ、ａｎｄ Ｄａｎｉｅｌ Ｃｒｅｍｅｒｓ−ＩＣＣＶ Ｗｏｒｋｓｈｏｐ、２０１１）、および文書「Ｔａｂｌｅｔｏｐ Ｏｂｊｅｃｔ Ｓｃａｎｎｉｎｇ ｗｉｔｈ ａｎ ＲＧＢ−Ｄ Ｓｅｎｓｏｒ」（Ｍａｒｉａ Ｄｉｍａｓｈｏｖａ、Ｉｌｙａ Ｌｙｓｅｎｋｏｖ、Ｖｉｎｃｅｎｔ Ｒａｂａｕｄ、ａｎｄ Ｖｉｃｏｒ Ｅｒｕｈｉｍｏｖ−ＩＣＲＡ Ｗｏｒｋｓｈｏｐ、２０１３）において開示された。
【0012】
好ましくは、物体が異なる位置にあるときに複数の走査を行うことにより、物体が前の位置にいた間はセンサにより見ることができなかった物体の部分を、見えるようにすることができる。従って、物体の統合３次元モデルは、物体の特徴の全体を含むことができる。
【0013】
各基本走査は、基本走査と関連付けられている位置にある物体の回転または物体の周りのセンサの回転を含むことができる。
【0014】
次に物体を、第１位置に置き、基本走査中に回転している間に走査し、好ましくは、これまでは隠されていた特徴を示す別の位置に置き、基本走査中に回転している間に再び走査できる。
【0015】
ループ閉鎖は、物体の回転または物体の周りのセンサの回転の後に検出できる。
【0016】
例えば、ループ閉鎖の検出は、センサが、センサにより撮像された初期フレームと比較して相当の量の変換を観測したことを検出した後に起こる。例として、この変換は、３３０度の回転または２メートルに対応することができる。
【0017】
ポーズグラフ最適化を、ループ閉鎖を検出した後に、各基本走査の姿勢に対して行うことができる。
【0018】
センサの姿勢を改善するために、ポーズグラフ最適化を、当業者には「Ｇ２ｏ：Ａ ｇｅｎｅｒａｌ ｆｒａｍｅｗｏｒｋ ｆｏｒ ｇｒａｐｈ ｏｐｔｉｍｉｚａｔｉｏｎ」（Ｒａｉｎｅｒ Ｋｕｍｍｅｒｌｅ、Ｇｉｏｒｇｉｏ、Ｇｒｉｓｅｔｔｉ、Ｈａｕｋｅ Ｓｔｒａｓｄａｔ、Ｋｕｒｔ Ｋｏｎｏｌｉｇｅ、ａｎｄ Ｗｏｌｆｒａｍ Ｂｕｒｇａｒｄ−２０１１）に記載されているＧ２ｏとして知られているフレームワークを使用して行うことができる。
【0019】
各基本走査に対する３次元モデルの精緻化は、カラー符号付距離場および近似Ｌ1最小化を使用する変分法を使用して行うことができる。
【0020】
カラー符号付距離場は、深度を表現するための精度の良い方法を提供する。カラー符号付距離場は、文書「Ｒｅａｌｔｉｍｅ ｃａｍｅｒａ ｔｒａｃｋｉｎｇ ａｎｄ ３ｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｕｓｉｎｇ ｓｉｇｎｅｄ ｄｉｓｔａｎｃｅ ｆｕｎｃｔｉｏｎｓ」（Ｅｒｉｋ Ｂｙｌｏｗ、Ｊｕｒｇｅｎ Ｓｔｒｕｍ、Ｃｈｒｉｓｔｉａｎ Ｋｅｒｌ、Ｆｒｅｄｅｒｉｋ、Ｋａｈｌ、ａｎｄ Ｄａｎｉｅｌ Ｃｒｅｍｅｒｓ−ＲＳＳ、２０１３）に記載されている。
【0021】
Ｌ1最小化に関して、Ｌ1ノルムの使用は、大きな変換（１つのキーフレームから別のキーフレームへの）に対して精度のよい整列をさせるために、キーフレームから得られる点を精度よく区別することを可能にする。
【0022】
物体の統合３次元モデルの精緻化は、各３次元モデルを初期３次元モデル（例えば、最初の基本走査の後に得られる３次元モデル）に変換する変換の決定を含むことができ、前記変換の決定は、近似Ｌ1ノルムを使用して、各３次元モデルを初期３次元モデルに整列することを含む。
【0023】
物体の３次元メッシュを得るために、物体の統合３次元モデルに対してマーチングキューブアルゴリズムを使用できる。
【0024】
少なくとも２回の基本走査中の物体の位置は異なり、センサに対する物体の異なる部分を表示できる。
【0025】
方法は、キーフレーム上の背景から物体を分離するために、各キーフレームの分割を含むことができる。
【0026】
本開示の実施形態によれば、物体を走査するシステムが提供される。このシステムは、物体に向けられるように意図されているＲＧＢ−Ｄセンサを備える。
【0027】
このシステムの一般的な態様によれば、システムは、前記ＲＧＢ−Ｄセンサとビジュアルオドメトリを使用して、ある位置の物体を走査して、物体に対するセンサの姿勢と関連付けられている複数のキーフレームを提供する手段と、複数のキーフレームと物体の走査の姿勢を使用して、物体の３次元モデルを精緻化する手段と、複数の３次元モデルを物体の統合３次元モデルに統合する手段と、を備える。
【0028】
システムは、物体を回転または物体の周りでセンサを回転する手段を備えることができる。
【0029】
システムは、物体の回転または物体の周りのセンサの回転の後に、ループ閉鎖を検出する手段を備えることができる。
【0030】
システムは、ループ閉鎖を検出した後に、各基本走査の姿勢に対してポーズグラフ最適化を行う手段を備えることができる。
【0031】
システムは、上記に定義した方法のステップを行うように構成できるということに留意すべきである。
【0032】
本発明をどのように実施できるかを、一例として、以下に添付の図面を参照して説明する。
【図面の簡単な説明】
【0033】
【図1】本開示の実施形態による物体を走査する例示的な方法のブロック図である。
【図3】キネクトフュージョンおよび本開示の実施形態により得られるメッシュの比較である。
【図4】キネクトフュージョンおよび本開示の実施形態により得られるメッシュの比較である。
【発明を実施するための形態】
【0034】
ここで、添付の図面に例示されている、開示の例示的な実施形態を詳細に言及する。可能なときは常に、同一または同類の部品を示すため、図面全体を通して、同じ参照番号を使用する。
【0035】
図１は、物体を走査して、この物体の３次元モデルを再構築する例示的な方法のブロック図である。この方法は、ＲＧＢ−Ｄセンサを使用し、下記の例においては、センサが物体に向けられている間に、物体を回転する手段も使用する。物体を回転するそのような手段は、回転テーブルを備えることができる。
【0036】
本開示によれば、物体を回転する手段は、マーカーを備えていなくてもよいということに留意すべきである。
【0037】
図１の方法のステップは、センサからデータを受信し、このデータを処理するコンピュータに実装されたプロセッサを使用して実行できるということにも留意すべきである。
【0038】
図１の方法は、第１基本走査ＳＣ０１および第２基本走査ＳＣ０２を含む。複数の走査を必要とする幾何学形状を有している物体に対しては、より多くの基本走査を行うことができる。
【0039】
第１基本走査ＳＣ０１の第１ステップＳ０１においては、物体の位置が選択され、物体は、物体を回転する手段上のこの位置に置かれる。
【0040】
次に、２つのステップＳ０２とＳ０３が、ほぼ同時に行われる。ステップＳ０２は、キーフレームと姿勢の取得に対応し、ステップＳ０３は、物体を回転する手段を使用しての物体の回転に対応する。
【0041】
物体に対するセンサの正確な姿勢を得るために、キーフレーム取得の後に、前景を背景から分離するために分割を行うことができる。この分割を行うために、ＲＧＢ−Ｄセンサは、対として定義される。［Ｉ：Ω2→［０、１］3、Ｄ：Ω2→Ｒ+］
【0042】
ここでΩ2は画像プレーン、Ｉはカラー画像データ、Ｄは深度である。カメラ射影は、π：Ｒ3→Ω2で表わされる。プレーンは、クラウドデータＣ：＝πD-1に合わせられ、法線方向に沿うサポート平面にまたがる角柱（プリズム）が、角柱の内部にある３次元点を決定して、これらの点を前景分割マスクを作成する画像プレーンに射影するために計算される。
【0043】
前記角柱は、物体を取り囲む３次元形状に対応する。例として、角柱は、物体が置かれているサポートを検出して、このサポートへの法線を計算して、３次元ボックスを、法線に沿って押し出すことにより画定される。他の形状も、サポートの形状に適合するために使用できる。
【0044】
次に、センサ変換は、文書「Ｒｅａｌ−ｔｉｍｅ ｖｉｓｕａｌ ｏｄｏｍｅｔｒｙｆｒｏｍ ｄｅｎｓｅ ＲＧＢ−Ｄ ｉｍａｇｅｓ」（Ｆｒａｎｋ Ｓｔｅｉｎｂｒｕｃｋｅｒ、Ｊｕｒｇｅｎ Ｓｔｕｒｍ、ａｎｄ Ｄａｎｉｅｌ Ｃｒｅｍｅｒｓ -ＩＣＣＶ Ｗｏｒｋｓｈｏｐ、２０１１）に記述されているように、ビジュアルオドメトリを使用して決定される。より正確には、フォトコンシステンシ（ｐｈｏｔｏ−ｃｏｎｓｉｓｔｅｎｃｙ）を最大化することによる、２つの連続するセンサ対[Ｉ0、Ｄ0]、[Ｉ1、Ｄ1]の間のセンサのＳＥ（３）に対してΞ∈ＳＥ（３）となる剛体の動きΞである。【数1】
【0045】
ここで、ｗΞ：Ω2→Ω2であり、ｗΞ（ｘ）＝πＤ0（Ξ・πD1-1（ｘ））として定義され、カラーポイントクラウドを、１つのフレームから他のフレームに変換および射影する関数である。これは、最小二乗問題として解くことができ、コースツーファインの方式を使用するガウス−ニュートンのアプローチを使用して解くことができる。
【0046】
ＲＧＢ−Ｄセンサおよびビジュアルオドメトリを使用することは、幾何学的に区別できる特徴が少ない物体を扱うのに適しているので有利であるということに留意すべきである。ビジュアルオドメトリもまた、高い程度の質感を呈示する物体、およびこれもまた高い程度の質感を呈示するサポートを扱うためにも非常に適している。
【0047】
フレーム間での変換の推定の間、キーフレーム対[Ｉi、Ｄj]が、対応する姿勢Ｐiおよび前に格納されたキーフレームからの姿勢Ｐi-1と共に格納される。２つの連続するキーフレームと姿勢は、最小角度および距離、例えば１０°および１０センチメートルで分離できる。
【0048】
ステップＳ０４において、相当な量の変換が（[Ｉ0、Ｄ0]および対応する姿勢Ｐ0から）観測された後に、ループ閉鎖が検出される。例として、３３０°または２メートルの変換は、ループ閉鎖に対応することができる。
【0049】
次にポーズグラフ最適化が実行され（ステップＳ０５）、例えば、ビジュアルオドメトリエネルギーに基づくエラー測度が使用されている間のカメラの姿勢を改善するためのＧ２ｏフレームワークを使用する。次に、文書「Ｇ２ｏ：Ａ ｇｅｎｅｒａｌ ｆｒａｍｅｗｏｒｋ ｆｏｒ ｇｒａｐｈ ｏｐｔｉｍｉｚａｔｉｏｎ」（Ｒａｉｎｅｒ Ｋｕｍｍｅｒｌｅ、Ｇｉｏｒｇｉｏ Ｇｒｉｓｅｔｔｉ、Ｈａｕｋｅ Ｓｔｒａｓｄａｔ、Ｋｕｒｔ Ｋｏｎｏｌｉｇｅ、ａｎｄ Ｗｏｌｆｒａｍ Ｂｕｒｇａｒｄ−２０１１）に記述されているように、最小化されたエラー関数は、ビジュアルオドメトリエネルギーである。
【0050】
ステップＳ０６において、３次元モデルが得られる。より正確には、センサ対と姿勢が、半球Ｈ＝｛（Ｉi、Ｄi、Ｐi）ｉ｝として表わされる３次元モデルを画定する。
【0051】
ステップＳ０６において、滑らかに１つの融合モデルにするために、半球に対応するデータが容積測定場ｆi：Ω3 ⊂Ｒ3→Ｒに投入され、ここにおいてｉは、基本走査のインディシア（ｉｎｄｉｃｉａ）である。切断（ｔｒｕｎｃａｔｅｄ）符号付距離場が、光線を当て、視線に沿って、各点ｘ∈Ω3に対する表面からの符号付距離を計算することにより作成される。物体の前部の点には正の値が、一方、表面の背後の点には、負の値が与えられる。容積測定場は、下記のように記述される。【数2】
【0052】
Ｐixyzは、姿勢Ｐiに対するカメラの中心であり、δは、深度データにおける測定ノイズに対する許容誤差に対応するパラメータであり、深度センサの忠実度を考慮して設定されるべきである。例として、δは、２ミリメートルのオーダーであってよい。
【0053】
ｆiは、符号付距離場のどの部分を融合の間に考慮すべきかを示す２変数関数ｗi：Ω3→｛０、１｝と関連付けられており、ｗiは下記のように表される。【数3】
【0054】
ここにおいてηは、観測された表面の背後においてどのくらいの量が見られたかを定義するパラメータであり、ソリッド（ｓｏｌｉｄ）であると仮定される（例えば、ηは１センチメートルに等しくてよい）。物体の色もまた復旧するために、色容積ｃi：Ω3→［０、１］3が、下記のように定義される。ｃi（ｘ）＝Ｉi（π（ｘ））
【0055】
従って、カラー符号付距離場は、［ｆi、ｃi］と称してよい。再構築された物体の幾何学形状と発色それぞれ対応する２つの関数ｕ、ｖを得るために、問題は、変分エネルギー最適化公式化に投入され、ミニマイザが求められる。【数4】
【0056】
最先端技術とは反対に、幾何学場は、統合または融合された場だけではなく、本開示によれば、色情報もまた公式化に使用されるということに留意すべきである。
【0057】
次に、トータルバリエーションレギュラライザ【数5】
【0058】
これらのエネルギーを解くために、問題の項を、【数6】
【0059】
重み付けされた近似絶対差【数7】
【0060】
上記に定義した凸且つ微分可能な公式化は、勾配降下方程式の定常状態において見出すことができる下記のミニマイザに繋がる。【数8】
【0061】
これらのグローバルミニマイザは、ｕ*、ｖ*と決定され表記される。次に、再構築された３次元モデルは、【数9】
【0062】
ここでφ＝［ｕ*、ｖ*］である。
【0063】
上記に定義した計算は、各基本走査ＳＣ０ｊに対して実行でき、複数のモデルφjを提供する。
【0064】
２つのモデルが基本走査ＳＣ０１とＳＣ０２から得られる。これらの２つのモデルは、ステップＳ０７において統合または融合される。
【0065】
ステップＳ０７において、モデルφjは、第１モデルであるφ0に整列される。３次元剛体変換Ξjを決定する必要がある。この問題は、６自由度を有しており、ツイストベクトルξ＝［ωx、ωy、ωz、ｔx、ｔy、ｔz］T∈Ｒ6を介してパラメータ化された変換の表現の最小表現が選択される。対応するリー代数のツイストは、ξ∈ｓｅ（３）と表わされ、リー群Ξ∈ＳＥ（３）からの指数マッピングは、【数10】
【0066】
ここでＲは３×３の回転行列、Ｔは３成分ｔx、ｔy、ｔzを有する平行移動ベクトルである。
【0067】
目標は、すべての点Ｘに対して、φ0（ｘ）＝φj（Ξ（ｘ））となるようにすることであり、ここで、Ξ（ｘ）：Ｒ3→Ｒ3は、ξによりパラメータ化され、点Ｘに適用された同次変換を表している。厳密解は実際には存在しないため、最小化が行われる。より正確には、距離が、適切な手段Ｍを使用するエネルギー公式により最小化される。【数11】
【0068】
キネクトフュージョンによるアプローチとは反対に、レジストレーション問題は、代数誤差を解決しながら連続的な方法で解けるということに留意すべきである。
【0069】
この段階において、Ｌ2ノルムを使用できる。【数12】
【0070】
しかし、近似Ｌ1ノルムの方がより強固であることが示された。【数13】
【0071】
Ｌ1ノルムは、より広い収束ベイスン（convergence basin）と速度の点においてＬ2ノルムより勝っている。
【0072】
相関比または相互情報のような、他の手段Ｍもまた適用できる。次に、変換パラメータを更新するための匂配降下方式が適用される。初期変換Ξ0から開始して、下記の方程式が、反復して解かれる（使用する手段に依存する）。【数14】
【0073】
適切な数値更新を確実にするために、ヤコビアン【数15】
【0074】
提案されるエネルギーは局所最適値を許容するので、従って、初期設定に依存する。強固な収束が観測された。モデル間の大きな回転差を処理するために、範囲θ∈（０、π）、κ∈（０、２π）の球座標を離散ステップでサンプリングすることにより球状格子内を検索し、収束するまで整列を行うことが提案されている。
【0075】
レジストレーションプロセスの速度を高めるために、コースツ−ファインピラミッドスキームを、３つのレベルで使用することができ、その場合、ダウンサンプリングされたモデルは大まかに整列され、結果としての整列が、次のピラミッドステージへの初期設定とされる。
【0076】
最良の整列Ξjを決定した後に、姿勢を変換しながら、モデルからの要素を第１モデルに統合することにより、モデルは統合または融合される。次に、再構築が行われる。
【0077】
次に、マーチングキューブアルゴリズムを使用して、３次元統合モデルのメッシュを抽出できる。
【0079】
第１基本走査ＳＣ０１において、何枚かのキーフレーム１１が撮像される（図１のステップＳ０２とＳ０３）。物体、そのサポート、および背景が分離されている分割されたキーフレーム１２を得るために分割（セグメント化）が行われる。次に、ビジュアルオドメトリとポーズグラフ最適化を使用して（ステップＳ０４とＳ０５）、キーフレーム１３を得る。これらのフレームはモデル１４に統合されて、表面上に位置している電話機の３次元モデルとなる。
【0080】
電話機の底部の特徴を取り込むために、第２基本走査ＳＣ０２が行われる。何枚かのキーフレーム１２が撮像される（図１のステップＳ０２とＳ０３）。分割が行われて、分割されたキーフレーム２２が得られる。次に、ビジュアルオドメトリとポーズグラフ最適化を使用して（ステップＳ０４とＳ０５）、キーフレーム２３を得る。これらのフレームはモデル２４に統合されて、表面上に逆さまに位置している電話機の３次元モデルとなる。
【0081】
得られた２つのモデルは整列且つ統合されて、統合３次元モデル３０となる。
【0082】
図３と図４は、キネクトフュージョンにより得られた３次元モデルと、本開示の実施形態に従って得られた３次元モデルを示している。より正確には、ドイツの会社であるＩｍｆｕｓｉｏｎ ＧｍｂＨにより、Ｒｅｃｆｕｓｉｏｎという名称で商品化されているソフトウェアを使用して、キネクトフュージョンにより得られた結果を提示している。各物体に対して、固定センサにより８００フレームが取得され、回転サポートが使用された。サポートは手により動かし、８００フレームを取得する間に、約３６０°回転させた。連続するフレームは、小さな回転差しかなく、この小さな回転角度は、手による回転のためにランダムである。
【0083】
ＩＣＰにおいては、すべてのフレームが使用されて姿勢を推定した。発明の実施形態によれば、ビジュアルオドメトリを介して姿勢を得るためにすべてのフレームを使用できるが、グラフ最適化およびモデルへの融合のために特定のキーフレームのみを使用できる。例として、キーフレームは、その前のキーフレームと、１５°または１０センチメートルの動きの差があるフレームであってよく、これらの基準は、物体の良好な再構築を提供し、計算時間を制限する。
【0084】
図３と図４に示されている物体は、複数回の基本走査の結果の観測を可能にする複数の側面または複雑な幾何学形状を示していない。しかし、これらの物体は、ポーズグラフ最適化とＬ1ノルムの利点のある使用法を示している。
【0085】
図３には、牛乳パックの２つの３次元モデルが表現されている。第一３次元モデル４０は、キネクトフュージョンを使用して得られる。モデル４０から観測できるように、キネクトフュージョンは対称物体を再構築する能力がないので、牛乳パックの大きな部分が欠けている。
【0086】
モデル５０は、本開示の実施形態に従って得られた。図から分かるように、牛乳パックは全体的に再構築されている。
【0087】
モデル４０と５０は両方とも１ミリメートルのボクセルサイズを使用して作成され、両方のモデルは、初期データとして同じフレームを使用して得られた。
【0088】
図４は、再構築された物体の別の例であり、ここではマンゴーである。モデル６０は、キネクトフュージョンにより得られたものであり、不完全である。モデル７０は、本開示の実施形態に従って得られたもので、完全なマンゴーを表示している。
【0089】
本開示の実施形態によれば、完全な３次元再構築方法が得られる。
【0090】
この方法は、より正確な結果を提供することにより、現在のソリューションを凌いでいる。
【手続補正書】
【提出日】2016年6月29日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
物体を走査する方法であって、
ＲＧＢ−Ｄセンサとビジュアルオドメトリを使用する物体の複数の基本走査（ＳＣ０１、ＳＣ０２）であって、各基本走査は前記物体に対するセンサの姿勢と関連付けられている複数のキーフレームを提供し（Ｓ０２）、且つ、各基本走査は前記物体の位置と関連付けられており、前記物体の前記位置は、２つの異なる基本走査間で異なる、前記複数の基本走査と、
各基本走査に対して、前記複数のキーフレームと前記走査の姿勢を使用して、前記物体の３次元モデルを精緻化する（Ｓ０６）ことと、
各３次元モデルを前記物体の統合３次元モデルに統合すること（Ｓ０７）と、を含むことを特徴とする方法。
ＲＧＢ−Ｄセンサとビジュアルオドメトリを使用する物体の複数の基本走査（ＳＣ０１、ＳＣ０２）であって、各基本走査は前記物体に対するセンサの姿勢と関連付けられている複数のキーフレームを提供し（Ｓ０２）、且つ、各基本走査は前記物体の位置と関連付けられており、前記物体の前記位置は、２つの異なる基本走査間で異なる、前記複数の基本走査と、
各基本走査に対して、前記複数のキーフレームと前記走査の姿勢を使用して、前記物体の３次元モデルを精緻化する（Ｓ０６）ことと、
各３次元モデルを前記物体の統合３次元モデルに統合すること（Ｓ０７）と、を含むことを特徴とする方法。
【請求項2】
各基本走査に対して、前記物体の回転（Ｓ０３）又は前記物体の周りの前記センサの回転を含み、前記物体は前記基本走査と関連付けられている前記位置にある、請求項１に記載の方法。
【請求項3】
ループ閉鎖は、前記物体の回転または前記物体の周りの前記センサの回転の後に検出される（Ｓ０４）、請求項２に記載の方法。
【請求項4】
ポーズグラフ最適化（Ｓ０５）が、ループ閉鎖を検出した後に、各基本走査の前記姿勢に対して行われる、請求項３に記載の方法。
【請求項5】
各基本走査に対する前記３次元モデルの前記精緻化は、カラー符号付距離場と近似Ｌ1最小化を使用する変分法を使用して行われる、請求項１から４のいずれか１項に記載の方法。
【請求項6】
前記物体の前記統合３次元モデルの前記精緻化は、各３次元モデルを初期３次元モデルに変換する変換の決定を含み、前記変換の決定は、近似Ｌ1ノルムを使用して、各３次元モデルを前記初期３次元モデルに整列することを含む、請求項１から５のいずれか１項に記載の方法。
【請求項7】
前記物体の３次元メッシュを得るために、前記物体の前記統合３次元モデルに対してマーチングキューブアルゴリズムを使用することを含む、請求項１から６のいずれか１項に記載の方法。
【請求項8】
少なくとも２つの基本走査中の前記物体の前記位置は異なり、前記センサに対し前記物体の異なる部分を表示する、請求項１から７のいずれか１項に記載の方法。
【請求項9】
前記キーフレーム上の背景から前記物体を分離するために、各キーフレームの分割を含む、請求項１から８のいずれか１項に記載の方法。
【請求項10】
物体に向けられるように意図されているＲＧＢ−Ｄセンサを備える、前記物体を走査するシステムであって、
前記ＲＧＢ−Ｄセンサとビジュアルオドメトリを使用して、ある位置の前記物体を走査して、前記物体に対する前記センサの姿勢と関連付けられている複数のキーフレームを提供する手段と、
複数のキーフレームと前記物体の走査の姿勢を使用して、前記物体の３次元モデルを精緻化する手段と、
複数の３次元モデルを前記物体の統合３次元モデルに統合する手段と、を備えることを特徴とするシステム。
前記ＲＧＢ−Ｄセンサとビジュアルオドメトリを使用して、ある位置の前記物体を走査して、前記物体に対する前記センサの姿勢と関連付けられている複数のキーフレームを提供する手段と、
複数のキーフレームと前記物体の走査の姿勢を使用して、前記物体の３次元モデルを精緻化する手段と、
複数の３次元モデルを前記物体の統合３次元モデルに統合する手段と、を備えることを特徴とするシステム。
【請求項11】
前記物体を回転または前記物体の周りで前記センサを回転する手段を備える、請求項１０に記載のシステム。
【請求項12】
前記物体の回転または前記物体の周りの前記センサの回転の後に、ループ閉鎖を検出する手段を備える、請求項１１に記載のシステム。
【請求項13】
ループ閉鎖を検出した後に、各基本走査の前記姿勢に対してポーズグラフ最適化を行う手段を備えることを特徴とする請求項１２に記載のシステム。
【国際調査報告】