ホーム > 特許ランキング > ３シェイプ アー／エス
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-05-22
(54)【発明の名称】走査システム及びその較正
(51)【国際特許分類】
G01B 11/00 20060101AFI20230515BHJP
G06T 7/80 20170101ALI20230515BHJP
【ＦＩ】
G01B11/00 H
G06T7/80
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022560951
(86)(22)【出願日】2021-04-07
(85)【翻訳文提出日】2022-12-05
(86)【国際出願番号】 EP2021059045
(87)【国際公開番号】W WO2021204865
(87)【国際公開日】2021-10-14
(31)【優先権主張番号】20168498.2
(32)【優先日】2020-04-07
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】508158023
【氏名又は名称】３シェイプ アー／エス
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100153729
【弁理士】
【氏名又は名称】森本 有一
(74)【代理人】
【識別番号】100151459
【弁理士】
【氏名又は名称】中村 健一
(72)【発明者】
【氏名】アナス ゴーオ
(72)【発明者】
【氏名】ヨハン タイシャト ボンドーフ
【テーマコード（参考）】
2F065
5L096
【Ｆターム（参考）】
2F065AA53
2F065BB02
2F065CC16
2F065FF04
2F065FF10
2F065JJ26
2F065LL04
2F065MM13
2F065QQ23
2F065QQ24
2F065QQ25
2F065QQ29
2F065QQ31
2F065RR03
5L096AA09
5L096BA06
5L096BA13
5L096DA02
5L096EA14
5L096FA66
5L096FA67
5L096FA69
(57)【要約】
３次元較正オブジェクトの３次元表現の生成に基づいて、較正された走査システムに修正される未較正走査システムが開示される。
【特許請求の範囲】
【請求項1】
３次元較正オブジェクトの３次元表現の生成に基づいて較正された走査システムに修正される未較正走査システムであって走査装置であって、
光を放射するように構成された光源であって、前記走査装置は、前記光をオブジェクトに照射するように構成されている、光源と、
複数のセンサ素子を含むイメージセンサであって、前記イメージセンサは、前記オブジェクト、および前記オブジェクトに送られる前記光の一連の画像を形成するように構成され、かつ、各画像は複数の画素を含む、イメージセンサと、
を備える、走査装置と、
プロセッサであって、
実世界座標系における前記較正オブジェクトのリファレンス３次元表現をインポートし、
前記一連の画像を登録して、登録された一連の画像とし、
第１の変換を使用して、前記登録された一連の画像と、前記画像のそれぞれからの少なくとも１組の前記画素とを、走査装置座標系における前記較正オブジェクトの座標のデータセットに変換し、
第２の変換を使用して、前記走査装置座標系における前記較正オブジェクトの前記座標のデータセットを、実世界座標系における前記較正オブジェクトの点群に変換し、
前記実世界座標系における前記較正オブジェクトの前記点群を、アライメント手順を用いて、前記実世界座標系における前記較正オブジェクトの前記リファレンス３次元表現にアライメントし、前記アライメント手順は、前記リファレンス３次元表現と前記点群との第１の差分を最小化することに基づき、
前記アライメント手順を使用した後に、前記点群と、前記実世界座標系における前記較正オブジェクトの前記リファレンス３次元表現との間の第２の差分を導出し、
前記第２の差分に基づいて、前記第２の変換を較正された変換に修正し、
これにより、前記実世界座標系における前記較正オブジェクトの前記点群における点の位置が３次元において調整され、
これにより、未較正走査装置を較正された走査装置に修正する、
ことを実行することにより、較正を行うように構成されたプロセッサと、
を有する未較正走査システム。
【請求項2】
前記走査装置は、携帯型走査装置である、請求項１に記載の未較正走査システム。
【請求項3】
前記アライメント手順は、前記点群から前記リファレンス３次元表現へのアライメントを、点から面への登録、または、点から点への登録によって行うことに基づいている、請求項１または２に記載の未較正走査システム。
【請求項4】
前記イメージセンサは、前記走査装置座標系におけるｚ方向に垂直な平面内に配置され、光学素子が、前記イメージセンサに対して相対的に、かつ前記ｚ方向に沿って移動するように構成され、それによって、前記光学素子が移動している間、前記オブジェクトの前記一連の画像が形成される、
請求項１乃至３のいずれか一項に記載の未較正走査システム。
【請求項5】
前記プロセッサは、さらに、前記走査装置座標系におけるｚ方向に沿って、前記登録された一連の画像を積み重ねて、ボリュームを形成することであって、
前記登録された一連の画像の各画像は、前記ボリューム内のレイヤーを含み、これにより、前記ボリュームは、一連の複数の画素で構成される、
形成することと、
フォーカス測度を計算することであって、
前記ボリューム内の前記複数の画素の各々について、または、
前記ボリューム内の複数の画素群の各々について、前記複数の画素群の各々は、前記複数の画素のサブセットによって形成されている、
計算することと、
前記フォーカス測度に基づいて、最大フォーカス測度ｚmを計算することであって、
前記ボリューム内の前記複数の画素の各々であって、それによって、前記複数の画素のサブセットがｚmに関連付けられる、前記ボリューム内の前記複数の画素の各々について、または、
前記ボリューム内の前記複数の画素群の各々であって、それによって、前記複数の画素のサブセットがｚmに関連付けられる、前記ボリューム内の前記複数の画素群の各々について、
計算することと、
を実行するように構成され、
それによって、前記第１の変換を使用して、前記ｚmに関連付けられた前記複数の画素の前記サブセットは、前記走査装置座標系における前記オブジェクトの座標の前記データセットに変換される画素の前記少なくともセットである、
請求項４に記載の未較正走査システム。
【請求項6】
前記第２の変換を較正された変換に修正するステップであって、それによって前記実世界座標系における前記オブジェクトの前記点群内の点の前記位置が３次元で調整されるステップは、前記点群内の前記点のそれぞれを個別に調整することによって行われる、請求項１乃至５のいずれか一項に記載の未較正走査システム。
【請求項7】
前記第２の変換を較正された変換に修正するステップであって、それによって前記実世界座標系における前記オブジェクトの前記点群内の点の前記位置が３次元で調整され、前記点群内の各点について前記３次元の位置を３方向で同時に調整することによって行われる、請求項１乃至６のいずれか一項に記載の未較正走査システム。
【請求項8】
前記第２の変換を較正された変換に修正するステップであって、それによって前記実世界座標系における前記オブジェクトの前記点群内の点の前記位置が３次元で調整されるステップは、３つの方向成分からなる補正ベクトルを前記点群内の前記点のそれぞれに加えることによって行われる、請求項１乃至７のいずれか一項に記載の未較正走査システム。
【請求項9】
前記第２の変換を較正された変換に修正するステップであって、それによって、前記実世界座標系における前記オブジェクトの前記点群内の点の前記位置が３次元で調整され、前記光学素子が移動する間に前記較正オブジェクトの前記一連の画像が形成されることにより、前記光学素子の前記ｚ方向に沿った位置に関連付けられる、請求項４に記載の未較正走査システム。
【請求項10】
前記光学素子の前記ｚ方向に沿った位置に関連する３次元での前記調整は、前記ｚ方向に沿った前記位置のそれぞれについて高次の多項式によって定義される、請求項９に記載の未較正走査システム。
【請求項11】
前記第２の変換を較正された変換に修正するステップは、ルックアップテーブルによって定義される、請求項１乃至１０のいずれか一項に記載の未較正走査システム。
【請求項12】
前記未較正走査装置は、口腔内走査装置である、請求項１乃至１１のいずれか一項に記載の未較正走査システム。
【請求項13】
前記実世界座標系における前記較正オブジェクトのリファレンス３次元表現をインポートするステップは、前記未較正走査システムとは異なる走査システムから、前記較正オブジェクトの高精度３次元表現をインポートすることに基づく、請求項１乃至１２のいずれか一項に記載の未較正走査システム。
【請求項14】
較正された走査システムを得るためのシステムであって、請求項１乃至１３のいずれか一項に記載の未較正走査システムと、
３次元の較正オブジェクトと、
を備えるシステム。
【請求項15】
前記３次元較正オブジェクトは、複数の歯科口腔オブジェクトを含む歯列の形状である、請求項１４に記載のシステム。
【請求項16】
口腔内オブジェクトの３次元表現を生成するための較正された走査システムであって、前記較正された走査システムは、請求項１乃至１３のいずれか一項に記載の前記未較正走査システムを修正することによって提供され、それによって前記較正された走査システムは、走査装置であって、
光を放射するように構成された光源であって、前記走査装置が前記光をオブジェクトに照射するように構成されている、光源と、
複数のセンサ素子を含むイメージセンサであって、該イメージセンサは、前記オブジェクトおよび前記オブジェクトに送られる前記光の一連の画像を形成するように構成され、各画像は、複数の画素を含む、イメージセンサと、
を備える走査装置と、
プロセッサであって、
前記一連の画像を登録し、
第１の変換を使用して、前記登録された一連の画像および少なくとも１セットの前記画素を、前記走査装置座標系における前記オブジェクトの座標のデータセットに変換し、
前記較正された変換を使用して、前記走査装置座標系における前記オブジェクトの座標の前記データセットを実世界座標系における前記オブジェクトの点群に変換し、
前記較正された変換に基づいて、前記実世界座標系における前記オブジェクトの較正された３次元表現を生成する、
ステップを実行するように構成されたプロセッサと、
を備える、較正された走査システム。
【請求項17】
請求項１４に記載の前記システムを提供し、それによって、前記未較正走査システムおよび前記３次元較正オブジェクトを提供し、前記未較正走査システムを用いて、前記３次元較正オブジェクトを走査し、それによって、前記走査装置を用いて、前記３次元較正オブジェクトを走査し、それによって、前記未較正走査システム内の前記プロセッサを使用して前記較正を実行し、
請求項１６に記載の前記較正された走査装置を取得する、
ステップを実行することにより、未較正走査システムを較正する方法。
【請求項18】
画面上のグラフィカルユーザインタフェースに表示される、走査装置を較正するためのコンピュータ実装方法であって、３次元較正オブジェクトのリファレンス３Ｄ表現のリファレンスデータを取得し、
前記グラフィカルユーザインターフェースにおいて、前記リファレンスデータに基づいて、前記３次元較正オブジェクトのリファレンス３Ｄ表現を形成し、
ユーザが前記３次元較正オブジェクトを走査するために使用する携帯装置に基づいて、前記３次元較正オブジェクトの２Ｄ画像の１つ以上の装置－実世界間の座標変換から、測定データを取得し、
アライメント手順を用いて、前記測定データを前記リファレンスデータにアライメントし、アライメントデータを取得し、
前記アライメントデータに基づいて、前記１つ以上の変換を更新し、それによって前記走査装置を較正し、
前記グラフィカルユーザインターフェースにおいて、前記ユーザに対してインジケータを表示し、前記ユーザが前記３次元較正オブジェクトの走査を継続するように誘導し、
前記グラフィカルユーザインターフェースに、前記走査装置の前記較正が完了したことを示す通知を表示する、
ステップを含む、コンピュータ実装方法。
【請求項19】
前記方法は、前記グラフィカルユーザインターフェースにおいて、前記アライメントデータおよび／または前記更新された変換に基づいて、前記３次元較正オブジェクトの少なくとも一部の３Ｄ表現を形成し、前記少なくとも一部が、表示されたリファレンス３Ｄ表現と比較して見ることができるようにするステップを更に含む、請求項１８に記載のコンピュータ実装方法。
【請求項20】
前記方法は、予め定義された基準が満たされるまで、前記ステップの１つ以上を複数回繰り返すことを含む、請求項１８または１９に記載のコンピュータ実装方法。
【請求項21】
前記通知を表示するステップは、前記予め定義された基準に基づいて行われる、請求項２０に記載のコンピュータ実装方法。
【請求項22】
アライメントを行う前記ステップは、アライメントを行う前記ステップを支援するために、前記ユーザインタフェースにおいて、前記ユーザが、前記３次元較正オブジェクトの前記リファレンス３Ｄ表現上の点を受信するステップによって開始される、請求項１８乃至２１のいずれか一項に記載のコンピュータ実装方法。
【請求項23】
前記３次元較正オブジェクトの走査を継続するように前記ユーザを誘導する前記ユーザへの前記インジケータは、前記３次元較正オブジェクトのどこで、前記ユーザが走査を継続すべきかをさらに示す、請求項１８乃至２２のいずれか一項に記載のコンピュータ実装方法。
【請求項24】
前記インジケータは、アライメントデータの絶対的および／または相対的な尺度であり、それによって、前記ユーザが、どの程度まで前記３次元較正オブジェクトの走査を継続する必要があるかを前記携帯装置の前記ユーザに示す、請求項１８乃至２３のいずれか一項に記載のコンピュータ実装方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、走査システムに関する。より具体的には、本開示の走査システムは、較正された走査システムに修正される。
【背景技術】
【0002】
スキャニングの分野では、スキャニングシステムの較正がよく知られており、スキャニングでは、通常、イメージカメラ等のカメラを使って、２Ｄ画像を取得する。
【0003】
さらに、カメラの較正は、２Ｄ画像から計量情報を抽出するために、３Ｄコンピュータビジョンでは、必要な工程である。
【0004】
較正の分野では、これまでにもいくつかの書籍や学術論文が出版されており、例えば、Ｇｅｒａｒｄ ＭｅｄｉｏｎｉとＳｉｎｇ Ｂｉｎｇ Ｋａｎｇが編集した「Ｅｍｅｒｇｉｎｇ Ｔｏｐｉｃｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ」（２００３年出版）は、そのうちの第２章がカメラの較正に特化している。この章は、較正の分野で知られており、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２０００年１２月，Ｖｏｌ ２２：ｐｐ．１３３０－１３３４の「Ａ Ｆｌｅｘｉｂｌｅ Ｎｅｗ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ」に関する論文で知られているＺｈｅｎｇｙｏｕ Ｚｈａｎｇによって執筆されている。そこに開示されたカメラの較正のための技術は、Ｚｈａｎｇ法として知られ、走査システムの較正に広く使用されてきた。Ｚｈａｎｇの論文の要旨は、以下のように、非常によくその技術を開示している。
【0005】
「カメラを簡単に較正する柔軟な新手法を提案する。この手法は、３Ｄ幾何学やコンピュータビジョンの専門的な知識がなくても利用するのに適している。この手法では、いくつかの（少なくとも２つの）異なる方向で示された平面パターンをカメラで観察するだけでよい。カメラと平面パターンのどちらかを自由に動かすことができる。動きは既知である必要はない。レンズの放射状歪みはモデル化される。提案する手法は、閉じた形式の解と、それに続く最尤法に基づく非線形の精緻化からなる。コンピュータシミュレーションと実データの両方を用いて提案手法をテストし、非常に良い結果を得た。直交する２面や３面のような高価な装置を用いる従来の手法に比べ、提案手法は使いやすく、柔軟性に富んでいる。これにより、３Ｄコンピュータビジョンを実験室環境から実世界での使用へと一歩前進させることができる。」
【0006】
このように、Ｚｈａｎｇ氏の方法がカメラの較正に多用されている理由は、移動させるのは平面パターンだけでよく、特に、直交する２面や３面のような、３Ｄのオブジェクトを使う必要がないため、簡単に実行できることにある。さらに重要なことは、先ほど述べたように、動きを知る必要がないことである。このため、Ｚｈａｎｇの方法は、Ｔｓａｉの方法として知られる別の方法を改善したものでもある。Ｔｓａｉは、ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ，３（４）：３２３－３４４，１９８７年８月の論文「Ａ ｖｅｒｓａｔｉｌｅ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｈｉｇｈ－ａｃｃｕｒａｃｙ ３Ｄ ｍａｃｈｉｎｅ ｖｉｓｉｏｎ ｍｅｔｒｏｌｏｇｙ ｕｓｉｎｇ ｏｆｆ－ｔｈｅ－ｓｈｅｌｆ ｔｖ ｃａｍｅｒａｓ ａｎｄ ｌｅｎｓｅｓ」において、Ｔｓａｉ法として知られる別の方法を改善したものである。
【0007】
Ｔｓａｉの方法は、文献で最も参照されている較正方法の一つであり、現在も利用されている。また、おそらく、カメラモデルのパラメータに歪みを含めた最初の方法であり、単一の係数によってモデル化された放射状歪みを考慮している。Ｔｓａｉの方法では、チェッカーパターンを持つ１つの平面を使用するが、Ｚｈａｎｇの方法とは異なり、平面は既知の動きで、少なくとも１回は変位させる必要がある。
【0008】
上記から既に推察されるように、較正には、２Ｄオブジェクトに基づくものと、３Ｄオブジェクトに基づくものがある。著書「Ｅｍｅｒｇｉｎｇ Ｔｏｐｉｃｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ」の第２章では、３Ｄリファレンスオブジェクト、２Ｄ平面、１Ｄ直線を用いた較正手法、およびセルフ較正技術について述べられている。３Ｄリファレンスの使用については、３Ｄ空間の形状が非常に正確に分かっている較正オブジェクトを観察することによって、カメラの較正を実行することを説明している。
【0009】
実際のところ、カメラの較正には、２Ｄリファレンスではなく、３Ｄリファレンスを用いるのが従来の方法であり、あるいは、そうであった。例えば、Ｚｈａｎｇが「Ｅｍｅｒｇｉｎｇ Ｔｏｐｉｃｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ」の第２章で紹介しているように、直交する２つの平面からなる３Ｄリファレンスにチェッカーパターンを印刷し、３Ｄ座標系（この座標系でチェッカーコーナーの座標が非常に正確に分かる）を添付すると、４つの較正ステップで較正することができる。
【0010】
この典型的な較正ステップは、以下の４つである。
（ａ）各画像のチェッカーパターンのコーナーを検出する。
（ｂ）線形最小二乗法を用いて、カメラ投影行列Ｐを推定する。
（ｃ）Ｐから内因性および外因性パラメータＡ、Ｒ、ｔを復元する。
（ｄ）非線形最適化によりＡ、Ｒ、およびｔを精緻化する。
（ａ）各画像のチェッカーパターンのコーナーを検出する。
（ｂ）線形最小二乗法を用いて、カメラ投影行列Ｐを推定する。
（ｃ）Ｐから内因性および外因性パラメータＡ、Ｒ、ｔを復元する。
（ｄ）非線形最適化によりＡ、Ｒ、およびｔを精緻化する。
【0011】
内因性パラメータ（外因性パラメータと呼ばれることもある）は、カメラの方向（回転）と位置（移動）、すなわち（Ｒ，ｔ）であり、ワールド座標系をカメラ座標系に関連付ける。
【0012】
外因性パラメータ（内因性パラメータと呼ばれることもある）は、カメラの特性で、Ａ（行列）から、典型的には（α，β，γ，ｕ0，ｖ0）の要素を持ち、（ｕ0，ｖ0）は主点の座標であり、αおよびβは画像のｕ軸およびｖ軸のスケール係数、γは２つの画像軸の傾きを表すパラメータである。
【0013】
Ｚｈａｎｇによって指摘されているように、４つの較正ステップ（ａ～ｄ）に関連して、最初に非線形最適化によってＰを精緻化し、精緻化したＰからＡ、Ｒ、ｔを求めることも可能である。さらに、画像内で直接作業することによって、コーナー検出を回避できることも知られている。例えば、画像中の特徴検出はオプションである。
【0014】
較正については、通常、３Ｄリファレンスを使用することで最高の精度が得られるため、精度が不可欠であり、３Ｄリファレンスを作成して使用することが可能な場合に使用することをＺｈａｎｇは推奨している。
【0015】
しかしながら、２Ｄリファレンスによる較正は、使いやすさと精度の高さから、ほとんどの場面で最良の選択であるように思われるとＺｈａｎｇ氏は述べている。
【0016】
それにもかかわらず、精度の高いスキャニングシステムを提供することを目的とする場合、スキャニングの分野では、（特徴および／またはエッジを有する）３Ｄリファレンスを使用する必要があることが知られており、上記の４つの較正ステップ（ａ～ｄ）を実行することが推奨される。立方体上の４つのチェッカーボード（すなわち、エッジを含む）を使用した３Ｄリファレンスに依存する較正方法の一例は、Ｌ．ＨｕａｎｇらによるＯｐｔｉｃｓ ａｎｄ Ｌａｓｅｒｓ ｉｎ Ｅｎｇｉｎｅｅｒｉｎｇ １１５ （２０１９）３２－４１の論文「Ｒｅｓｅａｒｃｈ ｏｎ ｍｕｌｔｉ－ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ ａｎｄ ｐｏｉｎｔ－ｃｌｏｕｄ ｃｏｒｒｅｃｔｉｏｎ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ ｃａｌｉｂｒａｔｉｏｎ ｏｂｊｅｃｔ」に開示されている。そこに開示された方法は、２Ｄ画像ではなく、点群の誤差を補正するものである。しかしながら、エッジ検出は較正を実行するための前提条件であるため、上述の較正オブジェクトは、少なくとも設計上、較正オブジェクトと走査装置に対して要件を設定することに変わりはない。
【0017】
このように、較正の分野では、３Ｄリファレンスを用いることで得られる精度と、２Ｄリファレンスを用いることで得られる使い易さという、２つを両立させる較正方法が求められている。さらに、較正の分野では、（特徴および／またはエッジを有する）３Ｄリファレンスよりも安価で簡単に製造できる３Ｄリファレンスが望ましい。さらに、従来の要求によれば、較正の分野では、特定の３Ｄリファレンスを必要とすること、および走査装置が３Ｄリファレンスのコーナー／特徴検出を実行するように構成されていることの両方から、較正ステップの第１のステップ、すなわち、コーナーまたは特徴の検出を必要としない方法が望ましい。全体として、較正の分野では、いくつかの改善が必要であり、また望まれている。
【発明の概要】
【0018】
本開示の目的は、走査システムおよびその較正方法を提供することであり、それによって較正された走査システムが得られる。本開示のさらなる目的は、高精度を備えた較正された走査システムを提供することである。さらに、本開示の目的は、発明の背景で説明したように、要望に応じた走査システムおよびその較正を提供することである。
【0019】
本開示は、第１の側面において、３Ｄリファレンスを用いて較正されるように構成された走査システムを提供し、これによって、２Ｄリファレンスに依存する走査システムよりも精度が改善される。さらに、本開示は、特定の所定の特徴および／またはコーナー／エッジを有する３Ｄリファレンスを必要としない走査システム、および、これを較正する方法を提供する。したがって、本開示は、３Ｄリファレンスに対して特定の特徴要件を有さない較正方法を提供する。全体として、本開示は、２Ｄリファレンスを使用するのと同じくらい簡単であり、３Ｄリファレンスを使用して得られるような精度を依然として提供する、走査システムのための改良された較正方法を提供する。
【0020】
本開示は、まず、走査システムを提供する。特に、３次元較正オブジェクトの３次元表現の生成に基づいて、較正された走査システムに修正される未較正走査システムが開示される。
【0021】
走査システムは、走査装置であって、光を放射するように構成された光源であって、走査装置が光をオブジェクトに照射するように構成されている、光源と、複数のセンサ素子を含むイメージセンサであって、イメージセンサが、オブジェクト、およびオブジェクトに送られる光の一連の画像を形成するように構成され、かつ、各画像は複数の画素を含む、イメージセンサと、プロセッサと、を備える。
【0022】
プロセッサは、以下で説明するようなステップを実行することによって、較正を実行するように構成されている。一実施形態では、プロセッサが較正モードにあるとき、すなわち、プロセッサが較正を実行するとき、プロセッサは、走査されているオブジェクトが較正オブジェクトであることを通知される。
【0023】
本開示の最初のステップは、実世界座標系における較正オブジェクトのリファレンス３次元表現をインポートすることである。このようなステップは、発明の背景で説明したような、典型的な較正ステップ（ａ～ｄ）には開示されていない。
【0024】
本開示の第２のステップは、一連の画像を登録して、登録された一連の画像とすることである。典型的にはチェッカーパターンのコーナーが各画像で検出されるため、少なくとも一連の画像は、典型的な較正ステップ（ａ～ｄ）からわかる（ステップ（ｂ）を参照されたい）。しかしながら、画像の登録は、典型的な較正ステップ（ａ～ｄ）の必須のステップではないが、本開示では、一連の画像に基づいて３Ｄ表現を形成するために、一連の画像の登録が必要である。これについては、次の２つのステップ、すなわち、第３および第４のステップで説明する。
【0025】
本開示の第３のステップは、第１の変換を使用して、登録された一連の画像と、画像のそれぞれからの少なくとも１組の画素とを、走査装置座標系における較正オブジェクトの座標のデータセットに変換することである。例えば、一実施形態において、画素は、走査装置のイメージセンサのリファレンスにおいて座標セットによって定義される位置、例えば、（ｕ0、ｖ0）を有することができる。走査装置座標系における第３の座標は、（ｕ0，ｖ0）座標セットにリンクされ、例えば、フォーカスレンズの位置ｄ1であってよく、これにより、較正オブジェクトの座標のデータセットは、（ｕ0，ｖ0，ｄ1）であってよい。あるいは、（ｕ0，ｖ0）座標セットにリンクされた、走査装置座標系における第３の座標は、例えば、予想される座標セットに対する（ｕ0，ｖ0）座標セットの変位ｄ2であってもよく、これによって、較正オブジェクトの座標のデータセットは（ｕ0，ｖ0，ｄ2）であってもよい。典型的な較正ステップ（ａ～ｄ）は、必ずしも登録されていない画像の、イメージセンサのリファレンスにおける少なくとも空間座標セットへの第１の変換を含み、それによって（ｕ0，ｖ0）が提供される。
【0026】
本開示の第４のステップは、第２の変換を用いて、走査装置座標系における較正オブジェクトの座標のデータセットを、実世界座標系における較正オブジェクトの点群に変換することである。好ましい実施形態では、第２の変換は、三角点群を三角点群に変換する。このような第２の変換を使用することの効果は、離散化誤差を除去することである。点群は、３Ｄ空間のオブジェクトと視覚情報（画像）からカメラで観測した２Ｄ画像との間の変換に基づいているため、内因性パラメータと外因性パラメータが少なくとも概略的に取得されると、点群を得ることが可能である。換言すると、（ｕ０，ｖ０）およびパラメータ（α，β，γ）の両方を持つ行列Ａから外因性パラメータを概略的に知り、内因性パラメータ（Ｒ，ｔ）を知ることによって、（ｕ０，ｖ０）の点群への変換が可能である。したがって、本開示による第４のステップは、原則として、少なくとも内因性パラメータおよび外因性パラメータの推定値を有する第２の変換に依存する。しかしながら、これらのパラメータは、例えば、従来の走査装置からの変換に基づく推定値であってよい。さらに、これらのパラメータは、ＺｈａｎｇまたはＴｓａｉの論文で知られているように、内因性パラメータおよび外因性パラメータと同一である必要はない。変換を記述するために使用することができる多くのパラメータがあり、ＺｈａｎｇおよびＴｓａｉでさえ、異なるパラメータを記述している。さらに、場合によっては、変換は明示的な方法（Ｔｓａｉの方法のように全てのパラメータが取得される場合）に基づくことができ、他の場合には、変換は暗黙的な方法（Ｚｈａｎｇの方法のように全てのパラメータが決定されるわけではない場合）に基づくことができ、例えば、Ｔｅｒｅｓａ Ｃｒｉｓｔｉｎａ ｄｅ Ｓｏｕｓａ Ａｚｅｖｅｄｏが２０１２年に発表した博士論文「３Ｄ Ｏｂｊｅｃｔ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｕｓｉｎｇ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ： Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ａｎｄ Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ ｆｏｒ Ｅｘｔｅｒｎａｌ Ｈｕｍａｎ Ａｎａｔｏｍｉｃａｌ Ｓｔｒｕｃｔｕｒｅｓ」では、さまざまな較正手法を特徴づけている。第２の変換を定義するパラメータは、微調整や精緻化を行う必要がない。したがって、これは、本開示の未較正走査システムを、３次元較正オブジェクトの３次元表現の生成に基づく較正走査システムに修正することを定義するものである。
【0027】
典型的な較正ステップ（ａ～ｄ）と比較して、本開示の走査システムは、（ｂ）線形最小二乗法を用いてカメラ投影行列Ｐを推定する必要がなく、（ｃ）Ｐから内因性および外因性パラメータＡ、Ｒ、およびｔを回復する必要がなく、（ｄ）非線形最適化によって、Ａ、Ｒ、およびｔを精緻化する必要がない。本開示の走査システムは、点群を生成するように構成されている第２の変換を必要とするだけである。本開示の走査システムを用いて生成された点群は、実世界の座標系における較正オブジェクトのインポートされた３次元表現とは非常に異なる可能性がある。本開示による走査システムは、この第４のステップまで較正されていないため、これは実際に予想されることである。しかしながら、いくつかの実施形態では、内因性パラメータおよび外因性パラメータは、先に説明したように、最初の３つの典型的な較正ステップ（ａ～ｃ）のうちの１つまたは複数を使用して確立され得る。典型的な較正ステップの第４のステップ、すなわち、（ｄ）非線形最適化によって、Ａ、Ｒ、およびｔを精緻化するステップは、容易に省くことができ、それによって、このステップまでの本開示の走査システムは、３次元較正オブジェクトの３次元表現の生成に基づいて較正走査システムに修正される未較正走査システムとして依然として定義されることになる。したがって、本開示の走査システムおよびそれを較正する方法は、これまでのところ（較正がまだ始まっていないため）、４つのステップ（ａ～ｄ）によって定義される典型的な較正よりもはるかに簡単である。しかしながら、開示される次のステップでは、較正が開始され、最終的に完了する。
【0028】
本開示の第５のステップでは、実世界座標系における較正オブジェクトの点群を、アライメント手順を用いて、実世界座標系における較正オブジェクトのリファレンス３次元表現にアライメントする。特に、４つの典型的なステップ（ａ～ｄ）を用いる典型的な較正方法において、実世界座標系における較正オブジェクトのリファレンス３次元表現がインポートされないため、この第５のステップは、４つの典型的なステップ（ａ～ｄ）を用いる典型的な較正の一部とはならない。さらに、本開示の第５のステップにおいて、アライメント手順は、リファレンス３次元表現と点群との間の第１の差分を最小化することに基づいて行われる。この第５のステップは、３次元リファレンスオブジェクトが使用されたとしても、アライメント手順は、典型的な較正のステップ（ｂ）とは根本的に異なるが、これは、本開示の走査システムにおいて、最小化が、典型的な２Ｄ画像空間ではなく、３Ｄ世界座標空間で行われているためである。詳しく説明すると、典型的な較正は、（ａ）各画像のチェッカーパターンのコーナーを検出し、これらの画像から、（ｂ）線形最小二乗法を用いてカメラ投影行列Ｐを推定することに基づいている。本開示の方法は、２Ｄ空間の代わりに３Ｄ空間における最小化を適用する。本発明の発明者らは、最小化が３Ｄ空間で実行されると、（較正される）最終的な点群の精度が、２Ｄ空間での最小化に基づく較正よりも大幅に改善されることを認識した。
【0029】
先に説明したように、Ｌ．Ｈｕａｎｇらの開示は、立方体上の４つの市松模様のエッジを持つ３Ｄリファレンスオブジェクトに依存しているが、アライメントステップを開示していない（エッジの特徴検出から立方体の座標が直接得られるため）。したがって、Ｌ．Ｈｕａｎｇらは、本開示の方法で定義されるような最小化ステップを開示していない。しかしながら、Ｌ．Ｈｕａｎｇらは、立方体上の特徴点と生成された点群との比較を行い、それによって回転行列と並進行列を求め、精緻化することを開示している。この精緻化は、立方体上の特徴点と生成された点群との差分を最小にすることに基づいている。この精緻化では、標準的な特徴の平面と再構成された特徴の平面との比較が行われる。この最小化／精緻化は、既知の特徴を持つ平面がリファレンス３Ｄオブジェクトの一部であるからこそ可能である。たとえ比較がアライメント手順と見なされたとしても、Ｌ．Ｈｕａｎｇにおけるアライメント手順は、精緻化のためのものであり、３次元表現を生成するためのものではないことを強調しなければならない。したがって、本開示の走査システムは、Ｌ．Ｈｕａｎｇの開示とは異なる。要約すると、Ｌ．Ｈｕａｎｇらは、３Ｄ表現の生成におけるアライメント手順を避け、代わりに３Ｄオブジェクトに要件を課している。
【0030】
本開示は、３Ｄオブジェクトの要件を回避し、その結果、アライメント手順への要件を課す。要件を物理的な世界ではなくソフトウェアに移行することの利点は多い。まず、第１に、Ｌ．Ｈｕａｎｇらが要求するような特別な３Ｄ較正オブジェクトを設計する必要がない。第２に、ソフトウェアは一度だけプログラムすれば十分である。第３に、ソフトウェアのプログラミングにかかるコストは、特別に設計された較正オブジェクトを製造するよりもはるかに低い。最後に、特別に設計された３Ｄ較正オブジェクトを使用するのではなく、（ソフトウェアでプログラムされた）３Ｄリファレンスオブジェクトに対してアライメント手順を用いることで、精度と使いやすさの両方が劇的に改善される。
【0031】
本開示の上述した第５のステップ、すなわち、アライメントステップを用いて較正が開始されると、実際の較正を開始して、終了することができる。これについては、次の２つのステップで説明する。
【0032】
本開示の第６のステップは、アライメント手順を使用した後に、点群と、実世界座標系における較正オブジェクトのリファレンス３次元表現と、の間の第２の差分を導出することである。この第２の差分は、生成された点群内の個々の点が、実世界座標系における較正オブジェクトのリファレンス３次元表現上の対応する点からどの程度異なるかについての情報であってよい。
【0033】
本開示の第７のステップは、第２の差分に基づいて、第２の変換を較正された変換に修正し、これにより、実世界座標系における較正オブジェクトの点群における点の位置が３次元において調整され、これにより、未較正走査装置を較正された走査装置に修正する、ステップである。
【0034】
未較正走査装置が較正走査装置に修正された後、較正走査装置は、較正された変換に基づいて、実世界座標系における較正オブジェクトの較正された３次元表現を生成することができ、これにより、実世界座標系における較正オブジェクトの較正された３次元表現と、実世界座標系における較正オブジェクトのリファレンス３次元表現と、の間の差分が減少する。
【0035】
本開示の第２の側面では、較正された走査システムを得るためのシステムであって、第１の側面による未較正走査システムと、３次元較正オブジェクトと、を備えるシステムが提供される。
【0036】
本開示の第３の態様では、口腔内オブジェクトの３次元表現を生成するための較正された走査システムが提供され、較正された走査システムは、第１の態様に従った未較正走査システムを修正することによって提供され、それによって較正走査システムは、走査装置であって、光を放射するように構成された光源であって、走査装置が、光をオブジェクトに送るように構成されている、光源と、複数のセンサ素子を含むイメージセンサであって、イメージセンサは、オブジェクトおよびオブジェクトに送られる光の一連の画像を形成するように構成された、イメージセンサと、を備え、イメージセンサは、複数の画素と、プロセッサと、を備え、プロセッサは、一連の画像を登録し、第１の変換を使用して、登録された一連の画像と画素の少なくとも一組を、走査装置座標系におけるオブジェクトの座標のデータセットに変換し、較正された変換を使用して、走査装置座標系におけるオブジェクトの座標のデータセットを、実世界座標系におけるオブジェクトの点群に変換し、較正された変換に基づいて、実世界座標系におけるオブジェクトの較正された３次元表現を生成する、ように構成されている。
【0037】
本開示の第４の態様では、第２の態様によるシステム、それによって未較正走査システムおよび３次元較正オブジェクトを提供し、未較正走査システムを用いて３次元較正オブジェクトを走査し、それによって走査装置を用いて３次元較正オブジェクトを走査し、それによって未較正走査システム内のプロセッサを用いて較正を実行し、第３の態様にしたがって較正された走査装置を取得する、ことを実行することによって、未較正走査システムを較正する方法が提供される。
【0038】
本開示の第５の態様では、画面上のグラフィカルユーザインタフェースに表示される、走査装置を較正するためのコンピュータ実装方法が提供され、３次元較正オブジェクトのリファレンス３Ｄ表現のリファレンスデータを取得し、グラフィカルユーザインタフェースにおいて、リファレンスデータに基づいて、３次元較正オブジェクトのリファレンス３Ｄ表現を形成するステップと、３次元較正オブジェクトを走査するためにユーザによって使用される携帯型装置に基づいて、および３次元較正オブジェクトの２Ｄイメージの１つ以上の装置－実世界座標変換から、測定データを取得する、ステップを備える。
【0039】
さらに、コンピュータ実装方法は、アライメント手順を使用して、測定データをリファレンスデータにアライメントしてアライメントデータを取得し、アライメントデータに基づいて、１つ以上の変換を更新し、それによって走査装置を較正する、ステップを含む。
【0040】
さらに、コンピュータ実装方法は、グラフィカルユーザインタフェースにおいて、ユーザに対して、３次元較正オブジェクトの走査を続けるように案内するインジケータを表示し、走査装置の較正が完了したことを示す通知をグラフィカルユーザインタフェースに表示する、ステップを含む。
【0041】
ユーザが走査を継続するように誘導するインジケータをユーザに表示するステップは、アライメントステップの前、最中、後に実行することができる。特に、ステップの順序を入れ替えることができ、１つ以上のステップを数回繰り返してもよい。ユーザが走査を続けるように誘導することによって、走査装置を較正するための最適な方法が、ここに開示される。
【図面の簡単な説明】
【0042】
本発明の上記および／または追加の目的、特徴、および利点は、添付の図面を参照しながら、本発明の実施形態の以下の例示的かつ非限定的な詳細説明によってさらに説明されるであろう。
【発明を実施するための形態】
【0043】
［走査装置］
一実施形態では、走査装置は、携帯型走査装置である。例えば、走査装置は、口腔内走査装置であってもよい。従って、未較正走査装置は、口腔内走査装置であってもよい。
一実施形態では、走査装置は、携帯型走査装置である。例えば、走査装置は、口腔内走査装置であってもよい。従って、未較正走査装置は、口腔内走査装置であってもよい。
【0044】
好ましい実施形態では、走査装置のイメージセンサは、走査装置座標系におけるｚ方向に垂直な平面に配置され、光学素子は、イメージセンサに対して、ｚ方向に沿って移動するように構成され、それによって、光学素子が移動する間に、オブジェクトの一連の画像が形成される。
【0045】
より好ましい実施形態において、かつ、上述の好ましい実施形態に関連して、プロセッサは、さらに、走査装置座標系におけるｚ方向に沿って登録された一連の画像を積み重ねてボリュームを形成し、登録された一連の画像における各画像がボリュームにおける層を構成し、それによってボリュームが一連の複数の画素で構成され、ボリューム内の複数の画素のそれぞれ、またはボリューム内の複数の画素群のそれぞれについて、フォーカス測度を計算し、複数の画素群のそれぞれは、複数の画素のサブセットによって形成され、フォーカス測度に基づいて、ボリューム内の複数の画素のそれぞれについて、最大フォーカス測度ｚmを計算し、それによって複数の画素のサブセットがｚmと関連付けられるか、または、ボリューム内の複数の画素群のそれぞれについて、複数の画素のサブセットがｚmと関連付けられ、それによって、第１の変換を用いて、ｚmと関連付けられた複数の画素群が、走査装置座標系におけるオブジェクトの座標データに変換される少なくとも一連の画素であると決定する、ように構成される。
【0046】
［リファレンス３次元表現］
一実施形態では、実世界座標系における較正オブジェクトのリファレンス３次元表現をインポートするステップは、未較正走査システムとは異なる走査システムから較正オブジェクトの高精度な３次元表現をインポートすることに基づいて行われる。例えば、上述したように、未較正走査システムは、口腔内走査装置のような携帯型走査装置を含んでよく、高精度な３次元表現は、次に、固定ラボ走査装置またはＧＯＭ走査装置のような走査装置から取得することができる。
一実施形態では、実世界座標系における較正オブジェクトのリファレンス３次元表現をインポートするステップは、未較正走査システムとは異なる走査システムから較正オブジェクトの高精度な３次元表現をインポートすることに基づいて行われる。例えば、上述したように、未較正走査システムは、口腔内走査装置のような携帯型走査装置を含んでよく、高精度な３次元表現は、次に、固定ラボ走査装置またはＧＯＭ走査装置のような走査装置から取得することができる。
【0047】
［アライメント手順および変換］
一実施形態では、アライメント手順は、点群から面への登録（ｒｅｇｉｓｔｒａｔｉｏｎ）、または、点から点への登録によって、点群をリファレンス３次元表現にアライメントすることに基づく。
一実施形態では、アライメント手順は、点群から面への登録（ｒｅｇｉｓｔｒａｔｉｏｎ）、または、点から点への登録によって、点群をリファレンス３次元表現にアライメントすることに基づく。
【0048】
別の実施形態では、第２の変換を較正された変換に修正するステップは、それによって、実世界座標系におけるオブジェクトの点群内の点の位置が３次元で調整され、点群内の点の各々を個別に調整することによって実行される。このようなアプローチは、調整が様々なパラメータに依存する場合よりも柔軟である。本実施形態で説明したような、より柔軟な解決策により、較正が行われた後の走査装置の精度は、大幅に改善される。
【0049】
さらに別の実施形態では、第２の変換を較正された変換に修正するステップであって、それによって実世界座標系におけるオブジェクトの点群内の点の位置が３次元で調整されるステップは、点群内の各点について３次元の位置を３方向で同時に調整することによって実施される。このようなアプローチは、段階的に、つまり非同時的に調整するよりも精度が高い。したがって、このようなアプローチにより、較正を行った後の走査装置の精度が大幅に改善される。
【0050】
好ましい実施形態において、第２の変換を較正された変換に修正するステップは、それによって、実世界座標系におけるオブジェクトの点群内の点の位置が３次元で調整され、点群内の点の各々に、３つの方向成分からなる補正ベクトルを加えることによって実行される。この方法は、調整が単純化されることを意味し、較正方法の高速化と効率化を実現する。
【0051】
いくつかの実施形態において、走査装置が走査中に移動する光学素子を備える場合、第２の変換を較正された変換に修正するステップは、それによって、実世界座標系におけるオブジェクトの点群内の点の位置が３次元で調整され、光学素子が移動する間に、較正オブジェクトの一連の画像が形成されることにより、光学素子のｚ方向に沿った位置に関連づけられる。
【0052】
他の実施形態では、走査装置が走査中に移動する光学素子を備える場合、光学素子のｚ方向に沿った位置に関連する３次元の調整は、ｚ方向に沿った位置の各々について高次多項式によって定義される。本実施形態によれば、調整を効率的に行うことができるため、高速な走査装置を提供することができる。
【0053】
最も好ましい実施形態において、第２の変換を較正された変換に修正するステップは、ルックアップテーブルによって定義される。この実施形態は、調整を効率的に適用することを保証し、したがって、高速な走査装置を提供する。
【0054】
［較正システム］
最も好ましい実施形態、特に走査装置が口腔内走査装置である実施形態では、３次元較正オブジェクトは、複数の歯科口腔内オブジェクトを含む歯列の形状を有する。そして、３次元較正オブジェクトは、較正後に走査されるオブジェクトに類似しており、これに類似していることによって、較正が非常に正確であることが判明している。
最も好ましい実施形態、特に走査装置が口腔内走査装置である実施形態では、３次元較正オブジェクトは、複数の歯科口腔内オブジェクトを含む歯列の形状を有する。そして、３次元較正オブジェクトは、較正後に走査されるオブジェクトに類似しており、これに類似していることによって、較正が非常に正確であることが判明している。
【0055】
［ユーザインターフェース］
一実施形態では、コンピュータ実装方法は、グラフィカルユーザインターフェースにおいて、アライメントデータおよび／または前記更新された変換に基づいて、３次元較正オブジェクトの少なくとも一部の３Ｄ表現を形成するステップをさらに備え、前記少なくとも一部が、表示されたリファレンス３Ｄ表現と比較して見ることができるように構成される。これにより、ユーザは、リファレンス３Ｄ表現のどこでアライメントが成功したか、また、どこから走査すればよいかを知ることができる。アライメントが成功した領域から離れて走査することで、較正がさらに改善される可能性がある。その理由は、較正が較正オブジェクトの異なる３Ｄ構造に依存し、その結果、これらの構造への変換を調整するためである。
一実施形態では、コンピュータ実装方法は、グラフィカルユーザインターフェースにおいて、アライメントデータおよび／または前記更新された変換に基づいて、３次元較正オブジェクトの少なくとも一部の３Ｄ表現を形成するステップをさらに備え、前記少なくとも一部が、表示されたリファレンス３Ｄ表現と比較して見ることができるように構成される。これにより、ユーザは、リファレンス３Ｄ表現のどこでアライメントが成功したか、また、どこから走査すればよいかを知ることができる。アライメントが成功した領域から離れて走査することで、較正がさらに改善される可能性がある。その理由は、較正が較正オブジェクトの異なる３Ｄ構造に依存し、その結果、これらの構造への変換を調整するためである。
【0056】
第２の実施形態において、コンピュータ実装方法は、予め定義された基準が満たされるまで、前記ステップの１つ以上を複数回繰り返すことを含む。例えば、以下のステップは、較正の精度を向上させるために、複数回実行されてもよい。
－ ユーザが３次元較正オブジェクトを走査するために使用する携帯型装置に基づき、３次元較正オブジェクトの２Ｄ画像の１つ以上のデバイスから実世界への座標変換から、測定データを取得する。
－ アライメント手順を用いて、測定データをリファレンスデータにアライメントし、アライメントデータを取得する。
－ アライメントデータに基づいて、前記１つ以上の変換を更新し、走査装置を較正する。
－ グラフィカルユーザインターフェースにおいて、ユーザに対してインジケータを表示し、そこからユーザが３次元較正オブジェクトの走査を継続するように誘導する。
－ ユーザが３次元較正オブジェクトを走査するために使用する携帯型装置に基づき、３次元較正オブジェクトの２Ｄ画像の１つ以上のデバイスから実世界への座標変換から、測定データを取得する。
－ アライメント手順を用いて、測定データをリファレンスデータにアライメントし、アライメントデータを取得する。
－ アライメントデータに基づいて、前記１つ以上の変換を更新し、走査装置を較正する。
－ グラフィカルユーザインターフェースにおいて、ユーザに対してインジケータを表示し、そこからユーザが３次元較正オブジェクトの走査を継続するように誘導する。
【0057】
明らかに、前記１つ以上の変換を繰り返し更新することによって、前記変換は、ますます改善され続ける可能性がある。ある時点で、前記変換の変化が非常に小さくなり、較正に有意な価値が与えられなくなる場合がある。したがって、そのような点に到達した場合は、較正を停止することが理にかなっている。
【0058】
したがって、いくつかの実施形態では、通知を表示するステップ（走査装置の較正が完了したことを示す）は、説明したように、予め定義された基準に基づいて行われる。
【0059】
好ましい実施形態では、アライメントステップは、アライメントステップを支援するために、ユーザインタフェースにおいて、３次元較正オブジェクトのリファレンス３Ｄ表現上の点をユーザが受信するステップによって開始される。例えば、ユーザは、リファレンス３Ｄ表現をクリックすることができ、これにより、コンピュータ実装方法は、点を登録し、受信する。この点を登録することによって、ユーザの支援によってアライメントステップが実行される。この点は、例えば、ユーザが走査を開始するときに、この点が開始点として使用されることをアライメント手順に通知することができる。アライメント手順は、選択された点によって、走査からの測定データがリファレンス３Ｄ表現上のどこでアライメントされるべきかを通知してもよい。この実施形態は、アライメントがより効率的に行われることを提供することができ、全体的な効果として、較正オブジェクト上の異なる領域が較正において考慮され得るため、較正が両方により信頼できるものになり得るということを提供することができる。さらに、本実施形態は、走査装置の較正が時間的に効率的な方法で完了することを提供することができる。すなわち、較正プロセスは、精度が向上し、ユーザインタフェースにおけるユーザとの相互作用により低減する可能性がある。
【0060】
より好ましい実施形態では、ユーザを３次元較正オブジェクトの走査を継続するように誘導するユーザへのインジケータは、３次元較正オブジェクトのどこで、ユーザが走査を継続すべきかを更に示す。例えば、ユーザは、リファレンス３Ｄ表現上のポインタまたは色によって、３次元較正オブジェクト上の特定の領域を走査するように誘導されてもよい。この実施形態は、較正オブジェクト上の異なる領域が較正において考慮され得るため、較正がより信頼性の高いものとされ得ることを提供し得る。さらに、本実施形態は、走査装置の較正が時間効率のよい方法で完了することを提供することができる。すなわち、較正プロセスは、精度が向上し、ユーザインタフェースにおけるユーザとの相互作用により低減する可能性がある。
【0061】
最も好ましい実施形態では、インジケータは、アライメントデータの絶対的および／または相対的な尺度であり、それによって、ユーザが３次元較正オブジェクトの走査をどの程度まで継続する必要があるかを携帯型装置のユーザに示す。
【0062】
例えば、最も好ましい実施形態では、インジケータは、走査ボリューム内のデータ範囲を示すことができる。データ範囲は、走査装置の走査ボリューム内のどこで測定データがリファレンスモデルに対してアライメントされたかをユーザに示すことができる。したがって、インジケータは、走査装置の走査ボリューム全体において十分にアライメントされた測定データを得るために、較正オブジェクトに対して走査装置を異なる位置に配置するようにユーザを誘導することができる。このように、十分なデータ範囲が得られるようにすることで、正確な較正を実現することができる
【0063】
上記のようなインジケータをユーザに表示することによって、ユーザは、予想される時間および／または予想される性能について知ることができる。したがって、ユーザは、走査装置での性能を向上させ、それによって、較正中の走査時間を短縮することができる。このように、インジケータは、全体の較正時間を短縮する方法となり得る。
【0064】
［例１ 口腔内スキャニングシステムの較正］
第１の例では、図１ａに、口腔内３Ｄ走査装置１と接続されたコンピュータ２を備えた、未較正走査システムが示されている。この走査システムは、複数の画像を記録し、これらの画像に基づいて実世界の３Ｄ座標を構築するように構成されている。実世界座標に基づき、走査システムはさらに、走査されるオブジェクトの３Ｄ表現を形成するように構成されている。
第１の例では、図１ａに、口腔内３Ｄ走査装置１と接続されたコンピュータ２を備えた、未較正走査システムが示されている。この走査システムは、複数の画像を記録し、これらの画像に基づいて実世界の３Ｄ座標を構築するように構成されている。実世界座標に基づき、走査システムはさらに、走査されるオブジェクトの３Ｄ表現を形成するように構成されている。
【0065】
未較正走査システムは、走査されるオブジェクトに光を照射するように適合された光源４と、２Ｄ画像を取得するためのＣＭＯＳセンサなどのイメージセンサ３と、２Ｄ画像のセットを３Ｄ情報に処理するためのＦＰＧＡ（フィールドプログラマブルゲートアレイ）プロセッサ５と、３Ｄ情報をデータパッケージに、バッファリングし、圧縮し、および、順序付けるプロセッサ６（ＡＲＭプロセッサなど）と、を含む。データパッケージは、無線接続７を介して、コンピュータ２上で実行されているリモートデータ処理サービスにパッケージを転送するように構成されたＷｉ－Ｆｉモジュールに渡される
【0066】
未較正の走査システムは、３Ｄ較正オブジェクト８が走査される較正方法を実行することによって較正される。本明細書で開示される較正方法を実行するために、まず、較正オブジェクト８の３Ｄデジタルリファレンス表現９が、コンピュータ２上で実行されるデータ処理サービスに読み込まれる。
【0067】
較正方法の詳細を図１ｂに示す。走査装置１は、走査中にオブジェクト８から深度情報を取得し、走査は、走査装置によって、一連の２Ｄ画像を取得しながら、フォーカスレンズを調整することにより行われる。フォーカスレンズの位置は、オブジェクトが配置されているオブジェクト空間内の走査ボリューム内でフォーカス面をシフトする。走査ボリュームは、フォーカスレンズの視野とともに、フォーカスレンズの移動距離によって定義される。
【0068】
一連の２Ｄ画像は、登録された一連の２Ｄ画像１０に変換される。一連の２Ｄ画像１０は、第１の変換１２を実行することによって、センサ座標（ｕ，ｖ，ｄ）の深度情報を有するデータセット１１に変換される。接続されたコンピュータ２は、第２の変換１４を実行することによって、走査装置１からの入力データ１１を点群１３に処理するためのプロセッサ６を含む。さらに、プロセッサ６は、個々の点群１３をアライメントし、それらを融合させることによって、走査されたオブジェクト８の正確な再構成を制御するために構成されている。
【0069】
第２の変換１４は、走査装置座標、すなわち、イメージセンサ上のインフォーカス画素位置（ｕ，ｖ）およびフォーカスレンズの位置を記述するエンコーダ位置ｄからの深度情報を、（ｘ，ｙ，ｚ）と記述される現実の３Ｄ座標に変換する。第２の変換１４は、走査装置座標（ｕ，ｖ，ｄ）から実世界座標（ｘ，ｙ，ｚ）へのデバイス固有のマッピングを提供することを意図している。それにもかかわらず、最初から今に至るまで、第２の変換１４は、デバイス固有ではない。
【0070】
未較正の走査装置の組み立て時に、第２の変換１４、すなわち、走査装置座標から実世界座標へのマッピングの初期状態として機能するように、公称幾何表現（ｎｏｍｉｎａｌ ｇｅｏｍｅｔｒｙ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）が走査装置１にロードされる。このマッピング変換１４の初期状態は、走査装置がコンピュータに最初に接続されたときに、走査装置からデータ処理サービスに渡される。
【0071】
最初の第２の変換１４は、光学パラメータを使用して走査装置のセットアップ、すなわち、レンズをどのように傾けて配置するか、および／または、立方体をセンサに対してどのように傾けるか等を記述する公称光学セットアップに基づいてよい。汎用的な光学配置が、光学セットアップを介して光線追跡を行い、全ての走査装置座標を３Ｄワールド座標に変換するために使用することができる。従って、最初の第２の変換１４のその汎用的な性質のために、座標は互いに等距離で完全なグリッドにない場合があり、より不規則になる場合がある。ここで説明したような第２の変換１４は、走査装置が未較正の走査装置１であるものと定義し、装置固有の補正は、公称幾何表現には適用されないことを意味する。
【0072】
以下では、未較正の走査装置１に対して、特定の走査ボリューム較正を適用することにより、初期の第２の変換を、走査装置座標から実世界座標への高精度な装置固有の第２の変換１４に置き換える。
【0073】
一実施形態において、走査ボリューム較正は、走査装置１の光学的セットアップに依存せず、既知の較正オブジェクト８を走査する反復経験的アプローチに基づいてよい。既知の較正オブジェクト８は、図１ａに示されるような石膏顎モデルであってもよい。さらに、較正オブジェクト８は、高解像度のリファレンス表現９を取得するために別の走査装置で走査されたものであってもよい。
【0074】
前述したように、最初の第２の変換操作１４を用いて、点群１３が形成される。個々の点群１３は、較正オブジェクト８の完全な形状（ｇｅｏｍｅｔｒｙ）のサブセットを表すため、副走査と呼ばれる。走査ボリューム較正の間、未較正の走査装置１は、リファレンス表現９の走査中に、複数の副走査を取得する。副走査のそれぞれ、すなわち、点群１５のそれぞれは、例えば、反復最近接点（ＩＣＰ）点対面登録を用いることによって、リファレンス表現９にアライメントされる。このアライメントステップは、図１ｂに見ることができる。
【0075】
全ての副走査１５がリファレンス表現９に対して適切にアライメントされると、コンピュータ実装方法は、全ての副走査１５について、走査ボリュームのサブセクション１７の全ての頂点１８を通して繰り返し処理を行う。各頂点１８について、リファレンスメッシュ上の最も近い点が見つかり、その特定の副走査において、走査装置から見た差分ベクトル１６が計算される。その結果、ｘ方向、ｙ方向、ｚ方向に誤差が生じる。したがって、各画素座標（ｕ、ｖ）および直線位置ｄに対して、一組の差分ベクトルｖn１６が存在することになる。これらの差分は、最初の第２の変換を訂正するために使用される。
【0076】
上述したように、走査ボリュームは、走査装置座標（ｕ，ｖ，ｄ）の離散化によって定義されるサブセクション、具体的には、超直方体に分割され、すなわち、イメージセンサ座標および直線位置が多数の固定区間に分割され、これらの区間のデカルト積が、走査ボリューム１７のサブセクションを定義する。
【0077】
走査ボリュームの詳細については、後述する。これらのサブセクション１８の頂点ｐijk＝（ｕi，ｖj，ｄk），ｉ＝０・・・Ｎ1，ｊ＝０・・・Ｎ2，ｋ＝０・・・Ｎ3は、初期形状を利用して実世界座標に変換される。この結果、走査ボリュームにまたがる集合ｑijk＝（ｘi，ｙj，ｚk），ｉ＝０・・・Ｎ1，ｊ＝０・・・Ｎ2，ｋ＝０・・・Ｎ3，が得られる。それぞれのｑijk１８は、点のごく近傍を調べ、どの差分ベクトルｖn１６がこの近傍にあるかを確認することによって修正される。これらのベクトルは、修正される点までの距離に基づいて加重平均される。この加重平均は修正ベクトルｃijkとなり、これを加算して新しい座標マッピングｑ´ijk＝ｑijk＋ｃijkが得られる。この新しいマッピングは、新しいジオメトリ較正を決定する、すなわち、新しい第２の変換１４を決定する。任意の点（ｕ，ｖ，ｄ）の実世界座標は、上記離散化の超直方体を（ｕ，ｖ，ｄ）で求め、超直方体の８つの角のそれぞれについてｑ´ijkを調べ、その角を３次元線形補間して（ｕ，ｖ，ｄ）に対応する（ｘ，ｙ，ｚ）を求めることにより決定される。従って、初期の第２の変換１４を新たな第２の変換１４に置き換えると、生成された３Ｄ表現が修正される。このような処理を複数回繰り返すことで、較正を最適化することができる。図１ｃのフローチャートには、第２の変換１４を更新する反復処理が図示されている。
【0078】
［例２ ラボ走査システム］
第２の例として、固定されたデスクトップ３Ｄ走査装置１と接続されたコンピュータ２を備えた未較正走査システムを図２に示す。このスキャニングシステムは、複数の画像を記録し、これらの画像に基づいて実世界の３Ｄ座標を構築するように構成されている。実世界座標に基づいて、走査システムは、さらに、走査されるオブジェクトの３Ｄ表現を形成するように構成されている。
第２の例として、固定されたデスクトップ３Ｄ走査装置１と接続されたコンピュータ２を備えた未較正走査システムを図２に示す。このスキャニングシステムは、複数の画像を記録し、これらの画像に基づいて実世界の３Ｄ座標を構築するように構成されている。実世界座標に基づいて、走査システムは、さらに、走査されるオブジェクトの３Ｄ表現を形成するように構成されている。
【0079】
未較正走査システムは、走査されるオブジェクトに光を投射するように適合された光源４と、２Ｄ画像を取得するための１つまたは複数のＣＭＯＳセンサ等のイメージセンサ３（この例では、４つのイメージセンサ３がある）と、２Ｄ画像のセットを３Ｄ情報に処理するＦＰＧＡ（フィールドプログラマブルゲートアレイ）プロセッサ５と、３Ｄ情報をデータパッケージに、バッファリングし、圧縮し、および、順序付けるプロセッサ６（ＡＲＭプロセッサなど）と、を含む。データパッケージはＰｈｙ（ＵＳＢ／イーサネット（登録商標））に渡され、有線接続７を介してコンピュータ２上で動作するデータ処理サービスにパッケージを転送する。
【0080】
未較正走査システムは、３Ｄ較正オブジェクト８が走査される較正方法を実行することによって較正される。ここに開示された較正方法を実行するために、較正オブジェクトの３Ｄデジタルリファレンス表現９が、まず、コンピュータ２上で実行されるデータ処理サービスにロードされる。較正方法のさらなる詳細は、図１ｂに示されている。走査装置１は、走査中にオブジェクト８から深度情報を取得し、走査は、リファレンスオブジェクト８を回転板１９に置き、イメージセンサ３の前で異なる視野角に移動させることによって走査装置によって実行される。オブジェクト８は、独立した２つの回転軸（回転軸と旋回軸）で回転される。
【0081】
走査装置１は、プロジェクタユニット４から定位置に配置された４つの個別カメラ３からオブジェクトの複数の画像を同時に記録しながら、オブジェクト８にラインパターンを投影することにより、走査されたオブジェクトから奥行き情報を取得する。ラインパターンは、コード化されたパターンであってもよいし、ラインの束であってもよい。一例では、合計３０本の個々の線がオブジェクトに投影される。オブジェクト８がカメラユニット３に対して定位置に維持されている間、一連の２Ｄ画像を記録しながら、プロジェクタユニットおよび４つのカメラ３を揺動させることによって、ラインがオブジェクト８を横切って滑らかに掃引される。
【0082】
ＦＰＧＡプロセッサ５は、さらに、較正オブジェクト８のさまざまな位置、オブジェクトに投影される線の動き、および４つの個々のカメラ３の動作を制御する。
【0083】
ラインパターンがオブジェクト８を横切って掃引されると、画像情報データが処理ユニット６に転送される。ここでは、その情報を用いて、最初に第１の変換１２により、異なるカメラ画像と異なるプロジェクタ平面内のラインとの対応計算を行い、深度データを三角測量する。
【0084】
第２の変換１４を行うことで、オブジェクト座標が得られる。なお、第２の変換を求める方法は、実施例１で説明した手順と同様でよい。
【0085】
［例３ 較正を実行するためのユーザインタフェース］
図３は、未較正走査システム１のオペレータに、較正を実行するための走査データの収集を案内するためのユーザインタフェースを示す。
図３は、未較正走査システム１のオペレータに、較正を実行するための走査データの収集を案内するためのユーザインタフェースを示す。
【0086】
このユーザインタフェースは、携帯型走査装置を較正する場合に有利であり、例えば、較正を行うためのデータを収集するために、オペレータが物理的較正オブジェクト８に対して走査装置をどのように配置することができるかを案内することができるためである。
【0087】
この例では、ユーザインターフェースは次のようにしてもよい。
【0088】
図３は、画面上のグラフィカルユーザインタフェースに表示される、走査装置２を較正するためのコンピュータ実装方法を示し、３Ｄリファレンスオブジェクト８のリファレンス３Ｄ表現のリファレンスデータを取得する第１のステップを含む。リファレンス３Ｄ表現のリファレンスデータは、例えば、図２に示すラボ走査装置や産業グレード走査装置などの高精度３Ｄ走査装置を用いて３Ｄリファレンスオブジェクト８を走査することによって得られるファイルであってもよい。
【0089】
コンピュータ実装方法における第２のステップは、ここに例示するように、グラフィカルユーザインタフェースにおいて、リファレンスデータに基づいて、３Ｄリファレンスオブジェクト８のリファレンス３Ｄ表現９を形成することである。較正を開始するとき、ユーザインタフェースは、較正に使用される３Ｄリファレンスオブジェクト８に対応するライブラリからリファレンス３Ｄ表現９を選択するようにユーザに促すことができる。
【0090】
ここで例示されるようなコンピュータ実装方法における第３のステップは、リファレンス３Ｄ較正オブジェクト８を走査するためにユーザによって使用される携帯型装置２に基づいて、３Ｄリファレンスオブジェクトの２Ｄ画像の１つ以上の装置－実世界座標変換から、測定データを取得することである。
【0091】
ここで例示されるようなコンピュータ実装方法における第４のステップは、アライメントデータを得るために、アライメント手順を用いて、測定データをリファレンスデータにアライメントすることである。したがって、ここで説明されているような較正ルーチンは、較正オブジェクトの取得された測定データを較正オブジェクトのリファレンスデータに登録することによって、特にアライメントによって動作することができる。登録は、２つの点群のアライメントを行う空間変換（スケーリング、回転、平行移動など）を見つけるプロセスとして知られている。このような変換を見つける目的は、複数のデータセットをグローバルに一貫したモデル（または、座標フレーム）にマージすること、および特徴を識別するため、または、その姿勢を推定するために新しい測定値を既知のデータセットにマッピングすることを含む。したがって、いくつかの実施形態では、第４のステップは、アライメントに基づくそのような登録を実行してもよい。
【0092】
第一の実施形態では、まず、リファレンス３Ｄ較正オブジェクトを走査して３Ｄ表現を生成し、次に、走査した３Ｄデータをリファレンス表現に登録し、次に、個々の副走査をリファレンス表現に登録することによって、登録を行うことができる。
【0093】
第２の実施形態において、登録は、走査中に各副走査をリファレンス表現上に登録することによって実行されてもよい。この実施形態は、リファレンス表現上の測定データをリアルタイムで視覚化することができるため、有利である。さらに、リファレンス表現に直接登録することで、較正ルーチンが較正のための誤ったデータの記録を避けることができるため、データ品質を向上させることができる。較正オブジェクトが走査中に捕捉された小さな異物や欠陥を持っている場合、リファレンス表現に対応するものが存在しないため、そのデータは較正ルーチンのデータプールから即座に削除される。これにより、本手法のロバスト性が向上する。
【0094】
リファレンス表現に直接登録を行うには、最初に取得した副走査をリファレンス表現に登録することができる。その後の副走査は、後続の副走査がリファレンス表現上に登録されるように、前の副走査からのアライメント情報に依存してもよい。最初に取得された副走査を登録するために、ユーザは、走査を開始する必要があるユーザインタフェース内のリファレンス表現９上の点２０（リファレンス表現は図３において青で示されている）を手動でマークすることができる。各副走査は、その後、点２０のマークされた位置をアライメントの開始推測として使用し、その後、副走査を表現上に登録することを試みることができる。登録が成功した後、副走査は表現にアライメントされてよい。
【0095】
一実施形態では、上述したような登録プロセスは、反復最近接点（ＩＣＰ）として知られるプロセスであってよい。最も好ましい実施形態において、上述したような登録プロセスは、１つ以上の収束基準によって定義されてもよい。１つ以上の収束基準は、登録速度の性能および誤登録の回避を定義する。
【0096】
収束基準のパラメータは、副走査とリファレンスの間の一致点の最小数であってもよい。一致は、副走査点から特定の距離内にあるリファレンス上の点によって定義できる。表面法線は、ほぼ同じ方向を指す。すなわち、副走査点の法線ベクトルと、副走査点に対応するリファレンスの法線ベクトルとの内積が０より大きいことが、一致しているとみなされる条件である。
【0097】
ここに例示されるようなコンピュータ実装方法における第５のステップは、アライメントデータに基づいて、前記１つ以上の変換を更新し、それによって走査装置を較正することである。例えば、前記１つ以上の変換は、本開示の第１および第２の態様に関連して説明したような第１および／または第２の変換であってもよい。
【0098】
ここで例示されるようなコンピュータ実装方法における第６のステップは、グラフィカルユーザインターフェースにおいて、アライメントデータおよび／または前記更新された変換に基づいて、リファレンス３Ｄオブジェクトの少なくとも一部２１を形成することであり、前記少なくとも一部２１が、表示されたリファレンス３Ｄ表現９と比較して見ることができ、リファレンス３Ｄ表現９のどこでアライメントが成功したかをユーザに対して示すようにすることである。リファレンス３Ｄオブジェクトの少なくとも一部２１は、図３において灰色で示されている。少なくとも一部２１は、１つ以上の副走査からの１つ以上の点群である。この例では、少なくとも一部２１は、複数の副走査からのものである。
【0099】
ここで例示されるようなコンピュータ実装方法における第７のステップは、グラフィカルユーザインタフェースにおいて、ユーザに対してインジケータ２２を表示し、そこからユーザをリファレンス３Ｄ較正オブジェクトの走査を継続するように誘導することである。この例では、インジケータ２２は、アライメントデータの相対的な尺度であり、それによって、携帯型装置のユーザに対して、ユーザがどの程度までリファレンス３Ｄ較正オブジェクトの走査を継続する必要があるかを示すものである。図３から分かるように、インジケータ２２は３つのインジケータからなり、これらのインジケータの各々は、走査ボリューム（底部、中間部、および上部）において、十分なデータ（白で示される）が取得された領域、または不十分なデータ（黒で示される）が取得された領域のいずれかが存在することを示す。
【0100】
より具体的には、図３に例示するようなインジケータ２２は、走査ボリュームのデータ密度を示し、走査ボリュームの上部から下部までの複数の２次元スライスとして表示される。特定のスライスの特定の領域で十分なデータが取得されると、その特定の領域は黒色から白色に変化する。
【0101】
インジケータ２２は、ユーザが走査ボリューム内のどこでデータを収集し、どこでさらに走査する必要があるかを示す。これは、走査ボリューム全体において十分なデータカバレッジが得られるようにするためのガイダンスツールとして使用される。この例における全体の走査ボリュームは、前後に移動するレンズを有するフォーカス式走査装置によって定義される。したがって、この例における全体の走査体積は、フォーカスレンズの位置の間隔内の視野で取得された多数の２Ｄ画像から構成される。
【0102】
ここで例示するインジケータ２２は、最上部の画像が走査ボリュームの上部を表し、最下部の画像が走査ボリュームの底部を表すように定義されている。その間の画像は、時系列に並んだ中間領域を表している。ユーザが走査すると、画像内の領域は黒から白に変わり、走査ボリュームの対応する領域から副走査のデータが収集される。副走査のデータ点がリファレンス表現と一致した場合のみ、その点を有効とし、画像に表示することで、カバレッジ画像を定義している。
【0103】
インジケータ２２のカバレッジフレームは、各個々の２Ｄスライスの良好なデータカバレッジを得るため、および走査装置２を角度付けまたは傾斜させることによって、全ての異なる２Ｄスライスについてと同様に、較正オブジェクトに対して、走査装置をどのように配置するかについてユーザに視覚情報を提供する。１つのスライスが十分なデータカバレッジを含む場合（スライスは、走査装置から較正オブジェクトまでのある距離を表す）、そのスライスは、それによって、走査装置をオブジェクトからわずかに離すか、またはオブジェクトに近づけるかのいずれかによって、ユーザに対して走査ボリューム内の異なる領域におけるデータの取得に集中するように示す緑色になる場合がある。
【0104】
ユーザインタフェースは、さらに、走査装置を再配置することによって、所望のデータカバレッジを得る方法についてオペレータに指示を提供してもよい。これは、オブジェクト８に対する走査装置の推奨される動きを示すアニメーションの形式であってよい。
【0105】
最後に、ここで例示されるようなコンピュータ実装方法における最終ステップは、グラフィカルユーザインターフェースにおいて、走査装置の較正が完了したことを示す通知を表示することである。これは、例えば、全てのスライスが緑色になったときに、インジケータ２２によって表示されてもよい。
【図1a】
【図1b】
【図1c】
【図2】
【図3】
【国際調査報告】