特表 2023-538580 ニューラルネットワークを使用した３Ｄ対象物を再構成するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-09-08

(54)【発明の名称】ニューラルネットワークを使用した３Ｄ対象物を再構成するためのシステムおよび方法

(51)【国際特許分類】

   G06T 7/543 20170101AFI20230901BHJP

   G06T 7/00 20170101ALI20230901BHJP

   G06T 7/529 20170101ALI20230901BHJP

   G06T 7/60 20170101ALI20230901BHJP

   G06V 10/82 20220101ALI20230901BHJP

【ＦＩ】

G06T7/543

G06T7/00 350C

G06T7/529

G06T7/60 150S

G06V10/82

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023511998

(86)(22)【出願日】2021-08-13

(85)【翻訳文提出日】2023-02-16

(86)【国際出願番号】 IB2021000555

(87)【国際公開番号】W WO2022043746

(87)【国際公開日】2022-03-03

(31)【優先権主張番号】63/070,066

(32)【優先日】2020-08-25

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】515121542

【氏名又は名称】アルテック・ヨーロッパ・ソシエテ・ア・レスポンサビリテ・リミテ

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100161908

【弁理士】

【氏名又は名称】藤木 依子

(72)【発明者】

【氏名】グセフ，グレブ・アレクサンドロビチ

(72)【発明者】

【氏名】ベレズニュク，バディム

(72)【発明者】

【氏名】チェレンコバ，クセーニヤ

(72)【発明者】

【氏名】アルジャニコフ，イリヤ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA13

5L096HA11

5L096KA04

(57)【要約】

いくつかの実施形態によれば、投射パターンと対象物の表面上へと照射された投射パターンの画像との間の対応関係を決定するための方法が提供される。方法は、対象物の表面上へと投射パターンが照射されている際に、対象物の画像を取得することを含む。方法は、ニューラルネットワークを使用することにより、画像内におけるそれぞれ対応する画素と投射パターンの座標との間の対応関係を出力することを、さらに含む。方法は、画像内におけるそれぞれ対応する画素と投射パターンの座標との間の対応関係を使用することにより、対象物の表面の形状を再構成することを、さらに含む。
【選択図】図５Ａ

【特許請求の範囲】

【請求項1】

方法であって、
対象物の画像を取得することであって、前記画像が、画像化済みパターンの複数の画像化済み要素を含み、
前記画像化済みパターンが、前記対象物の表面上へと投射された投射パターンに対応し、
前記投射パターンが、複数の投射要素を含む、取得することと、
ニューラルネットワークを使用することにより、前記複数の画像化済み要素と前記複数の投射要素との間の対応関係を出力することと、
前記複数の画像化済み要素と前記複数の投射要素との間の前記対応関係を使用することにより、前記対象物の前記表面の形状を再構成することと、を含む、方法。

【請求項2】

前記ニューラルネットワークは、第１ニューラルネットワークであり、
前記方法は、
第２ニューラルネットワークを使用することにより、前記複数の画像化済み要素と前記複数の投射要素との間における、前記第１ニューラルネットワークによって決定された前記対応関係からのオフセットを出力することを、さらに含む、請求項１に記載の方法。

【請求項3】

前記ニューラルネットワークを使用することにより、前記複数の画像化済み要素と前記複数の投射要素との間の前記対応関係を出力することは、前記対象物の前記画像におけるそれぞれ対応する各画素に関する値を、前記ニューラルネットワークの入力層内におけるそれぞれ対応するノード上へと、入力することを含む、請求項１に記載の方法。

【請求項4】

前記対象物の前記画像におけるそれぞれ対応する各画素は、前記ニューラルネットワークの出力層内におけるそれぞれ対応するノードに対して、対応しており、
前記ニューラルネットワークの前記出力層内における前記それぞれ対応するノードに関する値は、前記それぞれ対応する画素と、前記投射パターンの前記複数の投射要素と、の間の前記対応関係を表している、請求項１に記載の方法。

【請求項5】

前記ニューラルネットワークの前記出力層は、前記対象物の前記画像と同じサイズを有している、請求項４に記載の方法。

【請求項6】

前記ニューラルネットワークの前記出力層は、前記画像のサイズよりも小さい、請求項５に記載の方法。

【請求項7】

前記ニューラルネットワークを使用することにより、前記複数の画像化済み要素と前記複数の投射要素との間の前記対応関係を出力することは、前記投射パターンに関する情報を、前記ニューラルネットワークの入力層内へと、入力することを含む、請求項６に記載の方法。

【請求項8】

前記対象物の前記表面上へと投射された前記投射パターンの前記複数の投射要素は、非符号化要素を含む、請求項１に記載の方法。

【請求項9】

前記対象物の前記表面上へと投射された前記投射パターンの前記複数の投射要素は、線を含む、請求項８に記載の方法。

【請求項10】

前記ニューラルネットワークは、模擬データを使用して訓練され、前記模擬データは、複数の模擬画像を含み、前記複数の模擬画像のそれぞれは、
複数の模擬要素を含む模擬画像化済みパターンであって、前記複数の模擬要素のそれぞれが、それぞれ対応する模擬対象物の表面上へと投射された前記複数の投射要素のそれぞれ対応する投射要素に対して、対応している、模擬画像化済みパターンと、
前記模擬画像化済みパターンの複数の模擬要素と前記投射パターンの前記複数の投射要素との間の対応関係を示すデータと、を含む、請求項１に記載の方法。

【請求項11】

前記複数の模擬画像のそれぞれに関して、前記それぞれ対応する模擬対象物は、テクスチャ情報を含む、請求項１０に記載の方法。

【請求項12】

前記それぞれ対応する模擬対象物に関する前記テクスチャ情報は、前記それぞれ対応する模擬対象物の自然なテクスチャ以外のテクスチャ情報である、請求項１１に記載の方法。

【請求項13】

前記それぞれ対応する模擬対象物に関する前記テクスチャ情報は、前記投射パターンの前記複数の投射要素と同様の特徴物を含む、請求項１２に記載の方法。

【請求項14】

前記それぞれ対応する模擬対象物に関する前記テクスチャ情報は、テキストを含む、請求項１１に記載の方法。

【請求項15】

前記それぞれ対応する模擬対象物に関する前記テクスチャ情報は、線を含む、請求項１１に記載の方法。

【請求項16】

コンピュータシステムであって、１つまたは複数のプロセッサと、請求項１～１５のいずれか一項に記載の方法を行うための命令を格納したメモリと、を含む、コンピュータシステム。

【請求項17】

非一過性コンピュータ可読ストレージ媒体であって、コンピュータシステムによって実行された時には請求項１～１５のいずれか一項に記載の方法を前記コンピュータシステムに行わせる命令を格納している、非一過性コンピュータ可読ストレージ媒体。

【請求項18】

方法であって、
１つもしくは複数のプロセッサと、前記１つもしくは複数のプロセッサによる実行のために構成された１つまたは複数のプログラムを格納したメモリと、を有したコンピューティングデバイスで、
対象物の表面上へと投射パターンが照射されている際に、前記対象物の画像を取得することと、
ニューラルネットワークを使用することにより、前記画像内におけるそれぞれ対応する画素と前記投射パターンの座標との間の対応関係を出力することと、
前記画像内におけるそれぞれ対応する画素と前記投射パターンの座標との間の前記対応関係を使用することにより、前記対象物の前記表面の形状を再構成することと、を含む、方法。

【請求項19】

コンピュータシステムであって、１つまたは複数のプロセッサと、請求項１８に記載の方法を行うための命令を格納したメモリと、を含む、コンピュータシステム。

【請求項20】

非一過性コンピュータ可読ストレージ媒体であって、コンピュータシステムによって実行された時には請求項１８に記載の方法を前記コンピュータシステムに行わせる命令を格納している、非一過性コンピュータ可読ストレージ媒体。

【請求項21】

方法であって、
１つもしくは複数のプロセッサと、前記１つもしくは複数のプロセッサによる実行のために構成された１つまたは複数のプログラムを格納したメモリと、を有したコンピューティングデバイスで、
模擬データを生成することであって、
それぞれ対応する模擬対象物の表面上へと投射される投射パターンに関する複数の模擬画像であって、
前記投射パターンは、複数の投射要素を含み、前記模擬画像のそれぞれは、複数の模擬要素を有した模擬パターンを含み、前記複数の模擬要素は、前記投射パターンのそれぞれ対応する投射要素に対して、対応している、複数の模擬画像と、
前記それぞれ対応する模擬対象物の形状を示すデータと、
前記模擬要素とそれぞれ対応する投射要素との対応関係を示すデータと、を含む模擬データを、生成することと、
前記模擬データを使用して、前記投射パターンの前記複数の投射要素と前記模擬画像の前記複数の模擬要素との間の対応関係を決定するように、ニューラルネットワークを訓練することと、
後の時点で画像を再構成するに際して使用するために、前記訓練済みニューラルネットワークを格納することと、を含む、方法。

【請求項22】

前記複数の模擬画像のそれぞれは、前記それぞれ対応する模擬対象物に関するテクスチャ情報を、さらに含む、請求項２１に記載の方法。

【請求項23】

前記それぞれ対応する模擬対象物に関する前記テクスチャ情報は、前記それぞれ対応する模擬対象物の自然なテクスチャ以外のテクスチャ情報である、請求項２２に記載の方法。

【請求項24】

前記それぞれ対応する模擬対象物に関する前記テクスチャ情報は、前記投射パターンの前記複数の投射要素と同様の特徴物を含む、請求項２２に記載の方法。

【請求項25】

前記それぞれ対応する模擬対象物に関する前記テクスチャ情報は、テキストを含む、請求項２２に記載の方法。

【請求項26】

前記それぞれ対応する模擬対象物に関する前記テクスチャ情報は、線を含む、請求項２２に記載の方法。

【請求項27】

前記それぞれ対応する模擬対象物は、１つまたは複数の先鋭な特徴物を含む、請求項２１に記載の方法。

【請求項28】

コンピュータシステムであって、１つまたは複数のプロセッサと、請求項２１～２７のいずれか一項に記載の方法を行うための命令を格納したメモリと、を含む、コンピュータシステム。

【請求項29】

非一過性コンピュータ可読ストレージ媒体であって、コンピュータシステムによって実行された時には請求項２１～２７のいずれか一項に記載の方法を前記コンピュータシステムに行わせる命令を格納している、非一過性コンピュータ可読ストレージ媒体。

【請求項30】

方法であって、
１つもしくは複数のプロセッサと、前記１つもしくは複数のプロセッサによる実行のために構成された１つまたは複数のプログラムを格納したメモリと、を有したコンピューティングデバイスで、
模擬データを生成することであって、
それぞれ対応する模擬対象物の表面上へと投射される投射パターンに関する複数の模擬画像と、
前記それぞれ対応する模擬対象物の形状を示すデータと、
前記模擬画像内におけるそれぞれ対応する画素と前記投射パターンの座標との対応関係を示すデータと、を含む模擬データを、生成することと、
前記模擬データを使用して、画像と投射パターンとの間の対応関係を決定するように、ニューラルネットワークを訓練することと、
後の時点で画像を再構成するに際して使用するために、前記訓練済みニューラルネットワークを格納することと、を含む、方法。

【請求項31】

コンピュータシステムであって、１つまたは複数のプロセッサと、請求項３０に記載の方法を行うための命令を格納したメモリと、を含む、コンピュータシステム。

【請求項32】

非一過性コンピュータ可読ストレージ媒体であって、コンピュータシステムによって実行された時には請求項３０に記載の方法を前記コンピュータシステムに行わせる命令を格納している、非一過性コンピュータ可読ストレージ媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、３次元走査技術に関し、より詳細には、ニューラルネットワークを利用した３次元走査技術に関する。

【背景技術】

【0002】

３次元（３Ｄ）走査技術は、物理的対象物の表面に関する３Ｄモデルを構築することができる。３次元走査は、工業デザインおよび製造、コンピュータ化されたアニメーション、科学、教育、医療、芸術、デザイン、ならびに他のもの、を含めた多くの分野で応用されている。

【発明の概要】

【0003】

本開示は、３Ｄ走査技術に関する。３Ｄ走査に対する１つのアプローチは、対象物の表面上へと投射器が既知の光パターン（以下、「投射パターン」）を投射する、いわゆる「構造化光」の使用である。例えば、投射器からの光は、面上に投射パターンが印刷されているスライドを通して、案内されてもよい。カメラによって取り込まれた光のパターンの歪みから、対象物の表面の形状が推定される。１つまたは複数のカメラを使用することにより、対象物上でパターンが反射した画像が、取得されてもよい。画像内のパターンの位置を測定すること（例えば、パターンの歪みを測定すること）により、コンピュータシステムは、例えば三角測量アルゴリズムなどの単純な幾何学的計算を使用して、対象物の表面上の位置を決定してもよい。

【0004】

対象物の表面上の位置を決定するためには、コンピュータシステムは、投射パターン内のどの点が画像内のどの点に対して対応しているかを知る必要がある。いくつかの実施形態によれば、画像画素と投射パターンの座標との間の対応関係は、訓練済みニューラルネットワークを使用して、推測することができる。

【0005】

いくつかの実施形態によれば、３Ｄ走査に対する構造化光アプローチにおいて画像化済み要素を明確にするための方法が提供される。方法は、対象物の画像を取得することを含む。画像は、画像化済みパターンの複数の画像化済み要素を含む。画像化済みパターンは、対象物の表面上へと投射された投射パターンに対応しており、投射パターンは、複数の投射要素を含む。方法は、また、ニューラルネットワークを使用することにより、複数の画像化済み要素と複数の投射要素との間の対応関係を出力することを含む。方法は、複数の画像化済み要素と複数の投射要素との間の対応関係を使用することにより、対象物の表面の形状を再構成することを、さらに含む。

【0006】

いくつかの実施形態によれば、投射パターンと、対象物の表面上へと照射された投射パターンの画像と、の間の対応関係を決定するための方法が、提供される。方法は、対象物の表面上へと投射パターンが照射されている際に、対象物の画像を取得することを含む。方法は、ニューラルネットワークを使用することにより、画像内におけるそれぞれ対応する画素と投射パターンの座標との間の対応関係を出力することを、さらに含む。方法は、画像内におけるそれぞれ対応する画素と投射パターンの座標との間の対応関係を使用することにより、対象物の表面の形状を再構成することを、さらに含む。

【0007】

いくつかの実施形態によれば、ニューラルネットワークを訓練するための方法が提供される。ニューラルネットワークは、模擬対象物の表面に投射される投射パターンに関する複数の模擬画像を含む模擬データを使用して、訓練される。投射パターンは、複数の投射要素を含み、模擬画像のそれぞれは、複数の模擬要素を有した模擬パターンを含む。複数の模擬要素は、投射パターンのそれぞれ対応する投射要素に対して、対応している。模擬データは、また、それぞれ対応する模擬対象物の形状を示すデータと、模擬要素とそれぞれ対応する投射要素との対応関係を示すデータと、を含む。模擬データを使用して、ニューラルネットワークは、投射パターンの複数の投射要素と模擬パターンの複数の模擬要素との間の対応関係を決定するように、訓練される。訓練済みニューラルネットワークは、後の時点で画像を再構成するに際して使用するために、格納される。

【0008】

いくつかの実施形態によれば、ニューラルネットワークを訓練するための別の方法が提供される。方法は、模擬データを生成することであり、それぞれ対応する模擬対象物の表面上へと投射される投射パターンに関する複数の模擬画像と、それぞれ対応する模擬対象物の形状を示すデータと、模擬画像内におけるそれぞれ対応する画素と投射パターンの座標との対応関係を示すデータと、を含む、模擬データを生成することを、含む。方法は、模擬データを使用して、画像と投射パターンとの間の対応関係を決定するように、ニューラルネットワークを訓練することを、さらに含む。方法は、後の時点で画像を再構成するに際して使用するために、訓練済みニューラルネットワークを格納することを、さらに含む。

【0009】

いくつかの実施形態によれば、コンピュータシステムが提供される。コンピュータシステムは、１つまたは複数のプロセッサと、本明細書で説明するいずれかの方法を行うための命令を格納したメモリと、を含む。

【0010】

いくつかの実施形態によれば、命令を格納した非一過性コンピュータ可読ストレージ媒体が提供される。非一過性コンピュータ可読ストレージ媒体は、コンピュータシステムによって実行された時には本明細書で説明するいずれかの方法をコンピュータシステムに行わせる命令を含む。

【0011】

説明する様々な実施形態に関するより良好な理解のために、同様の参照符号が図面の全体を通して対応部分を指している以下の図面と併せて、以下における発明を実施するための形態を参照されたい。

【図面の簡単な説明】

【0012】

【図1A】図１Ａは、いくつかの実施形態による画像化システムを示している。

【図1B】図１Ｂは、いくつかの実施形態による画像化システムを示している。

【図1C】図１Ｃは、いくつかの実施形態による投射パターンを示している。

【図1D】図１Ｄは、いくつかの実施形態による画像化済みパターンを示している。

【図2】図２は、いくつかの実施形態による画像化システムのブロック図である。

【図3】図３は、いくつかの実施形態による遠隔デバイスのブロック図である。

【図4】図４は、いくつかの実施形態によるニューラルネットワークの入力および出力を示している。

【図5A】図５Ａは、いくつかの実施形態による、３Ｄ再構成のための方法に関するフローチャートを示している。

【図5B】図５Ｂは、いくつかの実施形態による、３Ｄ再構成のための方法に関するフローチャートを示している。

【図5C】図５Ｃは、いくつかの実施形態による、３Ｄ再構成のための方法に関するフローチャートを示している。

【図6A】図６Ａは、いくつかの実施形態による、ニューラルネットワークを訓練するための方法に関するフロー図を示している。

【図6B】図６Ｂは、いくつかの実施形態による、ニューラルネットワークを訓練するための方法に関するフロー図を示している。

【図7】図７は、いくつかの実施形態による、３Ｄ再構成のための別の方法に関するフローチャートを示している。

【発明を実施するための形態】

【0013】

ここで、添付図面に例が図示されている実施形態を参照する。以下の説明では、説明する様々な実施形態に関する徹底的な理解を提供するために、多数の具体的な詳細を記載している。しかしながら、当業者には、説明する様々な実施形態が、これらの具体的な詳細を必要とすることなく実施され得ることは、明らかであろう。他の実例では、周知の方法、周知の手順、周知の構成要素、周知の回路、および周知のネットワークについて、実施形態の発明的態様を無用に不明瞭としないよう、詳細には説明していない。

【0014】

図１Ａ～図１Ｂは、本発明の一実施形態による、投射器１１０と１つまたは複数のカメラ１１２（例えば、センサ）とを含む３次元（「３Ｄ」）画像化環境１００を示している。様々な実施形態では、２つ以上の投射器および／または２つ以上のカメラが使用され得ることに、留意されたい。図１Ａに示すように、投射器１１０は、画像化対象をなす対象物１２０上へと、投射パターン（時に「構造化照明」とも称される）を投射するように構成されている。これを行うために、いくつかの実施形態では、投射器からの光は、面上に投射パターンが印刷されているスライドを通して、投射される。投射パターンは、複数の投射要素を含む。投射パターンの非限定的な例は、一連をなす複数のコントラスト線（例えば、黒色線および白色線）、一連をなす複数のコントラストジグザグ線、および、複数のドットからなるグリッドパターン、を含む。投射パターンの更なる例は、米国出願第１１／８４６，４９４号明細書に記載されており、この文献は、その全体が参照により本明細書に援用される。

【0015】

光線１９０－１～１９０－４のそれぞれは、投射パターンのそれぞれ対応する投射要素（例えば、投射パターン内の異なる線）に対して、対応している。例えば、光線１９０－１は、投射器１１０から対象物１２０の表面１２１上へと投射される投射パターン内の、第１投射要素を表しており、光線１９０－２は、投射器１１０から対象物１２０の表面１２１上へと投射される別の投射要素を表している。光線１９０は、対象物１２０の表面１２１で反射される（光線１９０－１～１９０－４に対してそれぞれ対応する反射光線１９２－１～１９２－４として、それぞれ反射される）。光の少なくとも一部は、１つまたは複数のカメラ１１２によって取り込まれる。

【0016】

いくつかの実施形態では、（１つまたは複数の）カメラ１１２は、対象物１２０の表面１２１が投射パターンによって照明されている際に、対象物１２０の複数の画像を取り込む。いくつかの実施形態では、投射パターンは、対象物１２０の表面上へとストロボスコープ的に照射され、投射パターンが対象物１２０の表面上へと照射されるたびに、複数の画像の、１つの画像が、取り込まれる。本明細書で使用した際には、「ストロボスコープ的に」という用語は、固定レート（例えば、１秒間に１５フレーム）で、反復的に行われることを意味する。

【0017】

図１Ａ～図１Ｂでは、投射器１１０およびカメラ１１２が別個に図示されているけれども、いくつかの実施形態では、投射器１１０およびカメラ１１２が、３Ｄ走査器２００（図２）として、単一のハウジング内に統合されていることに、留意されたい。３Ｄ走査器２００のユーザは、データを収集しながら、３Ｄ走査器２００を対象物１２０に対して移動させることによって対象物を走査してもよい。よって、いくつかの実施形態では、対象物１２０の画像は、異なる角度から、または異なる位置から、（１つまたは複数の）カメラ１１２によって取り込まれる。

【0018】

複数の画像をなす各画像は、対象物１２０の表面に起因して歪んだような、投射パターンに対応する画像化済みパターンを示している。よって、画像化済みパターンは、複数の画像化済み要素を含み、画像化済み要素のそれぞれは、投射パターン内のそれぞれ対応する投射要素に対して、対応している。

【0019】

図１Ｂは、３Ｄ画像化環境１００に関する別の操作例を示している。図１Ｂに示すように、投射器１１０は、対象物１２０に向けて、図１Ａと同じ投射パターンを投射している。この例では、別の対象物１２２が、光線１９０－３の経路内に配置されており、そのため、光線１９０－３は、対象物１２２の表面で反射されている。対象物１２２が、対象物１２０の一体部分（例えば、飲料用マグカップのハンドル）であってもよいことに、または別個の対象物であってもよいことに、留意されたい。（１つまたは複数の）カメラ１１２は、対象物１２０および１２２に関する複数の画像を取り込む。図示しているように、対象物１２２の存在により、光線１９２－３（光線１９０－３に対応する）は、図１Ａに示している位置とは異なる位置で、（１つまたは複数の）カメラ１１２に入射するものとされる。よって、（１つまたは複数の）カメラ１１２によって取り込まれた複数の画像は、光線１９０－３および１９２－３に対応する画像化済み要素を、画像化済みパターンの他の画像化済み要素に対して、画像化済みパターン内の異なる位置で（および場合によっては、異なる順序で）示すこととなる。

【0020】

図１Ｃは、投射器１１０から放出される投射パターン１３０の一例を示しており、図１Ｄは、（１つまたは複数の）カメラ１１２によって取り込まれる画像化済みパターン１３２の一例を示している。

【0021】

図１Ｃに示す例では、投射パターン１３０は、複数の投射要素１４０を含む。例えば、図１Ｃに示す投射パターン１３０は、図１Ｂに示すように、対象物１２０および１２２上へと、投射器１１０によって投射され得る。この場合、投射要素１４０は、繰り返された複数の線である。いくつかの実施形態では、米国出願第１１／８４６，４９４号明細書に記載されているように、複数の線は、太い領域と細い領域とを交互に有している。いくつかの実施形態では、交互的な太い領域と細い領域とは、線ごとに異なるけれども、それらの線は、依然として非符号化要素と見なされる。

【0022】

図１Ｄは、図１Ｂに示すように対象物１２０および１２２に向けて投射器１１０が投射パターン１３０を投射している際に、（１つまたは複数の）カメラ１１２によって取り込まれる画像化済みパターン１３２の一例である。画像は、複数の画像化済み要素１４２を含む。この場合、画像化済み要素１４２は、歪んだ複数の線である。画像化済み要素１４２（例えば、歪んだ線）のそれぞれは、投射パターン１３０内におけるそれぞれ対応する投射要素１４０（例えば、それぞれ対応する線）に対して、対応している。この例では、画像化済みパターン１３２内における画像化済み要素１４２－１は、投射パターン１３０内における投射要素１４０－１に対して、対応しており、画像化済みパターン１３２内における画像化済み要素１４２－２は、投射パターン１３０内における投射要素１４０－２に対して、対応しており、画像化済みパターン１３２内における画像化済み要素１４２－３は、投射パターン１３０内における投射要素１４０－３に対して、対応しており、さらに、画像化済みパターン１３２内における画像化済み要素１４２－４は、投射パターン１３０内における投射要素１４０－４に対して、対応している。走査対象をなす対象物の幾何形状に起因して（図１Ｂを参照して示すように）、画像化済み要素は、投射パターン１３０内におけるそれぞれ対応する投射要素１４０の位置に対して転置され得ることに、留意されたい。例えば、画像化済み要素１４２－３および１４２－４に関する相対的な順序は、投射要素１４０－３および１４０－４と比較して、逆となっている。

【0023】

構造化光アプローチを使用して対象物の表面に関するモデルを構築するためには、コンピュータシステムは、画像と投射パターンとの間の対応関係（例えば、画像内の各画素に対応した投射パターンの座標、および／または、画像化済み要素と投射要素との間の対応関係）を知る必要がある。この曖昧さの問題点を解決するために、一般的な２つのアプローチが存在しており、すなわち、１つの方法では、符号化済み要素を有したパターンを利用し、代替可能な方法では、非符号化要素を有したパターンに依存する。符号化済み要素を有したパターンでは、パターン内の要素は、コンピュータシステムが各画像化済み要素を識別することを可能とする何らかの独自の識別特性を有している。非符号化要素を有したパターンでは、パターン内の要素（例えば、複数の線、または、反復する複数の要素）は、パターンの特定の要素を取込画像内で識別可能とする個別的な独自の特性を有していない。非符号化要素（例えば、複数の線）の場合には、画像と投射パターンとの間の対応関係を決定するために、何らかの他の方法が必要である。

【0024】

いくつかの実施形態では、投射パターンは、投射パターンの投射要素が非符号化要素であるように、光の非符号化パターンである。いくつかの実施形態では、以下で詳細に説明するように、投射パターンと、投射パターンが上面上に照射された対象物の画像と、の間の対応関係は、ニューラルネットワークを使用して決定される。いくつかの実施形態では、光の非符号化パターンは、複数の線または他の反復する複数の要素などの、構造化された光パターンを含む。

【0025】

図１Ｃおよび図１Ｄは、投射パターン１３０内における複数の投射要素１４０が、複数の線である例を示しているけれども、投射要素１４０および画像化済み要素１４２が、任意の形状を取り得ることは、理解されよう。例えば、投射要素１４０は、複数のバー、複数のジグザグ要素、複数のドット、複数の正方形、一連をなす３つの小さなバー、などであってもよい。投射パターンが照射された対象物によって形成される画像化済みパターンを示す画像に関する非限定的な例は、米国仮出願第６３／０７０，０６６号明細書における付録Ａの図Ａ１および図Ａ２に提供されており、この文献は、その全体が参照により本明細書に援用される。

【0026】

図２は、いくつかの実施形態による３Ｄ走査器２００のブロック図である。３Ｄ走査器２００は、または３Ｄ走査器２００のコンピュータシステムは、典型的には、メモリ２０４と、１つまたは複数のプロセッサ２０２と、電源２０６と、ユーザ入出力（Ｉ／Ｏ）サブシステム２０８と、１つまたは複数のセンサ２０３（例えば、図１Ａから図１Ｂにおける（１つまたは複数の）カメラ１１２を含む）と、投射器１１０と、これらの構成要素どうしを相互接続するための通信バス２１０と、を含む。（１つまたは複数の）プロセッサ２０２は、メモリ２０４内に格納されたモジュール、プログラム、および／または命令を実行し、それによって処理操作を行う。

【0027】

いくつかの実施形態では、（１つまたは複数の）プロセッサ２０２は、少なくとも１つの中央処理装置を含む。いくつかの実施形態では、（１つまたは複数の）プロセッサ２０２は、少なくとも１つの画像処理装置を含む。いくつかの実施形態では、（１つまたは複数の）プロセッサ２０２は、本明細書で説明するニューラルネットワークを実行するための少なくとも１つのニューラルプロセッシングユニット（ＮＰＵ）を含む。いくつかの実施形態では、（１つまたは複数の）プロセッサ２０２は、少なくとも１つのフィールドプログラマブルゲートアレイを含む。

【0028】

いくつかの実施形態では、メモリ２０４は、１つもしくは複数のプログラム（例えば、複数セットをなす命令）および／またはデータ構造を格納している。いくつかの実施形態では、メモリ２０４は、またはメモリ２０４の非一過性コンピュータ可読ストレージ媒体は、以下のプログラム、モジュール、およびデータ構造を格納している、あるいは、それらの部分集合または上位集合を格納している。
・様々な基本システムサービスを処理する手順でありかつハードウェア依存タスクを行う手順を含むオペレーティングシステム２１２、
・３Ｄ走査器を、１つまたは複数の通信ネットワーク２５０を介して、他のコンピュータシステム（例えば、遠隔デバイス２３６）に対して接続するための、（１つまたは複数の）ネットワーク通信モジュール２１８、
・ユーザ入出力（Ｉ／Ｏ）サブシステム２０８を介してユーザからコマンドおよび／または入力を受領するとともに、ユーザ入出力（Ｉ／Ｏ）サブシステム２０８上で提示および／または表示するための出力を提供する、ユーザインタフェースモジュール２２０、
・方法５００（図５Ａ～図５Ｃ）および／または方法７００（図７）に関して説明するいずれかのもしくはすべての操作を任意選択的に行うことを含めて、センサ２０３からのデータを処理あるいは前処理するためのデータ処理モジュール２２４。
代替的には、様々な実施形態では、いずれかのまたはすべてのデータ処理のいずれかまたはすべては、３Ｄ走査器２００がネットワーク２５０を介して結合されている遠隔デバイス２３６によって、行われてもよい。
・カメラ、投射器、およびセンサの読み出し、を制御するためのデータ取得モジュール２２６、
・３Ｄ走査器２００が使用したり生成したりするデータを格納する、（１つもしくは複数の）バッファ、ＲＡＭ、ＲＯＭ、および／または他のメモリ、を含むストレージ２３０。

【0029】

上記で特定した複数のモジュール（例えば、データ構造、および／または、複数セットをなす命令のセットを含めたプログラム）は、別個の、ソフトウェアプログラム、手順、またはモジュールとして実装される必要はなく、よって、これらモジュールの様々な部分集合は、様々な実施形態において、組み合わされてもよく、さもなければ再配置されてもよい。いくつかの実施形態では、メモリ２０４は、上記で特定した複数のモジュールの部分集合を格納している。さらに、メモリ２０４は、上記で説明していない追加的なモジュールを格納してもよい。いくつかの実施形態では、メモリ２０４に格納されたモジュールは、またはメモリ２０４の非一過性コンピュータ可読ストレージ媒体内に格納されたモジュールは、以下で説明する方法におけるそれぞれ対応する操作を実装するための命令を提供する。いくつかの実施形態では、これらモジュールの一部または全部は、モジュール機能の一部または全部を包含する特殊なハードウェア回路（例えば、ＦＰＧＡ）によって実装されてもよい。上記で特定した要素の、１つまたは複数は、（１つまたは複数の）プロセッサ２０２のうちの、１つもしくは複数によって実行されてもよい。

【0030】

いくつかの実施形態では、ユーザ入力／出力（Ｉ／Ｏ）サブシステム２０８は、３Ｄ走査器２００を、通信ネットワーク２５０を介して、および／または有線接続や無線接続を介して、１つもしくは複数の遠隔デバイス２３６などの、１つまたは複数のデバイスに対して、通信可能に結合する。いくつかの実施形態では、通信ネットワーク２５０は、インターネットである。いくつかの実施形態では、ユーザ入力／出力（Ｉ／Ｏ）サブシステム２０８は、３Ｄ走査器２００を、タッチセンサ式ディスプレイなどの、１つもしくは複数の統合型デバイスに対してまたは周辺デバイスに対して、通信可能に結合する。

【0031】

いくつかの実施形態では、投射器１１０は、１つまたは複数のレーザを含む。いくつかの実施形態では、１つまたは複数のレーザは、垂直共振器面発光レーザ（ＶＣＳＥＬ）を含む。いくつかの実施形態では、投射器１１０は、また、可視光を生成する複数の発光ダイオード（ＬＥＤ）からなるアレイを含む。いくつかの実施形態では、レーザの代わりに、投射器１１０は、フラッシュバルブまたはいくつかの他の光源を含む。

【0032】

通信バス２１０は、任意選択的に、システム構成要素どうしの間の通信を相互接続して制御する回路（時に、チップセットと称される）を含む。

【0033】

図３は、いくつかの実施形態による、ネットワーク２５０を介して３Ｄ走査器２００に対して結合している遠隔デバイス２３６のブロック図である。遠隔デバイス２３６は、典型的には、メモリ３０４と、１つまたは複数のプロセッサ３０２と、電源３０６と、ユーザ入出力（Ｉ／Ｏ）サブシステム３０８と、これらの構成要素どうしを相互接続するための通信バス３１０と、を含む。（１つまたは複数の）プロセッサ３０２は、メモリ３０４内に格納されたモジュール、プログラム、および／または命令を実行し、それによって処理操作を行う。

【0034】

いくつかの実施形態では、（１つまたは複数の）プロセッサ３０２は、少なくとも１つの中央処理装置を含む。いくつかの実施形態では、（１つまたは複数の）プロセッサ３０２は、少なくとも１つの画像処理装置を含む。いくつかの実施形態では、（１つまたは複数の）プロセッサ３０２は、本明細書で説明するニューラルネットワークを実行するための少なくとも１つのニューラルプロセッシングユニット（ＮＰＵ）を含む。いくつかの実施形態では、（１つまたは複数の）プロセッサ３０２は、少なくとも１つのフィールドプログラマブルゲートアレイを含む。

【0035】

いくつかの実施形態では、メモリ３０４は、１つもしくは複数のプログラム（例えば、複数セットをなす命令）および／またはデータ構造を格納している。いくつかの実施形態では、メモリ３０４は、またはメモリ３０４の非一過性コンピュータ可読ストレージ媒体は、以下のプログラム、モジュール、およびデータ構造を格納している、あるいは、それらの部分集合または上位集合を格納している。
・様々な基本システムサービスを処理する手順でありかつハードウェア依存タスクを行う手順を含むオペレーティングシステム３１２、
・遠隔デバイス２３６を、１つまたは複数の通信ネットワーク２５０を介して、他のコンピュータシステム（例えば、３Ｄ走査器２００）に対して接続するための、（１つまたは複数の）ネットワーク通信モジュール３１８、
・ユーザ入出力（Ｉ／Ｏ）サブシステム３０８を介してユーザからコマンドおよび／または入力を受領するとともに、ユーザ入出力（Ｉ／Ｏ）サブシステム３０８上で提示および／または表示するための出力を提供する、ユーザインタフェースモジュール３２０、
・方法５００（図５Ａ～図５Ｃ）および／または方法７００（図７）に関して説明するいずれかのもしくはすべての操作を任意選択的に行うことを含めて、３Ｄ走査器２００からのデータを処理するためのデータ処理モジュール３２４。
いくつかの実施形態では、データ処理モジュール３２４は、ニューラルネットワークモジュール３４０（画像と投射パターンとの間の対応関係を決定するためのもの）と、ニューラルネットワークモジュール３４０によって決定された対応関係を使用して対象物の空間座標を決定するために三角測量アルゴリズムを実行するための三角測量モジュール３４４と、を含む。いくつかの実施形態では、ニューラルネットワークモジュール３４０は、図４を参照して以下で説明するニューラルネットワーク３４０－ａおよび３４０－ｂを実行するための命令を含む。
・任意選択的に、方法６００（図６Ａ～図６Ｂ）に関して説明する操作の、もしくは本明細書で言及する代替可能な方法に関して説明する操作の、いずれかまたはすべてを行うことを含めて、画像化済みパターン内における画像化済み要素と、投射パターン内における投射要素と、の間の対応関係を決定するように、ニューラルネットワークを訓練するためのニューラルネットワーク訓練モジュール３２８、
・遠隔デバイス２３６が使用したり生成したりするデータを格納する、（１つもしくは複数の）バッファ、ＲＡＭ、ＲＯＭ、および／または他のメモリ、を含むストレージ３３０。

【0036】

上記で特定した複数のモジュール（例えば、データ構造、および／または、複数セットをなす命令のセットを含めたプログラム）は、別個の、ソフトウェアプログラム、手順、またはモジュールとして実装される必要はなく、よって、これらモジュールの様々な部分集合は、様々な実施形態において、組み合わされてもよく、さもなければ再配置されてもよい。いくつかの実施形態では、メモリ３０４は、上記で特定した複数のモジュールの部分集合を格納している。さらに、メモリ３０４は、上記で説明していない追加的なモジュールを格納してもよい。いくつかの実施形態では、メモリ３０４に格納されたモジュールは、またはメモリ３０４の非一過性コンピュータ可読ストレージ媒体内に格納されたモジュールは、以下で説明する方法におけるそれぞれ対応する操作を実装するための命令を提供する。いくつかの実施形態では、これらモジュールの一部または全部は、モジュール機能の一部または全部を包含する特殊なハードウェア回路（例えば、ＦＰＧＡ）によって実装されてもよい。上記で特定した要素の、１つまたは複数は、（１つまたは複数の）プロセッサ３０２のうちの、１つもしくは複数によって実行されてもよい。

【0037】

いくつかの実施形態では、ユーザ入力／出力（Ｉ／Ｏ）サブシステム３０８は、遠隔デバイス２３６を、通信ネットワーク２５０を介して、および／または有線接続や無線接続を介して、１つもしくは複数の３Ｄ走査器２００などの、もしくは外部ディスプレイなどの、１つまたは複数のデバイスに対して、通信可能に結合する。いくつかの実施形態では、通信ネットワーク２５０は、インターネットである。いくつかの実施形態では、ユーザ入力／出力（Ｉ／Ｏ）サブシステム３０８は、遠隔デバイス２３６を、タッチセンサ式ディスプレイなどの、１つもしくは複数の統合型デバイスに対してまたは周辺デバイスに対して、通信可能に結合する。

【0038】

通信バス３１０は、任意選択的に、システム構成要素どうしの間の通信を相互接続して制御する回路（時に、チップセットと称される）を含む。

【0039】

図４は、いくつかの実施形態による、ニューラルネットワーク３４０－ａの入力および出力を示している。上述したように、３Ｄ走査に関する構造化光アプローチの文脈で生じる１つの問題点は、対象物の表面上で画像化された要素の曖昧さである（例えば、画像内のどの要素が、スライド上のどの要素に対応しているかを知る必要がある）。いくつかの実施形態によれば、この問題点は、投射要素と、対象物の表面上で画像化された要素と、の間の対応関係（または、より一般的には、画像画素と、投射パターン内におけるそれらの対応する座標と、の間の対応関係）を決定するように訓練されたニューラルネットワークを使用することにより、解決される。その目的のために、画像化済みパターン１３２（図１Ｃを参照して説明した）が、ニューラルネットワーク３４０に対しての入力として、提供される（画像化済みパターン１３２とは、投射パターンが対象物の表面上へと照射された際の、対象物の表面の画像である）。いくつかの実施形態では、ニューラルネットワーク３４０は、対応関係４０２を出力する。いくつかの実施形態では、対応関係４０２は、画像化済みパターン１３２と同数の画素を有した「画像」である。例えば、いくつかの実施形態では、ニューラルネットワーク３４０に対しての入力は、投射パターンが表面上へと照射されている際の、対象物の表面の９メガ画素写真であり、ニューラルネットワークの出力は、各画素が入力画像に対して１対１の関係で対応している９メガ画素出力「画像」である。すなわち、対応関係４０２をなす「画像」内における各画素は、画像化済みパターン１３２内で画像化されているものと、投射パターンと、の間の対応関係を表す値である。例えば、対応関係４０２内の値「４」は、画像化済みパターン１３２内におけるそれらの画素が、投射パターン内において値「４」を有した座標（または線）に対応していることを示している（投射パターンの座標系内における値の範囲は、任意であって、０～１、０～１０の範囲であってもよいことに、または他の範囲を有してもよいことに、留意されたい）。

【0040】

いくつかの実施形態では、ニューラルネットワーク３４０－ａは、追加的な入力を受領する。例えば、ニューラルネットワークは、投射パターンに関する情報を受領する。

【0041】

いくつかの実施形態では、ニューラルネットワーク３４０－ａは、対応関係に関する大まかな値を出力し、ニューラルネットワーク３４０－ｂは、対応関係に関して精細な値を出力する。いくつかの実施形態では、ニューラルネットワーク３４０－ｂは、ニューラルネットワーク３４０－ｂが、入力として、対象物の表面の画像を受領するとともに、ニューラルネットワーク３４０－ａの出力を受領する（例えば、ニューラルネットワーク３４０－ａおよび３４０－ｂは、直列接続されている）ことを除いては、ニューラルネットワーク３４０－ａと同様の態様で動作する。任意の数のニューラルネットワークが任意の配置で使用され得ることに、留意されたい。例えば、いくつかの実施形態では、３個または４個のニューラルネットワークが使用され、これらニューラルネットワークのいくつかは、直列的な態様で配置されており、いくつかは、独立して動作するように配置されている。

【0042】

図５Ａ～図５Ｃは、いくつかの実施形態による、３Ｄ画像化環境１００から３Ｄ再構成を提供するための方法５００に関するフローチャートを示している。方法５００は、（１つまたは複数の）プロセッサと、（１つまたは複数の）プロセッサによる実行のために構成された（１つまたは複数の）プログラムを格納したメモリと、を有したコンピューティングデバイスで、行われる。いくつかの実施形態では、方法５００は、３Ｄ走査器２００と通信しているコンピューティングデバイスで、行われる。いくつかの実施形態では、方法５００の特定の操作は、３Ｄ走査器２００とは異なるコンピューティングデバイス（例えば、３Ｄ走査器２００に対して受信および／または送信を行うコンピュータシステム）によって、行われる。いくつかの実施形態では、方法５００の特定の操作は、（１つまたは複数の）ニューラルネットワーク３４０を格納しているコンピューティングデバイスにより、訓練済みの（１つまたは複数の）ニューラルネットワーク３４０が、３Ｄ走査器２００が取り込んだ画像に基づく３Ｄ再構成の一部として使用され得るようにして、行われる。方法５００におけるいくつかの操作は、任意選択的に、組み合わされる、および／または、いくつかの操作の順序は、任意選択的に、変更される。

【0043】

様々な実施形態では、以下で説明する方法７００の特徴点または操作が、説明する方法５００と矛盾しない限り、方法５００は、方法７００の特徴点または操作のいずれかを含んでもよい。簡潔さのために、方法７００を参照して説明するそれらの詳細のいくつかは、ここでは繰り返さない。

【0044】

方法５００は、対象物（例えば、図１Ａおよび図１Ｂに示す対象物１２０）の画像を取得すること（５１０）を含む。画像は、画像化済みパターン１３２の複数の画像化済み要素１４２を含む。画像化済みパターン１３２は、対象物１２０の表面上へと投射された投射パターン１３０に対して、対応している。投射パターン１３０は、複数の投射要素１４０を含む。方法５００は、また、ニューラルネットワーク（例えば、ニューラルネットワーク３４０－ａ）を使用することにより、複数の画像化済み要素１４２と、複数の投射要素１４０と、の間の対応関係を出力すること（５２０）を含む。いくつかの実施形態では、ニューラルネットワークは、対応関係を直接的に出力する（例えば、ニューラルネットワークの出力層内における少なくとも複数のノードは、入力層内における少なくとも複数のノードに対して、１対１の対応関係を有している）。いくつかの実施形態では、ニューラルネットワークは、分類ニューラルネットワークである（例えば、入力画像の各画素を、投射パターンに対する対応関係によって、分類する）。

【0045】

従来的なニューラルネットワークが、同じものに関する異なる実例を認識するように訓練されることに、留意されたい。例えば、ニューラルネットワークは、人間が書いた文字の例を使用して、人間が書いた文字を認識するように、訓練することができる。対照的に、本明細書で説明する実施形態によれば、訓練データが、その対象物に関する別の実例を含んでいなかったとしても、投射要素と、対象物の表面上で画像化された要素と、の間の対応関係を決定するように、ニューラルネットワークを訓練し得ることが、見出された。例えば、多種多様な特徴物を有した対象物からのデータによってニューラルネットワークを訓練することにより、訓練データが、その種に関する頭蓋骨を含んでいなかったとしても、それまでに未発見であった絶滅種の鯨の頭蓋骨を走査する際に、ニューラルネットワークを使用することにより、要素の対応関係を決定することができる。

【0046】

対象物の複雑な幾何形状（例えば、狭い特徴物、先鋭なエッジ、深い溝、等）は、要素の対応関係を決定することの困難さを悪化させる。ここで、本発明者らは、訓練済みニューラルネットワークを使用することにより、特に対象物内における「先鋭な」特徴物の存在下では、画像の解像度および完全性が改良されることを、追加的に見出した。

【0047】

いくつかの実施形態では、方法５００は、対象物１２０の画像のそれぞれ対応する画素に関する値を、ニューラルネットワーク（例えば、ニューラルネットワーク３０４－ａ）の入力層内におけるそれぞれ対応するノード上へと、入力すること（５２２）を含む。

【0048】

いくつかの実施形態では、対象物１２０の画像におけるそれぞれ対応する各画素は、ニューラルネットワークの出力層内におけるそれぞれ対応するノードに対して、対応している（５２４）。ニューラルネットワークの出力層内におけるそれぞれ対応するノードに関する値は、それぞれ対応する画素と、投射パターン１３０の複数の投射要素１４０と、の間の対応関係を表している（例えば、値は、投射パターン上の座標を表している）。

【0049】

いくつかの実施形態では、ニューラルネットワークの出力層は、対象物１２０の画像と同じサイズを有している（５２６）（例えば、ニューラルネットワークは、図４を参照して説明したように、入力画像と同数の画素を有した「画像」を出力する）。

【0050】

いくつかの実施形態では、ニューラルネットワークの出力層は、画像のサイズよりも小さい（５２８）。いくつかの実施形態では、ニューラルネットワークの出力層は、画像のサイズよりも大きい。

【0051】

いくつかの実施形態では、方法５００は、投射パターン１３０に関する情報を、ニューラルネットワークの入力層内へと、入力すること（５３０）を含む。

【0052】

いくつかの実施形態では、対象物１２０の表面上へと投射された投射パターン１３０の複数の投射要素１４０は、非符号化要素（例えば、本明細書で説明する非符号化要素を有した投射パターンのいずれか）を含む（５３２）。いくつかの実施形態では、対象物１２０の表面上へと投射された投射パターン１３０の複数の投射要素１４０は、複数の線を含む。

【0053】

いくつかの実施形態では、ニューラルネットワークは、模擬データを使用して訓練される（５３５）。模擬データは、複数の模擬画像を含み、複数の模擬画像のそれぞれは、複数の模擬要素を含んだ模擬パターンを含む。複数の模擬要素のそれぞれは、それぞれ対応する模擬対象物の表面上へと投射された複数の投射要素の、それぞれ対応する投射要素に対応している。複数の模擬画像のそれぞれは、また、模擬画像の複数の模擬要素と、投射パターンの複数の投射要素と、の間の対応関係を示す対応関係データを含む。

【0054】

いくつかの実施形態では、複数の模擬画像のそれぞれは、それぞれ対応する模擬対象物に関するテクスチャ情報を含む（５３６）。

【0055】

いくつかの実施形態では、それぞれ対応する模擬対象物に関するテクスチャ情報は、それぞれ対応する模擬対象物の自然なテクスチャ以外のテクスチャ情報である（５３８）。

【0056】

いくつかの実施形態では、それぞれ対応する模擬対象物に関するテクスチャ情報は、投射パターンの複数の投射要素１４０と同様の特徴物を含む（５４０）。

【0057】

いくつかの実施形態では、それぞれ対応する模擬対象物に関するテクスチャ情報は、テキストを含む（５４２）。

【0058】

いくつかの実施形態では、それぞれ対応する模擬対象物に関するテクスチャ情報は、複数の線を含む（５４４）。

【0059】

操作５３４～５４４について、方法６００（図６Ａ～図６Ｂ）に関して以下でより詳細に説明する。すなわち、いくつかの実施形態では、方法５００で使用されるニューラルネットワークは、方法６００を使用して訓練される。

【0060】

いくつかの実施形態では、複数のニューラルネットワークが使用される。複数のニューラルネットワークは、直列接続されてもよい、または、互いに独立して動作してもよい。直列接続された複数のネットワークに関する非限定的な例として、いくつかの実施形態では、ニューラルネットワークは、第１ニューラルネットワーク（例えば、ニューラルネットワーク３４０－ａ）であり、方法５００は、第２ニューラルネットワーク（例えば、ニューラルネットワーク３４０－ｂ）を使用することにより、複数の画像化済み要素１４２と複数の投射要素１４０との間における、第１ニューラルネットワークによって決定された対応関係からのオフセットを（例えば、その精緻化を）、出力すること（５５０）をさらに含む。よって、いくつかの実施形態では、３Ｄ再構成の解像度は、（ｉ）投射要素と対象物の表面上で画像化された要素との間の対応関係を特定する第１ニューラルネットワークと、（ｉｉ）特定された対応関係に対するオフセットを特定する第２ニューラルネットワークと、という２つのニューラルネットワークを使用することにより、高められる。いくつかの実施形態では、第２ニューラルネットワークは、オフセットを直接的に出力する（例えば、第２ニューラルネットワークの出力層内における少なくとも複数のノードは、入力画像における各画素に対して、１対１の対応関係を有している）。本発明者らは、この２段階のアプローチが、得られる画像の解像度を顕著にかつ傑出して改良することを、見出した。

【0061】

図６Ａ～図６Ｂは、いくつかの実施形態による、（１つまたは複数の）ニューラルネットワーク３４０を訓練するための方法６００に関するフロー図を示している。方法６００は、（１つまたは複数の）プロセッサと、（１つまたは複数の）プロセッサによる実行のために構成された（１つまたは複数の）プログラムを格納したメモリと、を有したコンピューティングデバイスで、行われる（６０１）。いくつかの実施形態では、方法６００は、３Ｄ走査器２００と通信しているコンピューティングデバイスで、行われる。いくつかの実施形態では、方法６００の特定の操作は、３Ｄ走査器２００とは異なるコンピューティングデバイス（例えば、３Ｄ走査器２００に対して受信および／または送信を行うコンピュータシステム）によって、行われる。いくつかの実施形態では、方法６００の特定の操作は、（１つまたは複数の）ニューラルネットワーク３４０を訓練して格納するコンピューティングデバイスにより、訓練済みの（１つまたは複数の）ニューラルネットワーク３４０が、３Ｄ走査器２００が取り込んだ画像に基づく３Ｄ再構成の一部として使用され得るようにして、行われる。方法６００におけるいくつかの操作は、任意選択的に、組み合わされる、および／または、いくつかの操作の順序は、任意選択的に、変更される。

【0062】

いくつかの実施形態によれば、方法６００は、投射器とカメラと対象物との間の空間的関係が各訓練画像に関して既知である模擬（「合成」とも称される）データを、使用する。投射要素と対象物の表面上で画像化された要素との間の対応関係を決定するようにニューラルネットワークを訓練する際の、１つの困難さは、訓練のための「グランドトゥルース」を取得することが難しいことである。多くの場合、対象物の表面上へと、数十万個の要素が投射される。線の対応関係を決定するための既存のアルゴリズムは、本開示のニューラルネットワークが解決する問題点そのものを、抱えている。そのため、既存のアルゴリズムは、そのようなニューラルネットワークを訓練するためのグランドトゥルースを提供するに際して、使用することができない。その上、画像解析、文字認識、および同様の用途とは異なり、人間に関するタグ付けは、３Ｄ走査／再構成用途において実用的ではなく、既存のアルゴリズムと同じくらいにエラーが発生することとなる。これらの問題点は、正確な対応関係および画像取得の幾何形状が既知である模擬データを使用してニューラルネットワークを訓練することにより、解決される。このようにして、無数の異なる対象物形状に関する幾何形状に関して、ならびに、対象物に対してのカメラおよび投射器の、無数の異なる幾何形状に関して、訓練データを生成することができる。

【0063】

方法６００は、模擬データを生成すること（６１０）を含む。模擬データは、ｉ）複数の模擬画像（例えば、米国仮出願第６３／０７０，０６６号明細書における付録Ａの図Ａ１～図Ａ２に示されているようなもの）と、ｉｉ）対象物データ（例えば、米国仮出願第６３／０７０，０６６号明細書における付録Ａの図Ａ３～図Ａ６に示されているようなもの）と、ｉｉｉ）対応関係データと、を含む。複数の模擬画像は、模擬対象物の表面上へと投射される既知の投射パターンに関する画像である。投射パターンは、複数の要素を含み、画像のそれぞれは、模擬パターンの画像化済み要素を含む。画像化済み要素のそれぞれは、既知の投射パターンの、複数の要素におけるそれぞれ対応する要素に対して、対応している。対象物データは、それぞれ対応する模擬対象物の形状を示すデータを含み、対応関係データは、模擬画像内における画像化済み要素と、既知の投射パターンの、複数の要素におけるそれぞれ対応する要素と、の間の対応関係を示すデータを含む。方法６００は、模擬データを使用することにより、既知の投射パターンの、複数の要素におけるそれぞれ対応する要素と、実際の対象物の表面上へと投射された既知の投射パターンの画像化済み要素（例えば、画像化済みパターン１３２の画像化済み要素１４２）と、の間の対応関係を決定するように、ニューラルネットワークを訓練すること（６２０）を、さらに含む。方法６００は、また、後の時点で画像を再構成するに際して使用する（例えば、図５Ａ～図５Ｃのような方法５００で使用する）ために、訓練済みニューラルネットワーク３４０を格納すること（６３０）を含む。

【0064】

いくつかの実施形態では、模擬データは、また、模擬対象物に関するテクスチャ（例えば、色）情報を含む（６１１）。いくつかの実施形態では、複数の模擬画像は、また、それぞれ対応する模擬対象物に関するテクスチャ情報を含む。投射要素と対象物の表面上で画像化された要素との間の対応関係を決定するようにニューラルネットワークを訓練する際の、１つの困難さは、対象物自体が色を有していることであり、その色が、対象物の画像にわたって変化しやすいことである（例えば、対象物自体の色が変化するため、または、照明、影、等のため）。このことは、対象物自体のテクスチャから、パターンを識別することを困難とする。この問題点は、様々なテクスチャおよび様々な反射率を有した模擬訓練データを使用することにより、解決される（実際には、訓練段階で課題の難易度を上げ、訓練後のニューラルネットワークを、より効果的なものとする）。特に、本発明者らは、テキスト、パターン、または他の急激な（高コントラストな）テクスチャ特徴物を含むように模擬対象物に対してテクスチャを付与することが、対象物のテクスチャと投射要素とを識別するようにニューラルネットワークを教示するに際して、特に効果的であることを見出した（例えば、テキストは、投射されたパターンと同様に、明暗間での大きなコントラスト変動を伴うため）。

【0065】

いくつかの実施形態では、それぞれ対応する模擬対象物に関するテクスチャ情報は、それぞれ対応する模擬対象物の自然なテクスチャ以外のテクスチャ情報である（６１２）。

【0066】

いくつかの実施形態では、それぞれ対応する模擬対象物に関するテクスチャ情報は、既知の投射パターンにおける複数の要素と同様の特徴物を含む（６１３）。

【0067】

いくつかの実施形態では、それぞれ対応する模擬対象物に関するテクスチャ情報は、テキストを含む（６１４）。

【0068】

いくつかの実施形態では、それぞれ対応する模擬対象物に関するテクスチャ情報は、複数の線を含む（６１５）。

【0069】

いくつかの実施形態では、それぞれ対応する模擬対象物は、１つまたは複数の先鋭な特徴物を含む（６１６）。

【0070】

いくつかの実施形態では、ニューラルネットワークを訓練するための代替可能な方法が提供され、この代替可能な方法は、それぞれ対応する模擬対象物の表面上へと投射される投射パターンに関する複数の模擬画像と、それぞれ対応する模擬対象物の形状を示すデータと、模擬画像内におけるそれぞれ対応する画素と投射パターン上の座標との対応関係を示すデータと、を有した模擬データを、生成することを含む。代替可能な方法は、模擬データを使用して、画像と投射パターンとの間の対応関係を決定するようにニューラルネットワークを訓練することを、さらに含む。代替可能な方法は、後の時点で画像を再構成するに際して使用するために、訓練済みニューラルネットワークを格納することを、さらに含む。いくつかの実施形態では、上述した方法６００の特徴点または操作が、ニューラルネットワークを訓練するための代替可能な方法と矛盾しない限り、この代替可能な方法が、方法６００の特徴点または操作のいずれかを共有し得ることに、留意されたい。

【0071】

図７は、いくつかの実施形態による、３Ｄ画像化環境１００から３Ｄ再構成を提供するための方法７００に関するフローチャートを示している。方法７００は、（１つまたは複数の）プロセッサと、（１つまたは複数の）プロセッサによる実行のために構成された（１つまたは複数の）プログラムを格納したメモリと、を有したコンピューティングデバイスで、行われる。いくつかの実施形態では、方法７００は、３Ｄ走査器２００と通信しているコンピューティングデバイスで、行われる。いくつかの実施形態では、方法７００の特定の操作は、３Ｄ走査器２００とは異なるコンピューティングデバイス（例えば、３Ｄ走査器２００に対して受信および／または送信を行うコンピュータシステム）によって、行われる。いくつかの実施形態では、方法７００の特定の操作は、（１つまたは複数の）ニューラルネットワーク３４０を格納しているコンピューティングデバイスにより、訓練済みの（１つまたは複数の）ニューラルネットワーク３４０が、３Ｄ走査器２００が取り込んだ画像に基づく３Ｄ再構成の一部として使用され得るようにして、行われる。方法７００におけるいくつかの操作は、任意選択的に、組み合わされる、および／または、いくつかの操作の順序は、任意選択的に、変更される。

【0072】

様々な実施形態では、上述した方法５００の特徴点または操作が、説明する方法７００と矛盾しない限り、方法７００は、方法５００の特徴点または操作のいずれかを含んでもよい。簡潔さのために、方法５００を参照して説明するそれらの詳細のいくつかは、ここでは繰り返さない。

【0073】

方法７００は、投射パターンが対象物の表面上へと照射されている際に、対象物の画像を取得すること（７０２）を含む。いくつかの実施形態では、投射パターンは、スライドを通して光を透過させることにより、生成される。いくつかの実施形態では、座標系が、投射パターンに対して関連付けられる。座標系は、スライド上における投射パターンの各位置に関する配置を記述する。

【0074】

方法７００は、ニューラルネットワークを使用することにより、画像内におけるそれぞれ対応する画素と、投射パターンの座標と、の間の対応関係を（例えば、座標系に関して）出力すること（７０４）をさらに含む。そうするために、いくつかの実施形態では、画像は、ニューラルネットワーク（例えば、ニューラルネットワーク３４０－ａ）の入力層に対して提供される。いくつかの実施形態では、ニューラルネットワークの出力層は、投射パターン内における各画素のそれぞれ対応する（１つまたは複数の）座標を、直接的に生成する。例えば、ニューラルネットワークは、入力画像と同数の画素を有した出力画像を出力し、その場合、出力画像の各画素は、入力画像の画素に対して１対１の対応関係を有しているとともに、投射パターン上におけるその入力画素の（１つまたは複数の）座標に関する値を保持する。このようにして、出力画像は、入力画像に対して空間的に相関する。

【0075】

いくつかの実施形態では、ニューラルネットワークは、上述したように、方法６００を使用して、または代替可能な方法を使用して、訓練される。

【0076】

いくつかの実施形態では、ニューラルネットワークは、入力画像の各画素に関して、２つの座標（例えば、スライドパターン上における、ｘ座標およびｙ座標）を出力することに、留意されたい。代替的には、いくつかの実施形態では、ニューラルネットワークは、入力画像の各画素に関して、単一の座標のみを出力する。そのような実施形態では、他の座標は、既知である、または、走査器２００のエピポーラ幾何から推論することができる。

【0077】

いくつかの実施形態では、複数のニューラルネットワークを使用することにより、入力画像の各画素に関する投射パターン座標が決定されてもよい。例えば、いくつかの実施形態では、第１ニューラルネットワークが、大まかな座標を決定し、他方、第２ニューラルネットワークが、精細な座標（例えば、第１ニューラルネットワークからの座標の精緻化）を決定する。様々な実施形態では、第１ニューラルネットワークおよび第２ニューラルネットワークは、直列的な態様で配置されてもよく（例えば、第１ニューラルネットワークの出力が、第２ニューラルネットワーク内へと入力されるようにして）、または、２つのニューラルネットワークは、独立して動作してもよく、それらの出力が組み合わされてもよい。様々な実施形態では、３つ以上のニューラルネットワーク（例えば、４つのニューラルネットワーク）が使用されてもよい。

【0078】

いくつかの実施形態では、入力画像は、マルチチャネル画像である。非限定的な例として、入力画像は、２４０×３２０個の画素を含み得るけれども、各画素に関して、２つ以上の値（例えば、ＲＧＢ画像の場合には、３つの値）を格納してもよい。いくつかの実施形態では、追加的なチャネルが、ニューラルネットワーク内へと追加的な情報を入力するために、設けられている。非限定的な例を続けると、入力画像は、その場合、２４０×３２０×ｎというサイズを有することとなり、ここで、ｎは、チャネルの数である。例えば、いくつかの実施形態では、投射パターンに関する情報は、各画像に関する追加的な「チャネル」として、ニューラルネットワーク内へと入力される。いくつかの実施形態では、複数のチャネルの、１つまたは複数のチャネルは、対象物の表面上へと投射パターンが照射されていない際に取得された情報を、含む。例えば、対象物の表面上へと照射された投射パターンのグレースケール画像は、グレースケール画像と時間的に近接して（例えば、２００ミリ秒以内に）取得されたＲＧＢ画像に対して積み重ねられてもよく、ここで、そのＲＧＢ画像は、対象物の表面上へと投射パターンが照射されていない状況で取得されたものである（いくつかの実施形態では、投射パターンが、対象物の表面上へと、ストロボスコープ的に照射されることを、思い起こされたい）。

【0079】

いくつかの実施形態では、出力画像は、マルチチャネル画像である。いくつかの実施形態では、マルチチャネル出力画像の１つのチャネルは、上述したような対応関係を提供する。上述した非限定的な例を続けると、出力画像の各チャネルは、２４０×３２０個の画素を含んでもよい。その場合、出力は、２４０×３２０×ｍというサイズを有することとなり、ここで、ｍは、チャネルの数である。複数のチャネルの、１つのチャネルは、対応関係に関する値（例えば、投射パターン上における１つまたは複数の座標に関する値）を格納する。いくつかの実施形態では、出力画像内における別のチャネルは、各画素に関しての各対応関係値に関する信頼値を格納する。各画素に関しての対応関係値に関する信頼値は、再構成に際して（例えば、データを相違して重み付けすることにより、または、信頼値が低すぎるデータを破棄することにより）使用されてもよい。いくつかの実施形態では、出力画像は、また、対象物の曲率を記述したチャネル、対象物のテクスチャを記述したチャネル、または、入力画像に対して空間的に相関している任意の他の情報、を含んでもよい。

【0080】

当業者であれば、入力画像および出力画像が任意のサイズのものであり得ることは、理解されよう。例えば、上記の非限定的な例で説明したような２４０×３２０個の画素画像よりもむしろ、いくつかの実施形態では、９メガ画素画像（または、任意の他のサイズの画像）が使用されてもよい。

【0081】

従来的なニューラルネットワークが、同じものに関する異なる実例を認識するように訓練されることに、留意されたい。例えば、ニューラルネットワークは、人間が書いた文字の例を使用して、人間が書いた文字を認識するように、訓練することができる。対照的に、本明細書で説明する実施形態によれば、訓練データが、その対象物に関する別の実例を含んでいなかったとしても、画像内におけるそれぞれ対応する画素と、投射パターンの座標と、の間の対応関係を決定するように、ニューラルネットワークを訓練し得ることが、見出された。例えば、多種多様な特徴物を有した対象物からのデータによってニューラルネットワークを訓練することにより、訓練データが、その種に関する頭蓋骨を含んでいなかったとしても、それまでに未発見であった絶滅種の鯨の頭蓋骨を走査する際に、ニューラルネットワークを使用することにより、対応関係を決定することができる。

【0082】

対象物の複雑な幾何形状（例えば、狭い特徴物、先鋭なエッジ、深い溝、等）は、対応関係を決定することの困難さを悪化させる。ここで、本発明者らは、訓練済みニューラルネットワークを使用することにより、特に対象物内における「先鋭な」特徴物の存在下では、画像の解像度および完全性が改良されることを、追加的に見出した。従来的の方法を使用した、さらに本発明によるニューラルネットワークを使用した、３Ｄ再構成画像の例は、米国仮出願第６３／０７０，０６６号明細書における付録Ａの図Ａ７～図Ａ１８に提供されている（図Ａ７～図Ａ９が、単一画像の再構成であることに、他方、図Ａ１０～図Ａ１８が、複数画像の再構成であることに、留意されたい）。これらの再構成画像は、本発明に従って再構成された画像に関しての、より良好な解像度およびより良好な完全性を含めて、著しく優れた品質を示している。

【0083】

方法７００は、画像内におけるそれぞれ対応する画素と、投射パターンの座標と、の間の対応関係を使用することにより、対象物の表面の形状を再構成すること（７０６）（例えば、三角測量アルゴリズムを使用して）をさらに含む。

【0084】

図５Ａ～図５Ｂおよび図６Ａ～図６Ｂにおける操作に関して説明した特定の順序が、単なる例示に過ぎないこと、また、説明した順序がそれら操作を行い得る唯一の順序であることを示すことを意図していないことは、理解されるべきである。当業者であれば、本明細書で説明する操作に関して、順序を変更するための様々な態様を認識するであろう。

【0085】

上記の説明では、説明の目的のために、特定の実施形態を参照して説明した。しかしながら、上記の例示的な議論は、網羅的であることも、開示した厳密な形態へと本発明を限定することも、意図したものではない。多くの改変および変形が、上記教示に鑑みて可能である。実施形態は、本発明の原理およびその実用的用途を最良に説明するために選択して説明したものであり、それにより、当業者が、本発明および説明した様々な実施形態を、想定された特定の使用に適した様々な改変を行いつつ、最良に使用し得るものとする。

【0086】

また、第１、第２、等の用語が、いくつかの実例で、様々な構成要素を説明するために本明細書で使用されているけれども、これらの構成要素は、これらの用語によって限定されるものではないことは、理解されよう。これらの用語は、ある構成要素を別の構成要素から識別するために、使用されているに過ぎない。例えば、説明する様々な実施形態の範囲から逸脱することなく、第１ニューラルネットワークは、第２ニューラルネットワークと称することができ、同様に、第２ニューラルネットワークは、第１ニューラルネットワークと称することができる。第１ニューラルネットワークおよび第２ニューラルネットワークは、どちらもニューラルネットワークであるけれども、文脈が明瞭に別のことを示していない限り、同じニューラルネットワークではない。

【0087】

本明細書で説明する様々な実施形態に関して、説明で使用している用語は、特定の実施形態を説明する目的だけのものに過ぎず、限定することを意図したものではない。説明する様々な実施形態の説明で使用した際には、および添付の特許請求の範囲で使用した際には、「１つの（ａ）」、「１つの（ａｎ）」、および「その（ｔｈｅ）」という単数形は、文脈が明瞭に別のことを示していない限り、複数形をも含むことが意図されている。また、本明細書で使用した際の、「および／または」という用語が、関連して列挙された複数の項目の、１つまたは複数についての、任意の組合せならびにすべての可能な組合せを指すことは、また、そのような任意の組合せならびにすべての可能な組合せ包含することは、理解されよう。本明細書で使用された時には、「含む」、「含んでいる」、「有する」、および／または「有している」という用語は、記載された、特徴点、完全体、ステップ、操作、構成要素、および／または成分、の存在を規定しているけれども、１つもしくは複数の他の、特徴点、完全体、ステップ、操作、構成要素、成分、および／またはこれらの群、の存在あるいは追加を排除しないことは、さらに理解されよう。

【0088】

本明細書で使用された際には、「～した場合には（ｉｆ）」という用語は、任意選択的に、文脈に応じて、「～した時には（ｗｈｅｎ）」、「～した時点で（ｕｐｏｎ）」、「～が決定されたことに応答して」、または「～が検出されたことに応答して」、を意味するものとして解釈される。同様に、「～が決定された場合には」または「［記述された条件または事象］が検出された場合には」という語句は、任意選択的に、文脈に応じて、「～が決定された時点で」、「～が決定されたことに応答して」、「［記述された条件または事象］が検出された時点で」、または「［記述された条件または事象］が検出されたことに応答して」、を意味するものとして解釈される。

【図1A】

【図1B】

【図1C】

【図1D】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6A】

【図6B】

【図7】

【国際調査報告】