特許 6573907 ３Ｄスキャンされるオブジェクトに関する色情報を収集するためのシステム、方法、装置、及びコンピュータ可読記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6573907

(24)【登録日】2019年8月23日

(45)【発行日】2019年9月11日

(54)【発明の名称】３Ｄスキャンされるオブジェクトに関する色情報を収集するためのシステム、方法、装置、及びコンピュータ可読記憶媒体

(51)【国際特許分類】

   G06T 17/00 20060101AFI20190902BHJP

   G06T 1/00 20060101ALI20190902BHJP

【ＦＩ】

   G06T17/00

   G06T1/00 400B

【請求項の数】28

【全頁数】27

(21)【出願番号】特願2016-564242(P2016-564242)

(86)(22)【出願日】2015年5月4日

(65)【公表番号】特表2017-523491(P2017-523491A)

(43)【公表日】2017年8月17日

(86)【国際出願番号】EP2015059655

(87)【国際公開番号】WO2015166107

(87)【国際公開日】20151105

【審査請求日】2018年1月24日

(31)【優先権主張番号】14/268,201

(32)【優先日】2014年5月2日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】516315225

【氏名又は名称】アルジェス イメージング インコーポレイテッド

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100202751

【弁理士】

【氏名又は名称】岩堀 明代

(74)【代理人】

【識別番号】100191086

【弁理士】

【氏名又は名称】高橋 香元

(72)【発明者】

【氏名】ボス，ビヨルン

(72)【発明者】

【氏名】シール，フランク

(72)【発明者】

【氏名】ファイファー，ヨアキム

(72)【発明者】

【氏名】ハーバード，アレクセイ

(72)【発明者】

【氏名】リュ，ジェン

【審査官】 村松 貴士

(56)【参考文献】

【文献】 特開２００３−０１６４７７（ＪＰ，Ａ）

【文献】 特表２０１３−５３４４４９（ＪＰ，Ａ）

【文献】 特開２００２−０２７２６０（ＪＰ，Ａ）

【文献】 特開２０１３−１６４７８９（ＪＰ，Ａ）

【文献】 特開２０００−００４３７４（ＪＰ，Ａ）

【文献】 特開２００９−２３６８１１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１３／０２６０３４０（ＵＳ，Ａ１）

【文献】 特開２００９−２９３９７１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００ − １９／２０

(57)【特許請求の範囲】

【請求項1】

オブジェクトの三次元（３Ｄ）スキャンを実行するための方法であって、前記方法は、
照明されたオブジェクトに対応する第１及び第２の二次元（２Ｄ）カラー画像データを生成することであって、前記第１及び第２の２Ｄカラー画像データは画素を含むことと、
標準コントラスト強調変換機能を生成するために、前記第１及び第２の２Ｄカラー画像データの所定の訓練データ集合にコントラスト強調モノクロ変換アルゴリズムを適用することと、
前記標準コントラスト強調変換機能を使用して、前記第１及び第２の２Ｄカラー画像データにそれぞれに対応する、第１及び第２の２Ｄモノクロ画像データを生成することと、
前記第１及び第２の２Ｄモノクロ画像データを使用して、３Ｄデータを生成することと、
前記第１及び第２の２Ｄカラー画像データの少なくとも１つから得られた色情報を前記３Ｄデータと組み合わせることにより、３Ｄカラー画像データを生成することと、
を含む、方法。

【請求項2】

前記第１及び第２の２Ｄモノクロ画像データを生成する前に、ダウンサンプリングされた２Ｄカラー画像データを生成するために、前記第１及び第２の２Ｄカラー画像データをダウンサンプリングすることを更に含む、請求項１に記載の方法。

【請求項3】

前記第１の２Ｄカラー画像データの生成が、カラー画像センサーの第１の部分を使用して実行され、前記第２の２Ｄカラー画像データの生成が、前記カラー画像センサーの第２の部分を使用して実行される、請求項１に記載の方法。

【請求項4】

前記カラー画像センサーの第１の部分が、前記オブジェクトにより反射され、カメラの第１の開口部を通過した光に基づいて、前記第１の２Ｄカラー画像データを生成し、前記カラー画像センサーの第２の部分が、前記オブジェクトにより反射され、前記第１の開口部とは異なる、前記カメラの第２の開口部を通過した光に基づいて、前記第２の２Ｄカラー画像データを生成する、請求項３に記載の方法。

【請求項5】

前記３Ｄカラー画像データをディスプレイユニット上に表示することを更に含む、請求項１に記載の方法。

【請求項6】

前記３Ｄカラー画像データが、前記ディスプレイユニット上にリアルタイムで表示される、請求項５に記載の方法。

【請求項7】

前記２Ｄカラー画像データが、複数のカラー画素値を含み、
前記２Ｄモノクロ画像データが、複数のモノクロ画素値を含み、
各モノクロ画素値は、前記２Ｄカラー画像データの４つの隣接した画素に対応する４つのカラー画素値の重み付き平均値である、
請求項１に記載の方法。

【請求項8】

前記２Ｄカラー画像データが、複数のカラー画素値を含み、
前記２Ｄモノクロ画像データが、１つの色を有する２Ｄカラー画像データの画素を含む、
請求項１に記載の方法。

【請求項9】

前記２Ｄカラー画像データが、複数のカラー画素値を含み、
前記ダウンサンプリングされた２Ｄカラー画像データが、複数のカラー画素値を含み、
４つの隣接する画素に対応する、前記ダウンサンプリングされた２Ｄカラー画像データのカラー画素値が、前記２Ｄカラー画像データの１６個のカラー画素値を使用して生成される、
請求項２に記載の方法。

【請求項10】

光学的コントラスト粉末を前記オブジェクトに付加することを更に含む、請求項１に記載の方法。

【請求項11】

前記光学的コントラスト粉末が、黒色の粒子、白色の粒子、又は黒色及び白色の粒子を含む、請求項１０に記載の方法。

【請求項12】

前記光学的コントラスト粉末が、少なくとも２つの色の粒子を含む、請求項１０に記載の方法。

【請求項13】

前記光学的コントラスト粉末の第１の色の粒子が、前記光学的コントラスト粉末の第２の色の粒子とは異なる量の光の色を吸収する、請求項１２に記載の方法。

【請求項14】

前記オブジェクトを光で照明することを更に含む、請求項１に記載の方法。

【請求項15】

前記オブジェクトが、白色光で照明される、請求項１４に記載の方法。

【請求項16】

前記オブジェクトが、複数の有色光で照明される、請求項１４に記載の方法。

【請求項17】

前記オブジェクトが、構造化された光で照明される、請求項１４に記載の方法。

【請求項18】

前記光学的コントラスト粉末に対応する前記色情報の部分上に色補正を実行することを更に含む、請求項１０に記載の方法。

【請求項19】

前記第１及び第２の２Ｄカラー画像データの少なくとも１つをディスプレイユニット上に表示することを更に含む、請求項１に記載の方法。

【請求項20】

３Ｄデータを生成することが、前記第１及び第２の２Ｄモノクロ画像データの特徴を相関させることを含む、請求項１に記載の方法。

【請求項21】

希薄な量を有する光学的コントラスト粉末を前記オブジェクトに付加すること、
前記オブジェクトを光で所定の明滅速度で照明すること、及び
前記第１及び第２の２Ｄカラー画像データの生成を所定のフレーム速度で実行すること、
の少なくとも１つを更に含む、請求項２０に記載の方法。

【請求項22】

前記相関の低品質な結果を除くことを更に含む、請求項２１に記載の方法。

【請求項23】

非一時的なコンピュータ可読記憶媒体であって、コンピュータシステムにより実行されると、前記コンピュータシステムに、
照明されたオブジェクトに対応する第１及び第２の二次元（２Ｄ）カラー画像データを生成することであって、前記第１及び第２の２Ｄカラー画像データは画素を含むことと、
標準コントラスト強調変換機能を生成するために、前記第１及び第２の２Ｄカラー画像データの所定の訓練データ集合にコントラスト強調モノクロ変換アルゴリズムを適用することと、
前記標準コントラスト強調変換機能を使用して、前記第１及び第２の２Ｄカラー画像データにそれぞれに対応する、第１及び第２の２Ｄモノクロ画像データを生成することと、
前記第１及び第２の２Ｄモノクロ画像データを使用して、３Ｄデータを生成することと、
前記第１及び第２の２Ｄカラー画像データの少なくとも１つから得られた色情報を前記３Ｄデータと組み合わせることにより、３Ｄカラー画像データを生成することと、
を含む手順を実行させるプログラムを記憶する、非一時的なコンピュータ可読記憶媒体。

【請求項24】

オブジェクトの３Ｄスキャンを生成するための三次元（３Ｄ）スキャンシステムであって、
光源、第１の開口部、第２の開口部、並びに第１の部分及び第２の部分を有するカラー画像センサーを含むカメラであって、前記カラー画像センサーの第１の部分が、前記光源により投射され前記オブジェクトにより反射され前記第１の開口部を通過した光に基づいて、第１の二次元（２Ｄ）カラー画像データを生成し、前記カラー画像センサーの第２の部分が、前記光源により投射され前記オブジェクトにより反射され前記第２の開口部を通過した光に基づいて、第２の２Ｄカラー画像データを生成する、カメラと、
少なくとも１つのプロセッサであって、
標準コントラスト強調変換機能を生成するために、前記第１の２Ｄカラー画像データ及び前記第２の２Ｄカラー画像データの所定の訓練データ集合にコントラスト強調モノクロ変換アルゴリズムを適用し、
前記標準コントラスト強調変換機能を使用して、前記第１及び第２の２Ｄカラー画像データにそれぞれに対応する、第１及び第２の２Ｄモノクロ画像データを生成し、
前記第１及び第２の２Ｄモノクロ画像データを使用して、３Ｄデータを生成し、
前記第１及び第２の２Ｄカラー画像データの少なくとも１つから得られた色情報を前記３Ｄデータと組み合わせることにより、３Ｄカラー画像データを生成する
ように動作可能な、少なくとも１つのプロセッサと、
を備える、３Ｄスキャンシステム。

【請求項25】

三次元（３Ｄ）スキャンシステムであって、
ユーザにより前記３Ｄスキャンシステムの複数の動作モードの１つの選択を指定する信号を入力するように動作可能なユーザインターフェースと、
プロセッサであって、前記動作モードの第１の１つを指定する信号に応答し、
照明されたオブジェクトに対応する第１及び第２の二次元（２Ｄ）カラー画像データを生成することであって、前記第１及び第２の２Ｄカラー画像データは画素を含むことと、
標準コントラスト強調変換機能を生成するために、前記第１及び第２の２Ｄカラー画像データの所定の訓練データ集合にコントラスト強調モノクロ変換アルゴリズムを適用することと、
前記標準コントラスト強調変換機能を使用して、前記第１及び第２の２Ｄカラー画像データにそれぞれに対応する、第１及び第２の２Ｄモノクロ画像データを生成することと、
前記第１及び第２の２Ｄモノクロ画像データを使用して、３Ｄデータを生成することと、
前記第１及び第２の２Ｄカラー画像データの少なくとも１つから得られた色情報を前記３Ｄデータと組み合わせることにより、３Ｄカラー画像データを生成することと、
のためのプロセッサと、
を備え、前記プロセッサは、前記動作モードの第２の１つの選択を指定する信号にも応答し、前記照明されたオブジェクトに対応する更なる２Ｄカラー画像データを生成する、３Ｄスキャンシステム。

【請求項26】

前記３Ｄカラー画像データ、前記第１の２Ｄカラー画像データ、前記第２の２Ｄカラー画像データ、及び前記更なる２Ｄカラー画像データの少なくとも１つを表示するディスプレイユニットを更に備える、請求項２５に記載の３Ｄスキャンシステム。

【請求項27】

三次元（３Ｄ）スキャンシステムを動作させる方法であって、
複数の動作モードの間で選択することと、
前記動作モードの第１の１つの選択に応答して、
照明されたオブジェクトに対応する第１及び第２の二次元（２Ｄ）カラー画像データを生成することであって、前記第１及び第２の２Ｄカラー画像データは画素を含むことと、
標準コントラスト強調変換機能を生成するために、前記第１及び第２の２Ｄカラー画像データの所定の訓練データ集合にコントラスト強調モノクロ変換アルゴリズムを適用することと、
前記標準コントラスト強調変換機能を使用して、前記第１及び第２の２Ｄカラー画像データにそれぞれに対応する、第１及び第２の２Ｄモノクロ画像データを生成することと、
前記第１及び第２の２Ｄモノクロ画像データを使用して、３Ｄデータを生成することと、
前記第１及び第２の２Ｄカラー画像データの少なくとも１つから得られた色情報を前記３Ｄデータと組み合わせることにより、３Ｄカラー画像データを生成することと、
前記動作モードの第２の１つの選択に応答して、前記照明されたオブジェクトに対応する更なる２Ｄカラー画像データを生成することと、
を含む、方法。

【請求項28】

前記３Ｄカラー画像データ、前記第１の２Ｄカラー画像データ、前記第２の２Ｄカラー画像データ、及び前記更なる２Ｄカラー画像データの少なくとも１つをディスプレイユニット上に表示することを更に含む、請求項２７に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、三次元（３Ｄ）スキャンされるオブジェクトに関する色情報の収集、より具体的には、１つ以上のオブジェクト、例えば１つ以上の歯に対応する３Ｄカラー画像データの生成及び表示に関する。

【背景技術】

【0002】

関連技術の説明
コンピュータ援用設計（ＣＡＤ）及びコンピュータ援用製造（ＣＡＭ）技術は、患者の口腔内部のデジタルモデルを生成するために使用されてきている。デジタルモデルは、インレー、アンレー、ブリッジ、クラウン、及びベニアなどの補綴歯科用品の設計及び製造のために使用されてきている。従来のシステムは、３Ｄモノクロデータを生成及び表示する、そのようなデジタルモデルを作製するために患者の口腔内部をスキャンしていた。カメラで患者の口腔内の３Ｄスキャンを実行する場合、対象の生体構造をスキャンし、臨床的に関連した区域（例えば、歯）と不必要な区域（例えば、舌部及び頬）とを区別するように、カメラを正確に向けるのが困難なことがある。これは、リアルタイムに３Ｄ情報を収集及び表示するシステムに特に当てはまる。

【発明の概要】

【0003】

上記と関連付けられる既存の制約、並びに他の制約は、オブジェクトの３Ｄスキャンを実行するための方法、並びにその方法に従って動作する、システム、装置、及びコンピュータプログラムによって克服することができる。

【0004】

本明細書における例示的な実施形態では、方法は、照明されたオブジェクトに対応する第１及び第２の二次元（２Ｄ）カラー画像データを生成することを含み、第１及び第２の２Ｄカラー画像データは、画素を含む。方法はまた、第１及び第２の２Ｄカラー画像データにそれぞれ対応する、第１及び第２の２Ｄモノクロ画像データを生成すること、第１及び第２の２Ｄモノクロ画像データを使用して３Ｄデータを生成すること、並びに、第１及び第２の２Ｄカラー画像データの少なくとも１つから得られた色情報を３Ｄデータと組み合わせることにより、３Ｄカラー画像データを生成することを含む。

【0005】

本明細書における別の例示的な実施形態では、方法は、３Ｄカラー画像データをディスプレイユニット上に表示することを更に含む。本明細書における更なる例示的な実施形態では、３Ｄカラー画像データは、ディスプレイユニット上にリアルタイムで表示される。

【0006】

更に別の例示的な実施形態では、方法は、第１及び第２の２Ｄカラー画像データの少なくとも１つをディスプレイユニット上に表示することを更に含む。

【0007】

本明細書における例示的な一実施形態では、また、方法は、第１及び第２の２Ｄモノクロ画像データを生成する前に、ダウンサンプリングされた２Ｄカラー画像データを生成するために、第１及び第２の２Ｄカラー画像データをダウンサンプリングすることを更に含む。本明細書における更なる例示的な実施形態では、２Ｄカラー画像データは、複数のカラー画素値を含み、ダウンサンプリングされた２Ｄカラー画像データは、複数のカラー画素値を含み、４つの隣接する画素に対応するダウンサンプリングされた２Ｄカラー画像データのカラー画素値は、２Ｄカラー画像データの１６個のカラー画素値を使用して生成される。

【0008】

本明細書における別の例示的な実施形態では、第１の２Ｄカラー画像データの生成は、カラー画像センサーの第１の部分を使用して実行され、第２の２Ｄカラー画像データの生成は、カラー画像センサーの第２の部分を使用して実行される。本明細書における更なる例示的な実施形態では、カラー画像センサーの第１の部分は、オブジェクトにより反射され、カメラの第１の開口部を通過した光に基づいて、第１の２Ｄカラー画像データを生成し、カラー画像センサーの第２の部分は、オブジェクトにより反射され第１の開口部とは異なるカメラの第２の開口部を通過した光に基づいて、第２の２Ｄカラー画像データを生成する。

【0009】

本明細書における更に別の例示的な実施形態では、２Ｄカラー画像データは、複数のカラー画素値を含み、２Ｄモノクロ画像データは、複数のモノクロ画素値を含み、各モノクロ画素値は、２Ｄカラー画像データの４つの隣接した画素に対応する４つのカラー画素値の重み付き平均値である。

【0010】

本明細書における更に別の例示的な実施形態では、２Ｄカラー画像データは、複数のカラー画素値を含み、２Ｄモノクロ画像データは、１つの色を有する２Ｄカラー画像データの画素を含む。

【0011】

本明細書におけるいくつかの例示的な実施形態では、方法は、光学的コントラスト粉末をオブジェクトに付加することを更に含む。本明細書における別の例示的な実施形態では、方法は、光学的コントラスト粉末に対応する色情報の部分上に色補正を実行することを更に含む。本明細書における更なる例示的な実施形態では、光学的コントラスト粉末は、黒色の粒子、白色の粒子、又は黒色及び白色の粒子を含む。本明細書における更に別の例示的な実施形態では、光学的コントラスト粉末は、少なくとも２色の粒子を含み、光学的コントラスト粉末の第１の色の粒子は、光学的コントラスト粉末の第２の色の粒子とは異なる量の光の色を吸収する。

【0012】

本明細書における例示的な実施形態では、方法は、オブジェクトを光で照明することを更に含む。本明細書における例示的な一実施形態では、オブジェクトは、白色光で照明される。本明細書における別の例示的な実施形態では、オブジェクトは、複数の有色光で照明される。本明細書における更に別の例示的な実施形態では、オブジェクトは、構造化された光で照明される。

【0013】

方法は、患者の口腔内部の正確なカラー３Ｄモデルを表示するため、及び歯科医療従事者が臨床的に関連した区域を識別するのを補助するために、有用であり得る。例えば、方法は、歯科医療従事者が歯の削られた部分と歯の触れられていない部分との間の辺縁を識別するのを補助することができ、ゆえに、辺縁に対する歯冠の最適な準備と配置を容易にすることができる。方法はまた、鮮明で現実感のある視覚的フィードバックを３Ｄスキャンを実行する歯科医療従事者に提供するために有用であり得、ゆえに、スキャン処理をより容易にする。

【0014】

本明細書における様々な実施形態の更なる特徴及び利点、並びにそれらの構造及び動作については、添付図面を参照して以下に詳細に記載する。

【図面の簡単な説明】

【0015】

【図1A】本明細書の例示的な実施形態に係る、スキャンされるオブジェクトに関する色情報を生成及び表示するための例示的な３Ｄスキャンシステムのブロック図を示す。

【0016】

【図1B】本明細書の例示的な実施形態に係る、図１Ａの３Ｄスキャンシステムのカラー画素センサーアレイを示す。

【0017】

【図2】図１Ａに示す３Ｄスキャンシステムの例示的なコンピュータシステムのブロック図を示す。

【0018】

【図3A】本明細書の例示的な実施形態に係る、３Ｄスキャンされるオブジェクトに関する色情報を生成及び表示するための例示的な処理の流れ図である。

【0019】

【図3B】本明細書の例示的な実施形態に係る、オブジェクトの二次元（２Ｄ）カラー画像を生成及び表示するための例示的な処理の流れ図である。

【0020】

【図4A】図１Ｂに示すカラー画素センサーアレイの例示的なカラーフィルターアレイを示す。

【0021】

【図4B】図４Ａに示すカラーフィルターアレイ内に使用される色を示す。

【0022】

【図5A】図１Ｂに示すカラー画素センサーアレイの例示的な画素センサーアレイを示す。

【0023】

【図5B】図５Ａに示す画素センサーアレイに対応する、カラー画素値記憶アレイの例示的な視覚表現を示す。

【0024】

【図6A】図１Ａに示す３Ｄスキャンシステムの例示的な仮想カラーフィルターアレイを示す。

【0025】

【図6B】図６Ａに示す仮想カラーフィルターアレイ内に使用される色を示す。

【0026】

【図7A】図１Ａに示す３Ｄスキャンシステムの例示的な仮想カラー画素センサーアレイを示す。

【0027】

【図7B】図７Ａに示す仮想カラー画素センサーアレイに対応する、カラー画素値記憶アレイの例示的な視覚表現を示す。

【0028】

【図8】本明細書の例示的な実施形態に係る、モノクロ画素値記憶アレイの例示的な視覚表現を示す。

【0029】

【図9】図１Ａの３Ｄスキャンシステムにより生成された例示的な２Ｄカラー画像を示す。

【0030】

【図10】図１Ａの３Ｄスキャンシステムにより表示された例示的な３Ｄカラー画像データを示す。

【発明を実施するための形態】

【0031】

図１Ａは、３Ｄスキャンされるオブジェクト５０から色情報を収集し、オブジェクト５０の３Ｄカラー表現を表示する、３Ｄスキャンシステム１００のブロック図を示す。３Ｄスキャンシステム１００は、ハンドピース１０２、ケーブル１０６を使用してハンドピースに接続されたコンピュータシステム１０４、及びケーブル１１０を使用してコンピュータシステム１０４に接続されたディスプレイユニット１０８を含む。

【0032】

ハンドピース１０２は、下側の表面内にウィンドウ１１４を有するハウジング１１２を含む。ハンドピース１０２はまた、ウィンドウ１１４を透過してオブジェクト５０上に光１１９を投射する照明ユニット１１６を含む。本明細書における例示的な実施形態により、照明ユニット１１６は、発光ダイオード（ＬＥＤ）、例えば光１１９として白色光をオブジェクト５０上に投射するＬＥＤ１１８及び１２０を含む。本明細書における別の例示的な実施形態では、照明ユニット１１６は、複数の白色光投射ＬＥＤを含み、複数は、例えば１２個のそのようなＬＥＤ（図示せず）を含む。本明細書における更に別の例示的な実施形態により、照明ユニット１１６は、赤色、緑色、及び青色の光をそれぞれ投射する、複数のＬＥＤ（例えば、３つのＬＥＤ、図示せず）を含む。本明細書におけるまた更なる例示的な実施形態では、照明ユニット１１６は、例えば３９０ｎｍから７００ｎｍの波長範囲などの、光の可視スペクトルの少なくとも実質的部分を合わせて含む、複数の有色ＬＥＤ（図示せず）を含む。本明細書におけるまた更なる例示的な実施形態により、照明ユニット１１６は、例えば、ランダムドットパターン、明暗ストライプパターン、又は有色ストライプパターンなどの特徴を有し、光の可視スペクトルの少なくとも実質的部分を含む、構造化された光を光１１９として投射する。他の実施形態では、上記の実施形態の１つ以上の態様は、合わせて使用することができる。

【0033】

照明ユニット１１６から放射された光１１９の少なくとも一部は、参照番号１２１で表されるように、オブジェクト５０により反射されてウィンドウ１１４を透過してハンドピース１０２内に戻る。オブジェクト５０により反射された光１２１を光学システム１２４に向けて反射するように、鏡１２２が設けられている。光学システム１２４は、少なくとも１つのレンズ１２６、並びに内部に形成された第１の開口部１３２及び第２の開口部１３４を有するマスク１３０を含む。レンズ１２６は、オブジェクト５０及び鏡１２２により反射された光を、光が第１の開口部１３２及び第２の開口部１３４を通過するように、集束させる。

【0034】

第１の開口部１３２を通過する光は、カメラユニット１４０のカラー画素センサーアレイ１４８の第１の部分１４２上に、第１の画像を形成するように投射される。同様に、第２の開口部１３４を通過する光は、カメラユニット１４０のカラー画素センサーアレイ１４８の別個の第２の部分１４４上に、第２の画像を形成するように投射される。本明細書における例示的な実施形態により、第１の開口部１３２を通過する光は、光学コンポーネント１３６を経由して第１の部分１４２上に投射され、第２の開口部１３４を通過する光は、光学コンポーネント１３８を経由して第２の部分１４４上に投射される。本明細書における例示的な一実施形態では、光学コンポーネント１３６及び１３８は、菱形プリズムである。

【0035】

本明細書における例示的な実施形態により、本明細書で更に説明されるように、カラー画素センサーアレイ１４８の第１の部分１４２又は第２の部分１４４のいずれかの上のいずれかに投射された光が、最初にカラーフィルターアレイ１５０の対応する部分を透過し、次に画素センサーアレイ１５２の対応する部分に同様に伝達されるように、図１Ａ及び図１Ｂに示されるように、カラー画素センサーアレイ１４８は、画素センサーアレイ１５２の前に配設されたカラーフィルターアレイ１５０を含む。

【0036】

再び図１Ａを参照して、カラー画素センサーアレイ１４８の第１の部分１４２及び第２の部分１４４は、カラー画素センサーアレイ１４８の第１の部分１４２及び第２の部分１４４のそれぞれの上に投射された赤色光、緑色光、及び青色光の強度にそれぞれ比例する３つの値を有するＲＧＢ信号を出力するように、受信した光に応答することにより、画像取得を実行する。カラー画素センサーアレイ１４８の第１の部分１４２及び第２の部分１４４の画素からの信号は、ケーブル１０６を介してコンピュータシステム１０４に（素子１５２を経由して）供給され、コンピュータシステム１０４は、信号から二次元（２Ｄ）画像データを既知の方法で生成することにより応答する。オブジェクト５０の第１及び第２の２Ｄ画像データは、それにより、カラー画素センサーアレイ１４８の第１の部分１４２及び第２の部分１４４からそれぞれ取得される。

【0037】

いくつかの実施形態では、カメラユニット１４０から出力されるカラー画素センサーアレイ１４８の第１及び第２の部分１４２及び１４４からの信号は、アナログ信号であり、コンピュータシステム１０４内に含まれるアナログ−デジタル変換器により、対応するデジタル信号に変換される。他の実施形態では、カメラユニット１４０自体が、カラー画素センサーアレイ１４８の第１及び第２の部分１４２及び１４４から出力されるアナログ信号を対応するデジタル信号に変換するアナログ−デジタル変換器を含み、デジタル信号はその後カメラユニット１４０によりケーブル１０６を介してコンピュータシステム１０４に出力される。

【0038】

ハンドピース１０２はまた、駆動回路１４６も含む。本明細書における例示的な一実施形態では、駆動回路１４６は、カメラ１４０、ＬＥＤ１１８、及び／又はＬＥＤ１２０のそれぞれを駆動及び／又は保持するための１つ以上の個別の回路基板などの、１つより多い電気的に接続された回路構成要素を含むことができる。駆動回路１４６は、例えば、カメラユニット１４０及び照明ユニット１１６を含むがこれらに限定されない、ハンドピース１０２内の電子素子及び様々な構成要素の動作を制御する。例示的な一実施形態では、オブジェクト５０の照明及び画像取得が実質的に同時に起こるように、カメラユニット１４０は、駆動回路１４６をトリガーしてＬＥＤ１１８及び１２０を画像がカメラユニット１４０により取得されるのと実質的に同時に明滅させる。

【0039】

以下に詳細を説明するように、コンピュータシステム１０４は、カメラユニット１４０により供給される信号を処理して３Ｄデータを生成し、３Ｄデータは、システム１０４によりケーブル１１０を介してディスプレイユニット１０８に供給され、ディスプレイユニットは、対応するカラー３Ｄ映像をリアルタイムに表示する。

【0040】

図２は、コンピュータシステム２００のブロック図を示す。本明細書における例示的な一実施形態では、コンピュータシステム２００の少なくともいくつかの構成要素（それらのすべての構成要素又は構成要素２２８以外のすべての構成要素など）は、図１Ａに示すコンピュータシステム１０４内に形成する又は含めることができ、コンピュータシステム２００は、図１Ａに示すハンドピース１０２にケーブル１０６を介して、通信インターフェース２４６（以下に述べる）を経由して接続される。コンピュータシステム２００は、少なくとも１つのコンピュータプロセッサ２２２（「コントローラ」とも呼ばれる）を含む。コンピュータプロセッサ２２２としては、例えば、中央処理ユニット、多重処理ユニット、特定用途向け集積回路（「ＡＳＩＣ」）、フィールド・プログラマブル・ゲート・アレイ（「ＦＰＧＡ」）等を挙げることができる。プロセッサ２２２は、通信基盤２２４（例えば、通信バス、クロスオーバーバーデバイス、又はネットワーク等）に接続される。この例示的なコンピュータシステム２００に関して本明細書に種々の実施形態が説明されるが、この説明の一読後、当該技術分野（単数又は複数）の当業者には、他のコンピュータシステム及び／又はアーキテクチャを用いて本発明をどのように実装するかが明らかになる。

【0041】

コンピュータシステム２００はまた、通信基盤２２４（又はフレームバッファ（図示せず））からのビデオグラフィックス、テキスト、及び他のデータを、ディスプレイユニット２２８上への表示のために転送する表示インターフェース（又は他の出力インターフェース）２２６を含む。本明細書における例示的な一実施形態では、ディスプレイユニット２２８は、ディスプレイユニット１０８内に形成する又は含めることができ、通信基盤２２４は、ケーブル１１０内に形成する又は含めることができる。表示インターフェース２２６は、例えば、グラフィックス処理ユニットを有するビデオカード、又は３Ｄ単一フレーム情報を計算することが可能なビデオカードを含むことができる。具体的には、そのようなビデオカードの例としては、ＡＴＩ又はＮＶＩＤＩＡビデオカードを挙げることができる。

【0042】

コンピュータシステム２００はまた、コンピュータプロセッサ２２２に情報を送信するように、コンピュータシステム２００のユーザによって使用され得る入力ユニット２３０を含む。例えば、入力ユニット２３０は、キーボードデバイス及び／若しくはマウスデバイス、又は他の入力デバイスを含み得る。一例では、ディスプレイユニット２２８、入力ユニット２３０、及びコンピュータプロセッサ２２２は、ユーザインターフェースを集合的に形成することができる。

【0043】

タッチ画面を含む例示的な実施形態において、例えば、入力ユニット２３０及びディスプレイユニット２２８が組み合わされ得る。そのような実施形態において、ディスプレイユニット２２８に触れるオペレータは、対応する信号を、ディスプレイユニット２２８から、例えばプロセッサ２２２等のプロセッサへこれらの信号を転送することができる、表示インターフェース２２６へ送信させることができる。

【0044】

加えて、コンピュータシステム２００は、好ましくはランダムアクセスメモリ（「ＲＡＭ」）である主メモリ２３２を含み、また二次メモリ２３４も含み得る。二次メモリ２３４としては、例えば、ハードディスクドライブ２３６及び／又は取り外し可能な記憶ドライブ２３８（例えば、フロッピーディスクドライブ、磁気テープドライブ、光ディスクドライブ、フラッシュメモリドライブ等）を挙げることができる。取り外し可能な記憶ドライブ２３８は、周知の様式で、取り外し可能な記憶ユニット２４０から読み取る、及び／又は取り外し可能な記憶ユニット２４０へ書き込む。取り外し可能な記憶ユニット２４０は、取り外し可能な記憶ドライブ２３８によってそこに書き込まれる及びそこから読み取られる、例えば、フロッピーディスク、磁気テープ、光ディスク、フラッシュメモリデバイス等であり得る。取り外し可能な記憶ユニット２４０としては、コンピュータで実行可能なソフトウェア命令及び／又はデータを記憶する、非一時的なコンピュータ可読記憶媒体を挙げることができる。

【0045】

代替的な実施形態において、二次メモリ２３４は、コンピュータシステム２００内にロードされる、コンピュータで実行可能なプログラム又は他の命令を記憶する、他のコンピュータ可読媒体を含み得る。そのようなデバイスとしては、取り外し可能な記憶ユニット２４４及びインターフェース２４２（例えば、ビデオゲームシステムで使用されるそれらに類似のプログラムカートリッジ及びカートリッジインターフェース）、取り外し可能なメモリチップ（例えば、消去可能でプログラム可能な読み出し専用メモリ（「ＥＰＲＯＭ」）又はプログラム可能な読み出し専用メモリ（「ＰＲＯＭ」））及び関連付けられたメモリソケット、並びに、ソフトウェア及びデータが、取り外し可能な記憶ユニット２４４からコンピュータシステム２００の他の一部に転送されることを可能にする、他の取り外し可能な記憶ユニット２４４及びインターフェース２４２を挙げることができる。

【0046】

コンピュータシステム２００はまた、ソフトウェア及びデータが、コンピュータシステム２００と外部デバイスとの間で転送されるのを可能にする、通信インターフェース２４６を含み得る。通信インターフェース２４６の例としては、モデム、ネットワークインターフェース（例えば、イーサネット（登録商標）カード）、通信ポート（例えば、ユニバーサルシリアルバス（「ＵＳＢ」）ポート又はＦｉｒｅＷｉｒｅ（登録商標）ポート）、ＰＣメモリカード国際協会（「ＰＣＭＣＩＡ」）インターフェース等が挙げられる。通信インターフェース２４６を介して転送されるソフトウェア及びデータは、電子、電磁気、光学、又は、通信インターフェース２４６によって送信及び／若しくは受信されることが可能である別の種類の信号であり得る、信号の形態であり得る。信号は、通信パス２４８（例えば、チャネル）を介して通信インターフェース２４６に提供される。通信パス２４８は信号を搬送し、ワイヤ又はケーブル、光ファイバ、電話線、セルラリンク、無線周波数（「ＲＦ」）リンク等を用いて実装され得る。通信インターフェース２４６は、コンピュータシステム２００とリモートサーバー又はクラウドベースの記憶装置（図示せず）との間でソフトウェア又はデータを転送するために使用することができる。

【0047】

１つ以上のコンピュータプログラム（コンピュータ制御論理とも称される）は、主メモリ２３２及び／又は二次メモリ２３４に記憶される。コンピュータプログラムはまた、通信インターフェース２４６を介して受信され得る。コンピュータプログラムは、コントローラ／コンピュータプロセッサ２２２によって実行されるとき、コンピュータシステム２００に、例えば、本明細書に記載され、図３Ａ及び図３Ｂに示されるように手順を実施させる、コンピュータで実行可能な命令を含む。従って、コンピュータプログラムは、コンピュータシステム１０４及び３Ｄスキャンシステム１００の他の構成要素（例えば、カメラユニット１４０及びディスプレイユニット１０８）を制御することができる。

【0048】

本明細書の１つの例示的な実施形態において、ソフトウェアは、取り外し可能な記憶ドライブ２３８、ハードディスクドライブ２３６、及び／又は通信インターフェース２４６を用いて、非一時的なコンピュータ可読記憶媒体に記憶され得、コンピュータシステム２００内にロードされ得る。制御論理（ソフトウェア）は、コントローラ／コンピュータプロセッサ２２２によって実行されるとき、コンピュータシステム２００及びより広くは３Ｄスキャンシステム１００に、本明細書に記載の手順を実行させる。

【0049】

別の例示的な実施形態では、ＡＣＩＳ、ＦＰＧＡ等のハードウェア構成要素は、本明細書に記載の機能を実行するように使用され得る。本明細書における更なる例示的な実施形態では、ＡＳＩＣ若しくはＦＰＧＡ又は他の回路は、例えば、画像圧縮などの画像前処理を実行するようにカメラの電子機器回路内に使用され得る。本明細書に記載の機能を実施するためのかかるハードウェア構成の実装は、本説明を考慮すれば、当該技術分野（単数又は複数）の当業者には明白になる。

【0050】

図２のコンピュータシステム２００を説明してきたが、ここで、図３から図１０に関連して３Ｄスキャンシステム１００を更に説明する。

【0051】

図３Ａは、本明細書の例示的な実施形態に係る、３Ｄスキャンされるオブジェクト５０に関する色情報を生成及び表示するための処理３００の流れ図である。処理は、ステップＳ３０２から開始される。

【0052】

３Ｄスキャンされるオブジェクト５０が充分なコントラストを有しない場合、オブジェクト５０に対応する高品質な３Ｄ画像データを得るのが困難なことがある。充分なコントラストを有するオブジェクトを提供するために、必要と思われる場合、ステップＳ３０４で、光学的コントラスト粉末を、オブジェクト５０に付加することができる。

【0053】

すなわち、対応する３Ｄ画像データを得るために充分なコントラストを提供するように光学的コントラスト粉末がオブジェクト５０に付加される実施形態では、ステップＳ３０４が実行される。ステップＳ３０４では、光学的コントラスト粉末がオブジェクト５０に付加され、より具体的には、歯科医療従事者が、光学的コントラスト粉末をオブジェクト５０上にはけで塗る、又は吹き付ける。光学的コントラスト粉末がオブジェクト５０に付加されない他の実施形態では、ステップＳ３０４は実行されない。

【0054】

ステップＳ３０４で付加される光学的コントラスト粉末は、例えば白色、黒色、又は黒色及び白色の粒子で構成されていてもよい。本明細書の別の例示的な実施形態では、光学的コントラスト粉末は、複数の有色粒子で構成されていてもよい。光学的コントラスト粉末が、１色より多い色（例えば、黒色及び白色）粒子で構成されている場合、それぞれの色の粒子は、異なる量の光の特定の色（例えば、白色）を吸収することが望ましい。また、光学的コントラスト粉末が粒子（例えば、黒色及び白色）で構成される場合、本明細書の例示的な一実施形態では、それぞれの粒子のカラー画像は、粒子の像を映し出すために光が透過するカラーフィルターの色（すなわち、赤、青、又は緑）に関わらず同じように見えることが望ましい。オブジェクト５０の色がカメラユニット１４０によりキャプチャすることができるように、光学的コントラスト粉末の粒子が、ブジェクト５０の表面を完全には覆い隠さないこともまた有用であり得る。ステップＳ３０４でオブジェクト５０に付加することができる光学的コントラスト粉末の一例は、Ｌｕらによる「Ｃｏｎｔｒａｓｔ Ｐａｔｔｅｒｎ Ａｐｐｌｉｃａｔｉｏｎ Ｆｏｒ Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｉｍａｇｉｎｇ」と題された、米国特許出願公開第２０１３／０２４４１９９号に開示されており、本明細書にすべてが記載されたかのように参照によりその全体が本明細書に組み込まれる。

【0055】

ハンドピース１０２がオブジェクト５０をスキャンするために移動されるときに、３Ｄスキャンシステム１００がカメラユニット１４０の動きを補償することができるように、３Ｄスキャンシステム１００は、正確な３Ｄデータを得るため及び基準点を提供するために、光学的コントラスト粉末を利用することができる。３Ｄスキャンシステム１００がオブジェクト５０をスキャンする際に、光学的コントラスト粉末の粒子がオブジェクト５０を完全には覆い隠さないことは有用であり得る。オブジェクト５０が光学的コントラスト粉末の粒子により完全には覆われていない場合、オブジェクト５０の色（単数又は複数）に関する情報は、３Ｄスキャンシステム１００によりキャプチャすることができる。加えて、以下に説明されるように、ステップＳ３２２で３Ｄデータを生成するために、カラー画素センサーアレイ１４８の第１の部分１４２により生成される２Ｄ画像データを、カラー画素センサーアレイ１４８の第２の部分１４４により生成される２Ｄ画像データと相関させるために、３Ｄスキャンシステム１００は、光学的コントラスト粉末の粒子を基準マーカーとして使用することができる。

【0056】

ステップＳ３０６で、オブジェクト５０は、光１１９により照明され、カメラユニット１４０は、少なくとも１つの画像をキャプチャする。例えば、コンピュータシステム１０４は、信号をケーブル１０６を介してハンドピース１０２に送信し、カメラユニット１４０に画像をキャプチャさせると一方で、同時に駆動回路１４６に照明ユニット１１６を制御させてオブジェクト５０を照明するように出力光１１９を（所定の明滅速度で）明滅させる。オブジェクト５０が光１１９（例えば、上述した種類の光のいずれか）で照明される結果として、上述したように、ハンドピース１０２内に反射されて戻る光１２１は、素子１２２、１２４、１３０、１３６、及び１３８を介して転送され、カメラユニット１４０の第１の部分１４２及び第２の部分１４４によりキャプチャされる。（前記の方法で、ステップＳ３０６で、複数の画像を（それぞれの時間に）キャプチャすることができる。）

【0057】

より具体的には、光１１９が白色光である例示的な実施形態により、照明ユニット１１６は、それぞれ白色光を放射するＬＥＤ１１８及び１２０を含み、コンピュータシステム１０４は、駆動回路１４６の制御下でＬＥＤ１１８及び１２０に白色光を所定の明滅速度で明滅させる。もちろん、上述したように、照明ユニット１１６は、２つの白色光を放射するＬＥＤ以外のＬＥＤ構成を含むことができる。

【0058】

オブジェクト５０が充分なコントラストを有しない（それによりオブジェクト５０に対応する３Ｄ画像データを得ることが困難になる）と思われ、光学的コントラスト粉末がステップＳ３０４で付加されない場合、照明ユニット１１６が、例えば、ランダムドットパターン、明暗ストライプパターン、又は有色ストライプパターンなどのコントラストを強調する特徴を有する構造化された光であるような、光１１９を投射することにより、ステップＳ３０６を実行することができる。構造化された光のコントラストを強調する特徴は、光学的コントラスト粉末と同様に、３Ｄスキャンシステム１００がそれを使用してカメラユニット１４０の動きを補償し、ステップＳ３２２に関して以下に説明するように、３Ｄデータを生成するために、カラー画素センサーアレイ１４８の第１の部分１４２より生成される２Ｄ画像データを、カラー画素センサーアレイ１４８の第２の部分１４４により生成される２Ｄ画像データと相関させることができるような、基準点を提供する。

【0059】

本明細書の更に別の実施形態では、光学的コントラスト粉末は、ステップＳ３０４で付加され、照明ユニット１１６は、ステップＳ３０６で、構造化された光を光１１９としてオブジェクト５０上に投射する。

【0060】

ステップＳ３０８で、３Ｄスキャンシステム１００のカメラユニット１４０は、オブジェクト５０に対応する２Ｄカラー画像データを、ステップＳ３０６でカメラユニット１４０の第１の部分１４２及び第２の部分１４４によりキャプチャされた光に基づいて生成する。図４Ａは、本明細書の例示的な一実施形態で、カメラユニット１４０のカラー画素センサーアレイ１４８のカラーフィルターアレイ１５０の第１の部分１４２及び第２の部分１４４のそれぞれに使用することができる、カラーフィルターアレイ４００の例示的な表現を示す。カラーフィルターアレイ４００は、ベイヤーパターンにより配置された複数のカラーフィルターＣＦ１からＣＦ６４を含む。説明を簡単にするために、例示的なカラーフィルターアレイ４００は、６４個のみのカラーフィルターを含むが、本開示の範囲を逸脱することなく任意の好適な数のカラーフィルターを使用することができる。

【0061】

図４Ｂは、図４Ａに示すカラーフィルターアレイ４００内に使用される色の例示的な表現を示す。「Ｒ」と表記されたそれぞれのカラーフィルターは、赤のカラーフィルターであり、「Ｇ」と表記されたそれぞれのカラーフィルターは、緑のカラーフィルターであり、「Ｂ」と表記されたそれぞれのカラーフィルターは、青のカラーフィルターである。

【0062】

図５Ａは、本明細書の例示的な一実施形態で、カラー画素センサーアレイ１４８の画素センサーアレイ１５２の第１の部分１４２及び第２の部分１４４のそれぞれに使用することができる、画素センサーアレイ５００の例示的な表現を示す。画素センサーアレイ５００は、複数の画素Ｐ１からＰ６４を含む。説明を簡単にするために、画素センサーアレイ５００は、全部で６４個のみの画素の８×８の画素のアレイを含むが、本開示の範囲を逸脱することなく任意の好適な数の画素を使用することができる。他の例示的な実施形態では、第１の部分１４２及び第２の部分１４４のそれぞれの内の画素センサーアレイ１４８が、例えば、３８４０×２７４８の画素のアレイ、若しくはビニングモードで動作することができ、ゆえに１９２０×１３７４の解像度の画素のアレイとして効率的に動作することができる３８４０×２７４８の画素のアレイ、又はなんらかの他のアレイ構成を含むように、他の画素センサーアレイ構成を代わりに用いることができる。

【0063】

カラーフィルターアレイ４００は、カラーフィルターＣＦ１を透過した光が画素Ｐ１を照明し、カラーフィルターＣＦ２を透過した光が画素Ｐ２を照明するなどのように、カラー画素センサーアレイ（図示せず）を形成するように、画素センサーアレイ５００の前に配置される。画素センサーアレイ５００の画素Ｐ１、Ｐ２等は、以下の方法で記憶されるカラー画素値を出力することにより、照明光に応答する。

【0064】

図５Ｂは、本明細書の例示的な一実施形態で、図５Ａに示す画素センサーアレイ５００により出力される信号に対応する値を記憶するために使用される、カラー画素値記憶アレイ５１０の例示的な表現を示す。コンピュータシステム１０４は、例えば、主メモリ２３２及び／又は二次メモリ２３４内に、複数のカラー画素値記憶アレイ５１０を記憶することができる。

【0065】

カラー画素値記憶アレイ５１０は、カラー画素値ＣＰＶ１からＣＰＶ６４を含む。例えば、カラー画素値ＣＰＶ１は、画素センサーアレイ５００の画素Ｐ１により出力される信号の値であり、カラー画素値ＣＰＶ２は、画素センサーアレイ５００の画素Ｐ２により出力される信号の値である。例示的な一実施形態では、それぞれのカラー画素値のデータ構造は、ＲＧＢ形式の８ビットのアレイとすることができ、若しくは別の例示的な実施形態では、ＲＧＢ形式の１２ビットのアレイ、又は別の構成とすることができる。

【0066】

複数のカラー画素値記憶アレイ５１０は、カメラユニット１４０により取得された画像データの複数のフレームのそれぞれに対するカラー画素値ＣＰＶ１からＣＰＶ６４を記憶するために使用される。

【0067】

図９は、ステップＳ３０８により、３Ｄスキャンシステム１００のカメラユニット１４０により生成され、カラー画素値記憶アレイ５１０内に記憶された、例示的な２Ｄカラー画像を示し、歯９００及び９０２は、色がボーンホワイトであり、歯茎部分９０４は、色がピンクである。

【0068】

ステップＳ３０８で、コンピュータシステム１０４は、例えば、主メモリ２３２及び／又は二次メモリ２３４内に、ステップＳ３０６でカメラユニット１４０の第１の部分１４４及び第２の部分１４２により取得された画像データの複数のフレームに対するカラー画素値を記憶するために、複数のカラー画素値記憶アレイ５１０を使用する。一定の周波数又は定期的な時間間隔で、カメラユニット１４０は、カラー画素センサーアレイ１４８の第１の部分１４２及び第２の部分１４４からコンピュータシステム１０４にケーブル１０６を介して信号を出力する。周波数（フレーム速度としても知られる）は、例えば、５Ｈｚから９０Ｈｚの範囲とすることができるが、これらの例は限定するものではない。各時間間隔で、コンピュータシステム１０４は、カメラユニット１４０から受信した信号に対応する値を、画像データのフレームとして（例えば、主メモリ２３２及び／又は二次メモリ２４２内に記憶することができる、カラー画素値記憶アレイ５１０内に）記憶し、画像データのそれぞれのフレームは、信号がカメラユニット１４０により出力された（又はコンピュータシステム１０４により受信された）時刻を示すタイムスタンプ若しくはシーケンス番号情報、又はフレームの相対順序、信号を供給するカラー画素センサーアレイ１４８の部分（例えば、第１の部分１４２又は第２の部分１４４）を示すセンサー識別子、及び対応するカラー画素値記憶アレイ５１０の識別子を含む。

【0069】

第１の部分１４２及び第２の部分１４４が、充分に高い解像度である場合、追加の処理を実行する前に、第１の部分１４２及び第２の部分１４４により出力された２Ｄカラー画像データをダウンサンプリングすることは有用であり得る。例示的な一実施形態では、１９２０×１３７４のカラー画像値アレイを有する高解像度２Ｄカラー画像データは、９６０×６８７のカラー画素値アレイを有する、より低解像度の２Ｄ画像カラーデータにダウンサンプリングすることができる。

【0070】

ダウンサンプリングが所望される場合、コンピュータシステム１０４は、ステップＳ３０８で第１の部分１４２及び第２の部分１４４により供給された信号から生成された２Ｄカラー画像データを（ステップＳ３１０で）ダウンサンプリングする。本明細書の例示的な実施形態によるカラー画素値のダウンサンプリングは、以下に述べる図５Ｂから図７Ｂを参照して説明される。

【0071】

上述したように、図５Ｂは、カラー画素値記憶アレイ５１０の例示的な表現を示し、コンピュータシステム１０４は、第１の部分１４２及び第２の部分１４４により生成された信号の値を主メモリ２３２及び／又は二次メモリ２３４内に記憶するために、カラー画像データのフレーム内の複数のカラー画素値記憶アレイ５１０を使用する。

【0072】

図６Ａを参照して、この図は、ステップＳ３１０でコンピュータ１０４により実行されるダウンサンプリング処理を概念的に説明するために本明細書で使用される、仮想カラーフィルターアレイ６００の例示的な表現を示す。仮想カラーフィルターアレイ６００は、ベイヤーパターンにより配置された複数のカラーフィルターＣＦ１からＣＦ１６を含む。説明を簡単にするために、例示的なカラーフィルターアレイ６００は、１６個のみのカラーフィルターを含むが、本開示の範囲を逸脱することなく任意の好適な数のカラーフィルターを使用することができる。

【0073】

図６Ｂは、図６Ａに示す仮想カラーフィルターアレイ６００の対応する位置内に使用される色の例を示す。「Ｒ」と表記されたそれぞれのカラーフィルターは、赤のカラーフィルターであり、「Ｇ」と表記されたそれぞれのカラーフィルターは、緑のカラーフィルターであり、「Ｂ」と表記されたそれぞれのカラーフィルターは、青のカラーフィルターである。

【0074】

図７Ａは、ステップＳ３１０でコンピュータ１０４により実行されるダウンサンプリング処理を概念的に説明するために本明細書で使用される、仮想カラー画素センサーアレイ７００の例示的な表現を示す。仮想カラー画素センサーアレイ７００は、複数の画素Ｐ１からＰ１６を含む。説明を簡単にするために、カラー画素センサーアレイ７００は、１６個のみの画素を含むが、本開示の範囲を逸脱することなく任意の好適な数の画素を使用することができる。上述したカラーフィルターアレイ６００のカラーフィルターＣＦ１からＣＦ１６は、仮想カラー画素センサーアレイ７００の画素Ｐ１からＰ１６にそれぞれ対応する。

【0075】

図７Ｂは、図７Ａに示す仮想カラー画素センサーアレイ７００の画素に対応する値を記憶するために使用される、カラー画素値記憶アレイ７１０の例示的な表現を示す。カラー画素値記憶アレイ７１０は、カラー画素値ＣＰＶ１からＣＰＶ１６を含む。カラー画素値記憶アレイ７１０のカラー画素値ＣＰＶ１からＣＰＶ１６は、仮想カラー画素センサーアレイ７００の画素Ｐ１からＰ１６にそれぞれ対応する。図６Ａ、図６Ｂ、及び図７Ａが、ステップＳ３１０のダウンサンプリング処理を概念的に説明する目的のために、仮想カラーフィルターアレイ６００、仮想カラーフィルターアレイ６００の色、及び仮想カラー画素センサーアレイ７００の例示的な表現をそれぞれ示す一方、図７Ｂに示すカラー画素値記憶アレイ７１０は、以下に更に説明するように、ステップＳ３１０のダウンサンプリング処理の出力を記憶するための実データ構造の例を示す。

【0076】

ステップＳ３１０で、コンピュータシステム１０４は、コンピュータシステム１０４により記憶されたカラー画像データの複数のフレームに対するダウンサンプリングされたカラー画素値ＣＰＶ１からＣＰＶ１６を記憶するために、複数のカラー画素値記憶アレイ７１０を使用する。コンピュータシステム１０４は、例えば、コンピュータシステム２００の主メモリ２３２及び／又は二次メモリ２３４内に、複数のカラー画素値記憶アレイ７１０を記憶することができる。例示的な一実施形態では、各カラー画素値のデータ構造は、ＲＧＢ形式で記憶されたカラー画素値のアレイサイズより小さいアレイサイズを有することが多い、ＹＵＶ形式のアレイとすることができる。

【0077】

以下の例では、図６Ａに示すカラーフィルターＣＦ１からＣＦ１６は、図７Ａに示す画素Ｐ１からＰ１６にそれぞれ対応すると仮定する。加えて、図７Ａに示す画素Ｐ１からＰ１６は、図７Ｂに示すカラー画素値ＣＰＶ１からＣＰＶ１６にそれぞれ対応すると仮定する。

【0078】

加えて、表現「赤の画素値」は、図４Ｂに示す赤フィルターを透過する光により照明される図５Ａに示す画素に対応する、図５Ｂに示すカラー画素値を表すために使用される。表現「緑の画素値」は、図４Ｂに示す緑フィルターを透過する光により照明される図５Ａに示す画素に対応する、図５Ｂに示すカラー画素値を表すために使用される。表現「青の画素値」は、図４Ｂに示す青フィルターを透過する光により照明される図５Ａに示す画素に対応する、図５Ｂに示すカラー画素値を表すために使用される。

【0079】

コンピュータシステム１０４は、カラー画素値記憶アレイ５１０内に記憶されたカラー画素値の平均を算出し、算出された平均をカラー画素値記憶アレイ７１０内に記憶する。本明細書の例示的な実施形態により、コンピュータシステム１０４は、カラー画素値記憶アレイ５１０内に含まれる１６個のカラー画素値の群内の平均を算出し、算出された平均をカラー画素値記憶アレイ７１０内に記憶する。より具体的には、コンピュータシステム１０４は、カラー画素値記憶アレイ５１０の１６個のカラー画素値の群それぞれの内に含まれる４つの赤の画素値の平均を算出し、カラー画素値記憶アレイ７１０内の４つのカラー画素値の対応する群の赤の画素値内に算出された平均を記憶する。加えて、コンピュータシステム１０４は、カラー画素値記憶アレイ５１０の１６個のカラー画素値の群それぞれの内に含まれる８つの緑の画素値の平均を算出し、カラー画素値記憶アレイ７１０内の４つのカラー画素値の対応する群の２つの緑の画素値内に算出された平均を記憶する。加えて、コンピュータシステム１０４は、カラー画素値記憶アレイ５１０の１６個のカラー画素値の群それぞれの内に含まれる４つの青の画素値の平均を算出し、カラー画素値記憶アレイ７１０内の４つのカラー画素値の対応する群の青の画素値内に算出された平均を記憶する。

【0080】

カラー画素値記憶アレイ５１０の１６個のカラー画素値の１つの群をカラー画素値記憶アレイ７１０内の４つのカラー画素値の１つの群にダウンサンプリングするための処理の例が、図５Ｂ及び図７Ｂを参照して説明される。コンピュータシステム１０４は、カラー画素値記憶アレイ５１０内の赤のカラー画素値ＣＰＶ１、ＣＰＶ３、ＣＰＶ１７、及びＣＰＶ１９の平均を算出し、カラー画素値記憶アレイ７１０の赤のカラー画素値内ＣＰＶ１内に平均を記憶する。コンピュータシステム１０４はまた、カラー画素値記憶アレイ５１０内の緑のカラー画素値ＣＰＶ２、ＣＰＶ４、ＣＰＶ９、ＣＰＶ１１、ＣＰＶ１８、ＣＰＶ２０、ＣＰＶ２５、及びＣＰＶ２７の平均を算出し、カラー画素値記憶アレイ７１０の緑のカラー画素値ＣＰＶ２及びＣＰＶ５内に平均を記憶する。加えて、コンピュータシステム１０４は、カラー画素値記憶アレイ５１０内の青のカラー画素値ＣＰＶ１０、ＣＰＶ１２、ＣＰＶ２６、及びＣＰＶ２８の平均を算出し、カラー画素値記憶アレイ７１０の青のカラー画素値内ＣＰＶ６内に平均を記憶する。コンピュータシステム１０４は、次に、カラー画素値記憶アレイ５１０内の１６個のカラー画素値のすべての他の群に対して、同様のダウンサンプリング処理を繰り返す。ステップＳ３１０でダウンサンプリングが実行された後、カラー画素値記憶アレイ５１０内に記憶される、第１及び第２の部分１４２及び１４４からの細かな２Ｄカラー画像データは、カラー画素値記憶アレイ７１０内に記憶される粗い２Ｄカラー画像データに変換される。

【0081】

上記のダウンサンプリング処理の１つの利点は、画素センサーアレイ５００の画素（少なくとも１つの例では、図１Ａ及び図１Ｂに示す第１及び第２の部分１４２及び１４４のために使用される）は、それぞれの区域内に均一に離間配置されるため、ダウンサンプリングされたカラー画像データは、色情報を保持するだけでなく、それぞれの区域内の画像情報損失を最小化することである。他の例示的な実施形態では、ダウンサンプリング（ステップＳ３１０）は実行されず、その場合、制御は、ステップＳ３０８からステップＳ３１２及びＳ３２０に直接進む（及び、以下で説明するように、ステップＳ３０８で生成された２Ｄカラー画像データは、ステップＳ３１２によりステップＳ３１４で実行される色算出に提供される）。

【0082】

ステップＳ３１２で、コンピュータシステム１０４は、色情報を色算出ステップ（ステップＳ３１４）に提供する。例えば、ダウンサンプリングがステップＳ３１０で実行された場合、色情報は、ステップＳ３１０で生成されたダウンサンプリングされた２Ｄカラー画像データを含む。ダウンサンプリングが実行されなかった場合（すなわち、ステップＳ３１０が実行されなかった場合）、ステップＳ３１２で提供される色情報は、ステップＳ３０８で生成された２Ｄカラー画像データを含む。

【0083】

ステップＳ３１４で、コンピュータシステム１０４は、算出された色情報を生成するために、ステップＳ３１２で提供される色情報を使用して色算出を実行する。例示的な一実施形態では、算出された色情報は、例えば、既知のデモザイク技術を使用して、モザイク状のカラー画素情報を実色情報に変換することによりステップＳ３１４で生成される。

【0084】

本明細書の更なる例示的な実施形態では、ステップＳ３１４は、以下のように算出された色情報の色補正を実行するためのサブステップを加えて含むことができる。例えば、ステップＳ３０４で光学的コントラスト粉末がオブジェクト５０に付加される場合、光学的コントラスト粉末の粒子は、オブジェクト５０の上に粒子が付加された部分を覆い隠す。ゆえに、ステップＳ３１４で上述のように生成された算出された色情報の少なくともいくつかの画素は、少なくとも一部、オブジェクト５０を覆うコントラスト粉末の粒子から反射された光に対応する。そのような画素は、オブジェクト５０の色を正確に表現しないことがあり、そのため影響を受けた画素と考えられる。色補正を実行するために、コンピュータシステム１０４は、最初に、例えば、算出された色情報の画素の近傍の色分布を統計的に分析することにより、影響を受けた画素を識別する（近傍は、例えば、ｎ×ｍの画素の部分集合として規定することができる）。例えば、画素の近傍の中で低い画素値及び高い画素値は、黒色及び白色のコントラスト粉末の粒子が使用された場合には、黒色及び白色のコントラスト粉末の粒子それぞれにより影響を受けた画素に対応することがある。影響を受けた画素が識別されたなら、コンピュータシステム１０４は、影響を受けた画素の画素値を（影響を受けた画素それぞれに対して）光学的コントラスト粉末の粒子から反射された光に対応しない少なくとも１つの隣接した画素（すなわち、影響を受けていない画素）の画素値に置き換える。本明細書の別の例示的な実施形態では、影響を受けた画素の画素値は、例えば、隣接した画素の画素値の中央値などの、隣接した画素の統計的表現により置き換えることができる。少なくともいくつかの場合では、前記の方法で補正された算出された色情報は、オブジェクト５０の外観をより正確に表現することができる。

【0085】

ステップＳ３１４の後、制御は、以下に説明するステップＳ３２４に進む。そのステップを説明する前に、ステップＳ３２０及びＳ３２２を最初に説明する。ステップＳ３１２のように、ステップＳ３２０は、ステップＳ３１０が実行された後、又はステップＳ３１０が実行されない場合にはステップＳ３０８が実行された後に、実行される。

【0086】

ステップＳ３２０で、本明細書で以下に説明する例示的な少なくとも一実施形態により、ステップＳ３１０で生成されたダウンサンプリングされた２Ｄカラー画像データ（又はステップＳ３１０が実行されない場合にはステップＳ３０８で生成された２Ｄカラー画像データ）は、２Ｄモノクロ画像データに変換される。図８は、コンピュータシステム１０４が、カメラユニット１４０により取得されたカラー画像データの各フレームに対するモノクロ画素値を、例えば主メモリ２３２及び／又は二次メモリ２３４に記憶するために使用することができる、モノクロ画素値記憶アレイ８００の例示的な表現を示す。以下に説明するように、コンピュータシステム１０４は、対応する３Ｄデータを生成するために、複数のモノクロ画素値記憶アレイ８００内に記憶された２Ｄモノクロ画像データを処理する。例示的な一実施形態では、各モノクロ画素値のデータ構造は、８ビットのアレイとすることができ、又は別の例示的な実施形態では、１２ビットのアレイとすることができる。

【0087】

本明細書の例示的な一実施形態（以下、便宜上「重み付き平均算出」とも呼ぶ）により、コンピュータシステム１０４は、対応するモノクロ画素値記憶アレイ８００内にその後記憶されるモノクロ画素値を生成するために、カラー画素値記憶アレイ７１０内に記憶されたカラー画素値の重み付き平均を算出することにより、ステップＳ３２０を実行する。より具体的には、一例では、コンピュータシステム１０４は、図８に示す対応するモノクロ画素値記憶アレイ８００内に記憶されるモノクロ画素値を生成するために、ステップＳ３１０（又はステップＳ３１０が実行されない場合にはステップＳ３０８）で生成されたカラー画素値記憶アレイ７１０内に記憶された隣接したカラー画素値の所定の群の重み付き平均を算出する。各モノクロ画素値は、モノクロ画素値が算出されるカラー画素値記憶アレイ７１０内の隣接したカラー画素値の群の位置に対応する、モノクロ画素値記憶アレイ８００内の位置に記憶される。本明細書の例示的な一実施形態では、隣接したカラー画素値の各群は、同じ比率の赤のカラー画素値、緑のカラー画素値、及び青のカラー画素値を含む。

【0088】

例えば、コンピュータシステム１０４は、カラー画素値記憶アレイ７１０の左上の角部（すなわち、ＣＰＶ１、ＣＰＶ２、ＣＰＶ５、及びＣＰＶ６）に対応する、隣接したカラー画素値の重み付き平均を算出し、重み付き平均を対応するモノクロ画素値記憶アレイ８００の左上の角部（すなわち、ＭＰＶ１）に記憶する。加えて、コンピュータシステム１０４は、カラー画素値記憶アレイ７１０の右上の角部（すなわち、ＣＰＶ３、ＣＰＶ４、ＣＰＶ７、及びＣＰＶ８）に対応する、隣接したカラー画素値の重み付き平均を算出し、重み付き平均を対応するモノクロ画素値記憶アレイ８００の右上の角部（すなわち、ＭＰＶ２）に記憶する。また、コンピュータシステム１０４は、カラー画素値記憶アレイ７１０の左下の角部（すなわち、ＣＰＶ９、ＣＰＶ１０、ＣＰＶ１３、及びＣＰＶ１４）に対応する、隣接したカラー画素値の重み付き平均を算出し、重み付き平均を対応するモノクロ画素値記憶アレイ８００の左下の角部（すなわち、ＭＰＶ３）に記憶する。加えて、コンピュータシステム１０４は、カラー画素値記憶アレイ７１０の右下の角部（すなわち、ＣＰＶ１１、ＣＰＶ１２、ＣＰＶ１５、及びＣＰＶ１６）に対応する、隣接したカラー画素値の重み付き平均を算出し、重み付き平均を対応するモノクロ画素値記憶アレイ８００の右下の角部（すなわち、ＭＰＶ４）に記憶する。隣接したカラー画素値の前記の群のそれぞれは、４つのカラー画素値を、１つの赤のカラー画素値、２つの緑のカラー画素値、及び１つの青のカラー画素値と、色に応じた同じ比率で含むが、この例は限定するものではない。

【0089】

より具体的には、コンピュータシステム１０４は、本実施形態により、赤のカラー画素値、緑のカラー画素値、及び青のカラー画素値が、対応するモノクロ画素値に等しく寄与するように、隣接したカラー画素値の重み付き平均を算出する。例えば、画素値記憶アレイ７１０の左上の角部に対応するカラー画素値の重み付き平均は、赤のカラー画素値ＣＰＶ１の３分の１、２つの緑のカラー画素値ＣＰＶ２及びＣＰＶ５の平均の３分の１、及び青のカラー画素値ＣＰＶ６の３分の１の和（すなわち、１／３×ＣＰＶ１＋１／３×（（ＣＰＶ２＋ＣＰＶ５）／２）＋１／３×ＣＰＶ６）として算出することができる。

【0090】

本明細書の別の例示的な実施形態では、ステップＳ３２０に対して上述した重み付き平均算出を実行する代わりに、コンピュータシステム１０４は、対応するモノクロ画素値記憶アレイ８００内に記憶されるモノクロ画素値を生成するために、ステップＳ３１０で生成され、例えばカラー画素値記憶アレイ７１０内に記憶されたダウンサンプリングされた２Ｄカラー画像データ（又はステップＳ３１０が実行されない場合、ステップＳ３０８で生成され、例えばカラー画素値記憶アレイ５１０内に記憶された２Ｄカラー画像データ）に、コントラスト強調モノクロ変換アルゴリズムを適用することにより、ステップＳ３２０を実行する。コントラスト強調モノクロ変換アルゴリズムは、高コントラスト２Ｄモノクロ画像データを生成する（及びモノクロ画素値記憶アレイ８００内に記憶する）ために、（カラー画素値記憶アレイ７１０内に記憶された）ダウンサンプリングされた２Ｄカラー画像データ内の色収差を考慮し、色収差は、それ以外に、重み付き平均算出を使用する上述した実施形態では使用されない。ステップＳ３２０のこの実施形態で使用することができる例示的なコントラスト強調モノクロ変換アルゴリズムは、Ｍ．Ｇｒｕｎｄｌａｎｄらによる、「Ｄｅｃｏｌｏｒｉｚｅ：Ｆａｓｔ，ｃｏｎｔｒａｓｔ ｅｎｈａｎｃｉｎｇ，ｃｏｌｏｒ ｔｏ ｇｒａｙｓｃａｌｅ ｃｏｎｖｅｒｓｉｏｎ」（Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、４０巻、１１版、２００７年、２８９１〜２８９６ページ）と題された刊行物、及びＭ．Ｑｉｕらによる、「Ｃｏｎｔｒａｓｔ Ｍａｘｉｍｉｚｉｎｇ ａｎｄ Ｂｒｉｇｈｔｎｅｓｓ Ｐｒｅｓｅｒｖｉｎｇ Ｃｏｌｏｒ ｔｏ Ｇｒａｙｓｃａｌｅ Ｉｍａｇｅ Ｃｏｎｖｅｒｓｉｏｎ」（ＣＧＩＶ２００８，４ｔｈ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｌｏｕｒ ｉｎ Ｇｒａｐｈｉｃｓ，Ｉｍａｇｉｎｇ，ａｎｄ Ｖｉｓｉｏｎ，Ｆｉｎａｌ Ｐｒｏｇｒａｍ ａｎｄ Ｐｒｏｃｅｅｄｉｎｇｓ、２００８年、３４７〜３５１ページ）と題された刊行物に記載されており、本明細書にすべて記載されたかのように参照により本明細書にその全体が組み込まれる。

【0091】

より具体的には、この実施形態では、コンピュータシステム１０４は、例示的な一実施形態で、高コントラスト２Ｄモノクロ画像データの対応するフレームを生成するために、ステップＳ３１０でカラー画素センサーアレイ１４８の第１の部分１４２及び第２の部分１４４のそれぞれにより生成された２Ｄカラー画像データの各フレームに、上述したようにコントラスト強調モノクロ変換アルゴリズムを適用することによりステップＳ３２０を実行する。

【0092】

本明細書の更に別の例示的な実施形態では（及びステップＳ３２０に対して２Ｄカラー画像データの各フレームに前記の方法でコントラスト強調モノクロ変換アルゴリズムを実行する代わりに）、コンピュータシステム１０４は、ステップＳ３２０の前のどこかの時点で標準コントラスト強調変換機能を生成するために、２Ｄカラー画像データの所定の訓練データ集合にコントラスト強調モノクロ変換アルゴリズムを適用する。所定の訓練データ集合は、例えば、カメラ１４０により前もってキャプチャされた２Ｄカラー画像データ、又はユーザ指定の人工的に生成された２Ｄカラー画像データであってよい。次に、ステップＳ３２０で、ステップＳ３１０でカラー画素センサーアレイ１４８の第１の部分１４２及び第２の部分１４４のそれぞれにより生成された２Ｄカラー画像データの各フレームは、上述した重み付き平均算出により２Ｄモノクロ画像データのフレームに変換され、標準コントラスト強調変換機能は、高コントラスト２Ｄモノクロ画像データの対応するフレームを生成するために、２Ｄモノクロ画像データの各フレームに適用される。ステップＳ３２０の前に２Ｄカラー画像データの所定の訓練データ集合にコントラスト強調モノクロ変換アルゴリズムを適用することによって、上述したようにステップＳ３２０中に２Ｄカラー画像データの各フレームにコントラスト強調モノクロ変換アルゴリズムを適用することによるより、より計算負荷の低い方法でステップＳ３２０で高コントラスト２Ｄモノクロ画像データを生成することができる。

【0093】

本明細書の更に別の例示的な実施形態により、ステップＳ３２０に対して上述したように重み付き平均算出又はコントラスト強調モノクロ変換アルゴリズムのいずれかを実行する代わりに、コンピュータシステム１０４は、ステップＳ３２０で２Ｄモノクロ画像データを生成するために、２Ｄモノクロ画像データを生成するために１つのカラーフィルターの種類（例えば、赤、緑、又は青）に対応する、ステップＳ３１０からのダウンサンプリングされた２Ｄカラー画像データ（又はステップＳ３１０が実行されない場合にはステップＳ３０８からの２Ｄカラー画像データ）のカラー画素値を選択することにより、色低減処理を実行する。

【0094】

具体的には、色低減処理を実行する１つの方法は、ステップＳ３１０からのダウンサンプリングされた２Ｄカラー画像データの赤のカラー画素値のみを選択すること、及びこれらの赤のカラー画素値を２Ｄモノクロ画像データ内の対応する位置に記憶することを含む。例えば、カラー画素値記憶アレイ７１０の赤のカラー画素値ＣＰＶ１をモノクロ画素値記憶アレイ８００のＭＰＶ１に記憶すること、カラー画素値記憶アレイ７１０の赤のカラー画素値ＣＰＶ３をモノクロ画素値記憶アレイ８００のＭＰＶ２に記憶すること、カラー画素値記憶アレイ７１０の赤のカラー画素値ＣＰＶ９をモノクロ画素値記憶アレイ８００のＭＰＶ３に記憶すること、及びカラー画素値記憶アレイ７１０の赤のカラー画素値ＣＰＶ１１をモノクロ画素値記憶アレイ８００のＭＰＶ４に記憶することにより、２Ｄモノクロ画像データを、カラー画素値記憶アレイ７１０内に記憶された、ステップＳ３１０のダウンサンプリングされた２Ｄカラーデータから前記の方法で導出することができるが、この例は限定するものではない。同様に、２Ｄモノクロ画像データはまた、緑のカラー画素値又は青のカラー画素値のみを選択することにより、同様な方法で導出することができる。

【0095】

ステップＳ３２２をここで説明する。ステップＳ３２２で、３Ｄスキャンシステム１００は、対応する３Ｄデータを生成するために、ステップＳ３２０で生成された２Ｄモノクロ画像データを使用する。３Ｄデータのデータ構造は、ポイントクラウド、すなわち３Ｄ空間内の座標の集合、又は３Ｄ多角形メッシュとすることができるが、これらの例は限定するものではない。ダウンサンプリングがステップＳ３１０、次にステップＳ３２２で実行される場合、ステップＳ３０８でカメラユニット１４０が２Ｄカラー画像データを生成する各時点に対して、コンピュータシステム１０４は、３Ｄデータの対応するフレームを生成するために、（ａ）カラー画素センサーアレイ１４８の第１の部分１４２に対する、ステップＳ３１０で生成された画像データのダウンサンプリングされたフレームに対応する、ステップＳ３２０で生成された、モノクロ画素値記憶アレイ８００内に含まれるデータ、及び（ｂ）カラー画素センサーアレイ１４８の第２の部分１４４に対する、ステップＳ３１０で生成された画像データのダウンサンプリングされたフレームに対応する、ステップＳ３２０で生成された、モノクロ画素値記憶アレイ８００内に含まれるデータを使用する。ダウンサンプリングがステップＳ３１０、次にステップＳ３２２で実行されない場合、ステップＳ３０８でカメラユニット１４０が２Ｄカラー画像データを生成する各時点に対して、コンピュータシステム１０４は、３Ｄデータの対応するフレームを生成するために、（ａ）カラー画素センサーアレイ１４８の第１の部分１４２により、ステップＳ３０８で生成された画像データのフレームに対応する、ステップＳ３２０で生成された、モノクロ画素値記憶アレイ８００内に含まれるデータ、及び（ｂ）カラー画素センサーアレイ１４８の第２の部分１４４により、ステップＳ３０８で生成された画像データのフレームに対応する、ステップＳ３２０で生成された、モノクロ画素値記憶アレイ８００内に含まれるデータを使用する。

【0096】

例えば、ステップＳ３２２で、コンピュータシステム１０４は、デフォーカス、立体、相互相関、Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ（ＳＩＦＴ）、及びＳｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅ（ＳＵＲＦ）技術などの既知のステレオ対応照合方法を２Ｄモノクロ画像データのフレームの対に実行することにより、３Ｄデータを生成することができる。一例では、ステレオ対応照合方法は、２Ｄモノクロ画像データのフレームの対内の対応する特徴を識別すること及び相関を取ることにより、３Ｄデータを生成し、そのような対応する特徴は、該当する場合、ステップＳ３０４でオブジェクト５０に付加された光学的コントラスト粉末の少なくとも１つ、ステップＳ３０６で照明ユニット１１６によりオブジェクト５０上に投射された構造化された光の特徴、及びキャプチャされた画像内の所定の特徴（所定の特徴は、オブジェクト５０の特徴を表す）により提供され得る。２つの２Ｄ画像から３Ｄデータを導出する一例は、Ｇｈａｒｉｂらによる「Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｉｍａｇｉｎｇ Ｓｙｓｔｅｍ」と題された国際特許公開第２０１２／０３０３５７号に開示されており、その全体が本明細書に参照により組み込まれる。

【0097】

ステップＳ３２４をここで説明する。ステップＳ３２４で、コンピュータシステム１０４は、２Ｄカラー画像データから導出された様々な種類の色情報（例えば、算出された色情報、又はより具体的には、ステップＳ３１４で生成された実色情報）及びステップＳ３２２で生成された３Ｄデータを組み合わせることにより、３Ｄカラー画像データを生成する。例えば、コンピュータシステム１０４は、例えば、全体が本明細書に記載されているものとしてその全体を参照により本明細書に組み込む、Ｐ．Ｓｈｉｒｌｅｙによる、「Ｆｕｎｄａｍｅｎｔａｌｓ ｏｆ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ」（Ａ Ｋ Ｐｅｔｅｒｓ／ＣＲＣ Ｐｒｅｓｓ、２００９年、２５２〜２５３ページ）と題された刊行物に記載されているマッピング方法などの１つ以上のマッピング方法を用いることにより、オブジェクト５０の３Ｄカラー画像データを生成することができる。この例示的な実施形態により、コンピュータシステム１０４は、色情報テクスチャマップを生成するために、ステップＳ３１４で生成された算出された色情報を、（ｕ、ｖ）などの座標系と最初に関連付ける。コンピュータシステム１０４はまた、頂点、縁部、及び面を有する２Ｄ多角形メッシュを生成するために、ステップＳ３２２で生成された３Ｄデータを解く。コンピュータシステム１０４は、次に、２Ｄ多角形メッシュをテクスチャマップ上で位置合わせし、（ｕ、ｖ）座標をメッシュの頂点に割り当てる。（ｕ、ｖ）座標が割り当てられた２Ｄ多角形メッシュは、次にテクスチャ化されていない３Ｄモデルへと組み立て直され、モデルの頂点に割り当てられた（ｕ、ｖ）座標に基づいて、色情報テクスチャマップの画素をテクスチャ化されていない３Ｄモデル上に重ねることにより、３Ｄカラー画像データが生成される。当然ながら、他の好適な種類のマッピングを代わりに用いることができる。

【0098】

ステップＳ３２６で、３Ｄスキャンシステム１００は、ステップＳ３２４で生成された３Ｄカラー画像データをディスプレイユニット１０８上に表示する。図１０は、ステップＳ３２６により３Ｄスキャンシステム１００によりディスプレイユニット１０８上に表示された３Ｄカラー画像データの一例を示し、歯の削られた部分１０００、辺縁１００２、及び歯の触れられていない部分１００４は、色がボーンホワイトであり、歯茎部分１００６は、色がピンクである。

【0099】

処理３００は、ステップＳ３２８で終了する。理解され得るように、前記の観点で、上述した手順３００を使用して画像をキャプチャすること及び画像を処理することによって、３Ｄカラー画像データを、オペレータに提示することができる。

【0100】

従って、３Ｄスキャンシステム１００は、歯科医療従事者が臨床的に関連した区域と不必要な区域とを区別するのを補助するために、色情報をリアルタイムにカメラユニット１４０の視点からのカラー映像としてキャプチャ及び表示することができる。例えば、３Ｄスキャンシステム１００により提供されるリアルタイムカラー映像は、歯科医療従事者が患者の歯及び歯茎を舌部及び頬などの他の生体構造から区別するのを補助することができる。加えて、３Ｄスキャンシステム１００により提供されるリアルタイムカラー映像は、歯科医療従事者が歯の削られた部分と歯の触れられていない部分との間の臨床的に関連した辺縁を識別するのを補助することができ、ゆえに、辺縁に対する歯冠の最適な準備と配置を容易にすることができる。更に、３Ｄスキャンシステム１００は、鮮明で現実感のある視覚的フィードバックを３Ｄスキャンを、実行している歯科医療従事者に提供しスキャン処理をより容易にするために、三次元でスキャンされているオブジェクト５０の色情報を表現することができる。また更に、３Ｄスキャンシステム１００は、少なくともステップＳ３２０によって正確な３Ｄモデルを作製することができ、色情報を低減し、それゆえ色収差及び光学的回折から起こる、３Ｄモデルがそれから生成されるデータの不正確さもまた低減する。

【0101】

本明細書の別の例示的な実施形態では、３Ｄスキャンシステム１００は、図３Ａを参照して処理３００で上述した３Ｄスキャンモード、２Ｄ撮像モード、及び２Ｄ画像記録に最適化された３Ｄスキャンモードを含むがこれに限定されない、複数の動作モードを含む。本明細書の例示的な一実施形態では、３Ｄスキャンシステム１００は、動作モードの間を切り換えるように、より具体的には、リアルタイムで動作モードの間を切り換えるように動作可能である。３Ｄスキャンシステム１００は、ユーザの制御により（例えば、図２に示す入力ユニット２３０若しくは図１Ａに示すスイッチ１５４を介して）、又はコンピュータシステム１０４の自動制御下でのいずれかで、動作モードの間を切り換えることができる。例えば、オペレータは、システム１がこれらのモードの１つで動作することを指定する情報を入力ユニット２３０に入力することができ、その場合、システム１は、指定されたモードで動作することにより応答する。他の動作モードは、同様の方法で選択することができる。

【0102】

複数の動作モードの２Ｄ撮像モードは、本明細書の例示的な一実施形態では、（図１Ａに示す）３Ｄスキャンシステム１００を使用して、図３Ｂに示す流れ図により、オブジェクト５０の２Ｄ表現（すなわち、写真）を収集し表示する。２Ｄスキャンモード処理３４０は、ステップＳ３４２で開始する。

【0103】

ステップＳ３４４で、光学的コントラスト粉末は、ステップＳ３０４に対して上述した方法と実質的に同様の方法で、オブジェクト５０に付加される。（当然、３Ｄスキャンモードのためなどでこのステップがすでに実行された場合、このステップは実行する必要はない。）本明細書の別の例示的な実施形態では、ステップＳ３４４は、実行されない。すなわち、光学的コントラスト粉末は、オブジェクト５０に付加されず、代わりに、制御は、ステップＳ３４２から直接、ステップＳ３４６に進む。

【0104】

ステップＳ３４６で、オブジェクト５０は、ステップＳ３０６に対して上述した方法と実質的に同様の方法で、光１１９で照明される。

【0105】

ステップＳ３４８で、オブジェクト５０の２Ｄカラー画像データは、ステップＳ３０８に対して上述した方法と実質的に同様の方法で、生成される。

【0106】

ステップＳ３５０で、ステップＳ３４８で生成された２Ｄカラー画像データは、ステップＳ３１０に対して上述した方法と実質的に同様の方法で、ダウンサンプリングされた２Ｄカラー画像データを生成するように、ダウンサンプリングされる。本明細書の別の例示的な実施形態では、ステップＳ３５０は、実行されない。すなわち、２Ｄカラー画像データはダウンサンプリングされず、代わりに、制御は、ステップＳ３４８からＳ３５２に直接進む。

【0107】

ステップＳ３５２で、３Ｄスキャンシステム１００は、ステップＳ３５０で生成されたダウンサンプリングされた２Ｄカラー画像データ（又は工程Ｓ３５０が実行されない場合、工程Ｓ３４８で生成された２Ｄカラー画像データ）をディスプレイユニット１０８上に表示する。２Ｄスキャンモード処理３４０は、工程Ｓ３５４で終了する。

【0108】

複数の動作モードの２Ｄ画像記録に最適化された３Ｄスキャンモードを、ここで説明する。２Ｄ画像記録に最適化された３Ｄスキャンモードは、３Ｄカラー画像データを生成し表示するように、図３Ａの処理３００で上述した３Ｄスキャンモードと同様の方法で実行されるが、３Ｄカラー画像データをスキャン及び生成するためのより短い時間ため、及び３Ｄカラー画像データのより最適化されたカラー品質のための折衷として、３Ｄカラー画像データの３Ｄ精度が、３Ｄスキャンモードでの精度より（少なくともある程度）低いことがあるような、処理３００のある特定のアルゴリズム及びステップの違いを含む。

【0109】

具体的には、工程Ｓ３０４で光学的コントラスト粉末が付加される一例では、３Ｄスキャンモードの工程Ｓ３０４で付加されるコーティングに対してより希薄なコーティングが付加される。本モードの工程Ｓ３０４で光学的コントラスト粉末のより希薄なコーティングを付加することによって、光学的コントラスト粉末の粒子により、オブジェクト５０のより少ない部分が覆い隠される。結果として、工程Ｓ３０８でカメラ１４０によりキャプチャ及び生成された２Ｄカラー画像データ、工程Ｓ３１４で生成された算出された色情報、及び工程Ｓ３２６で表示される３Ｄカラー画像データは、オブジェクト５０の色をより正確に表現する。しかし、本動作モードでは光学的コントラスト粉末のより希薄なコーティングが工程Ｓ３０４で付加されるため、３Ｄデータを生成するために工程Ｓ３２２で使用される画像の対は、工程Ｓ３２２で実行されるステレオ対応照合方法のために使用できる対応する特徴をより少なく有することがある。画像の対の対応する特徴のあらゆるそのような低減した可用性を補償するために、カメラユニット１４０は、工程Ｓ３２２で実行されるステレオ対応照合方法に対してより多くのデータを提供するように、工程Ｓ３０８でより高いフレーム速度で動作することができる。従って、ＬＥＤ１１８及び１２０は、ＬＥＤの明滅が光１１９をオブジェクト５０上に実質的に増大したカメラユニット１４０のフレーム速度で投射するように最適化されるように、工程Ｓ３０６で動作することができる。工程Ｓ３２２のステレオ対応照合方法はまた、３Ｄデータを生成するためにより高いフレーム速度で提供された画像の対を利用するのに最適化された方法で実行される。例えば、工程Ｓ３２２で実行されるステレオ対応照合方法の最適化は、照合方法を再パラメータ化すること、並びに照合方法内で低品質のデータを除くために用いられる品質閾値を適合させることを含むことができる。

【0110】

本説明を考慮して、当該技術分野（単数又は複数）の当業者によって理解されるように、本明細書に記載の例示的な態様は、単一のコンピュータを用いて、又は各々が制御論理でプログラムされる多数のコンピュータを含むコンピュータシステムを用いて、種々の上に説明される機能を実施するように、実装され得る。

【0111】

上に説明される種々の実施形態は、例として示され、限定ではない。形態及び詳細における種々の変更（例えば、異なるハードウェア、通信プロトコル等）が、本発明の趣旨及び範囲から逸脱することなく、その中でなされ得ることは、当該技術分野（単数又は複数）の当業者には、明らかとなろう。よって、本発明は、上に説明される例示的な実施形態のいずれによっても限定されるべきではないが、以下の特許請求の範囲及びそれらの均等物に従ってのみ定義されるべきである。

【0112】

加えて、本明細書に記載の機能を強調する添付される図面は、実例的な実施例として示されることが理解されるべきである。本発明のアーキテクチャは、十分に柔軟かつ設定変更可能であることにより、添付の図面に示されるもの以外の方法で利用（及び操作）することができる。

【0113】

更に、本明細書に記載の例示的な実施形態は、３Ｄ歯科用スキャンシステムに限定されない。本明細書に記載の例示的な実施形態は、他の解剖学的領域のスキャンを実施するように使用され得る。

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5A】

【図5B】

【図6A】

【図6B】

【図7A】

【図7B】

【図8】

【図9】

【図10】