知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-08
(45)【発行日】2024-03-18
(54)【発明の名称】深層学習法を使用する自動３Ｄ歯根形状予測
(51)【国際特許分類】
G06T 7/00 20170101AFI20240311BHJP
G06N 3/04 20230101ALI20240311BHJP
G06N 3/08 20230101ALI20240311BHJP
G06N 3/02 20060101ALI20240311BHJP
A61C 19/04 20060101ALI20240311BHJP
A61B 6/46 20240101ALI20240311BHJP
A61B 6/51 20240101ALI20240311BHJP
【ＦＩ】
G06T7/00 350C
G06N3/04
G06N3/08
G06N3/02
A61C19/04 Z
A61B6/46 536Z
A61B6/51
G06T7/00 612
【請求項の数】
15
(21)【出願番号】P 2020534221
(86)(22)【出願日】2018-12-21
(65)【公表番号】
(43)【公表日】2021-02-25
(86)【国際出願番号】 EP2018086686
(87)【国際公開番号】W WO2019122373
(87)【国際公開日】2019-06-27
【審査請求日】2021-12-13
(31)【優先権主張番号】17210529.8
(32)【優先日】2017-12-22
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】520005196
【氏名又は名称】プロマトン・ホールディング・ベー・フェー
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】フランク・テオドルス・カタリーナ・クラーセン
(72)【発明者】
【氏名】バース・アレクサンデル・フェルヘイ
(72)【発明者】
【氏名】ダーフィット・アンサーリ・モイン
(72)【発明者】
【氏名】テオ・ケリーチ
【審査官】伊知地 和之
(56)【参考文献】
【文献】特開２０１４－１１７６１１（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１４／０１６９６４８（ＵＳ，Ａ１）
【文献】国際公開第２０１６／１４３０２２（ＷＯ，Ａ１）
【文献】Hyunjun Eun et al.，Oriented Tooth Localization for Periapical Dental X-ray Images via Convolutional Neural Network，2016 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA)，IEEE，2016年12月13日，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7820720
【文献】蘇鉄他，歯輪郭線抽出法の改良とＷＥＢ実装による歯のデータベース構築，電子情報通信学会技術研究報告 ＰＲＭＵ２００４－１６３～１７８ パターン認識・メディア理解，日本，社団法人電子情報通信学会，2005年01月14日，第104巻 第573号，pp.31-36
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ６／００ － ６／１４
Ａ６１Ｃ １９／０４
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
ＣＳＤＢ（日本国特許庁）
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
自動3D歯根形状予測のためのコンピュータ実装方法であって、ボクセル空間において定義された3Dデータを受信するステップであって、前記ボクセル空間が3Dボリュームを定義し、前記ボクセル空間が歯冠のボクセル表現を備える、ステップと、第1の3D深層ニューラルネットワークを訓練するために使用されたボクセル表現に対応するスケール、位置、および向きにあるように前記ボクセル表現を前処理するステップと、
前記歯冠の前記ボクセル表現を前記第1の3D深層ニューラルネットワークの入力に提供するステップであって、前記第1の3D深層ニューラルネットワークが、実際の歯の3D表現を定義する前処理された臨床3Dデータの訓練セットに基づいて訓練され、前記訓練された深層ニューラルネットワークが、前記歯冠に対応する歯根の解剖学的に正確なボクセル表現を予測するように構成される、ステップと、
前記歯冠の前記ボクセル表現に基づいて、予測された歯根または前記予測された歯根を備える完全な歯のボクセル表現を生成するステップと、
を備え、前記予測された歯根または前記完全な歯の前記ボクセル表現の前記生成が、
前記第1の3D深層ニューラルネットワークが、前記第1の3D深層ニューラルネットワークの出力のボクセル空間内のボクセルに関するボクセル活性化を決定するステップであって、各ボクセル活性化が、ボクセルが前記歯根または前記完全な歯の少なくとも一部である可能性を定義する確率測度を表す、ステップと、
前記ボクセル活性化をボクセル活性化閾値と比較することによって、ボクセル活性化が前記歯根または前記完全な歯の一部であるかどうかを決定するステップと、
を含む、方法。
【請求項2】
前記第1の3D深層ニューラルネットワークによって生成された前記予測された歯根の前記ボクセル表現を受信し、前記予測された歯根および前記歯冠の前記ボクセル表現を後処理するステップをさらに備え、前記後処理するステップが、
前記歯根および前記歯冠の前記ボクセルを完全な3D歯のボクセル表現にマージするステップと、
を含む、請求項1に記載の方法。
【請求項3】
前記3Dデータが歯列の少なくとも一部の3D表現を定義し、前記前処理するステップが、前記3Dデータを少なくとも1つの3Dデータセットにセグメント化するステップであって、前記3Dデータセットが前記歯列の歯の3D歯冠を表す、ステップと、
前記3Dデータセットを前記歯冠のボクセル表現に変換するステップであって、前記ボクセル表現が前記第1の3D深層ニューラルネットワークの前記入力の前記ボクセル空間と一致する、ステップと、
をさらに含む、請求項1または2に記載の方法。
【請求項4】
前記3Dデータが、光学スキャナによって生成された3Dデータであり、前記3Dデータが、複数の歯冠を備える歯列の少なくとも一部を表す3D表面メッシュを定義し、前記前処理するステップが、前記3D表面メッシュを複数のセグメント化された3D表面メッシュにセグメント化するステップであって、各セグメント化された3D表面メッシュが前記歯列の3D歯冠を表す、ステップと、
各セグメント化された3D表面メッシュを前記歯冠のボクセル表現に変換するステップであって、前記ボクセル表現が前記第1の3D深層ニューラルネットワークの前記入力の前記ボクセル空間と一致する、ステップと、
をさらに含む、請求項1から3のいずれか一項に記載の方法。
【請求項5】
前記3Dデータが、X線スキャナによって生成され、前記3Dデータが歯顎顔面構造の少なくとも一部のボクセル表現を定義し、前記歯顎顔面構造が歯列の少なくとも一部の複数の歯を含み、前記前処理するステップが、前記歯顎顔面構造を表す前記ボクセルの少なくとも一部を、第2の3D深層ニューラルネットワークを使用して、顎ボクセル、歯ボクセル、および/または神経ボクセルのうちの少なくとも1つに分類するステップであって、前記第2の3D深層ニューラルネットワークが、歯顎顔面構造の3D画像データに基づいて訓練される、ステップと、
前記分類されたボクセルを1つまたは複数の3Dデータセットにセグメント化するステップであって、前記1つまたは複数の3Dデータセットの各々が前記歯顎顔面構造の前記歯列内の歯のボクセル表現を定義する、ステップと、
をさらに含む、請求項1から3のいずれか一項に記載の方法。
【請求項6】
前記前処理するステップが、前記歯顎顔面構造のさらなるボクセル表現を第3の3D深層ニューラルネットワークの前記入力に提供するステップであって、前記第3の3D深層ニューラルネットワークが、前記入力における前記ボクセル表現の各ボクセルについて、少なくとも1つの3D位置特徴を決定するように訓練され、前記少なくとも1つの3D位置特徴が、ボクセルが顎、歯、および/または神経組織を表す可能性を示す尺度を含み、前記歯顎顔面構造の前記さらなるボクセル表現が、前記歯顎顔面構造の前記ボクセル表現の低解像度バージョンである、ステップと、
前記1つまたは複数の3D位置特徴および前記歯顎顔面構造の前記ボクセル表現を前記第2の3D深層ニューラルネットワークに提供し、前記第2の3D深層ニューラルネットワークが、前記ボクセル空間内の前記ボクセルの少なくとも一部を顎ボクセル、歯ボクセル、および/または神経ボクセルのうちの少なくとも1つに分類するために、前記1つまたは複数の位置特徴を使用する、ステップと、
をさらに含む、請求項5に記載の方法。
【請求項7】
前記第2の3D深層ニューラルネットワークが複数の第1の3D畳み込み層を備え、前記複数の第1の3D畳み込み層の出力が少なくとも1つの完全に接続された層に接続され、前記複数の第1の3D畳み込み層が、第1のボクセル表現からのボクセルの第1のブロックを処理するように構成され、前記少なくとも1つの完全に接続された層が、前記ボクセルの第1のブロックのボクセルを、顎ボクセル、歯ボクセル、および/または神経ボクセルのうちの少なくとも1つに分類するように構成される、請求項5または6に記載の方法。
【請求項8】
前記第2の3D深層ニューラルネットワークが複数の第2の3D畳み込み層をさらに備え、前記複数の第2の3D畳み込み層の出力が前記少なくとも1つの完全に接続された層に接続され、前記複数の第2の3D畳み込み層が、前記第1のボクセル表現からのボクセルの第2のブロックを処理するように構成され、前記ボクセルの第1および第2のブロックが画像ボリューム内の同じまたは実質的に同じ中心点を有し、前記ボクセルの第2のブロックが、前記ボクセルの第1のブロックの実世界の寸法でのボリュームよりも大きい実世界の寸法でのボリュームを表し、前記複数の第2の3D畳み込み層が、前記複数の第1の3D畳み込み層の前記入力に提供される前記ボクセルの第1のブロックのボクセルに関連するコンテキスト情報を決定するように構成される、請求項7に記載の方法。
【請求項9】
前記第1の3D深層ニューラルネットワークが、1つまたは複数の密に接続された層を介して複数の3D逆畳み込み層に接続された複数の3D畳み込み層を含み、前記第1の3D深層ニューラルネットワークが、歯冠および関連する歯根のボクセル表現に基づいて、または、歯冠および関連する歯のボクセル表現に基づいて訓練される、請求項1から8のいずれか一項に記載の方法。
【請求項10】
3D歯根形状の予測を生成するために3D深層ニューラルネットワークを訓練するためのコンピュータ実装方法であって、訓練データを受信するステップであって、前記訓練データが、歯冠および関連する歯根のボクセル表現、または歯冠および関連する歯のボクセル表現を備えた、臨床3Dデータを含み、前記ボクセル表現の少なくとも一部が、セグメント化された3D X線データ、および/または光学的にスキャンされた完全な歯から導出される、ステップと、
歯冠のボクセル表現を前記3D深層ニューラルネットワークの入力に提供し、前記3D深層ニューラルネットワークが予測された歯根のボクセル表現、または前記予測された歯根を具備する完全な歯のボクセル表現を生成するステップと、
予測された歯根のボクセル表現と、前記3D深層ニューラルネットワークの前記入力に提供された前記歯冠のボクセル表現に関連付けられた歯根のボクセル表現との間の偏差を表す損失関数を最小化することによって、前記3D深層ニューラルネットワークの1つまたは複数のネットワークパラメータの値を最適化するステップと、
前記最適化された値をコンピュータ可読記憶媒体内に記憶するステップであって、前記最適化された値が、歯冠のボクセル表現を提供されると、前記歯冠に対応する歯根の解剖学的に正確なボクセル表現を予測するように構成された、訓練されたニューラルネットワークの1つまたは複数のネットワークパラメータを定義する、ステップと、
を備える方法。
【請求項11】
前記3D深層ニューラルネットワークが、1つまたは複数の密に接続された層を介して複数の3D逆畳み込み層に接続された複数の3D畳み込み層を含む、請求項10に記載の方法。
【請求項12】
3D歯根形状を自動的に予測するように適合されたコンピュータシステムであって、それとともに具体化されたコンピュータ可読プログラムコードを有するコンピュータ可読記憶媒体と、前記コンピュータ可読記憶媒体に結合されたプロセッサと、を備え、前記コンピュータ可読プログラムコードを実行することに応答して、前記プロセッサが、
ボクセル空間において定義された3Dデータを受信することであって、前記ボクセル空間が3Dボリュームを定義し、前記ボクセル空間が歯冠のボクセル表現を備える、ことと、第1の3D深層ニューラルネットワークを訓練するために使用されるボクセル表現に対応するスケール、位置、および向きにあるように前記ボクセル表現を前処理することと、
前記歯冠の前記ボクセル表現を前記第1の3D深層ニューラルネットワークの入力に提供することであって、前記第1の3D深層ニューラルネットワークが、実際の歯の3D表現を定義する前処理された臨床3Dデータの訓練セットに基づいて訓練され、前記訓練された深層ニューラルネットワークが、前記歯冠に対応する歯根の解剖学的に正確なボクセル表現を予測するように構成される、ことと、
前記歯冠の前記ボクセル表現に基づいて、予測された歯根または予測された歯根を備える完全な歯のボクセル表現を生成することと、
を備える実行可能な動作を実行するように構成され、前記予測された歯根または前記完全な歯の前記ボクセル表現の前記生成が、
前記第1の3D深層ニューラルネットワークが、前記第1の3D深層ニューラルネットワークの出力のボクセル空間内のボクセルに関するボクセル活性化を決定することであって、各ボクセル活性化が、ボクセルが前記歯根または前記完全な歯の一部である確率を定義する確率測度を表す、ことと、
前記ボクセル活性化を、ボクセル活性化閾値と比較することによって、ボクセル活性化が前記歯根または前記完全な歯の一部であるかどうかを決定することと、
を含む、
コンピュータシステム。
【請求項13】
前記プロセッサは、前記第1の3D深層ニューラルネットワークによって生成された前記予測された歯根の前記ボクセル表現を受信し、前記予測された歯根および前記歯冠の前記ボクセル表現を処理するステップ
を具備する実行可能な動作を行うようにさらに構成され、前記処理するステップが、
前記歯根および前記歯冠の前記ボクセルを完全な3D歯のボクセル表現にマージするステップ
を含む、
請求項12に記載のコンピュータシステム。
【請求項14】
3D歯根形状を自動的に予測するように適合されるコンピュータシステムであって、それとともに具体化されたコンピュータ可読プログラムコードを有するコンピュータ可読記憶媒体と、前記コンピュータ可読記憶媒体に結合されたプロセッサと、を備え、前記コンピュータ可読プログラムコードを実行することに応答して、前記プロセッサが、請求項1から11のいずれか一項に記載の方法ステップを備える実行可能な動作を実行するように構成される、コンピュータシステム。
【請求項15】
コンピュータのメモリ内で実行されると、請求項1から11のいずれか一項に記載の方法ステップを実行するように構成されたソフトウェアコード部分を備えるコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、深層学習法を使用する自動3D歯根形状予測に関し、詳細には、排他的にではないが、深層学習を使用する自動3D歯根形状予測のためのシステムおよび方法、そのような深層学習ニューラルネットワークを訓練するための方法、ならびにそのような方法を使用するコンピュータプログラム製品に関する。
【背景技術】
【0002】
歯の信頼性の高いモデリングは、(限定はしないが)コンピュータ支援歯列矯正および歯科治療シミュレーションシステムを含む多くの歯科用途において非常に重要な役割を果たす。例えば、歯周病学において、診断および治療は、歯根の解剖学に直接関係し、歯列矯正治療計画において、歯根の構成、歯根の形状、および骨-歯根比は、治療の生体力学に大きな影響を有し、抜歯術、歯を抜く分野において、歯の形状の知識が不可欠であり、歯内療法において、根管および関連する根管治療は、歯根の解剖学および歯根の構成に直接関係する。
【0003】
完全な歯の正確な3Dモデル、すなわち、歯冠と歯根の両方を含むモデルは、コーンビームコンピュータ断層撮影(CBCT)などの適切な3D X線ベースのCTスキャン技法を使用して取得され得る。しかしながら、患者の正確な3D CTデータ、および、そのような3D CTデータを完全な歯の3Dモデルの表現に処理するソフトウェアは、常に利用できるとは限らない。X線ベースの3Dイメージングシステムは、歯の専門家に常に利用できるとは限らない高価なシステムである。さらに、一般に、患者の放射線への曝露を最小限に保つ必要がある。したがって、歯の視覚的な部分である歯冠のみに基づいて完全な歯の3D表現を決定することができるシステムが開発される。
【0004】
例えば、米国特許8639477号は、基準歯の数学的モデル(パラメータ化された3D表面メッシュ)がパラメータに基づいてマッチングされ、患者の歯冠の3D画像データに基づいてモーフィングされる、完全な歯の3Dモデリングのためのシステムについて説明している。そのような歯冠の3D画像データは、現在、光学式口腔内歯スキャナを使用して容易に取得され得る。米国特許8639477号の方式において、歯冠の形状情報は、歯根の形状を含む包括的な3D歯モデルを再形成するために使用される。同様に、米国特許8135569号は、ランドマークベースの方法を利用し、患者の歯冠の画像データと、任意選択で患者の歯のX線データとに基づいて基準歯をモーフィングすることによる、完全な歯の3Dモデリングのためのシステムについて説明している。X線データは、完全な歯の改善された3D近似が決定され得るように、モーフィングされた包括的な3D歯モデルの歯根の形状と、患者の歯の実際の歯根形状との間の不一致を減少させることを可能にする。
【0005】
これらの公知の3Dモデリング技法は、歯の限られた数の巨視的特徴(歯冠の寸法、歯冠の形状など)とその歯根の形状との間の関係を調べる歯科技術の特定の分野である歯冠形態学に基づく。そのような関係は、歯科の特徴に基づいて歯根の形状を近似するために使用される数学的基準モデルを定義するために使用され得る。従来技術のシステムは、歯冠情報に基づく歯根の3Dモデルの近似を提供する場合があるが、そのような近似の精度および信頼性は、制限され、歯根の実際の解剖学的形状と比較すると、比較的大きい偏差を示す場合がある。さらに、近似は、特定の3D基準モデルが特定のクラス、特定の歯クラス(例えば、臼歯、犬歯、小臼歯)ならびに患者を説明するクラス(例えば、年齢、性別)の両方に使用される場合、ある程度信頼できるだけである場合がある。そのような手法は、特定の歯/患者クラスごとに特定の数学的基準モデルを開発することを必要とする。
【0006】
従来技術のさらなる問題は、推定された3D歯根モデルと3D歯冠モデルとに基づいて完全な3D歯を構築するとき、予測された歯根と元の歯冠との間の遷移領域における表面が、歯の実際の解剖学的形状から逸脱した完全な3D歯の形状における変化をもたらす場合がある追加の平滑化および/または他の処理を必要とする場合があることである。加えて、正確にするために、上記で説明したシステムは、(歯および患者領域における)利用可能なクラスおよびx線画像などの歯冠3D画像データ以外の追加の入力を必要とする場合があることは、注目すべきである。
【0007】
現在、イメージング、特に医用イメージングの分野において、深層学習技法などのより高度な技法が3Dモデリングに利用され得る。これらのニューラルネットワークは、データ内の関連する態様を最適に表す特徴を学習するように訓練される。そのような深層学習アルゴリズムは、ますますより高いレベルの特徴を学習しながら、入力データを出力に変換する多層深層ニューラルネットワークを含む。画像解析のための成功したニューラルネットワークモデルは、いわゆる畳み込みニューラルネットワーク(CNN)である。CNNは、比較的小さいサイズのマトリックスで構成される、畳み込みフィルタとしても知られるカーネルを使用してそれらの入力を変換する多くの層を含む。医用イメージングへのCNNの使用の概要は、(Computer Vision and Pattern Recognitionに提出された)2017年2月21日のアーカイブ、Litjensらによる記事、A Survey on Deep Learning in Medical Image Analysisにおいて見ることができる。
【0008】
訓練された深層ニューラルネットワークの精度および信頼性は、ニューラルネットワークを訓練するために使用されるデータの質および量に大きく依存する。コーンビームコンピュータ断層撮影(CBCT)は、歯科用途において最も使用される3Dイメージング技法であり、3D歯顎顔面構造を含む大量のCBCTデータセットが、原理的には、ニューラルネットワークを訓練するために利用可能である。しかしながら、CBCT画像データの画像分析、および、これらのCBCT画像データに基づく大量の高品質訓練データの生成は、実質的な問題をもたらす。CBCTスキャンにおいて、スキャン中の異なる領域が、スキャンされる臓器内のそれらの相対的位置に応じて異なるグレースケール値で現れるので、ハンスフィールド単位(HU)において測定される放射密度は、信頼できない。CBCTスキャナと医用グレードのCTスキャナの両方を用いて同じ解剖学的領域から測定されたHUは、同一ではなく、したがって、部位固有のX線撮影で識別された測定密度の決定について信頼できない。
【0009】
さらに、正確かつ十分な訓練データの可用性の問題を再び考慮すると、歯顎顔面構造をスキャンするためのCBCTシステムは、再構築された密度値を表すグレーレベルをスケーリングするための標準化されたシステムを用いない。これらの値は、そのように恣意的であり、そのような標準化がないとき、グレーレベルを解釈することは困難であるか、または異なるマシンから生じる値を比較することは不可能でさえある。さらに、歯根および顎骨構造は同様の密度を有するので、コンピュータが歯に属するボクセルと顎に属するボクセルとを区別することは困難である。加えて、CBCTシステムは、周囲の明るい縞とともに、2つの高減衰オブジェクト(金属または骨など)間に暗い縞を生成する、いわゆるビーム硬化に非常に敏感である。
【先行技術文献】
【特許文献】
【0010】
【文献】米国特許第8639477号
【文献】米国特許第8135569号
【文献】欧州特許出願第18181421.1号
【非特許文献】
【0011】
【文献】(Computer Vision and Pattern Recognitionに提出された)2017年2月21日のアーカイブ、Litjensらによる記事、A Survey on Deep Learning in Medical Image Analysis
【文献】2015年のLiaoによる「Automatic Tooth Segmentation of Dental Mesh Based on Harmonic Fields」
【発明の概要】
【発明が解決しようとする課題】
【0012】
上記の問題は、3D歯冠情報に基づく自動3D歯根形状予測が可能な(十分に訓練された)深層学習システムの実現を非常にチャレンジングなものにする。したがって、3D歯冠形状の画像データに基づいて3D歯根形状の解剖学的に正確な予測を自動的に生成することができるコンピュータシステムが当該技術分野において必要である。
【課題を解決するための手段】
【0013】
当業者によって理解されるように、本発明の態様は、システム、方法、またはコンピュータプログラム製品として具体化されてもよい。したがって、本発明の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、または、本明細書ではすべて概して「回路」、「モジュール」、もしくは「システム」と呼ばれる場合があるソフトウェアの態様とハードウェアの態様とを組み合わせた実施形態の形態をとってもよい。本開示において説明する機能は、コンピュータのマイクロプロセッサによって実行されるアルゴリズムとして実装されてもよい。さらに、本発明の態様は、具体化されたコンピュータ可読プログラムコードを有する、例えば、それらが記憶された1つまたは複数のコンピュータ可読媒体において具体化されたコンピュータプログラム製品の形態をとってもよい。
【0014】
1つまたは複数のコンピュータ可読媒体の任意の組合せが利用されてもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えば、限定はしないが、電子、磁気、光学、電磁気、赤外線、もしくは半導体のシステム、装置、もしくはデバイス、または前記のものの任意の適切な組合せであってもよい。コンピュータ可読記憶媒体のより具体的な例(非網羅的なリスト)は、以下の、1つもしくは複数のワイヤを有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能プログラム可能読み出し専用メモリ(EPROMもしくはフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ(CD-ROM)、光学記憶デバイス、磁気記憶デバイス、または前記のものの任意の適切な組合せを含む。本文書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによってまたはそれらに関連して使用するためのプログラムを含むまたは記憶することができる任意の有形の媒体であってもよい。
【0015】
コンピュータ可読記憶媒体は、例えば、ベースバンドにおいて、または搬送波の一部としてそれらの中に具体化されたコンピュータ可読プログラムコードを有する伝播データ信号を含んでもよい。そのような伝播信号は、限定はしないが、電磁気、光学、またはそれらの任意の適切な組合せを含む様々な形態のいずれかをとってもよい。コンピュータ可読記憶媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、またはデバイスによってまたはそれらに関連して使用するためのプログラムを通信、伝播、または転送することができる任意のコンピュータ可読媒体であってもよい。
【0016】
コンピュータ可読媒体上に具体化されたプログラムコードは、限定はしないが、ワイヤレス、有線、光ファイバ、ケーブル、RFなど、または前記のものの任意の適切な組合せを含む任意の適切な媒体を使用して送信されてもよい。本発明の態様のための動作を実行するためのコンピュータプログラムコードは、Java(商標)、Scala、C++、Pythonなどのオブジェクト指向プログラミング言語、および、「C」プログラミング言語または同様のプログラミング言語などの従来の手続き型言語を含む、1つまたは複数のプログラミング言語の任意の組合せにおいて書かれてもよい。プログラムコードは、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、ユーザのコンピュータ上で部分的におよびリモートコンピュータ上で部分的に、または、完全にリモートコンピュータ、サーバ、もしくは仮想化サーバ上で実行されてもよい。後者のシナリオにおいて、リモートコンピュータは、ローカルエリアネットワーク(LAN)もしくはワイドエリアネットワーク(WAN)を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、または、(例えば、インターネットサービスプロバイダを使用してインターネットを介して)外部コンピュータとの接続がなされてもよい。
【0017】
本発明の態様について、本発明の実施形態による方法、装置(システム)、およびコンピュータプログラム製品のフローチャート図および/またはブロック図を参照して以下で説明する。フローチャート図および/またはブロック図の各ブロック、ならびに、フローチャート図および/またはブロック図におけるブロックの組合せは、コンピュータプログラム命令によって実装できることが理解されるであろう。これらのコンピュータプログラム命令は、コンピュータのプロセッサ、他のプログラム可能なデータ処理装置、または他のデバイスを介して実行される命令がフローチャートブロック図のブロックにおいて指定された機能/動作を実施するための手段を作成するようにマシンを生成するために、プロセッサ、具体的には、汎用コンピュータのマイクロプロセッサもしくは中央処理装置(CPU)、もしくはグラフィックス処理装置(GPU)、専用コンピュータ、または、他のプログラム可能なデータ処理装置に提供されてもよい。
【0018】
これらのコンピュータプログラム命令は、コンピュータ可読媒体内に記憶された命令がフローチャートおよび/またはブロック図のブロックにおいて指定された機能/動作を実施する命令を含む製品を生成するように特定の方法で機能するように、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスに指示することができるコンピュータ可読媒体内に記憶されてもよい。
【0019】
コンピュータプログラム命令は、コンピュータまたは他のプログラム可能な装置上で実行される命令がフローチャートおよび/またはブロック図のブロックにおいて指定された機能/動作を実施するためのプロセスを提供するように、コンピュータ、他のプログラム可能な装置、または他のデバイス上で実行されるべき一連の動作ステップにコンピュータ実装プロセスを生成させるために、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスにロードされてもよい。
【0020】
図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能性、および動作を示す。これに関して、フローチャートまたはブロック図内の各ブロックは、指定された論理機能を実施するための1つまたは複数の実行可能な命令を備えるモジュール、セグメント、またはコードの一部を表してもよい。いくつかの代替実装形態において、ブロック内に記載されている機能は、図中に記載されている順序とは異なる順序で発生してもよいことにも注意すべきである。例えば、連続して示されている2つのブロックは、実際には、関与する機能性に応じて、実質的に同時に実行されてもよく、または、ときには逆の順序で実行されてもよい。ブロック図および/またはフローチャート図の各ブロック、ならびに、フローチャート図および/またはブロック図におけるブロックの組合せは、指定された機能もしくは動作を実行する専用ハードウェアベースのシステム、または、専用ハードウェアおよびコンピュータ命令の組合せによって実装できることにも留意されたい。
【0021】
第1の態様において、本発明は、自動3D歯根形状予測のためのコンピュータ実装方法に関する。一実施形態において、方法は、プリプロセッサが、歯の少なくとも1つの3D表現を定義する3Dデータを受信し、3Dデータを処理するステップであって、処理するステップが3Dデータの少なくとも一部を歯冠のボクセル表現に変換するステップを含み、ボクセル表現がコンピュータ上で実行される第1の3D深層ニューラルネットワークの入力空間にフィッティングするボクセル空間を定義する、ステップと、プリプロセッサが、歯冠のボクセル表現を3D深層ニューラルネットワークの入力に提供するステップであって、3D深層ニューラルネットワークが実際の歯の3D表現を定義する臨床3Dデータに基づいて訓練される、ステップと、第1の3D深層ニューラルネットワークが、歯冠のボクセル表現に基づいて、予測された歯根または予測された歯根を含む完全な歯のボクセル表現を生成するステップと、を備えてもよく、予測された歯根または完全な歯のボクセル表現の生成は、3D深層学習ネットワークの出力のボクセル空間内のボクセルに関するボクセル活性化を決定するステップであって、各ボクセル活性化が、ボクセルが歯根または完全な歯の一部である確率を定義する確率尺度を表す、ステップと、ボクセル活性化をボクセル活性化閾値と比較することによって、ボクセル活性化が歯根または完全な歯のどちらの一部であるかを決定するステップと、を備える。
【0022】
別の実施形態において、方法は、プリプロセッサ(104)が、ボクセル空間において定義された3Dデータ(102)を受信するステップであって、ボクセル空間が3Dボリュームを定義し、ボクセル空間が歯冠のボクセル表現を備える、ステップと、第1の3D深層ニューラルネットワーク(106、210)を訓練するために使用されるボクセル表現に対応するスケール、位置、および向きにあるようにボクセル表現を処理するステップと、プリプロセッサ(104)が、歯冠のボクセル表現を第1の3D深層ニューラルネットワーク(106)の入力に提供するステップであって、第1の3D深層ニューラルネットワークが実際の歯の3D表現を定義する前処理された臨床3Dデータ(202)の訓練セットに基づいて訓練され、訓練された深層ニューラルネットワーク(106、210)が、歯冠に対応する歯根の解剖学的に正確なボクセル表現(212)、または完全な歯のボクセル表現(214)を予測するように構成される、ステップと、第1の3D深層ニューラルネットワーク(106、210)が、歯冠のボクセル表現に基づいて、予測された歯根(212)または予測された歯根を備える完全な歯(214)のボクセル表現を生成ステップと、を備えてもよく、予測された歯根または完全な歯のボクセル表現の生成は、第1の3D深層学習ネットワークの出力のボクセル空間内のボクセルに関するボクセル活性化を決定するステップであって、各ボクセル活性化が、ボクセルが歯根または完全な歯の少なくとも一部である可能性を定義する確率測度を表す、ステップと、ボクセル活性化をボクセル活性化閾値と比較することによって、ボクセル活性化が歯根または完全な歯の一部であるかどうかを決定するステップと、を含む。一実施形態において、閾値は、0.5よりも高い確率を表してもよい。
【0023】
したがって、3D深層ニューラルネットワークは、歯根表現の解剖学的に正確な予測を(少なくとも)生成するために、受信した歯冠のボクセル表現から利用可能な解剖学的特徴を自動的に学習するように訓練され、結果として生じる歯根モデルは、完全な歯モデルを形成するために歯冠モデルに密接にフィッティングする。そのような特徴が任意の潜在的な訓練サンプル(歯冠のボクセル表現であるサンプル)から学習され得、3D深層ニューラルネットワークが、どの特徴が関連するかを決定するという事実により、方法は、前記ボクセル表現における任意の関連情報をより正確に利用する能力を有する。言い換えれば、従来技術が入力パラメータの特定のセットに制限される可能性がある場合、提案された方法は、より多くの入力情報を利用する可能性を有し、訓練中にどの特徴が関連するかを決定する。
【0024】
加えて、3D深層ニューラルネットワークは、歯冠セクションに基づいて歯根セクションを表す3D画像データの一般化を学習する。しかしながら、この一般化は、(予測された歯根または完全な歯のいずれかについて生成され得る潜在的に異なる形状を考慮して)従来技術において行われるようなテンプレート歯根を利用するよりも柔軟である。方法は、歯クラス(犬歯、臼歯など)および/または患者クラス(年齢、性別など)を示す個別の入力を必要としないことに留意することにも価値がある。事実上、3D深層ニューラルネットワークは、受信したボクセル表現から直接、そのような分類の結果である関連する特徴を認識する可能性を有する。しかしながら、これは、そのようなクラス全体で変化する利用可能な訓練サンプルの量と、3D深層ニューラルネットワークにおける特徴表現内で利用可能なメモリ帯域幅とに(少なくとも)依存する。
【0025】
一実施形態において、方法は、ポストプロセッサが、第1の3D深層ニューラルネットワークによって生成された予測された歯根のボクセル表現を受信し、予測された歯根および3D歯冠のボクセル表現を処理するステップを含んでもよく、処理するステップは、3D歯根および3D歯冠モデルのボクセルを完全な3D歯のボクセル表現にマージするステップを含んでもよい。さらに別の実施形態において、ポストプロセッサは、完全な3D歯のボクセル表現を完全な歯の3Dメッシュに変換してもよい。
【0026】
したがって、本発明は、コンピュータ上で実行される訓練された深層ニューラルネットワークによって、3D歯根形状の少なくとも解剖学的に正確な予測の自動生成を可能にする。深層ニューラルネットワークは、3D歯冠データセット、例えば、口腔内光学スキャナによって生成された3D表面メッシュ、または、X線スキャナ、例えば、CBCTスキャナによって生成された3Dデータに基づいて3D歯根形状を生成してもよい。ニューラルネットワークは、歯全体の3Dモデルの臨床データに基づいて訓練されるので、ネットワークは、3D歯根モデルの解剖学的に正確な予測を生成し、3D歯根モデルは、ニューラルネットワークの入力に供給された3D歯冠データに正確にフィッティングする。このようにして、コンピュータは、生成された3D歯根表現と3D歯冠モデルとに基づいて、歯全体の正確な3Dモデルを構築してもよい。正確な3D歯モデルは、限定はしないが、歯周病学診断および治療、歯列矯正治療計画、抜歯術、ならびに歯内療法を含む、多数の歯科用途においてかなり価値がある。
【0027】
さらなる実施形態において、2つの前述のボクセル空間(歯冠のボクセル表現のための1つおよび歯根のボクセル表現のための1つ)は、効果的に個々の歯全体を潜在的に含む可能性がある3D空間である1つの空間とみなされる。受信した3D歯冠の一部であるボクセルは、完全な歯空間において適切に表現される。3D歯冠のボクセル表現を含むこの完全な歯空間は、3D深層ニューラルネットワークの入力に提供される。訓練された3D深層ニューラルネットワークは、次いで、入力空間の同じ次元を有する3D空間において完全な歯のボクセル表現を生成してもよい。
【0028】
一実施形態において、方法は、ポストプロセッサが、第1の3D深層ニューラルネットワークによって生成された予測された歯根のボクセル表現を受信し、予測された歯根および3D歯冠のボクセル表現を処理するステップをさらに備えてもよく、処理するステップは、3D歯根および3D歯冠モデルのボクセルを完全な3D歯のボクセル表現にマージするステップと、任意選択で、完全な3D歯のボクセル表現を完全な歯の3Dメッシュに変換するステップと、を含む。
【0029】
一実施形態において、3Dデータは、歯列の少なくとも一部の3D表現を定義してもよく、プリプロセッサによって処理するステップは、3Dデータを少なくとも1つの3Dデータセットにセグメント化するステップであって、3Dデータセットが歯列の歯の3D歯冠を表す、ステップと、3Dデータセットを歯冠のボクセル表現に変換するステップであって、ボクセル表現が第1の3D深層ニューラルネットワークの入力のボクセル空間と一致する、ステップと、をさらに含む。
【0030】
一実施形態において、プリプロセッサによって受信される3Dデータは、光学スキャナ、好ましくは口腔内光学スキャナによって生成された3Dデータであってもよく、3Dデータは、複数の歯冠を備える歯列の少なくとも一部を表す3D表面メッシュを定義する。
【0031】
一実施形態において、プリプロセッサによって処理するステップは、3Dメッシュを複数のセグメント化された3Dメッシュにセグメント化するステップであって、各セグメント化された3Dメッシュが歯列の3D歯冠を表す、ステップと、各セグメント化された3D表面メッシュを歯冠のボクセル表現に変換するステップであって、ボクセル表現が第1の深層ニューラルネットワークの入力のボクセル空間と一致する、ステップと、をさらに含んでもよい。
【0032】
一実施形態において、プリプロセッサによって受信される3Dデータは、X線スキャナ、好ましくはCBCTスキャナによって生成されてもよく、3Dデータは、歯顎顔面構造の少なくとも一部のボクセル表現を定義し、ボクセルは、放射強度値または密度値に関連付けられており、歯顎顔面構造は、歯列の少なくとも一部の複数の歯を含む。
【0033】
一実施形態において、プリプロセッサによって処理するステップは、歯顎顔面構造を表すボクセルの少なくとも一部を、顎ボクセル、歯ボクセル、および/または神経ボクセルのうちの少なくとも1つに分類するステップと、分類された歯ボクセルを1つまたは複数の3Dデータセットにセグメント化するステップであって、1つまたは複数の3Dデータセットの各々が歯顎顔面構造の歯列内の歯のボクセル表現を定義する、ステップと、をさらに含んでもよい。
【0034】
一実施形態において、歯顎顔面構造を表すボクセルは、第2の3D深層ニューラルネットワークを使用して分類される。
【0035】
一実施形態において、プリプロセッサによって処理するステップは、第2の3D深層ニューラルネットワークを使用して、歯顎顔面構造を表すボクセルの少なくとも一部を、顎ボクセル、歯ボクセル、および/または神経ボクセルのうちの少なくとも1つに分類するステップであって、第2の3D深層ニューラルネットワークが、歯顎顔面構造の3D画像データと、任意選択で、訓練セットの3D画像データから導出された1つまたは複数の3D位置特徴と、訓練セットの3D画像データの歯顎顔面構造の一部の1つまたは複数の3Dモデルとに基づいて訓練されており、1つまたは複数の3Dモデルが第1の深層ニューラルネットワークの訓練中にターゲットとして使用されている、ステップと、分類されたボクセルを1つまたは複数の3Dデータセットにセグメント化するステップであって、1つまたは複数の3Dデータセットの各々が歯顎顔面構造の歯列内の歯のボクセル表現を定義する、ステップと、をさらに含んでもよい。
【0036】
一実施形態において、プリプロセッサによって処理するステップは、歯顎顔面構造のさらなるボクセル表現を第3の深層ニューラルネットワークの入力に提供するステップであって、第3の深層ニューラルネットワークが、入力におけるボクセル表現の各ボクセルについて、少なくとも1つの3D位置特徴を決定するように訓練されており、3D位置特徴が、ボクセルが顎、歯、および/または神経組織を表す可能性を示す尺度を含む、ステップをさらに含んでもよく、歯顎顔面構造のさらなるボクセル表現は、歯顎顔面構造のボクセル表現の低解像度バージョンである。
【0037】
一実施形態において、さらなるボクセル表現の解像度は、第1のボクセル表現の解像度より少なくとも3分の1であってもよい。
【0038】
一実施形態において、第3の3D深層ニューラルネットワークは、歯顎顔面構造の3D画像データと、第2の深層ニューラルネットワークを訓練するための訓練セットの3D画像データの歯顎顔面構造の部分の1つまたは複数の3Dモデルとに基づいて訓練されてもよい。
【0039】
一実施形態において、プリプロセッサによって処理するステップは、1つまたは複数の3D位置特徴と歯顎顔面構造のボクセル表現とを第2の3D深層ニューラルネットワークに提供し、第2の3D深層ニューラルネットワークが、ボクセル空間内のボクセルの少なくとも一部を、顎ボクセル、歯ボクセル、および/または神経ボクセルのうちの少なくとも1つに分類するために、1つまたは複数の位置特徴を使用するステップをさらに含んでもよい。
【0040】
一実施形態において、第2の深層ニューラルネットワークは、複数の第1の3D畳み込み層を備えてもよく、複数の第1の3D畳み込み層の出力は、少なくとも1つの完全に接続された層に接続され、複数の第1の3D畳み込み層は、第1のボクセル表現からのボクセルの第1のブロックを処理するように構成され、少なくとも1つの完全に接続された層は、ボクセルの第1のブロックのボクセルを、顎、歯、および/または神経組織のうちの少なくとも1つに分類するように構成される。
【0041】
一実施形態において、第2の深層ニューラルネットワークは、複数の第2の3D畳み込み層をさらに含んでもよく、複数の第2の3D畳み込み層の出力は、少なくとも1つの完全に接続された層に接続され、複数の第2の3D畳み込み層は、第1のボクセル表現からのボクセルの第2のブロックを処理するように構成され、ボクセルの第1および第2のブロックは、画像ボリューム内の同じまたは実質的に同じ中心点を有し、ボクセルの第2のブロックは、ボクセルの第1のブロックの実世界の寸法でのボリュームよりも大きい実世界の寸法でのボリュームを表し、複数の第2の3D畳み込み層は、複数の第1の3D畳み込み層の入力に提供されるボクセルの第1のブロックのボクセルに関連するコンテキスト情報を決定するように構成される。
【0042】
一実施形態において、プリプロセッサによって処理するステップは、歯顎顔面構造を表すボクセルに基づいて1つまたは複数の3D位置特徴を決定するステップであって、3D位置特徴が歯顎顔面構造の少なくとも一部のボクセルのボクセル空間内のボクセルの位置情報を定義する、ステップと、1つまたは複数の3D位置特徴を第2の3D深層ニューラルネットワークに提供し、第2の3D深層ニューラルネットワークが、ボクセル空間内のボクセルの少なくとも一部を、顎ボクセル、歯ボクセル、および/または神経ボクセルのうちの少なくとも1つに分類するために、1つまたは複数の位置特徴を使用するステップと、をさらに含んでもよい。
【0043】
一実施形態において、位置情報は、ボクセル空間内のボクセルとボクセル空間内の第1の歯基準面との間の距離、好ましくは垂直距離、ボクセル空間内のボクセルとボクセル空間内の第1の歯基準オブジェクトとの間の距離、および/または、ボクセル空間の第2の歯基準面内の累積強度値の位置を定義してもよく、第2の歯基準面内の点における累積強度値は、第2の歯基準面内の点を通る法線上またはその近傍内のボクセルの累積強度値を含む。
【0044】
一実施形態において、第2の深層ニューラルネットワークは、少なくとも複数の第1の3D畳み込み層、好ましくは3D CNN特徴層の第1のセットを含む第1のデータ処理経路と、1つまたは複数の3D位置特徴を受信するための、第1の経路と平行な、複数の第2の3D畳み込み層、好ましくは3D CNN特徴層の第2のセットを含む第2のデータ処理経路とを備えてもよく、複数の第2の3D畳み込み層は、複数の第1の3D畳み込み層の入力に供給されるボクセルのブロックに関連する位置情報から関連情報を符号化するように構成される。
【0045】
一実施形態において、第1の3D深層ニューラルネットワークは、1つまたは複数の密に接続された層を介して複数の3D逆畳み込み層に接続された複数の3D畳み込み層を含んでもよく、第1の深層ニューラルネットワークは、歯冠および関連する歯根のボクセル表現に基づいて、または、歯冠および関連する歯のボクセル表現に基づいて訓練され、好ましくはボクセル表現の少なくとも一部は、1つもしくは複数の歯顎顔面構造を表す、セグメント化された3D X線データ、好ましくは3D CBCTデータから導出される。
【0046】
さらなる態様において、本発明は、3D歯根形状の予測を生成するために3D深層学習ニューラルネットワークを訓練するためのコンピュータ実装方法に関してもよく、方法は、コンピュータが、訓練データを受信するステップであって、訓練データが、歯冠および関連する歯根のボクセル表現を備えるか、または歯冠および関連する歯のボクセル表現に基づく臨床3Dデータを含み、ボクセル表現の少なくとも一部が、セグメント化された3D X線データ、好ましくは3DコーンビームCT(CBCT)データから導出される、ステップと、歯冠のボクセル表現を3D深層ニューラルネットワークの入力に提供し、3D深層ニューラルネットワークが予測された歯根のボクセル表現を生成するステップと、予測された歯根のボクセル表現と、3D深層ニューラルネットワークの入力に提供された歯冠のボクセル表現に関連付けられた歯根のボクセル表現との間の偏差を表す損失関数を最小化することによって、3D深層ニューラルネットワークの1つまたは複数のネットワークパラメータの値を最適化するステップと、を備える。
【0047】
一実施形態において、方法は、最適化された値をコンピュータ可読記憶媒体内に記憶するステップを含んでもよく、最適化された値は、歯冠のボクセル表現が提供されると、歯冠に対応する歯根の解剖学的に正確なボクセル表現、または完全な歯のボクセル表現を予測するように構成された、訓練されたニューラルネットワークの1つまたは複数のネットワークパラメータを定義する。
【0048】
一実施形態において、3D深層ニューラルネットワークは、1つまたは複数の密に接続された層を介して複数の3D逆畳み込み層に接続された複数の3D畳み込み層を含んでもよい。
【0049】
さらなる態様において、本発明は、3D歯根形状を自動的に予測するように適合されたコンピュータシステム、好ましくはサーバシステムに関してもよく、コンピュータシステムは、それとともに具体化されたコンピュータ可読プログラムコードを有するコンピュータ可読記憶媒体であって、プログラムコードが前処理アルゴリズムと、少なくとも訓練された第1の3D深層ニューラルネットワークと、コンピュータ可読プログラムコードとを含む、コンピュータ可読記憶媒体と、コンピュータ可読記憶媒体に結合されたプロセッサ、好ましくはマイクロプロセッサとを備え、第1のコンピュータ可読プログラムコードを実行することに応答して、プロセッサは、実行可能な動作を実行するように構成され、実行可能な動作は、プリプロセッサが、歯の少なくとも1つの3D表現を定義する3Dデータを受信し、3Dデータを処理することであって、処理することが3Dデータの少なくとも一部を歯冠のボクセル表現に変換することを含み、ボクセル表現がコンピュータ上で実行される3D深層ニューラルネットワークの入力空間にフィッティングするボクセル空間を定義する、ことと、プリプロセッサが、歯冠のボクセル表現を3D深層ニューラルネットワークの入力に提供することであって、3D深層ニューラルネットワークが実際の歯の3D表現を定義する臨床3Dデータに基づいて訓練されている、ことと、3D深層ニューラルネットワークが、歯冠のボクセル表現に基づいて、予測された歯根または予測された歯根を備える完全な歯のボクセル表現を生成することと、を備え、予測された歯根または予測された歯根を備える完全な歯のボクセル表現の生成が、3D深層学習ネットワークの出力のボクセル空間内のボクセルに関するボクセル活性化を決定することであって、各ボクセル活性化が、ボクセルが歯根または完全な歯の一部である確率を定義する確率尺度を表す、ことと、ボクセル活性化をボクセル活性化閾値と比較することによって、ボクセル活性化が歯根または完全な歯の一部であるかどうかを決定することと、を含む。
【0050】
さらなる態様において、本発明は、3D歯根形状を自動的に予測するように適合されたコンピュータシステム、好ましくはサーバシステムに関してもよく、コンピュータシステムは、それとともに具体化されたコンピュータ可読プログラムコードを有するコンピュータ可読記憶媒体であって、プログラムコードが前処理アルゴリズムと少なくとも訓練された3D深層ニューラルネットワークとを含む、コンピュータ可読記憶媒体と、コンピュータ可読記憶媒体に結合されたプロセッサ、好ましくはマイクロプロセッサと、を備え、コンピュータ可読プログラムコードを実行することに応答して、プロセッサは、上記で説明した方法ステップのいずれかにおいて定義されるように実行可能な動作を実行するように構成される。
【0051】
本発明はまた、コンピュータのメモリ内で実行されると、上記で説明した方法のいずれかを実行するように構成されたソフトウェアコード部分を備えるコンピュータプログラム製品に関係してもよい。
【0052】
このテキスト全体で、「3D画像データ」または「3Dデータ」が参照されている場合、これは、3D画像データの任意のフォーマット、例えば、3D表面メッシュ、3Dポイントクラウド、特定の3D座標上のボリューム、表面、または密度値などを表す3D(ボクセル)空間内のデータなどを意味することを意図している。「3Dモデル」が参照されている場合、これは、特に明記されていない限り、3D表面メッシュを指すことを意図している。さらに、完全な歯は、「歯冠」および「歯根」の部分の組合せから構成されるとみなされ、「歯根」は、「歯冠」ではない完全な歯によって占められる3Dボリュームの任意の部分として定義される。
【0053】
本発明について、本発明による実施形態を概略的に示す添付図面を参照してさらに例示する。本発明は、これらの特定の実施形態に何ら限定されないことが理解されよう。
【0054】
本発明について、本発明による実施形態を概略的に示す添付図面を参照してさらに例示する。本発明は、これらの特定の実施形態に何ら限定されないことが理解されよう。
【図面の簡単な説明】
【0055】
【図1】本発明の一実施形態による、自動3D歯根形状予測のために構成されたコンピュータシステムの高レベルの概略図である。
【図2】本発明の一実施形態による、個々の3D歯根形状を予測するための深層ニューラルネットワークを訓練するためのフロー図である。
【図3】本発明の一実施形態による、3D歯冠画像データからの自動歯根形状予測のための方法およびシステムにおいて使用するための3D深層ニューラルネットワークアーキテクチャの例を示す図である。
【図4A】本発明の様々な実施形態による、3Dデータの前処理を示す概略図である。
【図4B】本発明の様々な実施形態による、3Dデータの後処理を示す概略図である。
【図5A】予測されたボクセル表現と比較した3D臨床ボクセル表現の図である。
【図5B】予測されたボクセル表現と比較した3D臨床ボクセル表現の図である。
【図6A】システムの例示的な実施形態から決定されるDice係数の表である。
【図6B】システムの例示的な実施形態から決定されるDice係数の表である。
【図7】予測結果と組み合わされた臨床歯の3Dモデルを示す視覚化を示す図である。
【図8】本発明の実施形態による、3D歯顎顔面構造の分類およびセグメント化のためのコンピュータシステムを概略的に示す図である。
【図9A】それぞれ、3D CT画像データおよび3D光学スキャンデータの例を示す図である。
【図9B】それぞれ、3D CT画像データおよび3D光学スキャンデータの例を示す図である。
【図10A】歯顎顔面3D画像データを分類するための深層ニューラルネットワークアーキテクチャの例を示す図である。
【図10B】歯顎顔面3D画像データを分類するための深層ニューラルネットワークアーキテクチャの例を示す図である。
【図11A】本発明の実施形態による、歯顎顔面特徴を決定するためのフロー図を示す図である。
【図11B】本発明の実施形態による、歯顎顔面特徴を決定するためのニューラルネットワークを示す図である。
【図12】3D画像スタックからの合計ボクセル値と、歯顎顔面弓を表すボクセルにフィッティングされた曲線とを含む視覚化を提供する図である。
【図13A】本発明の様々な実施形態による歯顎顔面特徴の例を示す図である。
【図13B】本発明の様々な実施形態による歯顎顔面特徴の例を示す図である。
【図13C】本発明の様々な実施形態による歯顎顔面特徴の例を示す図である。
【図13D】本発明の様々な実施形態による歯顎顔面特徴の例を示す図である。
【図13E】本発明の様々な実施形態による歯顎顔面特徴の例を示す図である。
【図14A】本発明の一実施形態による、訓練された深層ニューラルネットワークの出力の例を示す図である。
【図14B】本発明の一実施形態による、訓練された深層ニューラルネットワークの出力の例を示す図である。
【図14C】本発明の一実施形態による、訓練された深層ニューラルネットワークの出力の例を示す図である。
【図14D】本発明の一実施形態による、訓練された深層ニューラルネットワークの出力の例を示す図である。
【図15】本発明の一実施形態による、3D歯顎顔面構造の分類されたボクセルを後処理することのフロー図である。
【図16】本発明の一実施形態による、3D歯顎顔面構造の分類されたボクセルを後処理するための深層ニューラルネットワークアーキテクチャを示す図である。
【図17A】本発明の一実施形態による、分類されたボクセルの表面再構成処理を示す図である。
【図17B】本発明の一実施形態による、分類されたボクセルの表面再構成処理を示す図である。
【図18】本発明の様々な実施形態による、3Dデータを処理するための分散型コンピュータシステムの概略図である。
【図19】本開示において説明する方法およびソフトウェア製品を実行するために使用され得る例示的なデータコンピューティングシステムを示すブロック図である。
【図20】本発明の一実施形態による、エンドユーザに向けた3D歯モデルの視覚化の表現を示す図である。
【発明を実施するための形態】
【0056】
本開示において、歯冠の3D表現を定義する3Dデータ(要するに、3D歯冠データ)に基づいて歯根の解剖学的に正確な3D表現を予測するための3D深層ニューラルネットワークを使用するコンピュータシステムおよびコンピュータ実装方法の実施形態について説明する。3D歯冠データは、異なるデータ源から導出されてもよい。例えば、3D歯冠データは、3D光学スキャナ、例えば、口腔内光学スキャナによって生成された歯列の歯の歯冠を表す3D表面メッシュから導出されてもよい。代替的には、3D歯冠データは、例えば、CBCTスキャナなどの3D X線スキャナによって生成された歯顎顔面構造(歯の歯冠を含む)から導出されてもよい。3D深層ニューラルネットワークは、臨床3Dデータ、例えば、実際の歯の表現を定義する3Dデータに基づいて訓練されてもよい。本発明によるコンピュータシステムは、歯冠のボクセル表現に基づいて歯根のボクセル表現の解剖学的に正確な予測のボクセル表現を生成するように訓練された少なくとも1つの3D深層ニューラルネットワークを備えてもよい。コンピュータシステムは、臨床3Dデータ、すなわち、実際の歯の表現に基づく訓練データに基づいて3D深層ニューラルネットワークを反復的に訓練する訓練プロセスを実行するように構成されてもよい。訓練データは、セグメント化された歯顎顔面構造、特に、個々にセグメント化された歯のボクセル表現の3D CBCTデータに基づいてもよい。歯のボクセル表現は、3D歯冠のボクセル表現と3D歯根のボクセル表現の2つの3Dデータセットに分割されてもよい。
【0057】
そのように生成された訓練セットを使用することは、歯根の解剖学的に正確なボクセル表現または完全な歯のボクセル表現を正確に予測することができる訓練された深層ニューラルネットワークをもたらすことになる。したがって、深層学習ネットワークは、所定のボクセル空間、すなわち、各ボクセルがボリューム内の3D位置に関連付けられているボクセルを定義するボリューム内のボクセルを処理するように訓練される。コンピュータシステムは、様々な構造およびフォーマットの3Dデータ、例えば、口腔内光学スキャナのCBCTスキャナによって生成された3Dデータを受信することができる。コンピュータシステムは、3D深層ニューラルネットワークの入力に提示される前に3Dデータを処理するプリプロセッサを備える。プリプロセッサは、3Dデータを個々の3D歯冠のボクセル表現に変換してもよく、ボクセル表現は、深層ニューラルネットワークの入力のボクセル空間と一致する。前処理は、ボクセル表現を均一な方法(セット内の均一性である訓練セット内の3Dデータ間と、セット間の均一性である異なる訓練セット内の両方)でスケーリング、配置、および/または方向付けすることをさらに含んでもよい。
【0058】
深層ニューラルネットワークが訓練されると、深層ニューラルネットワークは、歯冠のボクセル表現を受信し、対応する歯根形状のボクセル表現、または予測された歯根形状を含む完全な歯のボクセル表現のいずれかを予測してもよい。訓練された深層ニューラルネットワークに提示される前に、3D入力データは、3D歯冠が深層ニューラルネットワークの訓練中に使用されたものに対応するスケール、位置、および向きにおいて設定されるように、訓練データの前処理と同様の方法において前処理される。深層ニューラルネットワークが歯根の予想のボクセル表現を生成するように訓練されている場合、ポストプロセッサは、歯根および(深層ニューラルネットワークの入力に提供される)歯冠のボクセル表現を完全な歯のボクセル表現にマージしてもよい。用途に応じて、ポストプロセッサはまた、ボクセル表現を歯の3Dモデルまたはメッシュ表現に変換してもよい。ネットワークは、臨床3Dデータ、特に、臨床3D CBCTデータを使用して訓練されるので、予測される歯根形状は、訓練中に深層ニューラルネットワークによって導出された特徴に基づく。
【0059】
コンピュータシステム、深層ニューラルネットワーク、プリプロセッサおよびポストプロセッサ、ニューラルネットワークの訓練、ならびに、ネットワークおよびプリプロセッサおよびポストプロセッサによって実行される方法について、以下でより詳細に説明する。
【0060】
図1は、本発明の一実施形態による、コンピュータシステムの高レベルの概略図を示す。具体的には、図1は、例えば、歯冠、完全な歯、歯を備える歯顎顔面構造、または歯列を表す3D入力データに基づいて、完全な3D歯の表現を定義する3Dデータを自動的に生成するように構成されたコンピュータシステムを示す。コンピュータシステム100は、プリプロセッサと、訓練された深層ニューラルネットワークと、ポストプロセッサとを備えてもよい。プリプロセッサは、3D入力データ102を前処理してもよい。
【0061】
例えば、一実施形態において、プリプロセッサ104は、実世界の歯顎顔面構造を表す3Dデータから歯列の歯冠の個々の3D表現を導出してもよい。そのような3Dデータは、X線またはCBCTスキャナなどの公知の技法を使用して生成されてもよい。典型的には、そのような3Dデータは、ボクセルのボリューム(ボクセル空間)を含み、各ボクセル値は、放射強度値を表す。データは、完全な歯顎顔面構造を表すので、3Dデータは、歯顎顔面構造内の歯(および歯冠)の位置に関する空間情報も含む。そのような場合、プリプロセッサは、歯顎顔面構造の3Dデータを、完全な歯の個々の表現、典型的には、完全な歯のボクセル表現を含む個別にセグメント化された歯構造(例えば、骨、歯、および神経)にセグメント化するためのセグメント化プロセスを実行してもよい。歯顎顔面構造を表す3D CBCTデータの自動セグメント化は、CBCTデータの性質により、重要なプロセスである。例えば、CBCTスキャンにおいて、スキャン中の異なる領域が、スキャンされる臓器内のそれらの相対的位置に応じて異なるグレースケール値で現れるので、ハンスフィールド単位(HU)において測定される放射密度は、信頼できない。さらなる問題は、CBCTシステムが、再構築された密度値を表すグレーレベルをスケーリングするための標準化されたシステムを用いないことである。
【0062】
人間の介入および/または援助なしに自動セグメント化を可能にするために、プリプロセッサは、3Dデータを異なる3Dデータセットに自動的に分類するために、個別に訓練された深層ニューラルネットワークを使用してもよく、3Dデータセットは、歯のボクセル表現を定義する。セグメント化プロセス、そのようなセグメント化プロセスを実行するための深層ニューラルネットワーク、ならびに、そのような正確なセグメント化を達成するための3Dデータの前処理および後処理について、図8を参照してさらにより詳細に以下に説明する。
【0063】
CBCTデータからの歯の自動セグメント化のための上記で説明した深層ニューラルネットワークからの結果は、(以下でより詳細に説明する)訓練段階中、歯根形状予測106のための深層ニューラルネットワークの訓練のための臨床3D歯表現を生成するために利用されてもよい。セグメント化は、推論段階中に使用されてもよく、3D CBCTデータは、訓練されたニューラルネットワークの入力に提供され得る歯冠のボクセル表現を決定するためにセグメント化されてもよい。
【0064】
別の実施形態において、プリプロセッサ104は、口腔内光学スキャナによって生成された3Dデータから歯列の歯冠の個々の3Dモデルを導出してもよい。典型的には、そのような3Dデータセットは、事前定義された3D空間内の3Dポリゴンメッシュを定義してもよく、データは、3D空間内のスキャンされた歯冠および歯肉の一部の形状を定義する頂点、エッジ、および面の収集物を形成する。データは、3D歯列構造の一部を表すので、3Dデータは、歯列内の歯冠の位置に関する空間情報も含む。スキャンされた歯列の3Dメッシュを個々の3D歯冠モデルの3Dメッシュに自動的に分割するために、プリプロセッサは、歯列(またはそれ一部)の複数の歯冠を表す3D表面メッシュが複数の3D表面メッシュにセグメント化されるセグメント化プロセスを実行してもよく、各3D表面メッシュは、個々の3D歯冠モデルを表す。このセグメント化プロセスは、2015年のLiaoによる「Automatic Tooth Segmentation of Dental Mesh Based on Harmonic Fields」において説明されている公知の方法において実行されてもよい。
【0065】
セグメント化プロセスの後、歯冠の3D表現を定義する各3Dデータセットは、訓練された3D深層ニューラルネットワーク106の所望の入力フォーマットに一致するデータフォーマットに変換されてもよい。その目的のため、プリプロセッサは、訓練された3D深層ニューラルネットワークの3D入力空間にフィッティングするボクセル空間を使用して、歯冠の3D表現を定義する3Dデータセットを歯冠のボクセル表現に変換してもよい。さらに、プリプロセッサは、歯冠モデルの各々の向きが均一な方法でボクセル空間内でスケーリングされ、配置され、方向付けられるように3Dデータセットを処理してもよい。例えば、立っている患者におけるそのなろうとする向きから導出され得る歯(および歯冠)の「上下」方向(または座標系における軸)が、この方向が深層ニューラルネットワーク106への入力として提示される歯冠のすべてのボクセル表現全体で一貫していることを保証するために使用され得るように、この前処理は、歯冠のボクセル表現が所定の向きにおいてボクセル空間内で中心に配置されるように、ボクセルをスケーリング、回転、ミラーリング、および/または平行移動することを含んでもよい。プリプロセッサは、ボクセル表現の空間において、臨床歯の「歯冠から歯根へ」の方向が常に同じ方向で示されることを保証するために、前述の「上下」軸に垂直な平面に沿ってボクセル表現をミラーリングしてもよい。
【0066】
歯冠の前処理されたボクセル表現は、次いで、歯根の予測のボクセル表現を生成するために訓練された3D深層ニューラルネットワーク106の入力に提供される。3D深層ニューラルネットワークは、3D深層ニューラルネットワークは、3D深層ニューラルネットワークの入力に提供された歯冠のボクセル表現と組み合わされ得る歯根のボクセル表現を生成するように訓練されてもよい。別の実施形態において、3D深層ニューラルネットワークは、3D深層ニューラルネットワークの入力に提供された歯冠ボクセルと歯根のボクセル予測とを含むボクセル表現を生成するように訓練されてもよい。深層ニューラルネットワークは、個々の3D歯冠モデルごとに歯根形状を予測するので、ポストプロセッサ108は、予測された歯根形状を、入力のために使用された3D歯冠データと(例えば、元のソースからのセグメント化された歯冠形状、または深層ニューラルネットワークに提示されるボクセル表現内の歯冠形状と)マージするように適合されてもよい。ポストプロセッサ108は、完全な歯のマージされたボクセル表現を3Dモデル(表面メッシュ)に変換してもよく、平滑化および間引きなどのよく知られた表面メッシュ動作を利用してもよい。加えて、いくつかの実施形態において、完全な歯の作成された3Dモデルは、ソース3D入力に基づいて、互いに対するそれらの相対的な位置を維持しながら、元のソースに戻されてもよい。これは、入力データが、例えば、CBCTスキャンまたは口腔内スキャンである場合であり得るような、ソースが複数の3D歯冠表現を含む場合に行われてもよい。ポストプロセッサ108は、その場合、各々の提示された歯冠が予測された歯根を備える3Dデータセット110を作成してもよい。
【0067】
図2は、本発明の一実施形態による、個々の3D歯根形状を予測するための深層ニューラルネットワークを訓練するためのフロー図を示す。訓練された3D深層ニューラルネットワークを実現するために、大量の正確な臨床訓練データが必要とされる。3D歯冠モデルに基づいて個々の3D歯を正確に予測するように3D深層ニューラルネットワークを訓練するために、訓練データの様々なソースが使用されてもよい。
【0068】
訓練データ200は、臨床3Dデータ202、すなわち、様々なソースから導出され得る患者の実際の歯の3Dデータ、特に、CBCTスキャナなどのX線スキャナによって生成された3Dデータおよび/または3D光学スキャナによって生成された3Dデータに基づいてもよい。X線スキャナによって生成された3Dデータは、典型的には、歯列の少なくとも一部の複数の3D歯モデルを含む歯顎顔面構造の少なくとも一部のボクセル表現を含み、各ボクセルは、放射強度値または密度値に関連付けられる。同様に、光学スキャナの3Dデータは、典型的には、完全な歯を表す3Dメッシュを含む。
【0069】
深層ニューラルネットワークは、個々の歯モデルのボクセル表現に基づいて訓練され得るので、プリプロセッサによる臨床3Dデータの処理が必要とされる。一実施形態において、プリプロセッサ204による処理は、臨床3D CBCTデータに基づいて複数の3Dデータセットを決定することを含んでもよく、各3Dデータセットは、臨床3D CBCTデータにおける歯列の歯の3D表現を定義してもよい。このようにして、各3Dデータセットは、歯の臨床3D表現を定義する。3Dデータセットの決定は、正確な自動セグメント化プロセスを必要とする。しかしながら、図1を参照して説明したように、3D CBCTデータの正確な自動セグメント化は、取るに足りないプロセスではなく、個別に訓練された深層ニューラルネットワークを使用して実現され得る。セグメント化プロセス、そのようなセグメント化プロセスを実行するための深層ニューラルネットワーク、ならびに、そのような正確なセグメント化を達成するための3Dデータの前処理および後処理について、図8を参照してさらにより詳細に以下に説明する。
【0070】
したがって、プリプロセッサは、深層ニューラルネットワークのための訓練データを生成するために、歯顎顔面構造を表す臨床3Dデータ、典型的には、CBCTデータを処理してもよい。前処理は、臨床3Dデータセットを抽出することを含んでもよく、各臨床3Dデータセットは、歯のボクセル表現206を定義する。さらに、前処理は、各3Dデータセットに基づいて、歯冠のボクセル表現208と歯根の関連するボクセル表現207とを生成することを含んでもよい。さらに、前処理は、深層ニューラルネットワークを訓練するために使用される様々なボクセル表現によって表されるサンプル、例えば、歯冠、歯根、および完全な歯の向き、位置、ならびに/または寸法を正規化することを含んでもよい。サンプルの再方向付け、再配置、およびスケーリングは、訓練のための正規化されたサンプルを結果として生じる。正規化は、深層ニューラルネットワークが歯根予測のために必要な関連特徴を正確に訓練することを可能にする。
【0071】
一実施形態において、3D深層学習ネットワーク210は、入力として歯冠のボクセル表現を使用し、ターゲットラベルとして歯根のボクセル表現を使用して訓練されてもよい。別の実施形態において、3D深層学習ネットワークは、入力として歯冠のボクセル表現を使用し、ターゲットラベルとして完全な歯(歯根を含む)のボクセル表現を使用して訓練されてもよい。
【0072】
訓練段階中、予測された歯根のボクセル表現212または予測された歯のボクセル表現214を表す深層ニューラルネットワークの中間出力は、ターゲットラベルに関して反復的に評価されてもよい。このようにして、訓練後、推論段階中、訓練された3D深層学習ネットワークは、任意に選択された3D歯冠のボクセル表現が3D深層ニューラルネットワークの入力に提供されると、3D歯根形状または完全な3D歯のいずれかを正確に予測することができる。
【0073】
上記で説明したように、歯根のボクセル207および歯冠のボクセル208は、完全な歯を表すボクセルのボリューム206(歯ボクセルのボリューム)から抽出されてもよい。歯ボクセルのボリュームを歯冠ボクセルのボリュームおよび歯根ボクセルのボリュームに分割するために、様々な方法が使用されてもよい。例えば、歯ボクセルのボリュームは、横断面、すなわち、患者の「実世界の」「上下」軸、すなわち、矢状面および冠状面(ときには前額面と呼ばれる)の交線として定義され得る縦軸に垂直な平面に基づいて分割されてもよい。平面の高さ、すなわち、平面が縦軸と交差する位置は、歯冠ボクセルと歯根ボクセルとを含むボリュームのサイズを定義する。歯冠ボクセルと歯根ボクセルとを分割するこの方法は、深層ニューラルネットワークへの入力として歯冠のボクセル表現を含む個別の空間と、深層ニューラルネットワーク210の出力として歯根のボクセル表現を含む個別の空間とを厳密に用いる場合に最も有益であり得る。
【0074】
別の実施形態において、深層ニューラルネットワークの入力空間と出力空間の両方が、完全な歯を表すボクセルを備えることができるボクセル空間を表す。その場合、分割は、必ずしも平面に基づかなくてもよい。口腔内スキャンから導出されたボクセル表現から予期されるように、より任意の(曲がった)分割は、入力により密接に対応する。そのようなスキャンにおいて、セグメント化が行われる境界である歯肉線は、直線であるとは予期されない。
【0075】
歯冠が上を指している場合、縦軸に垂直な平面がセグメント化された歯冠の円周全体と交差する場合のこの軸に沿った「最も高い」位置が使用されてもよい。この平面は、ボクセルを分割し、「直線」分割をもたらすために使用されてもよい。しかしながら、歯冠ボクセルを選択するそのような方法は、セグメント化された歯のかなりの量の表面データと、したがって、歯根形状の正確な予測のために深層ニューラルネットワークによって潜在的に使用される可能性がある情報とを放出する場合がある。前処理のさらなる詳細について、図4を参照して以下により詳細に説明する。
【0076】
縦軸に沿った法平面の位置は、例えば、歯の全高、この高さの絶対距離および/もしくは関連因子(relative factor)(例えば、全高4分の1プラスもしくはマイナス16分の1、またはミリメートルにおける所定の高さなど)、患者の歯肉によって遮られない歯の予想された高さ、または、自動的に生成され得るような任意の組合せを利用して(現実的な限度内で)変更され得る。訓練中、同じ臨床3D歯データは、歯冠-歯根分離を決定する平面の位置を変化させて複数回3D深層ニューラルネットワークに提示されてもよく、それによって、入力に対する堅牢性が改善された3D深層ニューラルネットワーク訓練を提供する。
【0077】
さらなる実施形態において、プリプロセッサ204はまた、非直線分割を生成してもよく、例えば、口腔内スキャンをセグメント化することから結果として生じる3D歯冠モデルであるとして受信される入力をシミュレートする。そのような場合、プリプロセッサは、受信された3Dモデルデータを、少なくとも、上記で説明したように決定され得る高さにおける3D基準点と、この高さにおける表面を囲む円周の質量中心とを通る、より湾曲した表面に沿って分割してもよい。さらに、許容される湾曲の量に関する現実的な限度が選択されてもよい(例えば、受信された囲まれたボリュームと交差する湾曲した表面の最高点と最低点との間の最大高低差、最大許容曲率など)。また、この場合、同じ歯は、3D深層ニューラルネットワークの入力に複数回提示されてもよく、毎回、分割高さの変化が導入されてもよく、訓練されたニューラルネットワークの堅牢性を可能にする。
【0078】
別の実施形態において、プリプロセッサの入力は、完全な臨床歯の光学スキャンから結果として生じる3D表面メッシュを受信するように構成されてもよい。そのような表面メッシュは、そのような表面メッシュを深層ニューラルネットワークの入力空間にフィッティングするボクセル表現に変換することを含み、上記で説明したように前処理されてもよい。
【0079】
さらなる実施形態において、訓練データ200は、他のより正確なソースからの強化されたデータであってもよい。その目的のため、臨床3Dデータ202は、口腔内スキャナによって生成された光学的に生成された3Dデータから導出され得る3D歯冠モデルの3Dデータセットをさらに備えてもよい。典型的には、光学的に生成された3Dデータは、歯列の複数の3D歯冠モデルを備える3Dメッシュ含み、この3Dメッシュは、プリプロセッサ204によってセグメント化され、複数の光学的に生成された3Dデータセットに変換されてもよい。各々の生成された3Dデータセットは、3D歯冠の非常に正確なボクセル表現208をもたらしてもよく、このボクセル表現208は深層学習ネットワークへの入力のために(サイズ、位置、および向きに関して)フォーマットされ、深層ニューラルネットワークを訓練するために使用されてもよい。
【0080】
したがって、1つの3D歯モデルについて、X線で生成された3Dデータセットとより正確な光学的に生成された3Dデータセットの両方が利用可能である場合、深層ニューラルネットワークは、ターゲット(の一部)として関連する歯根モデルのX線で生成された3Dデータセットから導出された歯根のボクセル表現と組み合わせて、光学的に生成された3Dデータセットから導出された歯冠のボクセル表現を使用して訓練されてもよい。訓練するために歯冠モデルの光学的に生成された3Dデータ(歯冠の3Dメッシュ)を使用することは、3D歯冠データが比較的低解像度の3D CBCTスキャンから導出される場合に有益である場合がある。そのような場合、前処理は、完全な歯の3D画像データ内の歯冠セクションと一致するように歯冠の3Dデータの位置および向きを設定する位置合わせステップを必要とする場合がある。
【0081】
訓練された3D深層学習ネットワークの性能は、図6を参照して以下に例示するように、予測された歯根212または完全な歯214のボクセル表現と元の(実世界の)3D画像データ202との比較を介して検証されてもよい。深層ニューラルネットワーク210の入力および出力(ターゲットラベル)が歯根セクションおよび歯冠セクションに厳密に分離されている場合、この検証は、予測された歯根の3D画像データと、歯根の元の(実世界の)3D画像データの一致する部分とを比較することによって行われてもよい。
【0082】
プリプロセッサ204は、分割が用いられる前に、受信された3D画像データの比較的小さい変換を導入することによって、データの増大を容易にしてもよい。そのような変換は、例えば、患者の矢状面に沿って3D画像データをミラーリングすること、ならびに/または、3つの直交軸のいずれかに沿った比較的小さい回転および再スケーリングから構成されてもよい。
【0083】
図2に示す訓練プロセスは、口腔内スキャナによって生成された3Dデータから導出された歯冠のボクセル表現などの任意に選択された3D歯冠に基づいて3D歯根形状を正確に予測するように訓練された3D深層ニューラルネットワークを結果として生じる。深層ニューラルネットワークは、(少なくとも)歯根表現の解剖学的に正確な予測を生成するために、受信された歯冠のボクセル表現から利用可能な解剖学的特徴を自動的に学習し、結果として生じる歯根モデルは、完全な歯モデルを形成するために歯冠モデルに密接にフィッティングする。
【0084】
そのような特徴が任意の潜在的な訓練サンプル(歯冠のボクセル表現であるサンプル)から学習され得、3D深層ニューラルネットワークが、どの特徴が関連するかを決定するという事実のために、方法は、前記ボクセル表現における任意の関連情報をより正確に利用する能力を有する。言い換えれば、従来技術が入力パラメータの特定のセットに制限される可能性がある場合、提案された方法は、より多くの入力情報を利用する可能性を有し、訓練中にどの導出可能な特徴が関連するかを決定する。
【0085】
加えて、3D深層ニューラルネットワークは、歯冠セクションに基づいて歯根セクションを表す3D画像データの一般化を学習する。しかしながら、この一般化は、(予測された歯根または完全な歯のいずれかについて生成され得る潜在的に異なる形状を考慮して)従来技術において行われるようなテンプレート歯根を利用するよりも柔軟である。方法は、歯クラス(犬歯、臼歯など)および/または患者クラス(年齢、性別など)を示す個別の入力を必要としないことに留意することにも価値がある。事実上、3D深層ニューラルネットワークは、受信したボクセル表現から直接、そのような分類の結果である関連する特徴を認識する可能性を有する。しかしながら、これは、利用可能な訓練サンプルの量と、そのようなクラス全体でのそれらの変動と、3D深層ニューラルネットワークにおける特徴表現内で利用可能なメモリ帯域幅とに(少なくとも)依存する。
【0086】
図3は、本発明の一実施形態による、3D歯冠画像データからの自動歯根形状予測のための方法およびシステムにおいて使用するための3D深層ニューラルネットワークアーキテクチャ300の例を示す。受信された(前処理された)3D画像データ、例えば、深層ニューラルネットワークの入力のボクセル空間に一致するボクセル表現は、ネットワークを形成する様々な(異なるタイプの)ネットワーク層を通過し、それらのネットワーク層によって処理されてもよい。ネットワークのアーキテクチャは、3つの異なる機能セクション301、303、305を含んでもよい。
【0087】
第1のセクション301は、3D畳み込み層304、306、308によって特徴を漸進的に符号化するように構成されてもよい。そのような特徴は、学習された(訓練の結果として生じる)3D畳み込みフィルタのセットによって導出される。そのような層から結果として生じる生成された特徴マップは、歯根形状予測の問題に関連する情報を表す。複数の3D畳み込み層を積み重ねることは、追加の層ごとの(潜在的な)視野の増加、ならびに、前の層が導出した情報から組み合わされた情報を導出する能力を導く。この点で、入力302は、情報の第1のセットとみなされてもよい。
【0088】
3D畳み込み層の性質により、メモリおよび処理の要件は、例えば、完全に接続された層を利用する場合よりも比較的低い。予測の望ましい精度の理由のため、入力(ボクセル)空間の最小サイズが存在する。しかしながら、例えば、密に接続された層によって、入力空間全体から導出された情報に対しても処理を実行することが望ましい。この理由のため、例えば、そのような3D畳み込み層内でストライドまたはサブサンプリングを利用して、(3D)特徴空間サイズの縮小が実施されてもよい。代替的には、畳み込み層には、当該技術分野でよく知られている最大プーリング層などのプーリング層が続けられてもよい。
【0089】
したがって、データが畳み込み層を通過すると、内部表現は、前の畳み込み活性化からの歯根形状選択の推論の中間体として機能するように構成された一連の密に接続された層310、312に渡されてもよい。密に接続された層は、ネットワークの第2のセクション303を形成してもよい。そのような層は、ニューラルネットワークにおけるこの時点で、入力空間全体からの導出された情報にアクセスする能力を有する。
【0090】
密に接続された層の後、結果として生じる活性化は、ネットワークの第3のセクション305を形成する一連の3D逆畳み込み層314、316、318に通されてもよい。そのような層は、転置畳み込み層としても知られている。そのような層のためのパラメータは、ネットワークアーキテクチャにおいて点において表される(3D)空間が拡張され得るように選択されてもよい。再びそのような層を利用することは、現実的に可能なアーキテクチャおよび(タイムリーな)予測に必要なハードウェア(メモリ、処理速度)要件を低減する。代替的には、当該技術分野において知られているように、通常の3D畳み込み層が用いられ、(3D)アップサンプリング層が続けられてもよい。
【0091】
代替実施形態において、セクション1からの層も、セクション3からの層に直接接続される。このようにして、当該技術分野ではUネットワークとしても知られるネットワークは、(セクション1によって表される)圧縮段階からの特徴マップを(セクション3によって表される)展開段階に「転送する」。これは、各畳み込みおよび逆畳み込みセットが少なくとも同じ符号化された空間解像度で動作する場合、畳み込み層から逆畳み込み層への結果の間で行われ得る。これは、予測の品質を改善し、および/または、訓練が所望の精度に収束するまでの時間を短縮する場合がある。Uネットワークアーキテクチャの例について、図11Bを参照して説明する。
【0092】
層の数、およびそれらの定義パラメータにおける変動、例えば、異なる活性化関数(例えば、シグモイド、tanh、elu、ソフトマックス)、(フィルタの)カーネルの量およびサイズ、サブサンプリングおよび拡張(dilation)の使用、ならびに、ドロップアウト層などの追加の機能層は、深層ニューラルネットワークの設計の本質を失うことなく、実装において使用されてもよい。これは、当該技術分野において知られている様々なパラメータ開始(initiation)方法に当てはまる。(例えば、(glorot)ノーマルまたは一定、Heノーマルなど。)最終または出力層324は、個々のボクセル活性化を結果として生じてもよく、各ボクセル活性化は、ボクセルが3D歯根または完全な歯の一部である確率を定義する確率測度を表す。ボクセル活性化は、歯根または完全な歯の3Dデータのバイナリ予測320を取得するために閾値処理されてもよい。最終層がソフトマックス活性化(分類問題に関して一般的である)を用いる場合、「歯の歯根」または「完全な歯」のクラスに関する0.5よりも高い表現されたボクセル活性化は、そのようなボクセルが「歯根」または「歯」であると予測されることを表すバイナリ「1」または「真」になるように閾値処理される。代替的には、そのようなバイナリ帰属は、予測されるべきクラスに関するargmaxに基づいて行われ、ボクセルを最も高度に活性化されたクラスに効果的に帰属させる。したがって、そのようなクラスの活性化がそのようなボクセルに対して最も高い場合、ボクセルは、歯根または完全な歯のクラスの一部であると予測されてもよい。
【0093】
したがって、一実施形態において、第1の3D深層ニューラルネットワークは、3つの連続するセクションを含んでもよく、第1のセクションは、セクションから結果として生じる導出された情報の空間解像度が入力解像度と比較して低減されるように構成された少なくとも複数の3D畳み込み層を備え、第2のセクションは、好ましくは密に接続された層によって、第1のセクションから結果として生じるすべての情報を並列に処理する能力を有するように構成され、第3のセクションは、ネットワーク全体の結果として生じる出力の空間解像度が、好ましくは転置畳み込みによって、少なくとも入力解像度と同じ解像度のものになるように構成された少なくとも複数の3D畳み込み層から構成される。
【0094】
ネットワークは、図2を参照して説明したように訓練データを使用して訓練されてもよい。サンプルごとに、所望の出力322と実際の出力320との間の損失を決定するために、単一の歯根または完全な歯のマッチング3D表現が使用されてもよい。この損失は、深層ニューラルネットワークの層内のパラメータを調整する尺度として、訓練中に使用されてもよい。オプティマイザ機能は、訓練の取り組み(例えば、確率勾配降下法、rmsprop、adamなど)の効率において支援するために訓練中に使用されてもよい。ネットワークは、内部パラメータが結果の所望の精度につながるまで、任意の数の反復に対して訓練されてもよい。適切に訓練されると、少なくとも歯の歯冠の表現を含むボクセル表現が入力として提示されてもよく、深層ニューラルネットワークは、対応する3D歯根または完全な歯のボクセル表現の予測を導出するために使用されてもよい。
【0095】
図4Aおよび図4Bは、本発明の様々な実施形態による、3Dデータを前処理および後処理することの概略図を示す。具体的には、図4Aは、プリプロセッサによって実行されるプロセスのフロー図を示す。第1のステップ402において、プリプロセッサは、異なるソースに由来する3Dデータ、例えば、歯顎顔面構造のCBCTデータ、または口腔内スキャナによって生成された歯列の3D表面メッシュから、個々の3D歯冠データを導出してもよい。そのような場合、前処理は、プリプロセッサによって受信された3Dデータが個々の3D歯冠データにセグメント化されるセグメント化プロセスの実行を含んでもよい。3D CBCTデータの場合、セグメント化プロセスは、別のニューラルネットワークによって実行されてもよく、この別のニューラルネットワークは、ボクセルを特定のボクセルタイプ、例えば、歯の一部を表すボクセルに分類し、歯顎顔面構造の歯の3Dデータセットを形成し得る。そのようなセグメント化プロセスの例について、図8を参照してさらに以下に説明する。3Dデータが口腔内スキャナによって生成された歯列を表す3Dメッシュを備える場合、プリプロセッサは、セグメント化プロセスを含んでもよく、歯列の3Dメッシュは、歯冠の個々の3Dメッシュにセグメント化される。
【0096】
その後、プリプロセッサは、個々の3D歯データを歯冠のボクセル表現に変換してもよい(ステップ404)。したがって、3D表面メッシュの場合、3Dメッシュは、ボクセルのボリュームに変換されてもよい。ボクセル空間にボクセルを充填するために補間アルゴリズムが使用されてもよく、これらのボクセルは、歯表面が存在しない場合に所定の第1のボクセル値、例えば、「ゼロ」または「背景」値と、メッシュによって定義された3D表面と一致またはほぼ一致するそれらのボクセルに関する第2のボクセル値、「1」または「歯存在」値とを有するボクセルを含む。完全な歯のボクセル表現の場合、歯冠データのボクセル表現は、図2を参照して説明したように、完全な歯のデータを歯冠データと歯根データとに分割することによって決定されてもよい。したがって、ボクセル表現は、ボクセルのボリューム、例えば、矩形ボックスを含み、歯冠の3D表面は、ボリューム内のボクセルによって表される。
【0097】
一実施形態において、プリプロセッサはまた、3Dボクセル表現が3D空間内の固体オブジェクトを表すように、表面メッシュによって囲まれたボクセルを第2のボクセル値に設定するステップ406を実行してもよい。例えば、部分的な歯冠のボクセル表現の囲んでいる表面は、(例えば、歯のボクセル表現が歯冠セクションおよび歯根セクションに分割される場合、または、歯冠のボクセル表現が口腔内スキャンによって生成された3Dメッシュのセグメント化に基づく場合のように)まだ完全に閉じた表面ではない場合があることに留意されたい。訓練中、歯のボクセル表現が平面に沿って歯冠ボクセルのボリュームと歯根ボクセルのボリュームに分割される場合(上記の図2も参照)、ステップ406は、ボリュームを閉じることを含み、分割平面内に既存の表面を囲む面を作成することによって固体表現を決定してもよい。
【0098】
そのようなボクセル表現のエッジが同じ平面内にない場合、ステップ406は、(実世界の「上下」方向において、ここで、歯の歯冠側が「上」に向けられている)「最も高い」表面の質量中心となる3D点を決定することを含んでもよく、表面は、前記「上下」方向に垂直な平面と交差する最も高い利用可能な完全に閉じた円周から定義される。元の(分割)ボリュームは、次いで、(元の受信された表面によって囲まれるボリューム内にある)決定された3D点と、元の受信された表面の開いたエッジに沿った頂点とによって定義された面を作成することによって閉じられてもよい。歯の形状の性質のために、この方法は、結果として生じるボリュームが実際に実世界における歯ボリューム(の一部)であることを保証する方法で、開いた表面を閉じ、充填する。いくつかの実施形態において、受信された3D歯冠モデルは、図8を参照して以下にさらに説明するように、例えば、CBCTデータからのセグメント化によって生成されたモデルの場合のように、すでに囲まれている場合がある。
【0099】
一実施形態において、ボクセルの(矩形)ボリュームは、歯の3Dボクセル表現が向きと寸法とに関連付けられ得るように、座標系、例えば、3Dデカルト座標系に関連付けられてもよい。しかしながら、歯モデルの向き、位置、および/または寸法は、標準化されない場合がある。3D深層ニューラルネットワークは、歯の向きに敏感である場合があり、3D画像ボリューム内のランダムな歯冠の向きおよび標準化されていない寸法から歯根形状を予測することが困難である場合がある。したがって、ボクセルの寸法(すなわち、ボクセルによって表された空間の実世界の長さ、幅、および高さ)がすべての提示されたサンプルまたは表現について同じであるボクセル表現を(訓練中と推論中の両方で)3D深層ニューラルネットワークに提示することが有益である場合がある。加えて、歯サンプルの向き、位置、および寸法がすべてのサンプルについて同じであるボクセル表現を(訓練中と推論中の両方で)3D深層ニューラルネットワークに提示することが有益である場合がある。
【0100】
この問題に対処するために、3D入力データの前処理中、個々の歯冠サンプルの向き、位置、および寸法は、訓練データを正規化するために使用された正規化に従って正規化されてもよい。前処理は、変換されたサンプルの向き、位置、および寸法が均一で正規化されるように、歯冠を表すボクセル(すなわち、ステップ404および/または406を参照して上記で説明したボクセル表現)が、例えば、正準変換を使用して変換され得ることを保証してもよい(ステップ410)。プリプロセッサは、3Dデータ源の空間情報を使用して、向き、位置、および/または寸法のそのような正規化を達成してもよい。一実施形態において、空間情報は、データ源の向き、位置、および寸法を調べることによってプリプロセッサによって決定されてもよい(ステップ408)。例えば、歯冠サンプルが、ボクセルのボリュームを定義する3D(CB)CTデータスタック、または口腔内スキャンに由来する場合、各歯または歯冠サンプルの向き、位置、および寸法は、システムによって決定されてもよい。
【0101】
プリプロセッサは、元の3D画像データセットから導出された向き、位置、および/または寸法を調べてもよく、これらの値が深層学習ネットワークのための所望の(正規化された)入力フォーマットと一致しない場合、変換が適用されてもよい。一実施形態において、変換は、3D空間内のサンプルの向きを再方向付けするための3D回転を含んでもよい。再方向付けは、ニューラルネットワークによって期待される(正規化された)向きを結果として生じてもよい(特徴102を参照して上記でより詳細に説明したステップ410)。一実施形態において、変換は、3D空間内のサンプルを再配置するための3D移動を含んでもよい。再配置は、3Dニューラルネットワークによって期待される任意の空間サイズ内での3D歯冠モデルの(正規化された)配置を保証する。さらに別の実施形態において、変換は、3D空間内のサンプルの寸法を再スケーリングするための3Dスケーリングを含んでもよい(ステップ412)。再スケーリングは、3Dニューラルネットワークによって期待されるサンプルの(正規化された)寸法を保証する。
【0102】
一実施形態において、プリプロセッサ(の一部)は、上記で説明したように変換を実行するように訓練された(第3の)深層ニューラルネットワークを含んでもよい。一実施形態において、「Automated determination of a canonical pose of a 3D dental structure and superimposition of 3D dental structures using deep learning」というタイトルを有する欧州特許出願第18181421.1号に記載されているような訓練されたニューラルネットワークがあり、これは、参照により本出願に組み込まれる。
【0103】
図4Bは、ポストプロセッサによって実行されるプロセスのフロー図を示す。一実施形態において、ポストプロセッサは、歯冠のボクセル表現414と3D深層ニューラルネットワークによって生成された歯根形状のボクセル表現416とを完全な歯のマージされたボクセル表現420に組み合わせて(マージして)もよい。一実施形態において、マージされたボクセル表現は、完全な歯の3Dメッシュ422に変換されてもよい。代替的には、ポストプロセッサは、歯根形状のボクセル表現を3Dメッシュに変換し、歯根形状の3Dメッシュ表現を歯冠の3Dメッシュ表現と組み合わせて(マージして)もよい。さらに別の実施形態において、3D深層ニューラルネットワークは、完全な歯のボクセル表現418を生成してもよく、ポストプロセッサは、3D深層ニューラルネットワークの出力を完全な歯の3Dメッシュに直接変換してもよい。
【0104】
図5Aおよび図5Bは、予測されたボクセル表現と比較した3D臨床ボクセル表現の図を示す。図5Aは、「臼歯」タイプの歯の例であり、図5Bは、「犬歯」タイプの歯の例である。(両方とも、ホールドアウトサンプルであり、訓練中に使用されなかったサンプルである。)表現は、(x、y、z座標系において)160×100×100ボクセルのボリュームを定義するボクセル空間においてレンダリングされた。視覚化されたx軸およびy軸は、患者の冠状面を構成する。図の上のスライスの番号付けは、スライスが視覚化された点におけるz軸に沿った距離を示す。例えば、図5Aは、z軸上の3つの異なる位置におけるボクセル空間の(x-y平面における)3つのスライスを示す。これらの図は、3D深層ニューラルネットワークによって予測された歯根形状の正確さについて明確な指標を提供する。これらの図の場合におけるボクセルサイズは、各直交方向において0.2mmである。
【0105】
予測された歯は、システムの入力に提供された歯冠のボクセル表現と、完全な歯を含むボクセル空間内の予測された歯根との結果として生じるマージャとして示される。各図は、臨床3Dモデルの表現のスライスと、臨床3Dモデルの上に配置された歯の完全な予測された3Dモデルのスライスとを備える。このようにして形成された図は、灰色の中間の色合いにおいて、臨床歯根形状と予測された歯根形状との間の重複を示し、灰色のより明るい色合い(存在する臨床歯の表現であり、予測された歯の表現ではない)および灰色のより暗い色合い(存在しない臨床歯の表現であり、存在する予測された歯の表現ではない)は、予測された表現が臨床表現から逸脱する部分を示す。
【0106】
この例示的な実施形態の場合の訓練および予測に用いられる分割は、(x-z方向における平面を表す)線5021および5022によって示されるように、「直線」分割を利用した。したがって、ボリュームの上部(第1の)部分504は、深層ニューラルネットワークへの入力として使用された歯冠を表すボクセルを定義する。下部506は、入力に基づいてニューラルネットワークによって予測されたボクセルを定義する。したがって、この例において、深層ニューラルネットワークの入力のボクセル空間は、60×100×100ボクセルのボリュームを表し、深層ニューラルネットワークの出力のボクセル空間は、100×100×100ボクセルのボリュームを表す。これらの結果の生成のために使用される例示的なシステムにおけるさらなる詳細について、図6を参照して以下に説明する。
【0107】
深層ニューラルネットワークによって実行される処理の性質により、従来技術などのテンプレート3Dモデルを利用するシステムを用いる場合のように、元の歯冠セクションと予測された歯根セクションとの間のハードな遷移エッジは、存在しない。システムによって学習され、したがって、予測される、元の歯冠セクションと予測された歯根セクションとの間の遷移は、追加の後処理、例えば、平滑化などの必要性がほとんどまたはまったくない、平滑な遷移(例えば、508、510を参照)とみなされる。図は、予測された3D画像データ全体の精度も示す。予測された歯根セクションは、臨床歯と大きい範囲で重複している。この精度を考慮したより詳細な情報は、図6を参照して見出され得る。しかしながら、これらの図を見る注目に値することは、示されている予測された3D歯根セクション(それぞれ図5Aまたは図5Bに関して線5021または5022の下にあるすべて)が、これらの同じ線の上の情報に基づいてシステムによって自動的に予測されることである。
【0108】
図6Aおよび図6Bは、図5Aおよび図5Bを参照して同じ例示的な実施形態から決定されるDice係数の表を示す。より詳細には、これらは、各次元において0.2mmのボクセルサイズを用いて、実際の3D臨床歯のボクセル表現を、単一の訓練された3D深層ニューラルネットワークによって予測された3Dの完全な歯のボクセル表現と比較する、歯のホールドアウトセットに基づいた結果である(これらの歯が訓練セットの一部ではなかったことを意味する)。分離された入力および出力ボクセル空間で、歯冠と歯根との間の「直線」分割が用いられた。CBCTスキャンから導出された約900の3D臨床歯モデルが訓練のために使用され、加えて、3D画像データの増大を利用した。
【0109】
この訓練データは、切歯、犬歯、小臼歯、および大臼歯を含む、様々な歯クラスを含んでいた。この例の目的のために、図6AにおけるDice係数は、これらのクラスに分けて示されている。図6Bにおける表は、クラスの異なるセットに集約された、すなわち、歯列内に見られ得る個々の歯タイプごとにFDI World Dental Federation Notationに従って集約された結果の同じ完全なセットを示す。しかしながら、すべての結果が単一の3D深層ニューラルネットワークによって生成されることが強調されている。Dice係数またはDiceスコアは、オブジェクトの類似性の尺度である。このパラメータは、予測された結果をグランドトルース(このシステムの場合、3D臨床歯)と比較するために、画像セグメント化において一般に使用される。Diceスコアは、2つのオブジェクトの合計サイズで割った2つのオブジェクト間の重複のサイズ(この場合、ボクセルごとのレベルで取得される)として説明され得る。このメトリックは、真陽性、合計陽性、および偽陽性を考慮し、より高いスコアがより正確な結果を表す。
【0110】
図6Aにおける結果によって示されるように、予測を歯の臨床3Dモデル(またはグランドトルース)と比較すると、一般に小臼歯のクラスは、平均において「最も正確ではない」(この場合、最も低いDice係数によって意味する)。しかしながら、表は、例示的な実施形態の結果のみを示すことに留意されたい。ホールドアウトサンプルのセットは、ランダムに選択され、異なる選択は、異なる結果につながる(これは、歯インデックス18、38、および48がランダムに選択されたホールドアウトデータセット内に存在しないことが明らかな図6Bにおいても見ることができる)。また、そのようなネットワーク内で使用される正確な3D深層ニューラルネットワークアーキテクチャおよびパラメータ、入出力空間サイズの選択などの訓練考慮事項、訓練中の増大オプションなどは、予測結果の精度に影響を及ぼす可能性がある。訓練サンプルのより大きいデータセットを用いると、精度およびDiceスコアは、より高くなると予想される。
【0111】
図7は、本発明の一実施形態によるシステムによって生成された臨床歯の3Dモデルを示す。具体的には、図7は、歯冠セクションのみを受信した、完全な歯の予測と組み合わされた臨床歯の3Dモデルを示す。これらは、上記の図5および図6を参照して説明したのと同じ例示的な実施形態からの結果である。訓練された3D深層ニューラルネットワークを含むシステムによって決定される、歯の4つの異なるクラス(切歯702、犬歯704、小臼歯706、および大臼歯708)からの単一の例が示されている。これらの図は、上記で説明したように予測された歯根のボクセル表現に基づいて生成された歯全体の個々の3Dモデル、すなわち、3Dメッシュに基づいてレンダリングされる。元の3D臨床歯モデルは、より明るい灰色でレンダリングされ、歯の予測されたボクセル表現に基づいて生成された3D歯モデルは、より暗い色合いでレンダリングされる。各々の生成された3D歯モデルは、結果の視覚的な比較を提供するために、その元の3D臨床歯モデルに重なっている。これらは、ホールドアウトサンプルであることに留意することに再び価値がある。図7の視覚化において、より暗い灰色のいくつかのパッチが歯冠セクションにおいて目に見える(726)。これは、元の3D臨床歯モデルと完全な予測された歯の3Dモデルとを重ね合わせた結果であり、後者は、予測された歯根ボクセル表現を受信された歯冠のボクセル表現とマージするステップを経ている。そのようなパッチが目に見える場合、レンダリングエンジンは、3Dの予測された完全な歯の表面が表面における「より高い」わずかな部分であると判断した可能性があり、したがって、予測された歯のより暗い色合いが目に見える。元の3D臨床歯冠モデル(710から716)との比較は、訓練された深層学習ネットワークが、(適用可能であった)歯根の量(724)を含む、歯根形状(718から724)の正確な予測を生成することができることを示す。
【0112】
上記で説明したように、いくつかの実施形態において、システムの入力に提供される3Dデータは、顎骨、歯、および神経(の一部)に関連するボクセルを含む、歯顎顔面構造を表してもよい。それらの実施形態において、3D深層学習ネットワークによって使用され得る個々の歯の歯冠の3Dボクセル表現を決定するために、歯顎顔面構造の個別の部分、例えば、顎骨および個々の歯へのセグメント化が必要とされる。加えて、3D深層学習ネットワークを訓練する目的のため、歯冠形状に基づいて歯根形状を予測するように深層ニューラルネットワークを学習するために、多数の完全な歯形状が必要とされる場合がある。CBCTスキャンからの3D歯の自動セグメント化は、そのようなCBCTスキャンを作成することの可用性と相対的な容易さとを考慮すると非常に有益であることがわかる。したがって、それらの場合、本発明はまた、歯顎顔面構造内の歯列の個々の歯を分類し、セグメント化し、3Dモデル化するための3D深層ニューラルネットワークを使用するコンピュータシステムとコンピュータ実装方法とを含み、歯顎顔面構造は、CT画像データスタック、特にコーンビームCT(CBCT)画像データスタックを形成する一連の画像によって定義される3D画像データによって表される。3D画像データは、歯顎顔面構造の3D画像空間を形成するボクセルを備えてもよい。
【0113】
本発明によるそのようなコンピュータシステムは、歯顎顔面構造の3D画像データスタックを異なるクラスのボクセルに分類するように訓練された少なくとも1つの3D深層ニューラルネットワークを備えてもよく、各クラスは、構造の別個の部分(例えば、歯、顎、神経)に関連付けられてもよい。コンピュータシステムは、歯顎顔面構造の正確な3Dモデルを含んでもよい1つまたは複数の訓練セットに基づいて、1つまたは複数の深層ニューラルネットワークを反復的に訓練する(最適化する)訓練プロセスを実行するように構成されてもよい。これらの3Dモデルは、光学的にスキャンされた歯顎顔面構造(歯および/または顎骨)を含んでもよい。訓練されると、深層ニューラルネットワークは、歯顎顔面構造の3D画像データスタックを受信し、3D画像データスタックのボクセルを分類してもよい。訓練された深層ニューラルネットワークにデータが提示される前に、ニューラルネットワークがボクセルを効率的かつ正確に分類することができるように、データは、前処理されてもよい。ニューラルネットワークの出力は、ボクセルデータの異なる収集物を含んでもよく、各収集物は、異なる部分、例えば、3D画像データの歯または顎骨を表してもよい。分類されたボクセルは、歯顎顔面構造の正確な3Dモデルを再構築するために後処理されてもよい。
【0114】
歯顎顔面構造のボクセルを自動的に分類するための訓練されたニューラルネットワークを備えるコンピュータシステム、ネットワークの訓練、ニューラルネットワークに供給される前の3D画像データの前処理、ならびに、ニューラルネットワークによって分類されたボクセルの後処理について、以下でより詳細に説明する。
【0115】
図8は、本発明の一実施形態による、歯顎顔面3D画像データを分類するための深層ニューラルネットワークを訓練することのフロー図を示す。訓練データは、歯顎顔面構造の3D CTスキャンのボクセルを自動的に分類することができるように3D深層学習ニューラルネットワークを訓練するために使用される。この図に示すように、歯顎顔面複合体802の表現がコンピュータシステムに提供されてもよい。訓練データは、歯顎顔面構造のCT画像データスタック804と、関連する3Dモデル、例えば、同じ歯顎顔面構造の光学スキャンによって生成された3Dデータ806とを含んでもよい。そのような3Dデータは、3D光学スキャンデータと呼ばれる場合がある。そのような3D CT画像データおよび3D光学スキャンデータの例が図9Aおよび図9Bに示されている。図9Aは、歯顎顔面構造の3D CTスキャンの異なる平面、例えば、軸平面902、前額面または冠状面904、および矢状面906に関連付けられたDICOMスライスを示す。図9Bは、歯顎顔面構造の3D光学スキャンデータを示す。コンピュータは、光学スキャンデータに基づいて、歯顎顔面構造の3D表面メッシュ808を形成してもよい。さらに、3D表面メッシュを3D CT画像データに位置合わせするように構成された位置合わせ機能810が用いられてもよい。位置合わせの後、コンピュータの入力に提供される3D構造の表現は、同じ空間座標系を使用する。位置合わせされたCT画像データおよび3D表面メッシュに基づいて、位置特徴812、および光学スキャンされた3Dモデル814の分類されたボクセルデータが決定されてもよい。位置特徴および分類されたボクセルデータは、次いで、画像データスタック804とともに、深層ニューラルネットワーク816の入力に提供されてもよい。
【0116】
したがって、訓練段階中、3D深層学習ニューラルネットワークは、3D CT訓練データと、3D CT訓練データから抽出された位置特徴とを入力データとして受信し、3D CT訓練データに関連付けられた分類された訓練ボクセルは、ターゲットデータとして使用される。深層ニューラルネットワークの出力から所定の入力に対する所望の出力を表すターゲットデータ(すなわち、分類されたボクセルデータ)への偏差を表す損失関数を最小化することによって、深層ニューラルネットワークのネットワークパラメータの最適値を学習するために、最適化方法が使用されてもよい。損失関数の最小化が特定の値に収束する場合、訓練プロセスは、アプリケーションに適しているとみなすことができる。3D光学スキャンデータから(少なくとも部分的に)導出されてもよい訓練データと組み合わせて3D位置特徴を使用する図8に示す訓練プロセスは、3D深層学習ニューラルネットワークのための高品質な訓練セットを提供する。訓練プロセスの後、訓練されたネットワークは、3D CT画像データスタックからのボクセルを正確に分類することができる。
【0117】
図10Aおよび図10Bは、歯顎顔面構造の3Dボクセルデータを分類し、セグメント化するように構成された方法およびシステムにおいて使用するための深層ニューラルネットワークアーキテクチャの高レベルの概略図を示す。深層ニューラルネットワークは、1つまたは複数の3D畳み込みニューラルネットワーク(3D CNN)を使用して実装されてもよい。畳み込み層は、シグモイド関数、tanh関数、relu関数、ソフトマックス関数などの層内のニューロンに関連付けられた活性化関数を用いてもよい。深層ニューラルネットワークは、複数の3D畳み込み層を含んでもよく、層の数、およびそれらの定義パラメータにおけるわずかな変動、例えば、異なる活性化関数、カーネルの量およびサイズ、ならびに、ドロップアウトおよびバッチ正規化層などの追加の機能層は、深層ニューラルネットワークの設計の本質を失うことなく、実装において使用されてもよい。
【0118】
図10Aに示すように、ネットワークは、複数の畳み込み経路を含んでもよく、各畳み込み経路は、3D畳み込み層のセットに関連付けられる。一実施形態において、ネットワークは、少なくとも2つの畳み込み経路、3D畳み込み層の第1のセット1006に関連付けられた第1の畳み込み経路と、3D畳み込み層の第2のセット1008に関連付けられた第2の畳み込み経路とを含んでもよい。第1および第2の畳み込み経路は、それぞれ、第1および第2の畳み込み経路の入力に提供されるボクセルに関連付けられた受信3D画像データから導出された3D特徴を符号化するように訓練されてもよい。さらに、いくつかの実施形態において、ネットワークは、3D畳み込み層の第3のセット1007に関連付けられた少なくともさらなる(第3の)畳み込み経路を含んでもよい。第3の畳み込み経路は、第3の経路の入力に提供されるボクセルに関連付けられた受信3D位置特徴から導出された3D特徴を符号化するように訓練されてもよい。
【0119】
代替的には、別の実施形態において、3D位置特徴データに基づいて訓練されたさらなる畳み込み経路の代わりに、3D位置特徴データは、第1および第2の畳み込み経路の入力に提供されるボクセルの強度値に関連付けられてもよい。したがって、この実施形態において、第1および第2の畳み込み経路は、強度値と位置特徴情報とを含むボクセル値の3Dデータスタックを含む訓練データに基づいて訓練されてもよい。
【0120】
異なる経路の機能は、図10Bにおいてより詳細に示されている。この図に示すように、ボクセルは、ニューラルネットワークの入力に供給される。これらのボクセルは、画像ボリューム10013と呼ばれる場合もある所定のボリュームに関連付けられる。ボクセルの総ボリュームは、ボクセルの第1のブロックに分割されてもよく、第1の経路10031の3D畳み込み層は、3D画像データのボクセルの第1のブロック10011の各々に対して3D畳み込み演算を実行してもよい。処理中、各3D畳み込み層の出力は、後続の3D畳み込み層の入力であってもよい。このように、各3D畳み込み層は、入力に供給される3D画像データの特徴を表す3D特徴マップを生成してもよい。したがって、そのような特徴マップを生成するように構成された3D畳み込み層は、3D CNN特徴層と呼ばれる場合がある。
【0121】
図10Bに示すように、第2の畳み込み経路10032の畳み込み層は、3D画像データのボクセルの第2のブロック10012を処理するように構成されてもよい。ボクセルの各第2のブロックは、ボクセルの第1のブロックに関連付けられ、ボクセルの第1および第2のブロックは、画像ボリューム内の同じ中心原点を有する。第2のブロックのボリュームは、第1のブロックのボリュームよりも大きい。さらに、ボクセルの第2のブロックは、関連するボクセルの第1のブロックのダウンサンプリングされたバージョンを表す。言い換えれば、第2のブロックのボクセル解像度は、関連する第1のブロックのボクセル解像度よりも低い。ダウンサンプリング係数は、任意の適切な値であってもよい。一実施形態において、ダウンサンプリング係数は、20と2との間、好ましくは10と3との間で選択されてもよい。
【0122】
したがって、3D深層ニューラルネットワークは、少なくとも2つの畳み込み経路を備えてもよい。第1の畳み込み経路10031は、第1のボクセル解像度、例えば、ターゲットのボクセル解像度(すなわち、分類されるべき3D画像データのボクセルの解像度)において入力データ(例えば、画像ボリューム内の所定の位置におけるボクセルの第1のブロック)を処理するように構成された3D CNN特徴層の第1のセット(例えば、5～20層)を定義してもよい。同様に、第2の畳み込み経路は、第2のボクセル解像度において入力データ(例えば、ボクセルの第2のブロック10012の各ブロックがボクセルの第1のブロック10011からのその関連するブロックと同じ中心点を有する、ボクセルの第2のブロック)を処理するように構成された、3D CNN特徴層の第2のセット(例えば、5～20層)を定義してもよい。ここで、第2の解像度は、第1の解像度よりも低い。したがって、ボクセルの第2のブロックは、第1のブロックよりも実世界の寸法において大きいボリュームを表す。このように、第2の3D CNN特徴層は、第1の3D CNN特徴層によって処理される関連するボクセルの(直接)近傍に関する情報を含む3D特徴マップを生成するためにボクセルを処理する。
【0123】
したがって、第2の経路は、ニューラルネットワークが、コンテキスト情報、すなわち、ニューラルネットワークの入力に提示される3D画像データのボクセルのコンテキスト(例えば、その周囲)に関する情報を決定することを可能にする。複数の(並列)畳み込み経路を使用することによって、3D画像データ(入力データ)と、3D画像データのボクセルに関するコンテキスト情報の両方を並列に処理することができる。コンテキスト情報は、典型的には、特にCBCT画像データの場合に区別することが困難な密接に詰め込まれた歯構造を含む、歯顎顔面構造を分類するのに有用である。
【0124】
一実施形態において、図10Bのニューラルネットワークは、3D画像データから抽出され得る3D位置特徴1004の特定の表現を処理するように訓練された3D畳み込み層の第3のセットの第3の畳み込み経路10033をさらに含んでもよい。3D画像データからの3D位置特徴の抽出は、前処理ステップとして実現されてもよい。代替実施形態において、3D位置特徴を処理するための第3の畳み込み経路を使用する代わりに、3D位置特徴を含む3D位置情報は、深層ニューラルネットワークの入力に供給される3D画像データに関連付けられてもよい。具体的には、3Dデータスタックは、各ボクセルが強度値および位置情報に関連付けられる3Dデータスタックが形成されてもよい。したがって、位置情報は、例えば、受信された3D画像情報への追加のチャネルとして3D位置特徴情報を追加することによって、適用可能な受信ボクセルごとに対にされてもよい。したがって、この実施形態において、深層ニューラルネットワークの入力における3D歯顎顔面構造のボクセル表現のボクセルは、例えば、電波強度値を表すボクセル値に関連付けられるだけでなく、3D位置情報にも関連付けられてもよい。したがって、この実施形態において、第1および第2の畳み込み経路両方の畳み込み層の訓練中、3D画像特徴と3D位置特徴の両方から導出された情報がこれらの畳み込み層において符号化されてもよい。
【0125】
次いで、3D CNN特徴層のセットの出力は、マージされ、完全に接続された3D CNN層のセット1010の入力に供給され、完全に接続された3D CNN層のセット1010は、ニューラルネットワークの入力に提供され、3D CNN特徴層によって処理されるボクセルの意図された分類1012を導出するように訓練される。
【0126】
3D CNN特徴層のセットは、それらの特定の入力から決定することができる最適に有用な情報を導出し、渡すように(それらの学習可能なパラメータを介して)訓練され、完全に接続された層は、最適に分類されたボクセル1012を提供するために前の経路からの情報が組み合わされるべき方法を決定するパラメータを符号化する。その後、分類されたボクセルは、画像空間1014において提示されてもよい。したがって、ニューラルネットワークの出力は、入力におけるボクセルの画像空間に対応する画像空間における分類されたボクセルである。
【0127】
ここで、完全に接続された層の出力(最後の層)は、各ボクセルに関する複数の活性化を提供してもよい。そのようなボクセル活性化は、ボクセルが複数のクラス、例えば、歯構造クラス、例えば、歯、顎、および/または神経構造のうちの1つに属する確率を定義する確率測度(予測)を表してもよい。ボクセルごとに、分類されたボクセルを取得するために、異なる歯構造に関連付けられたボクセル活性化が閾値処理されてもよい。
【0128】
図11～図13は、3D歯顎顔面構造を表す3D画像データスタック内の3D位置特徴を決定するための方法と、そのような位置特徴の例とを示す。具体的には、手動で設計された特徴の場合、ネットワークが過剰適合のリスクなしにボクセルを正確に分類することができるように、3D画像データスタックと関連する3D位置特徴の両方が3D深層ニューラルネットワークへの入力として提供される。実世界の寸法に基づく変換が、入力画像解像度に関係なく同等の入力を保証する。
【0129】
手動で設計された3D位置特徴は、画像ボリューム内の基準面または基準オブジェクトに対する画像ボリューム内のボクセルの位置に関する3D深層ニューラルネットワーク情報を提供してもよい。例えば、一実施形態において、基準面は、上顎に関連するボクセルと下顎に関連するボクセルとを分離する画像ボリューム内の軸平面であってもよい。別の実施形態において、基準オブジェクトは、歯顎顔面構造の3D画像データ内の歯の歯列弓の少なくとも一部を近似する曲線、例えば、3D曲線を含んでもよい。このように、位置特徴は、画像ボリューム内の異なる位置におけるボクセル関連の顎、歯、および/または神経組織ごとの可能性を示す抽象化を符号化する手段を第1の深層ニューラルネットワークに提供する。これらの位置特徴は、深層ニューラルネットワークが3D画像データスタックのボクセルを効率的かつ正確に分類するのを助ける場合があり、過剰適合のリスクを低減するように設計される。
【0130】
分類プロセスにおいて有用な画像ボリューム内の基準面および/または基準オブジェクトを決定するために、特徴分析機能は、所定の強度値、または所定の強度値よりも上もしくは下のボクセルを決定してもよい。例えば、明るい強度値に関連付けられたボクセルは、歯および/または顎組織に関連する場合がある。このように、画像ボリューム内の歯および/または顎の位置、ならびに向き(例えば、回転角度)に関する情報がコンピュータによって決定されてもよい。特徴分析機能が、回転角度が所定の量よりも大きい(例えば、15度よりも大きい)と判定した場合、機能は、正確な結果にとってより有益であるので、回転角度をゼロに修正してもよい。
【0131】
図11Aは、3D画像データ1104、例えば、3D CT画像データスタック内の手動で設計された3D位置特徴を決定するフロー図1102の一例を示す。このプロセスは、歯顎顔面構造の1つまたは複数の3D位置特徴を決定することを含んでもよく、1つまたは複数の3D位置特徴は、(上記で図10Bを参照して論じたように)3D深層ニューラルネットワークへの入力のために構成される。手動で設計された3D位置特徴は、画像ボリューム内の基準面または基準オブジェクトに対する画像ボリューム内のボクセルの位置情報、例えば、画像ボリューム内のボクセルと、下顎から上顎を分離する画像ボリューム内の基準面との間の距離、例えば、垂直距離を定義する。また、画像ボリューム内のボクセルと、歯基準オブジェクト、例えば、画像ボリューム内の歯列弓との間の距離を定義してもよい。画像ボリュームの第2の基準面内の累積強度値の位置をさらに定義してもよく、第2の基準面内の点における累積強度値は、基準面内の点を通る法線上またはその近傍におけるボクセルの累積強度値を含む。3D位置特徴の例について以下で説明する。
【0132】
歯顎顔面構造の3D画像データ内の歯列弓の位置情報を提供する基準オブジェクトを決定するために。異なる(累積)強度値の点のクラウド内の所定の点をフィッティングする曲線、例えば、多項式に従う曲線を決定するために、フィッティングアルゴリズムが使用されてもよい。一実施形態において、画像ボリュームの軸平面(xy面)内の強度値の点のクラウドが決定されてもよい。そのような軸平面内の点の累積強度値は、軸平面内の点を通る法線上に位置するボクセルのボクセル値を合計することによって決定されてもよい。このようにして得られた軸平面内の強度値は、歯の歯列弓を近似する曲線を見つけるために使用されてもよい。
【0133】
図11Bは、本発明の一実施形態による(手動で設計されていない)関連する3D位置特徴を生成するために利用され得る機械学習方法の一例を示す。具体的には、図11Bは、セグメント化3Dニューラルネットワークによって処理されるべき所望の特徴を生成するように訓練され得る例示的な3D深層ニューラルネットワークを示す。訓練後、そのような訓練されたモデルは、受信された3Dデータセット全体に基づいて関連する3D位置特徴を導出するプリプロセッサとして方法502と同様に用いられてもよい。
【0134】
手動で設計された3D位置特徴と同様に、目的は、自動分類およびセグメント化のタスクに潜在的に関連し、そうでなければセグメント化3D深層学習ネットワークに提供されるサブサンプルのセットからは利用できない場合があるセグメント化3D深層学習ネットワークにおいて使用するために受信3Dデータセット全体(または少なくともその実質的な部分)に関する3D位置特徴情報に組み込むことである。再び、手動で設計された3D位置特徴と同様に、そのような情報は、受信3Dデータセット内のボクセルごとに利用可能にされるべきである。
【0135】
3D位置特徴を自動的に生成するためのそのような機械学習方法を実施する可能な方法のうちの1つは、訓練された深層ニューラルネットワークである。そのようなネットワークは、3Dセグメント化深層ニューラルネットワークの入力に提供される入力3Dデータセット(例えば、歯顎顔面構造のボクセル表現)に基づいて3D位置特徴を導出するように訓練されてもよい。一実施形態において、前処理深層ニューラルネットワークは、図11Bによって示されるように3D Uネットタイプの深層ニューラルネットワークであってもよい。利用可能な処理(主にメモリ要件)の制限により、そのようなアーキテクチャは、受信ボクセル表現の解像度において動作しない。したがって、第1の入力3Dデータセット、第1の解像度(例えば、ボクセルあたり0.2×0.2×0.2mm)の第1のボクセル表現は、補間アルゴリズムを使用して、第2のより低い解像度、例えば、ボクセルあたり1×1×1mmの解像度の第2のボクセル表現にダウンサンプリングされてもよい。その後、第2の解像度のボクセル表現に基づいて訓練された3D深層ニューラルネットワークが、入力ボクセルごとに3D位置特徴情報を生成してもよい。この情報を元の第1の解像度に拡大するために、補間アルゴリズムが使用されてもよい。このように、結果として生じる3D位置特徴は、受信3Dデータ全体(の集約されたバージョン)を考慮する情報を考慮しながら、第1の入力3Dデータセットのボクセルごとに関連する情報をもたらす第1のボクセル表現のボクセルと(空間的に)一致する。
【0136】
そのような前処理前の3D深層ニューラルネットワークは、(所望の3D位置特徴である)所望のターゲット値に近づくように訓練されてもよい。この特定の例において、ターゲットは、例えば、前処理3D深層ニューラルネットワークが動作する解像度におけるボクセルごとのクラス指標であってもよい。そのようなクラス指標は、分類された訓練ボクセル136の同じプールから供給されてもよいが、受信3Dデータセットがダウンサンプリングされたのと同じ方法においてダウンサンプリングされてもよい。そのような前処理機械学習方法は、粗い事前セグメント化、具体的には、受信3Dボクセル表現全体(またはその実質的な部分)からの情報に潜在的にアクセスすることができるものと効果的にみなされ得ることに留意されたい。粗い事前セグメント化情報を、例えば、アップスケーリングによって、受信3D画像空間の該当のボクセルと対にすることは、受信3D画像解像度における結果に向けて、これらの3D位置特徴が受信3D画像データと並行して処理されることにつながる。
【0137】
前処理ネットワークは、畳み込み層(3D CNN)、3D最大プール層、3D逆畳み込み層(3D de-CNN)層、および密に接続された層などの様々な3Dニューラルネットワーク層を使用して実装されてもよい。層は、線形、tanh、ReLU、PreLU、シグモイドなどの様々な活性化関数を使用してもよい。3D CNN層およびde-CNN層は、それらのフィルタの数、フィルタサイズ、およびサブサンプリングパラメータにおいて異なってもよい。3D CNN層およびde-CNN層、ならびに密に接続された層は、それらのパラメータ初期化方法において異なってもよい。アーキテクチャ全体を通して、ドロップアウト層および/またはバッチ正規化層が用いられてもよい。
【0138】
3D Uネットアーキテクチャに従って、訓練中、3D CNN層および3D de-CNN層内の様々なフィルタは、予測精度の取り組みを助けるであろう意味のある特徴を符号化することを学習する。訓練中、3D画像データ1122と符号化マッチング3D位置特徴1160のマッチングセットが、前者から後者の予測に向けて最適化するために使用される。最小化される尺度として、損失関数が用いられてもよい。この最適化の取り組みは、SGD、Adamなどのオプティマイザを利用して支援されてもよい。
【0139】
そのようなアーキテクチャは、最大プーリングを介して3D CNN層の以前のセット1124、1128、1132からの結果として効果的にダウンスケーリング1126、1130、1134する様々な内部解像度スケールを用いてもよい。ここでの「意味のある特徴」という用語は、ターゲット出力値を決定することに関連する情報の(連続的な)導出を指し、フィルタを用いながらアップサンプリングを効果的に実行する3D de-CNN層を介して符号化もされる。同じ解像度において動作する「最後の」3D CNN層からのデータを用いてそのような3D de-CNN層1138、1144、1150から結果として生じる1140、1146、1152データ(1132から1140、1128から1146、1124から1152)を結合することによって、非常に正確な予測が達成される場合がある。アップスケーリング経路全体を通して、追加の3D CNN層1142、1148、1154が使用されてもよい。
【0140】
推論に利用される場合、検証が十分に正確な結果をもたらすように内部パラメータを符号化するように訓練されているとすると、入力サンプルが提示されてもよく、3D深層学習ネットワークは、予測3D位置特徴542をもたらす場合がある。
【0141】
手動で設計された3D位置特徴の決定において使用するための基準オブジェクトの一例、この場合は、歯列弓を近似する曲線を図12において提供する。この例において、軸(xy)面内の点のクラウドは、高強度値の領域(明るい白色領域)が歯構造または顎構造の領域を示す可能性があることを示す。歯列弓曲線を決定するために、コンピュータは、歯ボクセルまたは顎ボクセルとして識別され得る明るいボクセル(例えば、所定の閾値を超える強度値を有するボクセル)に関連付けられた画像ボリュームの軸平面内の領域を決定してもよい。高強度のこれらの領域は、歯顎顔面アーチを近似する明るい領域の三日月形配置を決定するために使用されてもよい。このように、それぞれ上顎および下顎の歯顎顔面アーチの平均を近似する歯列弓曲線が決定されてもよい。別の実施形態において、上顎および下顎に関連付けられた別々の歯列弓曲線が決定されてもよい。
【0142】
【0143】
図13Aは、3D画像データスタックの矢状面のスライスの画像(左)と、同じスライスのいわゆる高さ特徴の関連する視覚化(右)とを示す。そのような高さ特徴は、基準面1302に対する3D CT画像データスタックの画像ボリューム内の各ボクセルのz位置(高さ1304)を符号化してもよい。基準面(例えば、軸平面またはxy面)は、上顎と下顎の両方およびそれらの構成歯までほぼ等しい距離を有するxy面(の最適な近似)であるように決定される。
【0144】
他の3D位置特徴が、3D画像データスタックのxy空間内の空間情報を符号化するために定義されてもよい。一実施形態において、そのような位置特徴は、歯列弓(の一部)を近似する曲線に基づいてもよい。そのような位置特徴は、3D画像データスタックからのスライス(左)と、同じスライスに関するいわゆる移動特徴の視覚化(右)とを示す図13Bにおいて示されている。この移動特徴は、歯列弓を近似する曲線1306に基づいており、曲線に沿って測定された相対距離1308を定義する。ここで、ゼロ距離は、二次多項式の導関数が(ほぼ)ゼロである曲線上の点1310として定義されてもよい。この点(例えば、導関数がゼロである点)からx軸上のいずれかの方向に移動すると、移動距離は、増加する。
【0145】
歯列弓曲線に基づくさらなる3D位置特徴は、画像ボリューム内の各ボクセルの歯列弓曲線1306までの最短(垂直)距離を定義してもよい。したがって、この位置特徴は、「距離特徴」と呼ばれる場合がある。そのような特徴の一例が、3D画像データスタックからのスライス(左)と、同じスライスに関する距離特徴の視覚化(右)とを示す図13Cにおいて示されている。この特徴について、ゼロ距離は、ボクセルが歯列弓曲線1306上に位置することを意味する。
【0146】
さらに、さらなる3D位置特徴が個々の歯の位置情報を定義してもよい。(歯科特徴とも呼ばれる場合がある)そのような特徴の一例が、3D画像データスタックからのスライス(左)と、同じスライスに関する歯科特徴の視覚化(右)とを示す図13Dにおいて示されている。歯科特徴は、ボクセル空間内の特定の位置における特定の歯のボクセルを見つける可能性を決定するために使用されるべき情報を提供してもよい。この特徴は、1302などの決定された基準面に続いて、任意の平面(例えば、x-y面または任意の他の平面)に対する法線にわたるボクセルの別個の合計を符号化してもよい。したがって、この情報は、ニューラルネットワークに、平面法線にわたって合計された元の空間からのすべての情報の「ビュー」を提供する。このビューは、この特徴を除外した場合に処理されるものよりも大きく、(x-y面について13121、13122において示される)空間の選択された方向におけるすべての情報に基づいてハード構造が存在するかどうかを区別する手段を提供してもよい。
【0147】
図13Eは、機械学習プリプロセッサ、具体的には、図10Bを参照して説明した3D深層ニューラルネットワークによって生成され得る3D位置特徴の視覚化を示す。これらの3D位置特徴は、3Dにおいてコンピュータレンダリングされており、示された3Dボリュームは、予測値の閾値処理の結果である。ボリュームを定義する表面の相対的な「粗さ」から、そのようなネットワーク、ならびにその入力およびターゲットデータが、セグメント化されるべき最終的なボクセル表現のものよりも低い3D解像度(この例の場合、ボクセルあたり1×1×1mmの解像度が用いられた)において動作したことがわかる。ターゲットとして、セグメント化3D深層学習ネットワークのために用いられたが、そのような前処理3D深層ニューラルネットワークによる利用に関する処理要件を遵守する適切な解像度にダウンサンプリングされた訓練データと同じ訓練データが使用されてもよい。これは、実際には、この例の場合、顎1320、歯1322、および神経1324の構造の「粗い」事前セグメント化を含むそのような3D位置特徴をもたらす。この図の目的のために、この特定の患者の下顎は、神経構造の一部である可能性が最も高いものとして分類されたボクセルを示すためにレンダリングされていない。
【0148】
そのような粗い事前セグメント化は、例えば、補間によって適切にアップサンプリングされ、(元に受信されたボクセル解像度である)所望の解像度におけるボクセルごとに、そのような事前セグメント化からの情報が所望の解像度において空間的に一致することを保証してもよい。例えば、示された視覚化における1つのボクセルからの情報は、所望の解像度において5×5×5ボクセルと空間的に一致する場合があり、この情報は、所望の解像度におけるすべての適切な125ボクセルと対にされるべきである。その後、このアップサンプリングされた情報は、3D位置特徴のセットとして提示されるか、またはその中に含まれ、図10Aおよび図10Bを参照して説明したように、入力としてセグメント化3D深層ニューラルネットワークに供給されてもよい。
【0149】
図14A～図14Dは、本発明の一実施形態による訓練された深層学習ニューラルネットワークの出力の例を示す。具体的には、図14A～図14Dは、図8を参照して説明した訓練方法を使用して訓練された深層学習ニューラルネットワークを使用して分類されたボクセルの3D画像を示す。図14Bおよび図14Cに示すように、ボクセルは、歯構造(図14B)、顎構造(図14C)、または神経構造(図14D)に属するボクセルにおいてニューラルネットワークによって分類されてもよい。図14Aは、深層学習ニューラルネットワークが歯、顎、および神経組織として分類したボクセルを含む3D画像を示す。図14B～図14Dによって示すように、分類プロセスは、正確であるが、見落とされるか、または誤って分類される相当な数のボクセルが依然として存在する。例えば、図14Bおよび図14Cに示すように、顎構造の一部である可能性があるボクセルが歯ボクセルとして分類され、歯の根元に属する表面においてボクセルが見落とされている。図14Dに示すように、この問題は、分類された神経ボクセルでさらに顕著である。
【0150】
(第1の深層学習ニューラルネットワークの出力を形成する)分類されたボクセルにおける外れ値の問題に対処するために、ボクセルは、後処理されてもよい。図15は、本発明の一実施形態による3D歯顎顔面構造の分類されたボクセルを後処理することのフロー図を示す。具体的には、図15は、本出願の図7～図14を参照して説明したように深層学習ニューラルネットワークを使用して分類された歯顎顔面構造のボクセルデータを後処理することのフロー図を示す。
【0151】
図15に示すように、プロセスは、3D歯顎顔面構造の分類されたボクセルデータ1502を、顎ボクセル1504、歯ボクセル1506として分類されたボクセルと、神経データ1508として分類されたボクセルとに分割するステップを含んでもよい。以下でより詳細に説明するように、顎ボクセルおよび歯ボクセルは、さらなる第2の深層学習ニューラルネットワーク1510を使用して後処理されてもよい。画像データに基づいて可能な限り最良のボクセル分類を生成する(入力として歯顎顔面構造の3D CT画像データスタックと関連する位置特徴とを使用する)最初の第1の深層学習ニューラルネットワークとは対照的に、第2の「後処理」深層学習ニューラルネットワークは、出力が所望の3D構造により密接に一致するように、第1の深層学習ニューラルネットワークの出力の一部をボクセルに変換する。
【0152】
後処理深層学習ニューラルネットワークは、歯と顎の両方の表現を符号化する。後処理深層学習ニューラルネットワークの訓練中、ニューラルネットワークのパラメータは、第1の深層学習ニューラルネットワークの出力がこれらの歯顎顔面構造の最も可能性のある表現に変換されるように調整される。このように、分類されたボクセルにおける欠陥を再構築(1512)することができる。加えて、最も可能性のある3D顎モデルおよび歯モデルを生成することができるように、3D構造の表面を平滑化(1514)することができる。後処理ニューラルネットワークのための情報源から3D CT画像データスタックを除外することは、この後処理ステップを、画像スタック内の望ましくない変動に対して堅牢にする。
【0153】
(CB)CT画像の性質により、第1の深層学習ニューラルネットワークの出力は、患者の動き、ビーム効果などによる平均化などの(前述の)潜在的なアーティファクトの影響を受ける。別のノイズ源は、異なるCTスキャナによってキャプチャされた画像データにおける不一致である。この不一致は、画像スタック内のノイズの量の変化、同じ(実世界の)密度を表すボクセル強度地の変化、および潜在的な他のものなどの、様々な要因が導入されるという結果をもたらす。上記のアーティファクトおよびノイズ源が第1の深層学習ニューラルネットワークの出力に与える影響は、後処理深層学習ニューラルネットワークによって除去されるか、または少なくとも実質的に低減され、セグメント化された顎ボクセルおよびセグメント化された歯ボクセルをもたらす。
【0154】
セグメント化された歯ボクセルは、任意の歯の一部であるとみなされ得るすべてのボクセルから構成されてもよく、したがって、歯列内に存在するすべての歯の表現を含んでもよい。歯ボクセルを、個々の歯に属するボクセルのセットに分離するために、歯ボクセルのセット全体にプロセスが適用されてもよい(1520)。そのようなプロセスにおいて、接続されたボクセルの領域は、個々のオブジェクトとみなされてもよく、個々の歯の個別の表現に分割されてもよい。
【0155】
個々の歯ボクセルは、接続されてもよく、個々の歯とみなされるようにすべてのボリュームを分割するために、追加の処理が用いられてもよい。これは、画像処理および形態学の分野からの公知の方法を用いて、特に、ウォーターシェッド法と浸食とを用いることによって行われてもよい。
【0156】
より詳細には、個々の歯の予測されたボリュームは、分割ボクセルのすべてのセットが歯の予測されたボリュームと一致するまで、いくつかのステップを反復的に実行するために使用されてもよい。歯ボクセルに対して連続した3D浸食ステップを実行することは、以前に接続されたボクセルのセットを分離し得る。これらの(新しく)分離された領域の中心の座標は、(元の)歯ボクセルの3Dウォーターシェッド法のための開始点として使用されてもよく、それは、接続中にボクセルの個別のセットをもたらし得る。ボクセルのセットが分離されるまで浸食を反復的に実行し、上記で説明したようにウォーターシェッド法を実行し、最小および最大ボリューム条件が満たされたかどうかをチェックすることは、個々の歯であることと一致する要件を満たすボクセルのセットをもたらし得る。
【0157】
分類された神経データ1508は、顎および歯のデータとは別に後処理されてもよい。CT画像データスタック内の長く細いフィラメント構造を表す神経データの性質は、このデータを深層学習ニューラルネットワークによる後処理にあまり適さなくする。代わりに、分類された神経データは、セグメント化された神経データを生成するために、補間アルゴリズムを使用して後処理(1516)される。その目的のため、神経ボクセルに分類され、高い確率(例えば、95%以上の確率)に関連付けられたボクセルは、神経構造の3Dモデルを構築するためにフィッティングアルゴリズムによって使用される。その後、3D顎、歯、および神経のモデルは、歯顎顔面構造の3Dモデルに組み合わされる。
【0158】
図16は、本発明の一実施形態による3D歯顎顔面構造の分類されたボクセルを後処理するために構成された深層学習ニューラルネットワークのアーキテクチャの例を示す。後処理深層学習ニューラルネットワークは、ターゲットの解像度において入力データ(この場合、分類されたボクセルデータの一部)を処理するように構成された、3D CNN特徴層の第1のセット1604によって形成された第1の経路を含む、第1の深層学習ニューラルネットワークと同様のアーキテクチャを有してもよい。深層学習ニューラルネットワークは、第1の3D CNN特徴層によって処理された入力データのコンテキストを、しかしターゲットよりも低い解像度において処理するように構成された3D CNN特徴層の第2のセット1606をさらに含む。第1および第2の3D CNN特徴層の出力は、次いで、3D歯顎顔面構造の3Dモデルを厳密に表すように、分類されたボクセルデータを再構築するために、完全に接続された3D CNN層のセット1608の入力に供給される。完全に接続された3D CNN層の出力は、再構築されたボクセルデータを提供する。
【0159】
後処理ニューラルネットワークは、同じ所望の出力を表す第1の深層学習ニューラルネットワークと同じターゲットを使用して訓練されてもよい。訓練中、ネットワークは、規則化されるべき例外的なケースを表すために入力にノイズを提供することによって、可能な限り広く適用可能にされる。後処理深層学習ニューラルネットワークの性質に固有の、それが実行する処理は、受信ボクセルデータから可能性のない態様の除去も結果として生じる。ここでの要因は、所望の歯顎顔面構造の平滑化および充填と、可能性のないボクセルデータの完全な除去とを含む。
【0160】
図17Aおよび図17Bは、本発明の一実施形態による、分類されたボクセルの表面再構成をもたらす後処理ネットワークの反復を示す。具体的には、図17Aは、歯構造の分類されたボクセルのピクチャを示し、ボクセルは、第1の深層学習ニューラルネットワークの出力である。図に示すように、入力データ内のノイズおよび他のアーティファクトは、ボクセル分類において不規則性とアーティファクトとを結果として生じ、したがって、歯構造を表すボクセルのセットにおいてギャップを含む3D表面構造を結果として生じる。これらの不規則性およびアーティファクトは、下歯槽神経構造17021および歯の歯根構造17041、すなわち、深層学習ニューラルネットワークが歯ボクセルと顎骨の一部であるボクセルとを区別しなければならない領域において特に可視である。
【0161】
図17Bは、図15および図16を参照して説明したプロセスによる後処理の結果を示す。この図に示すように、後処理深層学習ニューラルネットワークは、入力データ(分類されたボクセル)において存在したアーティファクトを正常に除去する。後処理ステップは、個々の歯構造17042の正確な3Dモデルを提供する滑らかな表面をここでは示す歯の歯根構造17041などの、不規則性とアーティファクトとによって実質的に影響を受けた部分を正確に再構成する。神経構造17022の3Dモデルを構築するために、高確率の神経ボクセル17021(例えば、95%以上の確率)がフィッティングアルゴリズムによって使用される。
【0162】
図18は、本発明の一実施形態による分散型コンピュータシステムの概略図を示す。分散型コンピュータシステムは、本出願で説明した訓練された3D深層学習プロセッサに基づいて、処理された3Dデータをレンダリングするために、3Dデータを処理するように構成されてもよい。図18に示すように、訓練された3D深層学習プロセッサは、ネットワーク内の1つまたは複数のサーバ1802と、複数の端末18101～3、好ましくはモバイル端末、例えば、デスクトップコンピュータ、ラップトップ、電子タブレットなどとを備える分散型システムの一部であってもよい。(訓練された)3D深層学習プロセッサは、サーバアプリケーション1804、1806として実装されてもよい。さらに、端末上で実行されるクライアントアプリケーション(クライアントデバイス)18121～3は、ユーザがシステムと対話することを可能にするユーザインターフェースと、クライアントデバイスが1つまたは複数のネットワーク1808、例えば、インターネットを介してサーバアプリケーションと通信することを可能にするネットワークインターフェースとを含んでもよい。クライアントデバイスは、入力データを受信するように構成されてもよい。クライアントデバイスは、データをサーバアプリケーションに送信してもよく、サーバアプリケーションは、本出願で説明した方法およびシステムに基づいてデータを処理してもよい。処理されたデータは、クライアントデバイスに送り返されてもよく、クライアントデバイスに関連付けられたレンダリングエンジン18141～3は、3D歯モデルをレンダリングするために、結果として生じる3D画像データを使用してもよい。別の実施形態において、データ処理の一部は、クライアント側において実行されてもよい。例えば、本開示で説明した任意の前処理および/または後処理は、クライアントデバイスによって実行されてもよい。さらなる実施形態において、分散型コンピュータシステムの代わりに、本出願で説明した任意のプロセスを実行するために、中央コンピュータシステムが使用されてもよい。
【0163】
したがって、図18によって示すように、本発明は、歯冠を表す3Dデータに基づく歯根形状の予測のための完全に自動化されたパイプラインを提供する。ユーザは、歯顎顔面構造または歯列を表す3D画像データ、例えば、(CB)CT 3Dデータまたは口腔内スキャンをシステムの入力に提供してもよく、これに応じて、システムは、ソースデータ内で表されている歯冠と一致するように歯根形状を生成し、それは、異なるグラフィカルフォーマットにおいて、例えば、3Dレンダリングとして、または表示された画像スライスにおけるマークアップとしてユーザに提示され得る。入力データは、3D深層ニューラルネットワークがいかなる人間の介在もなしに3D画像データを正確に処理することができるように、3D深層ニューラルネットワークへの入力のために自動的に最適化される。さらに、本発明は、3D深層ニューラルネットワークプロセッサによって生成された出力、すなわち、予測された歯根を含む完全な歯の3Dレンダリングを可能にする。そのような視覚的情報は、歯科治療および歯科報告、歯列矯正、下顎矯正手術、法医学、生体認証などにおける最先端の歯科用途に不可欠である。
【0164】
図19は、本開示において説明する例示的なデータ処理システムを示すブロック図である。データ処理システム1900は、システムバス1906を介してメモリ要素1904に結合された少なくとも1つのプロセッサ1902を含んでもよい。そのように、データ処理システムは、メモリ要素1904内にプログラムコードを記憶してもよい。さらに、プロセッサ1902は、システムバス1906を介してメモリ要素1904からアクセスされたプログラムコードを実行してもよい。一態様において、データ処理システムは、プログラムコードを記憶するおよび/または実行するのに適したコンピュータとして実装されてもよい。しかしながら、データ処理システム1900は、本明細書内で説明される機能を実行することができるプロセッサとメモリとを含む任意のシステムの形態において実装されてもよいことが理解されるべきである。
【0165】
メモリ要素1904は、例えば、ローカルメモリ1908および1つまたは複数の大容量記憶デバイス1910などの、1つまたは複数の物理メモリデバイスを含んでもよい。ローカルメモリは、プログラムコードの実際の実行中に一般的に使用されるランダムアクセスメモリまたは他の非永続的なメモリデバイスを指す場合がある。大容量記憶デバイスは、ハードドライブまたは他の永続的なデータ記憶デバイスとして実装されてもよい。処理システム1900はまた、実行中にプログラムコードが大容量記憶デバイス1910から検索されなければならない回数を低減するために、少なくともいくつかのプログラムコードの一時的な記憶を提供する1つまたは複数のキャッシュメモリ(図示せず)を含んでもよい。
【0166】
入力デバイス1912および出力デバイス1914として示された入力/出力(I/O)デバイスは、任意選択で、データ処理システムに結合することができる。入力デバイスの例は、限定はしないが、例えば、キーボード、マウスなどのポインティングデバイスなどを含んでもよい。出力デバイスの例は、限定はしないが、例えば、モニタまたはディスプレイ、スピーカなどを含んでもよい。入力デバイスおよび/または出力デバイスは、直接、または介在するI/Oコントローラを介してデータ処理システムに結合されてもよい。介在するプライベートネットワークまたはパブリックネットワークを介して、他のシステム、コンピュータシステム、リモートコントロールデバイス、および/またはリモート記憶デバイスに結合されることを可能にするために、ネットワークアダプタ1916もデータ処理システムに結合されてもよい。ネットワークアダプタは、前記システム、デバイス、および/またはネットワークによって前記データに送信されるデータを受信するためのデータ受信機と、前記システム、デバイス、および/またはネットワークにデータを送信するためのデータ送信機とを備えてもよい。モデム、ケーブルモデム、およびイーサネットカードが、データ処理システム1900で使用されてもよい様々なタイプのネットワークアダプタの例である。
【0167】
図19に示すように、メモリ要素1904は、アプリケーション1918を記憶してもよい。データ処理システム1900は、アプリケーションの実行を容易にすることができるオペレーティングシステム(図示せず)をさらに実行してもよいことが理解されるべきである。実行可能なプログラムコードの形式において実装されているアプリケーションは、データ処理システム1900によって、例えば、プロセッサ1902によって実行することができる。アプリケーションを実行したことに応答して、データ処理システムは、本明細書でさらに詳細に説明される1つまたは複数の動作を実行するように構成されてもよい。一態様において、例えば、データ処理システム1900は、クライアントデータ処理システムを表してもよい。その場合、アプリケーション1918は、実行されると、「クライアント」に関して本明細書で説明した様々な機能を実行するようにデータ処理システム1900を構成するクライアントアプリケーションを表してもよい。クライアントの例は、限定はしないが、パーソナルコンピュータ、ポータブルコンピュータ、携帯電話などを含むことができる。別の態様において、データ処理システムは、サーバを表してもよい。例えば、データ処理システムは、(HTTP)サーバを表してもよく、その場合、アプリケーション1918は、実行されると、(HTTP)サーバ動作を実行するようにデータ処理システムを構成してもよい。別の態様において、データ処理システムは、本明細書において言及されるモジュール、ユニット、または機能を表してもよい。
【0168】
本明細書で使用される用語は、特定の実施形態を説明することのみを目的とし、本発明を限定することを意図するものではない。本明細書で使用される単数形「a」、「an」、および「the」は、文脈がそうでないことを明確に示さない限り、同様に複数形を含むことを意図している。「備える」および/または「備えている」という用語は、本明細書において使用されるとき、述べられた特徴、整数、ステップ、動作、要素、および/または構成要素の存在を指定するが、1つまたは複数の他の特徴、整数、ステップ、動作、要素、構成要素、および/またはそれらのグループの存在または追加を排除しないことがさらに理解されよう。
【0169】
以下の特許請求の範囲におけるすべての手段またはステッププラスファンクション要素の対応する構造、材料、動作、および均等物は、具体的に請求される他の請求要素と組み合わせて機能を実行するための任意の構造、材料、または動作を含むことを意図している。本発明の説明は、例示および説明の目的のために提示されているが、網羅的であること、または開示された形態における本発明に限定されることを意図するものではない。本発明の範囲および要旨から逸脱することなく、多くの修正および変形が当業者には明らかであろう。実施形態は、本発明の原理および実際の応用を最もよく説明し、当業者が、意図される特定の仕様に適するように様々な修正を伴う様々な実施形態について本発明を理解することができるように選択され、説明された。
【0170】
図20A～図20Dは、本発明の一実施形態による、エンドユーザに向けた3D歯モデルの視覚化の表現を示す。図20Aおよび図20Bは、システムによって受信される3D画像データのスライスを示す。これらの3Dデータは、CBCTスキャナによって、それぞれ、冠状面および矢状面において生成されてもよい。両方の図は、受信されたデータの全範囲を示し、見られるように、データの「上側」は、上顎内に存在する完全な歯を含まない。データは、歯の歯冠の一部を含み、その部分は、システムステップ104を参照して説明し、図8から図17において詳述した方法に従ってセグメント化され得、図20Cに示す歯顎顔面構造、より具体的には、個々の(場合によっては部分的な)歯構造および顎構造の3Dモデル表現を結果として生じる。例えば、図4を参照して説明した方法を使用して3Dデータを前処理した後、不完全な歯冠モデルのボクセル表現は、個々の歯冠2004(ソースデータにおいて示された2002)および予測された個々の歯根2006によって図20Dに示す歯根形状予測を取得するために、訓練された3D深層ニューラルネットワーク106に個別に渡されてもよい。
【0171】
システムは、歯冠であり不完全であるとみなされるすべての個々の歯エンティティに対してこのプロセスを自動的に実行してもよく、それらの歯エンティティは、例えば、歯(の一部)であるとみなされるボリュームの予想された最小の実世界の寸法、および、歯の一部であるとみなされる表面積における予想された最大の変化などの、完全な歯を考慮する既知の情報を利用することによって決定されてもよく、表面積は、モデルと交差する平面内にあり、面積の変化は、設定されたステップサイズで(実世界の座標系で)「上下」軸に沿って法平面を反復的に移動した結果である。言い換えれば、上下軸に沿って歯(の一部)のボリュームをスキャンすることは、歯がまだ不完全であることを示すボリュームの任意の突然の変化/終了をもたらす場合がある。
【0172】
すべての適用可能な歯冠セクションの予測の生成の後、ポストプロセッサ108は、図20Dによって視覚的に表されている3D画像データ110を結果として生じる場合があり、3D画像データに関する受信された歯冠セクションに基づいて、予測された歯根セクションを有する完全な歯をエンドユーザに提供する。
【符号の説明】
【0173】
100 コンピュータシステム
102 3Dデータ、3D入力データ、特徴
104 プリプロセッサ、システムステップ
106 第1の3D深層ニューラルネットワーク、訓練された深層ニューラルネットワーク、深層ニューラルネット
108 ポストプロセッサ
110 3Dデータセット、3D画像データ
200 訓練データ
202 臨床3Dデータ、元の(実世界の)3D画像データ
204 プリプロセッサ
206 歯のボクセル表現、ボリューム
207 歯根の関連するボクセル表現、歯根のボクセル
208 歯冠のボクセル表現、歯冠のボクセル、3D歯冠の非常に正確なボクセル表現、ボクセル表現
210 第1の3D深層ニューラルネットワーク、3D深層学習ネットワーク、深層ニューラルネットワーク、訓練された深層ニューラルネットワーク、訓練されたニューラルネットワーク
212 歯根の解剖学的に正確なボクセル表現、予測された歯根、歯根のボクセル表現、歯根
214 完全な歯のボクセル表現、完全な歯
300 3D深層ニューラルネットワークアーキテクチャ
301 機能セクション、第1のセクション
302 入力
303 機能セクション、第2のセクション
304 3D畳み込み層
305 機能セクション、第3のセクション
306 3D畳み込み層
308 3D畳み込み層
310 密に接続された層
312 密に接続された層
314 3D逆畳み込み層
316 3D逆畳み込み層
318 3D逆畳み込み層
320 歯根または完全な歯の3Dデータのバイナリ予測、実際の出力
322 所望の出力
324 最終または出力層
414 歯冠のボクセル表現
416 歯根形状のボクセル表現
418 完全な歯のボクセル表現
420 完全な歯のマージされたボクセル表現
422 完全な歯の3Dメッシュ
5021 線
5022 線
504 ボリュームの上部(第1の)部分
506 下部
508 平滑な遷移
510 平滑な遷移
702 切歯
704 犬歯
706 小臼歯
708 大臼歯
710 元の3D歯冠モデル
712 元の3D歯冠モデル
714 元の3D歯冠モデル
716 元の3D歯冠モデル
718 歯根形状
720 歯根形状
722 歯根形状
724 歯根形状
726 歯冠セクション
802 歯顎顔面複合体
804 CT画像データスタック
806 3Dデータ
808 3D表面メッシュ
810 位置合わせ機能
812 位置特徴
814 3Dモデル
816 深層ニューラルネットワーク
902 軸平面
904 前額面または冠状面
906 矢状面
10011 第1のブロック
10012 第2のブロック
10013 画像ボリューム
10031 第1の経路、第1の畳み込み経路
10032 第2の畳み込み経路
10033 第3の畳み込み経路
1004 3D位置特徴
1006 3D畳み込み層の第1のセット
1007 3D畳み込み層の第3のセット
1008 3D畳み込み層の第2のセット
1010 完全に接続された3D CNN層のセット
1012 ボクセルの意図された分類、最適に分類されたボクセル
1104 3D画像データ
1122 3D画像データ
1124 3D CNN層の以前のセット
1126 ダウンスケーリング
1128 3D CNN層の以前のセット
1130 ダウンスケーリング
1132 3D CNN層の以前のセット
1134 ダウンスケーリング
1138 3D de-CNN層
1140 データ
1142 3D CNN層、予測3D位置特徴
1144 3D de-CNN層
1146 データ
1148 3D CNN層
1150 3D de-CNN層
1152 データ
1154 3D CNN層
1160 符号化マッチング3D位置特徴
1302 基準面
1304 高さ
1306 歯列弓を近似する曲線、歯列弓曲線
1308 相対距離
1310 点
13121 空間
13122 空間
1320 顎
1322 歯
1324 神経
1502 ボクセルデータ
1504 顎ボクセル
1506 歯ボクセル
1508 神経データ
1510 深層学習ニューラルネットワーク
1512 再構築
1514 平滑化
1516 後処理
1518 セグメント化された顎ボクセル
1520 セグメント化された歯ボクセル
1604 3D CNN特徴層の第1のセット
1606 3D CNN特徴層の第2のセット
1608 完全に接続された3D CNN層のセット
17021 下歯槽神経構造、神経ボクセル
17022 神経構造
17041 歯根構造
17042 歯構造
1802 サーバ
1804 サーバアプリケーション
1806 サーバアプリケーション
1808 ネットワーク
18101 端末
18102 端末
18103 端末
18121 クライアントアプリケーション(クライアントデバイス)
18122 クライアントアプリケーション(クライアントデバイス)
18123 クライアントアプリケーション(クライアントデバイス)
18141 レンダリングエンジン
18142 レンダリングエンジン
18143 レンダリングエンジン
1900 データ処理システム、処理システム
1902 プロセッサ
1904 メモリ要素
1906 システムバス
1910 大容量記憶デバイス
1912 入力デバイス
1914 出力デバイス
1916 ネットワークアダプタ
1918 アプリケーション
2002 歯冠
2004 歯冠
2006 歯根
102 3Dデータ、3D入力データ、特徴
104 プリプロセッサ、システムステップ
106 第1の3D深層ニューラルネットワーク、訓練された深層ニューラルネットワーク、深層ニューラルネット
108 ポストプロセッサ
110 3Dデータセット、3D画像データ
200 訓練データ
202 臨床3Dデータ、元の(実世界の)3D画像データ
204 プリプロセッサ
206 歯のボクセル表現、ボリューム
207 歯根の関連するボクセル表現、歯根のボクセル
208 歯冠のボクセル表現、歯冠のボクセル、3D歯冠の非常に正確なボクセル表現、ボクセル表現
210 第1の3D深層ニューラルネットワーク、3D深層学習ネットワーク、深層ニューラルネットワーク、訓練された深層ニューラルネットワーク、訓練されたニューラルネットワーク
212 歯根の解剖学的に正確なボクセル表現、予測された歯根、歯根のボクセル表現、歯根
214 完全な歯のボクセル表現、完全な歯
300 3D深層ニューラルネットワークアーキテクチャ
301 機能セクション、第1のセクション
302 入力
303 機能セクション、第2のセクション
304 3D畳み込み層
305 機能セクション、第3のセクション
306 3D畳み込み層
308 3D畳み込み層
310 密に接続された層
312 密に接続された層
314 3D逆畳み込み層
316 3D逆畳み込み層
318 3D逆畳み込み層
320 歯根または完全な歯の3Dデータのバイナリ予測、実際の出力
322 所望の出力
324 最終または出力層
414 歯冠のボクセル表現
416 歯根形状のボクセル表現
418 完全な歯のボクセル表現
420 完全な歯のマージされたボクセル表現
422 完全な歯の3Dメッシュ
5021 線
5022 線
504 ボリュームの上部(第1の)部分
506 下部
508 平滑な遷移
510 平滑な遷移
702 切歯
704 犬歯
706 小臼歯
708 大臼歯
710 元の3D歯冠モデル
712 元の3D歯冠モデル
714 元の3D歯冠モデル
716 元の3D歯冠モデル
718 歯根形状
720 歯根形状
722 歯根形状
724 歯根形状
726 歯冠セクション
802 歯顎顔面複合体
804 CT画像データスタック
806 3Dデータ
808 3D表面メッシュ
810 位置合わせ機能
812 位置特徴
814 3Dモデル
816 深層ニューラルネットワーク
902 軸平面
904 前額面または冠状面
906 矢状面
10011 第1のブロック
10012 第2のブロック
10013 画像ボリューム
10031 第1の経路、第1の畳み込み経路
10032 第2の畳み込み経路
10033 第3の畳み込み経路
1004 3D位置特徴
1006 3D畳み込み層の第1のセット
1007 3D畳み込み層の第3のセット
1008 3D畳み込み層の第2のセット
1010 完全に接続された3D CNN層のセット
1012 ボクセルの意図された分類、最適に分類されたボクセル
1104 3D画像データ
1122 3D画像データ
1124 3D CNN層の以前のセット
1126 ダウンスケーリング
1128 3D CNN層の以前のセット
1130 ダウンスケーリング
1132 3D CNN層の以前のセット
1134 ダウンスケーリング
1138 3D de-CNN層
1140 データ
1142 3D CNN層、予測3D位置特徴
1144 3D de-CNN層
1146 データ
1148 3D CNN層
1150 3D de-CNN層
1152 データ
1154 3D CNN層
1160 符号化マッチング3D位置特徴
1302 基準面
1304 高さ
1306 歯列弓を近似する曲線、歯列弓曲線
1308 相対距離
1310 点
13121 空間
13122 空間
1320 顎
1322 歯
1324 神経
1502 ボクセルデータ
1504 顎ボクセル
1506 歯ボクセル
1508 神経データ
1510 深層学習ニューラルネットワーク
1512 再構築
1514 平滑化
1516 後処理
1518 セグメント化された顎ボクセル
1520 セグメント化された歯ボクセル
1604 3D CNN特徴層の第1のセット
1606 3D CNN特徴層の第2のセット
1608 完全に接続された3D CNN層のセット
17021 下歯槽神経構造、神経ボクセル
17022 神経構造
17041 歯根構造
17042 歯構造
1802 サーバ
1804 サーバアプリケーション
1806 サーバアプリケーション
1808 ネットワーク
18101 端末
18102 端末
18103 端末
18121 クライアントアプリケーション(クライアントデバイス)
18122 クライアントアプリケーション(クライアントデバイス)
18123 クライアントアプリケーション(クライアントデバイス)
18141 レンダリングエンジン
18142 レンダリングエンジン
18143 レンダリングエンジン
1900 データ処理システム、処理システム
1902 プロセッサ
1904 メモリ要素
1906 システムバス
1910 大容量記憶デバイス
1912 入力デバイス
1914 出力デバイス
1916 ネットワークアダプタ
1918 アプリケーション
2002 歯冠
2004 歯冠
2006 歯根
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5A】
【図5B】
【図6A】
【図6B】
【図7】
【図8】
【図9A】
【図9B】
【図10A】
【図10B】
【図11A】
【図11B】
【図12】
【図13A】
【図13B】
【図13C】
【図13D】
【図13E】
【図14A】
【図14B】
【図14C】
【図14D】
【図15】
【図16】
【図17A】
【図17B】
【図18】
【図19】
【図20A】
【図20B】
【図20C】
【図20D】